具有對網絡流量進行解析功能的日誌裝置、系統與方法
2023-04-27 15:56:01
專利名稱：具有對網絡流量進行解析功能的日誌裝置、系統與方法
技術領域：
本發明涉及網絡流量日誌記錄與分析的方法、系統與裝置。
背景技術：
因為一些規章制度，許多公司都要求存儲一定時間段的網絡流量。例如，US 404證明與《保險便攜性和責任法》(HIPPA)要求公司要保存網絡流量5到7年。通常情況下，公司按照政府的規定，都會僱傭一個使用網絡數據包嗅探器技術採集網絡流量的服務商。然後把這些流量存儲在指定的地點。數據一經存儲，各種各樣的分析裝置就對數據進行分類，存檔以及從數據中挖掘想要的信息。對這些數據包逐個分析，析取出所要求的信息。
有關技術方面，在一個稱作網絡監視器的裝置中可以看到網絡流量狀況，客戶端與伺服器以及客戶與客戶之間的數據交換。網絡監視器也就是所說的一個「數據包嗅探器」(Packet sniffer)，通過它可以看到在網絡中傳輸的數據並建立蹤跡。一種最常用的數據包嗅探器是開源的ETHEREAL，ETHEREAL也對捕捉到的數據包進行各樣的分析。舉例來說，數據包嗅探器可用於發現並修理網絡以及其應用性能故障，監測網絡使用的情況，檢測網絡物理故障，並可以查找網絡安全隱患，以及採集網絡流量進行分析。
圖1描述了一用於從網絡中捕捉流入的流量的系統。具體地，圖1示出了來自網際網路(Internet)10中的數據包從不同的數據源傳輸到各自的目的地。舉例說明，如果一內部網絡如一有組織的區域網(LAN)13是所傳輸數據包的各自的目的地，則這些數據包由防火牆11接收。防火牆11設置在內部網絡13與網際網路(Internet)10之間。防火牆11通過監測到達的網絡流量，保護內部網絡13。通過防火牆11的流量被傳輸到路由器12。另一方面，嗅探器(Sniffer)14捕捉從防火牆11流入路由器12的的流量，然後把捕捉到的數據包發送到存儲裝置15。或者是，嗅探器(Sniffer)14可設置在防火牆11之前，以捕捉所有指定發送到內部網絡13的數據包，或可設置在路由器12中以捕捉所有到達路由器12的網絡數據包。
嗅探器14在記錄網絡活動方面較有價值，但是其在分析網絡活動方面的功能非常薄弱，因為其不能識別數據傳輸的協議，舉例來說，現有技術的嗅探器不能識別HTML，XML，及其他協議。嗅探器獲取的數據包在所知的幀閱讀器窗口的顯示成對用戶來說非常不友好的多框架式閱讀界面。尤其當大量的數據集結在一起時，讀取捕捉到的數據包就更複雜，因為所有的數據都緊串在一起了。而且，因為傳輸的數據包交叉在一起，讀取捕獲的數據包真是難上加難。那樣的話，在根據一給定的請求和/或響應想要讀取捕獲的數據包部分時，用戶很容易將其認為是與所述給定的請求和/或響應相對應的數據及與其它的請求和/或響應相對應的數據。
換句話說，現有技術的缺點之一就是難於搜索數據包嗅探器的蹤跡及重建其原始內容。例如，如果用戶想發現一特殊郵件是否包含敏感詞語的組合時，就需要尋找所有那個時間段發送的數據包，並重建所有郵件的數據包然後再進行搜索。在現有技術中，如以上所解釋的，嗅探器把網絡流量進行日誌記錄到一個存儲裝置上。分析器順序檢測存儲裝置中沒有分類的數據包裝置。因此，為分析數據流量，每個存儲的數據包必須要按順序逐個檢測。
現有技術的另一個缺點就是分析器可能為分析數據包設置了各種各樣的規則。這些規則是預先編程的。在現有技術中，用戶沒有調整這些規則的靈活性。
而且，在現有技術中，當使用嗅探器記錄網絡數據包的時候，CPU(中央處理器)與內存被大量佔用。所以，如果用戶也試圖利用同一臺機器來搜索以前記錄的數據包時，會導致CPU與內存過載。也就是說，要花費相當長的時間才能夠找到所要的數據包。同時，也可能由於資源過載而使得嗅探器遺漏一些數據包。
總而言之，在現有技術中，對網絡流量的日誌記錄與分析過程是非常耗時耗力的。
發明內容
本發明的目的之一在於提供一種方法、系統及裝置，以更有效的對數據流量進行日誌記錄及分析裝置。本發明的另一個目的在於提供一個完整的解決方案，以對數據進行日誌記錄與分析。本發明的又一目的在於為用戶在監控網絡流量時提供更多的靈活性。進一步的，本發明的目的還在於，能在實現存儲並分析大量的網絡數據時，不導致網絡速度緩慢與計算機資源的過載。
示例性的，非限定性的，本發明的實施例可以克服上述提到的裝置及未提到的缺點。本發明並必要能夠克服上述的所有不足，並且本發明的示例性的、不作為限定的實施例也不一定能克服上述的所有問題。應參考所附的權利要求來確定本發明的實際保護範圍。
根據本發明一示例性的、非限定性的實施例，本發明提供了一種用來管理網絡數據包的日誌裝置。所述的日誌裝置包括流量捕捉部件，用於接收網絡數據包，並根據預先設定的規則通過篩選一些網絡數據包來進行網絡數據包的過濾裝置。該日誌裝置還包括存儲部件，用於存儲所篩選出的網絡數據包，以及用於根據用戶指定的參數來組織所存儲的數據包的分析部件。流量捕捉部件、存儲部件以及分析部件集成在單一的物理裝置中，用戶可以實時監控流量。
根據本發明另一示例性的、非限定性的實施例，本發明提供了一種管理網絡數據包的日誌系統。該日誌系統包括一用來接收網絡數據包的網關計算機。所述網關計算機設置成根據網絡數據包的源地址、其目標地址、網絡數據包的協議、埠的選擇以及一具體的流量會話是否與網絡數據包預先設定的特徵相匹配來篩選接收到的數據包的。日誌系統進一步包括用來存儲所篩選出的數據包的存儲裝置以及用來根據用戶指定的參數組織所存儲網絡數據包的分析計算機。
根據本發明又一示例性的、非限定性的實施例，本發明還提供了一種管理網絡數據包的方法。該方法包括在網關上從各種數據源接收網絡數據包；從接收的網絡數據包中篩選數據包；及，把所篩選出的網絡數據包存儲在存儲裝置中。所述網關配置可以根據網絡數據包的源地址以及目標地址、網絡數據包的協議、所指定的埠以及一特殊流量會話是否與預先設定的特徵相匹配來篩選數據包。
通過對以下本發明示例性的、非限定性的實施例及其附圖的描述，來對本發明進行詳細說明與描述。在附圖中，相同的標記代表相似的部件。
圖1是按照現有技術的用於監控網絡流量的系統方框圖；圖2是按照本發明一示例性的、非限定性的實施例用於監控網絡流量的系統的方框圖；圖3是按照本發明一示例性實施例的存儲裝置的結構示意圖；圖4是按照本發明一示例性實施例的日誌裝置的方框圖；圖5是按照本發明一示例性實施例的日誌裝置的面板的結構圖；圖6是按照本發明一示例性實施例的網絡流量分析器的圖形用戶界面圖；圖7是按照本發明一示例性實施例的流量顯示器的界面圖。
圖8是按照本發明一示例性實施例的流量顯示器設置窗口的界面圖；圖9按照本發明一示例性實施例的是流量顯示器中的日期過濾器的界面圖；圖10是按照本發明一示例性實施例的簡單日誌搜索的界面圖；圖11是按照本發明一示例性實施例的高級日誌搜索的界面圖；圖12是按照本發明一示例性實施例的網絡分析器設置界面圖；圖13是按照本發明一示例性實施例的報告範圍設置界面圖；圖14是按照本發明一示例性實施例的報警事件設置界面圖。
具體實施例方式
圖2描述了按照本發明一示例性、非限制性實施例的日誌裝置的方框圖。圖2所述的日誌裝置包括防火牆模塊21與存儲裝置22。這兩個模塊通過一個或多個千兆乙太網連接器連接。為簡單明了起見，圖2中只示出了一個千兆乙太網連接器。另外，日誌裝置還可包括一顯示單元(如圖5所示，並在下文做出更詳細的描述)。該顯示單元可設置在日誌裝置的面板中。或者，日誌裝置可與一用於向用戶顯示數據的監控器相連接。該具有日誌記錄與分析的功能日誌裝置可與交換機，網關或路由器集成。
如圖2所示，進入的數據，從網際網路(Internet)20流入的數據，遇到防火牆21。防火牆21可設置在一分離的電路板上或者與存儲裝置22設置在單獨同一的電路板上。
圖2所述的防火牆21上設置有一過濾模塊，用於過濾進入的流量。用戶可以設定過濾模塊軟體。例如，用戶可以決定監控網關上的哪個埠的流量，以怎樣的流量模式(源地址與目標地址或服務)發送到存儲裝置22。用戶可以根據數據包的傳輸協議或格式，或者基於一特殊的流量會話是否與預先設定的特徵相匹配這樣的規則來篩選流量。用戶可以任意多種結合方式指定上述任意數量的示例性規則。
而且，用戶可以指定日誌的長度。例如，用戶能夠設置參數只記錄數據包包頭的日誌。或者，用戶能夠設置參數以記錄全部的內容或只記錄與會話有關的數據(數據長度)的日誌。例如，用戶可以要求只記錄IP數據包的包頭日誌，和記錄所有其他類型數據包的整個數據包的日誌。舉例說明，用戶可以用以下方法指定參數a)通過操作日誌裝置的面板，以下將詳細說明；b)通過網絡，使用軟體應用程式連接到日誌裝置上配置參數；c)通過使用一串行電纜將其連接到日誌裝置面板上的串行埠，將在下面作更詳細的說明。正如本領域的技術人員將會認識的，還有上述未提及的其它方法可以連接到日誌裝置上。
因此，當數據包到達防火牆21的時候，會檢測諸如源地址以及目標地址、格式等數據包信息。以上所提供的例子中，如果數據包是一IP數據包，那麼只有其包頭的日誌記錄到存儲裝置22中。也就是說，防火牆21作為過濾裝置，識別數據包的格式並篩選出其日誌將被記錄在存儲裝置22中的數據包。而且，防火牆告知存儲裝置22要存儲的數據包的類型與內容，以便於進行消息的恢復，即便於數據的分析。例如，用戶在圖5所示的日誌裝置的面板上設置參數，並且使用軟體指令告知防火牆21設置的參數。接著，防火牆21再通過千兆乙太網連接器告知存儲裝置22用戶設置的參數。
也就是說，防火牆21根據用戶指定的規則選擇性地決定哪些數據包要保存在存儲裝置22中，以及哪些數據包不需做日誌記錄便可以通過。通過設置用於存儲數據包的規則或過濾器可以使得對數據進行進一步的分析更便利。換句話說，防火牆21是設置用於篩選某些流量類型並且將那些被篩選出的流量類型發送到存儲裝置22，沒被選擇的流量將繞過日誌記錄步驟。作為變換但不作為限制，防火牆21可以是交換機或者其他的網關裝置。流量類型可根據源地址與目標地址、數據包協議類型或者埠數量，和/或一特殊的流量會話是否與預先設定的特徵相匹配來進行選擇。作為示例，本發明中列舉了一些規則，可以選擇使用其中的任意數量，使用其他的規則也屬於本發明的保護範圍內。
特別地，防火牆21還可包括以下部件用來執行防火牆操作以及上述提到的過濾操作的處理器以及存儲裝置。防火牆21的存儲裝置用來存儲用戶指定的參數，處理器用於執行所要求的操作以對要發送到存儲裝置22的數據包進行過濾。選擇性地，防火牆裝置21可以包括不止一個處理器。
接下來，經過防火牆21過濾的數據被發送到存儲裝置22。存儲裝置22從防火牆21處接收數據並將其存儲在如硬碟或快閃記憶體等的持久存儲裝置中。存儲裝置22有一處理器或控制器，用來控制存儲的數據以及進行其他操作。例如，通過使用一處理器，存儲裝置22不僅可以存儲原始數據包中的數據，而且可以重建數據並以應用格式存儲應用級別的數據(如電子郵件、下載的文件等)以便分類與檢索。存儲裝置22中的處理器對接收到數據包建立索引或分類以便進行進一步的搜索。存儲裝置22的處理器可以自動覆蓋舊的數據部分以給新數據挪出空間。當防火牆21與存儲裝置22集成到同一電路板上的時候，提供至少兩個處理器，如中央處理器(CPU)是有利的，以使得一處理器用於控制防火牆的操作，另一處理器用於控制數據包的存儲。
存儲裝置22中也可以有一千兆乙太網(GbE)控制器，其一個埠連接到防火牆21，另一個埠連接到日誌裝置的面板上。或者，存儲裝置22可只連接到防火牆上，如以上所述。
並且，存儲裝置22可以包括多個存儲裝置，如圖3所述。典型的存儲裝置22可以是RAID(獨立磁碟冗餘陣列)硬碟陣列，其包括硬碟31a，31b直到31n。存儲裝置22還包括一RAID控制器32，及至少兩個或更多的GbE埠33a、33b。例如，RAID控制器32通過GbE埠33a接收數據包，以及通過GbE埠33b接收用戶請求。另外，RAID控制器32確定將接收到的數據包傳輸到31a、31b或31n中的哪個硬碟，並把接收到的數據傳輸到已經確定的硬碟31a、31b或31n上。
圖4所示按照本發明一示例性實施例的日誌裝置包括如上述的一防火牆與存儲區域。也就是說，日誌裝置40包括一網關計算機41。作為例子，該網關計算機41可以是路由器、交換機、多網絡埠的網絡集線器(hub)或者為現有所知的某一類型的防火牆。此外，日誌裝置40還包括存儲設備42，例如在圖3中所示的硬碟陣列以及分析計算機43。作為變化，網關計算機41與分析計算機43可以是計算部件，如集成在一個物理裝置中的CPU。
一用戶，如網絡管理員通過交互作用設置用於過濾數據的參數，例如使用分析計算機43。然而，可以通過直接配置網關計算機41來設置過濾參數，因為網關計算機41經常提供一種過濾進入數據的方法以使得用戶能只捕獲需要的數據而不是到達網關計算機41的每一數據包。
網關計算機41接收網絡流量。網關計算機41應用用戶設置的參數對接收到的數據進行過濾並把過濾的數據發送到存儲設備42。在存儲設備42中，應用一控制器把數據發送到各個硬碟上。也就是說，一旦存儲裝置捕獲了原始數據包的拷貝，然後就對數據包進行重建並以其原始的格式存儲在硬碟中。一旦流量被捕捉並被存儲在硬碟後，用戶與分析計算機43交互作用，使用並組織存儲在存儲設備42中的數據。根據用戶的請求，分析計算機43與存儲設備42連接以恢復並使用存儲的數據。
日誌裝置應該具有一用戶界面或者可以連接到一用戶界面，以使得用戶能夠查看日誌並搜索/分類數據。用戶界面可設置在日誌裝置50的面板上，參見圖5。具體地，日誌裝置50可包括一套主硬碟51以及一套從硬碟或備份硬碟52。備份硬碟是為冗餘數據提供的。日誌裝置還可包括多個埠53，如乙太網接口1、2、3與4。埠53用於連接到被監控的裝置，也就是說，這些裝置用來接收發送到日誌裝置50的數據。而且，日誌裝置50還可包括幾個管理埠54，如圖5所示的埠5、6。這些管理埠54用於把日誌裝置50連接到一用戶界面如監視器。此外，日誌裝置50本身還可包括一顯示器55及一面板56，用來接收配置日誌裝置50的用戶輸入。
分析計算機43給用戶提供存儲在存儲裝置22中數據的實時顯示與歷史記錄的顯示。用戶能夠過濾顯示的數據條目。用戶還可以設置成對日誌文件進行周期性掃描，以查找郵件，HTTP或者FTP流量以及對以內容日誌格式存儲的原始信息的重建。
而且，用戶能夠設置生成與流量有關的報告。也就是說，分析計算機43有報告功能，以生成各式報告，如流量模式或安全報告，以下將詳細介紹。例如，用戶也可以通過指定特殊數據類型與搜索詞對日誌內容進行搜索。而且，用戶也可根據數據的大小進行搜索。用戶還可以使用其他的規則進行搜索，同樣，其他規則也在本發明的範圍之內。
另外，用戶可設置使用報警機制。也就是說，用戶可以設置自動報警的規則，來對特殊的數據包或信息向用戶報警，以下將詳細說明。所述報警規則可以根據數據包的大小、關鍵詞、和/或模式比如存儲裝置儲存數據包的速度來設定。進一步地，一用於說明在介質或存儲裝置中存儲有多少數據以及這些數據將被保存的時間的統計信息或記錄也將提供給用戶。
作為例子，圖6所示的界面圖可用於分析存儲的數據流量。網絡分析器60包括流量顯示器61、瀏覽器項62、搜索項63、以及配置項64。而且，網絡分析器60還可包括報表與報警項目(圖中沒有繪出)。每個所列出的項目61-64以及報告項目與報警項目，將在下文進一步詳細說明。
流量顯示器選中流量顯示器61後，用戶可以看到存儲在存儲裝置中的所有數據包。也就是說，通過在顯示器上顯示這些數據包，用戶可以看到在一個預先設定的時間段內所有記錄在存儲裝置中的流量日誌。流量顯示器有兩種模式，一種模式用於顯示歷史數據，如上一年的數據信息；另一種模式用於顯示當前的數據，如最近一個星期的網絡流量。
舉例說明，當用戶選中流量顯示器61時，存儲在存儲裝置中的流量日誌都將以圖7中所示的格式顯示。圖7中的量顯示器700將在一預先設定的時間段710如2004年8月1日到2004年9月1日內接收到的數據包進行顯示。也就是說，流量顯示器700是工作在歷史記錄模式。選中更改項目720可以改變時間段710。當用戶選中更改項目720時，圖8所示的嚮導將幫助用戶選擇合適的時間範圍。
如圖8所示，用戶可以指定開始時間810與結束時間820。關於開始時間810，用戶也可以使開始時間保持不指定811模式。當不指定開始時間時，將顯示存儲裝置中最早的日誌。另一方面，如果通過選擇指定模式815確定要指定開始時間，可以通過日期816與時間818來設定開始的日期和時間。
用戶還可以進一步設定結束時間820。如圖8的示例，有三種選項可以設置結束時間820。用戶還可以選中滾動日誌顯示821選項。當選中滾動日誌顯示821選項時，一有新的流量進入時，將根據用戶指定的參數對其進行檢測，如果其合適將被顯示給用戶。也就是說，滾動日誌顯示821是對最新進入流量的實時顯示。選項二是設定當前的時間822為結束時間820。所以，所有符合設定時間的進入流量中符合用戶設定規則的數據包都將被顯示。選項三是指定結束時間823。在該選項中，用戶可以指定結束時間的具體日期824與時間826。而且，用戶可以從彈出的日曆圖標817與825框中選擇日期。
用戶還可以進一步選擇每頁瀏覽的記錄數量(數據包的數量)。如圖7所示，顯示的記錄數量730設定的是30條。顯示框740向用戶顯示出了當前瀏覽的是哪條日誌。例如，在圖7中示出了用戶正在查看n個記錄中的第一個記錄。用戶也可以在搜索項750中鍵入一個或多個關鍵詞然後按開始鍵760來搜索。
在流量顯示器700中，對於每個記錄770a到g(指每個數據包)都包括以下各項記錄的編號771(如1、2、3...7)、到達網關計算機的日期772(2005年3月12日)，到達的時間773(到達的時、分、秒)，各數據包產生的源774(源主機的IP位址，如192.168.01)，數據包到達的目的地775(目的地主機的IP位址，如255.255.255.255)以及傳輸協議776(數據包格式，如傳輸控制協議TCP、地址解析協議ARP、網間控制報文協議ICMP及域名系統DNS)與附加信息777。附加信息777可包含有以下的項目，如數據包是否到達了目標地址，信息的類型如該信息是否為同步信息和/或應答消息，或者該信息是否是詢問信息等。要顯示查看記錄(數據包)的詳細信息，用戶只需要點擊圖標778，數據包的內容及其他詳細信息都會顯示出來。數據包內容可以是下表(界面截圖)所示內容
而且，可以對項771至775指定附加的過濾器，如圖標778a到778e所示。也就是說，可以對778a、778b、778c、778d、778e中的每一項設置過濾器。例如，可通過圖9所示的用戶圖形界面設置對日期的過濾器。
例如，如圖9所示，用戶可以通過指定「之前」、「之後」、「在範圍內」來指定日期的過濾範圍910。而且，用戶也可以指定不在某一範圍內920項。對於「之前」和「之後」的過濾範圍910，設置一日期和時間，而指定「在範圍內」時，開始的日期項(從...)930和結束的日期項(到...)940都需要設置。時間也可進行相應的設置(圖中為示出)。
最後，如圖7所示，所有的記錄都用顏色進行標註。根據設定的日誌安全級別，每行的記錄可以預先指定為不同顏色。例如，標準的HTTP請求(TCP)為低危險性，可以用綠色標註；而複製的TCP ACK信息具有較高的危險性，可用紅色來標註。其他被認為具有中度危險性的數據包可以用比較中性顏色如藍色進行標註。對於安全性不能夠確定的數據包可用白色來標註。此外，為了方便用戶使用，用數字表示的可以通過如圖7所示複選框中的「解析主機名稱」與「解析服務」更改為以名稱顯示。
圖7到9中描述的流量顯示器700是作為一個例子提出的，其不在任何方面用來限制本發明的保護範圍。
瀏覽器選中瀏覽器項62，用戶可以查看存儲在存儲裝置中所有的數據包。也就是說，通過在顯示器中顯示這些數據包，用戶可以看到在設定的時間段內所有記錄在存儲裝置中的流量日誌。瀏覽器項62有兩種或更多種的模式，一種模式用於顯示歷史數據，如上一年的數據信息；另一個顯示當前的數據，如最近一個星期的網絡流量。瀏覽器使得用戶可以從頭到尾的逐個瀏覽所顯示的流量記錄。
搜索選中搜索項63，用戶可以選擇使用各種關鍵詞對存儲在硬碟的流量進行搜索。具體地，提供了兩種搜索的類型基本搜索1000與高級搜索1100(如圖10、圖11)。
選中基本搜索1000時，顯示圖10所示的界面。圖10中，用戶可以在框1010處指定一個或多個關鍵詞，然後選中搜索項1020開始搜索。一旦搜索項1020被選中後，根據所鍵入的關鍵詞對所有存儲在硬碟的數據進行搜索。符合指定規則的數據包顯示在搜索結果部分1050。搜索結果部分1050可以對顯示的流量數據包進行過濾，類似於上述流量顯示器的顯示功能。用戶可以選擇搜索歷史項1030重看進行過的搜索。以前的搜索結果顯示在搜索結果部分1050。用戶也可以選中清除歷史記錄項1040清除搜索的歷史記錄。
選中高級搜索1100時，顯示圖11所示的界面。高級搜索1100比簡單搜索1000提供了更多的選擇。舉例說明，用戶可以通過所有詞項1110選擇指定以用戶輸入所有詞作為關鍵詞進行搜索，也可指定精確詞搜索項1120根據用戶輸入的詞進行精確搜索進行。而且，也可根據用戶鍵入的關鍵詞中的至少一個詞1130進行搜索，或是也可以在流量日誌中進行不包含某一個或多個關鍵詞的搜索(不包含所述詞項1140)。最後，用戶可以設定要查詢數據流量的時間(日期在...之內項1160)，用戶根據設定的時間對日誌進行搜索。當用戶選擇設置查詢時間時，可以通過一下拉菜單來進行設定。用戶可指定所需搜索的最近的小時，最近的天或最近的星期等。一旦用戶在項1110，1120，1130，1140與1160中的一個或多個區域輸入搜索的規則後，選中搜索鍵1170便可以確定搜索了。搜索結果在搜索結果部分1150處顯示，類似上述圖10的搜索結果部分1050。
執行搜索後，會有通知告示用戶搜索進行的進度。然後，在系統中發現的結果將被顯示。也就是說，當發現新的數據包與用戶鍵入的搜索規則相符合時，其將在搜索結果部分1050或1150處顯示。用戶也可以通過在圖形用戶界面中選中合適的項(圖中沒有顯示)在任何時間下結束搜索。例如，當用戶找到所要求的所有數據包時，可結束搜索。示出的搜索功能只是作為例子提出，並不用於限制本發明保護範圍。
配置用戶還擁有設置網絡分析器的高度靈活性。通過選中配置項64，圖12示出了配置和使能網絡分析器的界面1200。配置功能可使能網絡分析器且可以設置滾動日誌及將日誌傳輸或複製到二級裝置或備份裝置中。
如圖12所示，操作啟用網絡分析器項1210可以啟動或關閉分析器功能。當關閉分析器的時候，所有其他的配置操作也失效。另一方面，當啟動分析器的時候，需要在下拉菜單項1215中指定一個要進行分析的埠，例如，圖中所示指定埠2。而且，通過選擇從標準日誌重啟設置項1220可重新啟用設置。當選擇重新啟用項時，其它的配置設置都會消失，啟用標準日誌設置的界面。具體地，例如，從其他的伺服器上傳標準日誌設置。
而且，通過操作日誌滾動信息區域1230可以調整滾動日誌的設置。作為例子，在框1233中可以指定日誌文件的大小以及在框1236處指定日誌文件生成的時間。也就是說，在圖中區域1239中，用戶可以設置成在一個月的某幾天或某個時間段生成每月的日誌，設置成在一星期的某幾天或某個時間段生成每星期的日誌，或設置成在一天的某個時間段生成每天的日誌。因此，用戶可以設置日誌滾動的頻率。
而且，日誌上傳功能可通過啟動日誌上載選項1240實現。日誌滾動後進行日誌上傳。要上傳日誌文件，需要在框1241處指定FTP伺服器的IP位址，在框1242處提供用戶名與在框1243處輸入密碼。可以設定日誌上傳的時間，也就是說，通過選項1244a可以設置在日誌滾動後上傳日誌文件或通過選項1244b可以設置以一預先設定的時間間隔上傳日誌文件，如在每天的某一時間或多個時間內上傳。同樣，可以設定上傳日誌文件的格式，如通過選項1245可設置以壓縮格式上載或通過選項1246設定在上傳後刪除文件。當設定了所有設置後，通過選擇應用選項1250確認接受所有的設置。所述的配置項只作為例子進行說明，並不用於限制本發明的保護範圍。
此外，網絡分析器60可以生成報告與設置警告和警報。在圖形用戶界面中，報告與報警可以是兩個獨立的菜單項。選中報告項後，用戶可以通過選項配置或創建報告並在隔離的情況下瀏覽文件的匯總，也就是說，這些文件可能被認為是含有病毒的文件。同樣，也可以通過選項選擇瀏覽定義好的報告。
當用戶選擇配置或創建報告時，將提供已經定義好的報告表格。該表格可包括報告名稱，如「日報」或「周報」；產生這些報告的裝置，如所有裝置或組4中的裝置；這些報告產生的時間，如每天上午12點或每周周一的凌晨一點。表格中還可包含對於報告可採取的措施。這些措施可包括刪除報告、編輯報告，以及生成或運行報告。例如，通過選項「運行報告」，可以即時生成報告而不需等待其設定的時間。用戶也可以編輯已定義的報告或創建新的報告。
用戶選擇合適的菜單選項，以生成一新的報告。對於每個新報告，用戶指定其名稱、報告的時間段、以及報告的範圍。圖13示出了設置報告範圍的圖形用戶界面示例。如圖13所示，在框1310處指定裝置的類型。在區域1320處，用戶可以設定生成的報告是否是所有裝置的報告，還是每個裝置生成一份報告，或每個虛擬域生成一份報告。為了方便用戶使用，在報告中的數字可用其相應的名稱來代替。例如，用戶可以選擇解析報告中的主機的名稱和/或伺服器名稱。此外，還提供了如圖13所示的高級設置選項。也就是說，生成的報告可以通過設置選項1330與1340進行排列。
此外，用戶可以創建報告組。在創建報告組中，用戶可以選擇基本組以生成最常用的報告，選擇所有可能的報告組，或選擇定製報告組。例如，當選擇基本或標準報告組的時候，應用的報告類型被自動選中而其它的選項將變灰，所述應用的報告類型是從所有可能的報告類型中自動選擇出來的。也可以是，用戶選擇生成所有的可能的報告，所有的報告都被自動檢查。或者，當用戶選擇產生所有可能的報告時，所有的選項框將被自動選中。當選擇定製報告組時，用戶設定應該包括在定製組中的報告。也就是說，用戶從所有可能的報告中選擇應該生成的報告。
舉例說明，可以生成以下種類的報告a)監控網絡活動；b)監控網頁活動；c)監控文件傳輸協議(FTP)活動；d)監控終端活動；e)監控郵件活動；f)監控入侵活動；g)監控反病毒活動；h)監控網頁過濾器的活動；I)監控郵件過濾器活動；j)監控虛擬個人網絡(VPN)活動；及k)監控內容活動。以上列表只是示例，並不用於限制該發明的保護範圍。監控網絡的其他活動也在本發明的保護範圍之內。因此，如果以上所列舉的a到j類報告是所有可能生成的報告，當用戶選擇生成所有可能的報告時，將生成上述所有a到j類的報告。標準或基本的報告組可預先設定只包括從a到c類，還有f與g類報告。當用戶選擇定製組選項時，用戶可以選擇a到j類中的任何類報告。
在生成用戶定製報告組時，對於選擇的報告組中的每一項報告，用戶還可以指定1)根據日期與方向監控流量；2)按一周中的天與方向監控流量；3)按一天中的小時與方向監控流量等等。提供有默認設置，如，監控所有流入的流量。
用戶還可以創建一過濾日誌，類似於上述的過濾日誌創建。接下來，用戶可以指定日誌生成的時間如每天凌晨3點，與設定日誌輸出的格式。例如，可以設定文件或郵件輸出的格式。例如，可以文本、pdf、MS Word、HTML或其它的格式來存儲文件或發送郵件。此外，還指定了報告應該被發送到電子郵件地址。
為編輯現有的報告，提供有一菜單，該菜單包括報告的各種類別或特點如時間段、報告範圍、報告選擇、裝置、過濾器、時間表與輸出等。用戶可以通過選擇以上所列出的類別與特點對報告進行編輯。
根據本發明一示例性的、不作為限定的實施例的網絡分析器進一步包括可設置警告或警報。所述警告或警報用於監控某一特殊的事件或動作行為並且一旦此特殊事件或動作發生時就會以一預先設定的方式做出響應。在本發明一示例性的實施例中警報的設置包括識別要監控的裝置及設置報警觸發事件。首先，識別所要監控以報警的裝置。例如，如上所述有關報告，用戶可以指定所有裝置、一特殊組或類的裝置組、或僅僅是一單個裝置。其次，需要設置報警事件。報警事件是引發一個警報的觸發器或條件，如一觸發了發送一條警告通知到一具體裝置上的條件。同樣，可設置當被監控的事件發生時應該採取的行動或響應。
當用戶選中報警項目時，會顯示一個設定好的警告或警報列表。對於每一設置的報警事件，會顯示警報的名稱、所監控的裝置、觸發條件以及當事件或觸發條件發生的時候所採取的行為動作或響應。例如，一報警事件可以是一個事件日誌或一病毒，其行動或響應可以是給某一具體的人發送電子郵件。
可以實時添加或編輯報警事件，如圖14的示例所示。為在報警事件1410處添加報警事件，為設置報警事件用戶在選擇裝置項1420處選擇裝置。具體地，用戶可以使用箭頭項1423及1424從可供選擇的裝置列表1421中選擇需要裝置並將其置於選中的裝置列表1422中或撤銷選擇。用戶還可以指定一個或多個觸發條件1430。例如，用戶可以通過框1431選擇一事件，如事件日誌或真實性校驗日誌事件，用戶也可以在框1432中選擇嚴重性及在框1433中選擇生成級別。用戶也可以通過框1431、1432、1433及添加項1434添加新的事件並指定其嚴重性及級別。可顯示出已設置的觸發事件列表1435。用戶可以從觸發事件列表1435處選擇觸發事件及利用刪除項1436刪除。用戶也可以指定所採取的動作或響應1440。例如，用戶可以在框1441處選擇警報要發送的電子郵件地址或添加警報將要被發送的電子郵件地址，例如，在框1442中輸入郵件地址及選中添加項1443可以添加郵件地址。可列出設定的動作或響應列表1444。列表1444中可包括警報要發送到的郵件地址，如應該被通知到的目標郵件地址、源地址以及伺服器如Syslog-1與SNMP-2。同樣，用戶也可以使用刪除項1445對列表1444中的響應項目進行刪除。用戶還可以通過圖14所示的表格設置各種伺服器，如郵件伺服器，SNMP伺服器以及系統伺服器。因此，可以設置各種各樣警告或警報以在事件失敗、可能的病毒攻擊等情況下通知用戶。用戶可以通過用戶友好的對話框即時設置需要的警報。
根據本發明一示例性的實施例，一些網關裝置如防火牆或交換機選擇性地發送流量到日誌裝置上。根據如下規則中的一個或多個如源地址與目標地址，流量協議和埠號、以及預先設定的特徵(如，預先設定的特徵是否與一特殊流量會話相匹配)對流量進行過濾。用戶可實時設置過濾規則。過濾的數據存儲在存儲裝置中且另一裝置分析所述過濾的數據。例如，可以對存儲的數據執行各式各樣的搜索，可生成報告或設置警告或警報。
網關裝置與分析裝置可以只是設置在一裝置中的兩個計算部件，而存儲裝置是設置在所述裝置中的一單一存儲部件。網關部件把數據或數據包寫到存儲部件中。同時，分析部件可以對數據即時分類及分析，以為實時監控網絡流量提供一種有效的方法。
本發明上述的及其它的特性包括各種新穎的方法步驟、具有各種模塊的系統以及具有各種新穎部件的裝置，其都結合附圖進行了描述，並在權利要求書中指出。應該理解的是具體實施本發明的特殊流程及部件的結構僅作為示例提出，並不作為對本發明的限制。本發明還可有其它多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形，但這些相應的改變和變形都應屬於本發明所附的權利要求的保護範圍。
權利要求
1.一種管理網絡數據包的日誌裝置，其特徵在於，包括流量捕捉部件，用來接收網絡數據包，並通過篩選符合預先設定規則的數據包來過濾所述接收到的網絡數據包；存儲部件，用於存儲篩選出的網絡數據包；及分析部件，用於根據用戶指定的至少一個參數，組織存儲的網絡數據包；其中，所述流量捕捉部件、存儲部件及分析部件集成在一單一物理裝置中。
2.根據權利要求1所述的日誌裝置，其特徵在於，所述流量捕捉部件及分析部件中的每個包含至少一個處理器。
3.根據權利要求1所述的日誌裝置，其特徵在於，所述存儲部件包括多個獨立磁碟冗餘陣列硬碟及一獨立磁碟冗餘陣列控制器以確定流入的網絡數據包應存儲在哪個獨立磁碟冗餘陣列硬碟中。
4.根據權利要求3所述的日誌裝置，其特徵在於，所述存儲部件與所述流量捕捉部件及分析部件中的至少之一相連接；且，所述流量捕捉部件是防火牆、網關計算機與交換機中之一。
5.根據權利要求1所述的日誌裝置，其特徵在於，進一步包括顯示器與用戶界面；其中，所述用於過濾網絡數據包的預先設定的規則是通過所述用戶界面指定的；所述用來篩選網絡數據包的預先定義的規則包括指定的源地址、目標地址、協議、埠、以及符合具體流量會話的預先設定的特徵中的至少一個。
6.根據權利要求5所述的日誌裝置，其特徵在於，當用戶通過所述用戶界面輸入預先設定的規則時，所述流量捕捉部件根據所述接收到的用戶輸入自動及實時調整網絡數據包的篩選。
7.根據權利要求1所述的日誌裝置，其特徵在於，基於所述預先設定的規則進行數據包的篩選包括選擇那些其預先設定的特徵與一具體流量會話相匹配的網絡數據包。
8.根據權利要求1所述的日誌裝置，其特徵在於，基於所述預先設定的規則進行數據包的篩選包括選擇那些其預先設定的特徵與具體流量會話相匹配的網絡數據包；以及，所述預先定義的規則進一步包括指定至少一部分的所述網絡數據包存儲在所述存儲部件中。
9.根據權利要求1所述的日誌裝置，其特徵在於，所述分析部件從所述存儲的數據包中提供一與所述用戶指定的至少一個參數相匹配的數據包列表，該數據包列表至少包括以下內容之一選擇的出現在所述網絡數據包內容中的文字數字式字符；選擇的不出現在所述網絡數據包內容中的文字數字式字符；網絡協議；時間；日期；其中，所述分析部件為與所述用戶指定的至少一個參數相匹配的網絡數據包中的每一網絡數據包設置一安全級別指示。
10.根據權利要求1所述的日誌裝置，其特徵在於，所述分析部件根據用戶指定的參數生成至少一報告，所述參數至少包括以下之一生成所述至少一報告的時間段；指定的所述至少一報告涉及的至少一裝置；指定的所述至少一報告的排序；指定的報告類型。
11.根據權利要求10所述的日誌裝置，其特徵在於，所述報告類型包括所有報告，所述所有報告的一基本組，及一定製報告組，在定製報告組中用戶從所述所有的報告中選擇至少一個報告，其中，所述所有的報告包括網絡活動報告，網頁活動報告，文件傳輸協議報告，終端活動報告，郵件活動報告，入侵活動報告，反病毒活動報告，網頁過濾報告，郵件過濾報告，虛擬個人網絡活動報告，與內容活動報告；其中，為所述所有報告中的每個報告指定了時間段與數據包的傳輸方向。
12.根據權利要求11所述的日誌裝置，其特徵在於，所述用戶指定的至少一個參數進一步包括對報告輸出格式的指定。
13.根據權利要求1所述的日誌裝置中，其特徵在於，所述分析部件根據用戶指定的參數設置至少一個警報，所述參數包括指定至少一監控的裝置及指定觸發事件與響應。
14.根據權利要求13所述的日誌裝置，其特徵在於，所述觸發事件包括事件類型與等級水平，其中，所述響應包括告知伺服器或者給預先設定的目的地址發送郵件。
15.一種管理網絡數據包的日誌系統，其特徵在於，所述日誌系統包括接收網絡數據包的網關計算機，所述網關計算機設置用於根據如下原則對所述接收到的網絡數據包進行篩選，所述原則包括數據包的源地址，數據包的目標地址，數據包傳輸協議，埠的選擇，及一具體流量會話是否與數據包預先設定的特徵相匹配；存儲篩選出的數據包的存儲裝置；及根據用戶指定的參數組織所述存儲的網絡數據包的分析計算機。
16.根據權利要求15所述的日誌系統，其特徵在於，所述網關計算機是交換機與防火牆計算機的其中之一；所述存儲裝置包括多個獨立磁碟冗餘陣列硬碟，以及一獨立磁碟冗餘陣列控制器，用於確定流入的網絡數據包存儲到所述獨立磁碟冗餘陣列硬碟中的哪個硬碟；其中，所述存儲裝置與所述網關計算機及分析計算機中的至少一個相連接。
17.根據權利要求15所述的日誌系統，其特徵在於，所述用戶指定的參數至少包括以下內容之一關鍵字、排除用的關鍵字、網絡協議、時間日期及分析部件內容中出現的精確詞條；其中，所述分析部件示出與所述用戶指定參數相匹配的網絡數據包並指出所述示出的每個數據的安全級別。
18.根據權利要求15所述的日誌系統，其特徵在於，所述分析計算機根據用戶指定的參數生成至少一報告，所述用戶指定的參數包括所述至少一報告生成的時間段；對所述至少一報告涉及的至少一裝置的指定；對所述至少一報告的排序進行指定；對報告類型的指定。
19.根據權利要求18所述的日誌系統，其特徵在於，所述報告類型包括所有報告，所述所有報告的一基本組，及一用戶定製報告組，在定製報告組中用戶從所述所有報告中選擇至少一個報告；其中，所述所有的報告包括網絡活動報告，網頁活動報告，文件傳輸協議報告，終端活動報告，郵件活動報告，入侵活動報告，反病毒活動報告，網頁過濾報告，郵件過濾報告，虛擬個人網絡活動報告，及內容活動報告；其中，為所述所有報告中的每個報告指定了時間段與網絡數據包的方向。
20.根據權利要求19所述的日誌系統，其特徵在於，所述用戶指定的參數進一步包括對報告輸出格式的指定。
21.根據權利要求15所述的日誌系統，其特徵在於，裝置所述分析計算機根據用戶指定的參數設置至少一警報，所述參數包括指定至少一監控的裝置，指定一觸發事件及響應。
22.根據權利要求21所述的日誌系統，其特徵在於，所述觸發事件包括事件類型及等級水平；其中，所述響應包括告知伺服器或者給預先設定的目的地址發送郵件。
23.根據權利要求15所述的日誌系統，其特徵在於，所述網關計算機設置用於根據用戶輸入來篩選所述接收到的數據包，其中，所述的用戶輸入至少包括如下內容之網絡數據包的源地址，網絡數據包的目標地址，網絡數據包的傳輸協議，埠的選擇及預先設定的特徵；其中，當接收到用戶的輸入時，網關計算機根據用戶輸入實時調整篩選的規則。
24.一種管理網絡數據包的方法，其特徵在於，包括在網關處，從多種數據源接收網絡數據包；從所述接收到的網絡數據包中篩選網絡數據包；及把所述篩選出的網絡數據包保存在存儲裝置中，其中，所述網關設置用於根據網絡數據包的源地址及網絡數據包的目標地址，根據網絡數據包的協議，根據指定的埠，和/或根據一特殊的流量會話是否與一預先設定的特徵相匹配來篩選數據包。
25.根據權利要求24所述的方法，其特徵在於，進一步包括分析所述存儲的網絡數據包，其中，所述分析包括為所述存儲的數據包建立索引。
26.根據權利要求24所述的方法，其特徵在於，進一步包括根據用戶提供的規則分析所述存儲的網絡數據包的步驟；其中，所述分析包括在存儲的數據包中進行搜索與瀏覽，複製所述存儲的網絡數據包的原始內容，根據用戶提供的規則生成網絡流量報告，和/或根據用戶提供的規則設置報警。
27.根據權利要求24所述的方法，其特徵在於，所述用於通過網關篩選網絡數據包的參數是用戶指定的。
全文摘要
本發明公開了一種用於管理網絡數據包的日誌裝置、系統與方法。所述日誌裝置包括一流量捕捉部件，用於接收數據包並根據預先設定的規則篩選一些網絡數據包以對所述網絡數據包進行過濾。該日誌裝置還包括用來存儲所篩選出的網絡數據包的存儲裝置以及用於根據用戶指定的參數組織存儲的數據包的分析部件。所述流量捕捉部件、存儲部件以及分析部件集成在一單一的物理裝置中，使用戶能夠實時監控實時網絡流量。所述流量捕捉部件根據網絡數據包的源地址與目標地址，傳輸協議，指定的埠以及一具體的流量會話是否與預先設定的特徵相匹配來篩選所述網絡數據包。
文檔編號H04L12/26GK1925423SQ200610000969
公開日2007年3月7日 申請日期2006年1月16日 優先權日2005年8月30日
發明者謝青, 謝華, 謝冰 申請人:飛塔信息科技(北京)有限公司