適用於監測數據網絡數據流的數據採集裝置的製作方法

2023-06-04 04:51:26

專利名稱：適用於監測數據網絡數據流的數據採集裝置的製作方法
適用於監測數據網絡數據流的數據採集裝置本發明涉及用於監測數據網絡中的通信數據流的技術。在監測諸如網際網路之類的數據網絡中的數據流的情況下，設備面臨著使用大量協議和數據傳送量以及發送機/接收機多樣性的問題。目前，有兩類實施這種數據流監測的裝置。第一類裝置收集在指定時間周期內的數據包組，然後在下一步驟中，分析和處理所收集到的數據包。這類裝置的實例是Wireshark品牌(前身為Ethereal品牌)所發布的軟體。第二類裝置運用硬體機制獲取數據，然後傳送至分析裝置。通常，在獲取和分析裝置之間所傳送信息是基於在參考RFC3917的IETF(Internet Engineering Task Force、網際網路任務組)提出的標準化IPFIX協議。在「應用層協議語法結合異常監測」(詳見Information Systems Security,Springer, pp.188-202, December 2008, P.Diissel et al.) 一文討論了應用層協議語法結合監測遠程通信網絡中的異常現象的過程。一個稱之為「Βι.ο」的入侵檢測系統獲取在網絡中的數據包並且重新組裝TCP分段，以便將輸入的數據包傳送至一種稱之為「binpac」的語法分析器語言(yacc)的協議分 析器。申請者已經開發了適用於網際網路類型的網絡監測技術。尤其是，在專利申請書EPl7222509 Al和EPl 722 508 Al中描述了多層次構架，它能實時檢查複雜協議棧以便從中提取數據流的，即在發送機和接收機之間傳送的結構性數據組。鑑於在數據採集器層面需要處理的信息量，後者必須限制於只執行對傳送相關信息絕對必要的處理過程，並且也僅僅只傳送那些信息到分析器。有一些解決方案只將需要處理操作的數據下載至採集器，允許傳送結構性的相關信息。然而，考慮到數據採集器實時監測的信息量，這些方案都需要開發高性能的硬體架構。其它類型的解決方案限制了數據採集器實施的處理，使之只能傳送非結構性的數據，包括冗餘和/或不必要的數據，這會導致對分析器層面及其與數據採集器接口的其它限制。有些其它解決方案可能包含在分析器層面執行延期處理。儘管如此，這會導致執行監測數據流應用的反映能力下降。因此，提出了一種數據採集技術，有利的是，它有可能在限制處理所採集和編輯這些數據所需硬體資源的同時，只將結構性的相關數據傳送至分析器。根據本發明，提出了一種數據採集裝置，其適用於監測使用數據包傳輸模式的數據網絡的數據流。該裝置包含: 數據提取器，用於提取在屬於發送機、接收機和協議所定義數據流的數據包中所包含的數據； 語法分析器，用於:-實時接收來自提取器的數據；
-將所接收到的數據根據所述協議的語法規則分拆成單元，該語法規則有可能使得所述元素可由樹狀結構來表徵；以及，-將各個樹狀狀態指示器與至少一些所述單元相關聯，其中這些與單元相關聯的樹狀狀態指示器標記在樹狀結構中的所述單元；以及， 接口，用於將樹狀狀態指示器以及與其相關聯的單元一起傳送至數據流分析器。在裝置的實施例中，與單元相關聯的樹狀狀態指示器包含樹狀結構母節點的標識符，其附加接收在樹狀結構表徵中的所述單元的位置。語法分析器用於:-如確定根據語法 規則接收到當前元素，該元素在樹狀接收表徵中的樹狀結構節點的合適位置上，則將節點標識符分配給當前元素；以及，-包括分配給與所述當前元素相關的樹狀狀態指示器中的當前元素的節點標識符。在優選的實施例中，語法分析器用於，對於在元素及其相關的樹狀狀態指示器傳送之後的給定數據流而言包含於存儲器中，僅僅只在樹狀結構從樹狀結構表徵中接收所述元素的位置向上移動時才會遇到各個節點標識符。本發明的另一個方面涉及用於監測使用數據包傳輸模式的數據網絡中的數據流的系統。該系統包含上述定義的數據採集裝置和用於接收已傳送與樹狀狀態指示器相關的元素的數據流分析器。本發明的另外一方面還涉及監測使用數據包傳送模式的數據網絡中的數據流的方法。該方法包含: 提取屬於發送器、接收器和協議所定義數據流的數據包所包含的數據； 實時將所接收到的數據根據所述協議的語法規則分拆成單元，使之有可能根據樹狀結構來表徵所述元素； 將各個樹狀狀態指示器與至少一些所述單元相關聯，其中與單元相關聯的樹狀狀態指示器標記在樹狀結構中的所述單元；以及， 將樹狀狀態指示器及與其相關聯的單元一起傳送至數據流分析器。該方法還可包含，由所發送的與樹狀狀態指示器相關聯的元素，在數據流分析器層面，構成樹狀結構的至少部分結構。本發明的其它特徵和優點將從參考附圖的下述非限制性實例的描述中變得更加明晰。附圖包括:-

圖1是根據本發明實施例在數據網絡中的監測系統的示意圖；-圖2是圖1所示監測系統的數據採集裝置的功能示意圖；-圖3是圖2所示的採集裝置的操作流程圖；-圖4是根據發明實施例將HTTP(超文本傳輸協議)請求分拆成動態樹狀的實例說明；以及；-圖5示出了在郵件協議下的樹狀結構的實例。參考圖1，監測系統包含直接與數據網絡3 (例如網際網路)相連接的數據採集器1，使用IP(「網際網路協議」)數據包類型協議來獲取流經該網絡的數據包。數據採集器I使用例如專利申請EPl 722 509A1或專利申請EPl 722 508A1所詳細闡述的架構。它通過數據連接5將從流過數據網絡3的數據包中提取的結構數據發送至分析器7。數據網絡3的數據傳輸通常使用傳輸協議棧。比如說，在網站搜索時，IP數據包包含TCP(傳輸控制協議)協議數據結構，該數據結構自身包含HTTP(超文本傳輸協議)數據結構。在電子郵件傳送時，TCP數據結構包含SMTP(簡單郵件傳輸協議)數據結構，等等。根據所考慮到的數據流類型，使用許多其它應用層和傳輸層的協議，這些都是在IP網絡通信領域中眾所周知的。在單個IP數據包中幾乎不包含在給定數據流中的信息。相反地，該信息是分片的，以便通過幾個連續的數據包來傳送。這些IP數據包在網絡中流動，數據包的包頭包含路由信息，尤其是數據包來源和目的的IP位址。屬於其它數據流的數據包可插入其中。這些數據包可以在數據網絡中以不同的路由方式流動並且/或者可以它們發送的不同順序來接收。為了監測給定數據流，方便的方法是鑑別屬於所討論數據流的數據包、從中提取相關信息並且根據所討論的監測應用要求來進行分析。在圖1所示的架構中，鑑別和提取由數據採集器I來提供，監測應用本身由分析器7來執行。參考圖2，數據採集器I包括連接著網絡3的節點或鏈路的數據提取器11，以便觀察流量。數據提取器11有用於在提取器連接節點或鏈路層級上，由網絡3所使用的低協議層的網絡接口。它提取在屬於發送器、接收器和協議(例如傳輸電子郵件時的SMTP，網絡瀏覽時的HTTP等)所定義的指定數據流中的數據包所包含的數據。數據採集器I還包括語法分析器13，用於實時接收由提取器11從給定數據流中提取到的數據。語法分析器13擁 有組合與討論數據流的相關協議的語法規則的軟體資源。它將從數據流中提取出來的數據分拆成單元，以數據協議語法來表示，也稱之為項目。於是，將所獲得的單元提供給接口 15，由接口負責把它們及其樹狀狀態指示器一起傳送至外部分析器7。根據適用於協議的語法規則，語法分析器13將數據流數據分拆成單元，使之有可能根據樹狀結構來表徵這些單元。實際上，在數據採集器I層面，並非以完整的形式來存儲樹狀結構。而是根據應用需要，由結構數據分析器7重新構架的。數據採集器I僅僅只存儲樹狀狀態，其指示器分別與語法分析器13進行分拆所產生的單元相關聯。與單元相關聯的樹狀結構指示器標記在樹狀結構中的該元素，使得結構數據分析器7將其定位於監測的數據流中。「樹」意指一種數據結構，其圖論意義是包含根數據項和個子數據，使得子數據項僅僅只連結著單個的更高層次的母數據項。連結著子數據項的數據項稱之為樹節點，沒有子數據項的數據項稱之為樹葉。因此，樹狀結構是一種沒有循環的圖形。圖3圖示說明了數據採集器I的一般操作過程。在配置步驟21中，提供提取器11所需的參數，具體為:-用於監測數據流的相關發送機、接收機和協議；-將被提取的數據類型的指示(所有數據，僅是某種特定信息，符合配置情況的數據，等等)。在一個簡單的配置中，提取數據流中的所有數據，在分析器7層面進行任何濾除。需要說明的是，只提取特定的數據類型，有可能可選擇性地減少採集器I上的負載以及通過連結5傳送的信息量。
-鑑別語法分析器13處理所討論的數據流的實例，因為在實踐中，提取器11和分析器13可同時檢測幾個數據流。在步驟23中，提取器11監測通過網絡3發送的數據包。為此，使用例如專利申請WO 2004/017595 A2中所描述的識別及協議分析方法。於是，在步驟25中，就能提取屬於配置協議的數據並從指定的發送機傳送至指定的接收機，並實時地將這些數據發送至數據分析器13。為了闡述語法分析器13在圖3所示分拆步驟27中的功能，考慮在指定發送機和接收機之間HTTP協議兼容數據流的特殊情況。在該說明實例中，提取器11分析數據包並在刪除數據頭後從兩個連續的數據包中提取數據，信息如表I中所示。
權利要求
1.適用於監測使用數據包傳輸模式的數據網絡(3)中的數據流的數據採集裝置，該裝置包括: 數據提取器(11)，用於提取屬於發送機、接收機和協議所定義數據流的數據包中的數據； 籲語法分析器(13)，用於: -實時接收來自提取器的數據； -根據所述協議語法規則將所接收到的數據分拆成單元，語法規則使之有可能將所述元素以樹狀結構來表示；以及， -將各個樹狀狀態指示器與至少一些所述單元相關聯，這些與單元相關聯的樹狀狀態指示器在樹狀結構中標記所述單元；以及， 接口(15)，用於將樹狀狀態指示器連同與其相關聯的單元一起發送至數據流分析器⑵。
2.根據權利要求1所述的裝置，其特徵在於，所述與單元相關聯的樹狀結構指示器包含樹狀結構母節點的標識符，其附加在樹狀結構表徵的接收所述單元的位置。
3.根據權利要求2所述的裝置，其特徵在於，所述語法分析器(13)還用於: -如若確定根據語法規則已經接收到在樹結構表徵中處於樹狀結構的節點合適位置上的當前元素，則將節點標識符分配給當前元素；以及， -包括，分配給在樹狀狀態標識符，與當前元素相關聯的當前元素的節點標識符。
4.根據權利要求3所述的裝置，其特徵在於，所述語法分析器(13)用於僅僅只在存儲器中存儲，對發送單元及其相關聯的樹狀狀態指示器後的給定數據流，各個節點標識符只在將樹狀結構從接收樹狀結構表徵中的所述單元的位置向上移動時才會遇到。
5.適用於監測使用數據包傳輸模式的數據網絡(3)中的數據流的系統，所述系統包含根據上述權利要求任一所述的數據採集器(I)和用於接收已經發送的與樹狀狀態指示器關聯的數據的數據流分析器(7)。
6.根據權利要求5所述的系統，其特徵在於，所述數據分析器(7)用於從已經發送單元與相關聯的樹狀狀態指示器中構架樹結構的至少一部分。
7.用於監測使用數據包傳輸模式的數據網絡(3)中的數據流的方法，所述方法包含: 提取(25)屬於發送機、接收機和協議所定義數據流的數據包中的數據； 籲實時將所接收到的數據根據所述協議的語法規則分拆(27)成單元，該語法規則使得所述元素有可能由樹狀結構來表徵； 將各個樹狀狀態指示器與至少一些所述單元相關聯(29)，其中與單元相關聯的樹狀狀態指示器標記在樹狀結構中的所述單元；以及， 將樹狀狀態指示器連同與其相關聯的單元一起傳送(31)至數據流分析器(7)。
8.根據權利要求7所述的方法，其特徵在於，所述與單元相關聯的樹狀狀態指示器包含樹狀結構母節點的標識符，其附加在樹狀結構表徵的接收所述單元的位置。
9.根據權利要求8所述的方法，還包含: 如若根據語法規則確定已經接收到在樹結構表徵中處於樹結構節點合適位置上的當前元素，則將節點標識符分配給當前元素；以及， -包括在當前元素相關聯的樹狀狀態指示器中，分配給當前元素的節點標識符。
10.根據權利要求9所述的方法，其特徵在於，對於在單元與其相關聯的樹狀狀態指示器傳送後的給定的數據流，除了各個節點標識符只在將樹狀結構從接收樹狀結構表徵中的所述單元的位置向上移動才會遇到，將沒有任何保留。
11.根據權利要求7至10任一項所述的方法，還包括在數據流分析器層(7)面由已發送與樹狀狀態指示器來構 架至少一部分樹狀結構。
全文摘要
此發明與在數據網絡中採用數據包傳輸模式監測數據流的數據採集器相關，包括用於提取數據的提取器，這些被提取的數據包含在由一個發送器、接收器和協議定義的數據流中的數據包裡。此採集器同時包含從提取器中實時接收數據並且根據協議語法規則分拆數據至單元的語法分析器，上述語法規則使單元用樹狀結構表徵。語法分析器將單獨的樹狀分析器與至少一些單元結合，在此中，與一個單元相結合的樹狀狀態分析器把上述單元放入樹狀結構當中。一個接口將與單元相結合的樹狀狀態指示器發送至採集器外部的一個數據流分析器。
文檔編號H04L12/26GK103222232SQ201180039637
公開日2013年7月24日 申請日期2011年4月14日 優先權日2010年6月23日
發明者傑羅米·託萊特, 傑羅米·阿貝拉 申請人:QoSMOS公司