一種深度報文檢測方法及設備的製作方法
2023-05-03 08:49:36 1
專利名稱：一種深度報文檢測方法及設備的製作方法
技術領域：
本發明涉及通信技術領域，具體地說更涉及一種深度報文檢測方法及設備。
背景技術：
DPI (深度報文檢測，De印Packet Inspection)是指對TCP/IP包超出報文頭部的部分進行多維分析，包括報文數據分析、流分析和應用行為分析等等。相對於深度報文檢測，傳統的「淺度」包檢測只能夠識別IP位址、IP數據段長度、TCP流系列號等網絡協議報頭數據。而深度報文檢測則通過對應用層的協議數據進行分析，可以檢測到一個IP數據段所屬的應用，比如網頁瀏覽，並由此觸發針對應用的動作。但對於應用的內容(比如一個網頁的內容)的高效分析，現有深度報文檢測技術中尚不能很好的解決，原因如下首先，現有的深度報文檢測方法，其數據挖掘的操作通常對不同的報文特徵組合採取不同的動作，或僅僅對特定的報文特徵組合採取一定的動作。這裡所述的報文特徵組合可以包括源IP位址，目的IP位址，源埠號，目的埠號，報文長度，應用層協議(如 HTTP)參數內容等等。而由於一個特徵組合中任意一個特徵的不同取值就意味著不同的數據挖掘操作(如收集或忽略)，現有深度報文檢測方法需要針對一個特徵集合中每個特徵在一個報文中的取值進行逐個比較分析，最終判斷對此報文應該採取什麼樣的操作，這樣的串行判斷引入了額外的處理時延開銷。如果將該數據挖掘方法應用於一個高負載網絡的網關或交換機中，這些額外的處理時延開銷將在此網關或交換機中造成擁塞，從而導致掉包或數據丟失。另外，現有的深度報文檢測在獲得一個報文從MAC層到應用層的多個特徵參數的取值後，對這些特徵值的集合進行精確判斷，並據此觸發相應的數據挖掘操作，比如對{源 IP位址，埠號}為{192.168.0.1,123}的報文執行路由重定向操作。而由於報文的數據通常並不存在一個精確的指標(比如一個網頁的內容)供深度報文檢測進行精確判斷，因此，現有深度報文檢測技術對報文的處理範疇只能最多深入到應用層的協議參數，這就大為限制了深度報文檢測的應用範圍。
發明內容
本發明實施例的目的是為了克服目前深度報文檢測技術的不足，從而提出另一種深度報文檢測方法及設備，以將深度報文檢測的內容擴展到報文應用層數據，並提高報文檢測的效率，降低報文檢測的時延，防止包丟失或數據丟失。為了達到上述發明目的，本發明實施例提出的一種深度報文檢測方法是通過以下技術方案實現的一種深度報文檢測方法，所述方法包括以報文所攜帶的應用數據為輸入，計算得出所述報文的指紋，並與一個預設的指紋進行漢明距離比較，得到模糊判斷的結果；
同時以所述報文頭部及應用層協議參數的特徵集合，計算獲得所述報文的哈希值，並與一個預設的特徵值進行比較，得到精確判斷的結果；分別根據所述模糊判斷和精確判斷的結果，和預先設定的數據規則，進行相應的數據挖掘操作。為了實現前述發明目的，本發明實施例還提出了一種深度報文檢測設備，所述深度報文檢測設備是通過以下的技術方案實現的一種深度報文檢測設備，所述設備包括交換平面，用於將從網口收到的報文轉發給應用識別模塊處理；應用識別模塊，用於接收所述報文，並對所述報文進行運用分類，並按照預先配置的識別規則，將需要深度檢測的報文，轉發給模糊並行判斷模塊；模糊並行判斷模塊，用於處理來自應用識別模塊的報文，對報文頭部或應用層協議參數進行hash計算，並從報文的應用數據中提取報文指紋，並將提取到的特徵組合與一個預設的特徵組合併行進行精確判斷和模糊判斷；數據規則表，用於存儲所述精確判斷和模糊判斷的結果的不同組合所對應的數據挖掘操作。本發明實施例通過提供一種深度報文檢測方法及設備，進行高效的深度報文檢測，實現對流經該設備的、屬於特定應用的網絡報文數據進行模糊並行判斷，並根據判斷結果執行複製，重定向，分析，統計，修改等數據挖掘相關操作。相比於現有的深度報文檢測技術，本發明實施例將深度報文檢測的覆蓋範圍擴展到報文的應用數據，並進行數據相似度比較，進行高效的模糊判斷並根據判斷結果執行相應的數據挖掘操作；另外，並行進行對報文頭部的多維分析以及報文內容的模糊判斷，從而顯著降低了對IP報文進行深度報文檢測所需要的延時。
通過下面結合附圖對其示例性實施例進行的描述，本發明上述特徵和優點將會變得更加清楚和容易理解。圖1為本發明實施例一種深度報文檢測方法流程圖；圖2為本發明實施例深度報文檢測模糊判斷和精確判斷的實施示意圖；圖3為本發明實施例一種深度報文檢測設備的示意圖；圖4為本發明實施例另一種深度報文檢測設備的組成示意圖；圖5為本發明實施例深度報文檢測設備應用時鐘同步的實施示意圖。
具體實施例方式下面結合附圖對本發明作進一步詳細說明。如圖1所示，為本發明實施例一種深度報文檢測方法，所述方法包括S101.以報文所攜帶的應用數據為輸入，計算得出所述報文的指紋，並與一個預設的指紋進行漢明距離比較，得到模糊判斷的結果；S102.同時以報文頭部及應用層協議參數的特徵集合，計算獲得所述報文的哈希值，並與一個預設的值進行比較，得到精確判斷的結果；
4
S103.分別根據所述模糊判斷和精確判斷的結果，和預先設定的數據規則，進行相應的數據挖掘操作。如圖2所示，作為本發明的一種實施方式，本發明實施例所揭示的模糊並行判斷的深度報文檢測方法利用現有的文本相似度比較技術，比如simhash[l][2]或 shingling[3]技術，以一個報文所攜帶的應用數據為輸入，計算提取一個報文指紋，並與一個預設的指紋進行漢明距離比較，從而實現模糊判斷。而對於報文頭部及應用層協議參數的特徵集合則採取普通的哈希(Hash)算法計算，獲得一個哈希值，並也與一個預設的值進行比較，實現精確判斷。這樣，多個特徵參數的計算比較(精確判斷)與多個字節的報文內容的相似度比較(模糊判斷)同時進行，從而實現並行判斷。具體說來，本發明實施例提出的基於模糊並行判斷的深度報文檢測方法的關鍵步驟如下1、預先設定一個特徵組合作為執行某次數據挖掘操作的比較標準，比如報文IP 地址為192. 168.0. 1，報文內容接近於」 She is nice」;2、對預設的特徵組合分別進行Hash和Simhash (或類似的算法)操作，獲得特徵值ho和f0。其中ho用來作為精確判斷(比如」報文IP位址為192.168.0.1」)的比較標準。f0作為模糊判斷的比較標準，比如對於任何與f0的漢明距離(Hamming Distance)小於等於3的報文指紋，其代表的報文內容都視為接近於」She is nice」，其中，漢明距離可以靈活根據實際應用設置，並不限於3 ；3、對每個輸入的報文進行跟步驟2類似的哈希算法計算，得出輸入報文的特徵值 hi 禾口 η ；4、將從每個輸入報文上所產生的對應特徵值組合與預設的特徵組合併行進行精確判斷(即對hl，h0進行簡單的大於，小於，等於等邏輯判斷)和模糊判斷(即對fl，f0進行求漢明距離計算-HD(fl，f0))5、根據判斷結果實現不同的數據挖掘操作。如圖2所示，對輸入報文N-I進行並行的精確和模糊判斷後所對應的為數據挖掘操作1 ；而對輸入報文N，由於其報文指紋fl相對於預設特徵指紋的漢明距離大於3，進行並行的精確和模糊判斷後所對應的為數據挖掘操作2。作為模糊判斷的判斷標準，漢明距離代表的是一個可根據具體應用改變的指標， 圖2中的HD(fl，f0) 202的單向報文傳播延時測量， 支持限定時間間隔的對同一報文的數據挖掘操作，或者根據上一次操作的類型和發生的時間，確定在當前時間所要進行的操作。另外，本發明實施例還可以運用在網絡防火牆，網絡入侵檢測，網絡單向延時測量，網際網路用戶行為分析系統，網際網路應用識別及數據統計分析等領域中，以實現網絡報文的應用分析，提高報文轉發效率。本發明所屬領域的一般技術人員可以理解，本發明以上實施例僅為本發明的優選實施例之一，為篇幅限制，這裡不能逐一列舉所有實施方式，任何可以體現本發明權利要求技術方案的實施，都在本發明的保護範圍內。需要注意的是，以上內容是結合具體的實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施方式
僅限於此，在本發明的上述指導下，本領域技術人員可以在上述實施例的基礎上進行各種改進和變形，而這些改進或者變形落在本發明的保護範圍內。
權利要求
1.一種深度報文檢測方法，其特徵在於，所述方法包括以報文所攜帶的應用數據為輸入，計算得出所述報文的指紋，並與一個預設的指紋進行漢明距離比較，得到模糊判斷的結果；同時以所述報文頭部及應用層協議參數的特徵集合，計算獲得所述報文的哈希值，並與一個預設的特徵值進行比較，得到精確判斷的結果；分別根據所述模糊判斷和精確判斷的結果，和預先設定的數據規則，進行相應的數據挖掘操作。
2.如權利要求1所述的方法，其特徵在於，所述方法還包括對所述的應用數據進行Simhash計算，獲得報文指紋，並與所述由報文頭部及應用層協議參數計算而來的哈希值作為一個特徵組合，作為執行數據挖掘操作的判斷依據。
3.如權利要求2所述的方法，其特徵在於，所述漢明距離根據應用報文的內容相似度設置。
4.如權利要求3所述的方法，其特徵在於，所述預先設定的數據規則存儲於一數據規則表中，所述數據規則表存儲所述精確判斷和模糊判斷的結果的不同組合所對應的不同數據挖掘操作。
5.如權利要求1至4任意一項所述的方法，其特徵在於，所述報文包括同步時鐘報文， 所述同步時鐘報文用來同步本地時間，並根據所述同步時鐘報文的模糊判斷和精確判斷的結果，進行與時間相關的預定操作。
6.如權利要求5所述的方法，其特徵在於，所述同步本地時間具體包括利用一時鐘同步模塊，與網絡中的IEEE1588主時鐘根據IEEE1588協議通過所述時鐘同步報文進行本地時間的同步。
7.一種深度報文檢測設備，其特徵在於，所述設備包括交換平面，用於將從網口收到的報文轉發給應用識別模塊處理；應用識別模塊，用於接收所述報文，並對所述報文進行運用分類，並按照預先配置的識別規則，將需要深度檢測的報文，轉發給模糊並行判斷模塊；模糊並行判斷模塊，用於處理來自應用識別模塊的報文，對報文頭部或應用層協議參數進行hash計算，並從報文的應用數據中提取報文指紋，並將提取到的特徵組合與一個預設的特徵組合併行進行精確判斷和模糊判斷；數據規則表，用於存儲所述精確判斷和模糊判斷的結果的不同組合所對應的數據挖掘操作。
8.如權利要求7所述的設備，其特徵在於，所述設備還包括主控模塊，用於自定義或實時配置所述識別規則，並行模糊判斷的預設特徵組合，數據規則表及其映射的數據挖掘操作。
9.如權利要求8所述的設備，其特徵在於，所述設備還包括數據挖掘操作模塊，用於執行數據規則表所輸出的數據挖掘操作。
10.如權利要求7至9任意一項所述的設備，其特徵在於，所述設備還包括時鐘同步模塊，用來與網絡中的IEEE1588主時鐘根據IEEE1588協議通過所述報文進行本地時間的同步，為所述數據挖掘操作模塊提供時間戳，其中，所述報文為時鐘同步報文。
全文摘要
本發明實施例公開了一種深度報文檢測方法及設備，用於網絡通信和數據挖掘領域，所述方法包括以報文所攜帶的應用數據為輸入，計算得出所述報文的指紋，並與一個預設的指紋進行漢明距離比較，得到模糊判斷的結果；同時以報文頭部及應用層協議參數的特徵集合，計算獲得所述報文的哈希值，並與一個預設的特徵值進行比較，得到精確判斷的結果；分別根據所述模糊判斷和精確判斷的結果，和預先設定的數據規則，進行相應的數據挖掘操作。通過本發明實施例，實現將深度報文檢測的覆蓋範圍擴展到報文應用層數據，實現模糊判斷，並提高報文檢測的效率，降低報文檢測的時延，防止包丟失或數據丟失。
文檔編號H04L12/26GK102413007SQ20111030757
公開日2012年4月11日 申請日期2011年10月12日 優先權日2011年10月12日
發明者李卓群 申請人:上海奇微通訊技術有限公司