一種在網絡設備上提取流量攻擊報文特徵的方法和單元的製作方法

2023-07-18 22:48:16 2

專利名稱：一種在網絡設備上提取流量攻擊報文特徵的方法和單元的製作方法
技術領域：
本發明涉及網絡設備的安全保護，具體涉及一種在網絡設備上提取流量 攻擊報文特徵的方法和單元。
背景技術：
網絡系統中的網絡設備，常見的如交換機、路由器等，它負責網絡^Jl 的轉發，是網絡系統中的關鍵網絡設備。但這些設備經常遭受到流量攻擊。
拒絕服務攻擊(Denial of Service,簡稱為DoS)和分布式拒絕服務攻擊 (Distributed Denial of Service,簡稱DDoS )為最常見的流量攻擊技術。拒絕 服務攻擊是指攻擊者使用合理的服務請求來佔用被攻擊方過多的服務資源， 從而使合法用戶無法得到服務的響應。分布式拒絕服務攻擊是一種從多個攻 擊點同時對同一個目標進行DoS攻擊的群體行為。當前，多數分布式拒絕服 務攻擊都是由殭屍網絡發起，它們協同作戰，採取多對一才莫式來攻擊網絡目 標，以達到它們的經濟利益目標。近年來，拒絕服務攻擊特別是分布式拒絕 服務攻擊正呈現出愈演愈烈的趨勢，對該類攻擊流量進行控制具有非常重要 的意義。但由於拒絕服務攻擊和分布式拒絕服務攻擊過程中所發送的報文都 具有合法格式，並且具有多變性，無法通過傳統入侵檢測中預先提取的攻擊 特徵來進行防禦， 一般需要在實時狀態下動態提取。
中國專利"CN1282331C"中描述了 一種應用於通信數據轉發設備上的流 量控制技術，它通過監視各接收埠的流量來發現異常流量，提取網絡流量 中最頻繁出現的數據包包長和IP位址作為異常流量主要特徵。該流量控制方 法中所述的異常流量特徵提取方法只能對定長短包類型異常流量進行特徵提 取，無法對那些變化多端特別是那些偽造了源IP位址的異常流量進行特徵提 取。中國專利"200510069473.8"公布了一種流量攻擊網絡設備的報文特徵 檢測方法，該方法統計所處理的報文中各報頭欄位的固定取值出現頻率，選取那些出現頻率超過攻擊閾值的報文欄位值作為攻擊報文特徵。該流量攻擊 特徵檢測方法只依靠單個報文欄位值來描述流量攻擊報文特徵，具有片面性，
如果依此來執行流量控制，則可能導致誤殺。軟體學報2006年第17巻第2 期期刊論文發表了一篇題為"基於特徵聚類的路由器異常流量過濾算法"文 章，該文章介紹了一種可用於路由器上的異常流量過濾算法，它通過檢查輸 入埠是否超過預定閾值來檢測異常流量，通過增量聚類算法從抽樣的攻擊 報文中提取出現頻率最高的單個報文欄位值作為異常流量才艮文特徵。該論文 中所述的流量特徵提取方法同樣具有片面性。

發明內容
本發明要解決的技術問題是提供一種在網絡設備上提取流量攻擊報文特 徵的方法和單元，克服了流量特徵提取方法的片面性，並且能夠精確過濾， 避免誤殺，保障合法網絡流量的正常通過。
為了解決上述問題，本發明提供了一種在網絡設備上提取流量攻擊報文 特徵的方法，包括
選定需要提取報文特徵的、作為攻擊流量類型的網糾艮文類型；
以選定類型報文的報頭欄位為項，在接收到的選定類型的網絡報文中， 找到所有滿足最小支持度的頻繁項目集；
對所找到的所有頻繁項目集先按照元數降序排序，再對元數相同的頻繁 項目集按照支持度降序排序；從排序後的頻繁項目集裡，依次選取一組滿足 報文過濾比例閾值的頻繁項目集的最小集合為選定類型報文的攻擊報文特 徵。
進一步的，所述的方法具體包括以下步驟
a、 選定需要提取報文特徵的、作為攻擊流量類型的網絡報文類型，並構 建一個攻擊報文抽樣緩沖區；
b、 在檢測周期內對所述網絡設備的特定接收埠接收的選定類型報文進 行抽樣，並存儲到報文抽樣緩沖區；
c、 以選定網絡報文類型的報頭欄位為項，對報文抽樣緩衝區中的網絡報文進行頻繁項目集挖掘，找到所有滿足最小支持度的頻繁項目集；
d、對所找到的所有頻繁項目集先按照元數降序排序，再對元數相同的頻 繁項目集按照支持度降序排序；從排序後的頻繁項目集裡，依次選取一組滿 足預先設定的報文過濾比例閾值的頻繁項目集最小集為所選類型網絡報文的 報文攻擊特徵。
進一步的，所述步驟a中
構建的報文抽樣緩衝區為循環緩衝區，允許容納的最大報文數量是固定 的，當要存儲的網絡報文數量超過最大報文容量時，最先進入的網糾艮文將 被覆蓋。
進一步的，所述步驟b中
僅將抽樣的網絡報文報頭存儲到報文抽樣緩沖區。
進一步的，所述步驟a和步驟b之間具體還包括
abl 、統計一個統計時間段內網絡設備各接收埠的選定類型報文到達速
率；
ab2、統計時間段結束後，判斷是否存在某一接收埠的選定類型報文到 達速率超過檢測閾值，存在則啟動檢測周期的計時，執行步驟b;否則返回 abl;
步驟b中的特定接收埠是指選定類型報文到達速率超過檢測閣值的 接收埠 。
進一步的，步驟b中
報文抽樣頻率為最後一個統計時間段內所述特定接收埠所接收到的選 定類型報文數量，除以報文緩沖區最大報文容量所得到的商。
進一步的，所述步驟c具體包括
cl、以選定類型的網絡報文的各報頭欄位為項，針對W艮頭欄位值分別 提取出滿足預設的最小支持度的、元數為一的獨元頻繁項目集，將獨元頻繁 項目集設置為當前頻繁項目集；
c2、從當前頻繁項目集出發，採用拼接和剪枝方法生成元數增一的候選頻繁項目集；
c3、基於報文抽樣緩沖區中的網糾艮文統計各候選頻繁項目集的支持度， 選擇所有滿足最小支持度的候選頻繁項目集為所求的元數增一的頻繁項目
集，並設置當前頻繁項目集為所求的所有元數增一的頻繁項目集；
c4、重複步驟c2至c3,直至無法生成元數更多的頻繁項目集。
進一步的，網絡報文類型包括傳輸控制協議TCP類型、用戶數據包協議 UDP類型和網際控制消息協議1CMP類型；
其中，對於TCP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和 TCP報頭；對於UDP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和 UDP報頭；對於ICMP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭 和ICMP報頭。
本發明還提供了 一種在網絡設備上提取流量攻擊報文特徵的單元，包括
報文收集模塊，用於選定需要提取報文特徵的、作為攻擊流量類型的網 絡報文類型，並收集接收到的選定類型的網絡報文；
頻繁項目集挖掘模塊，用於以選定類型報文的報頭欄位為項，在接收到 的選定類型的網絡報文中，找到所有滿足最小支持度的頻繁項目集；
攻擊報文特徵提取模塊，用於先按照元數降序排序，再對元數相同的頻 繁項目集按照支持度降序排序；從排序後的頻繁項目集裡，依次選取一組滿 足預先設定的報文過濾比例閾值的頻繁項目集最小集為所選類型網絡報文的 才艮文攻擊特徵。
進一步的，報文收集模塊還包括攻擊報文抽樣緩沖區；
報文收集模塊收集接收到的選定類型的網絡報文是指報文收集模塊在 檢測周期內對所述網絡設備的特定接收埠接收的選定類型才艮文進行抽樣， 並存儲到報文抽樣緩沖區。
進一步的，所述報文抽樣緩沖區可以為循環緩衝區，允許容納的最大報 文數量是固定的，當要存儲的網絡"J良文數量超過最大報文容量時，最先進入 的網絡報文將被覆蓋。進一步的，報文收集模塊僅將抽樣的網絡報文報頭存儲到報文抽樣緩衝區。
進一步的，報文收集模塊在檢測周期內對所述網絡設備的特定接收埠
接收的選定類型報文抽樣是指
報文收集模塊統計一個統計時間段內網絡設備^J妻收埠的選定類型報 文到達速率；統計時間段結束後，判斷是否存在某一接收埠的選定類型報 文到達速率超過檢測閾值，存在則啟動檢測周期的計時，開始對上述接收端 口接收的選定類型報文進行抽樣，直到檢測周期結束；否則繼續統計下一個 統計時間段內網絡設備^l婁收埠的選定類型報文到達速率。
進一步的，報文收集模塊確定4艮文抽樣頻率為最後一個統計時間^史內所 述特定接收埠所接收到的選定類型報文數量，除以報文緩沖區最大報文容 量所得到的商。
進一步的，頻繁項目集挖掘模塊以選定類型報文的報頭欄位為項，在接 收到的選定類型的網糾艮文中，找到所有滿足最小支持度的頻繁項目集是指
頻繁項目集挖掘模塊以選定類型的網絡報文的各報頭欄位為項，針對各 報頭欄位值分別提取出滿足預設的最小支持度的、元數為一的獨元頻繁項目 集，將獨元頻繁項目集設置為當前頻繁項目集；重複進行以下操作直至無法 生成元數更多的頻繁項目集從當前頻繁項目集出發，採用拼接和剪枝方法 生成元數增一的候選頻繁項目集；基於報文抽樣緩沖區中的網絡報文統計各 候選頻繁項目集的支持度，選擇所有滿足最小支持度的候選頻繁項目集為所 求的元數增一的頻繁項目集，並設置當前頻繁項目集為所求的所有元數增一 的頻繁項目集。
進一步的，網絡報文類型包括傳輸控制協議TCP類型、用戶數據包協議 UDP類型和網際控制消息協議ICMP類型；
其中，對於TCP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和 TCP報頭；對於UDP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和 UDP報頭；對於ICMP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭 和ICMP報頭。本發明的技術方案釆用頻繁項目集挖掘方法從抽樣的攻擊報文流量中提 取滿足預定攻擊閾值的頻繁項目集來作為流量攻擊報文特徵，這種以才艮文字 段組合來描述流量攻擊報文特徵的方法克服了現有僅利用單個報文字革爻來描
述流量攻擊報文主要特徵的片面性；並且由於允許使用多個報文欄位來描述 攻擊流量報文特徵，使得網絡設備能夠據此實現對攻擊流量的精確過濾，同 時保障合法網絡流量的正常通過。


圖1為本發明提取流量攻擊報文特徵的方法的具體實施流程圖；'
圖2為標準TCP/IP協議中的IP才艮頭結構；
圖3為標準TCP/IP協議中的TCP才艮頭結構；
圖4為本發明應用實例中，循環報文緩沖區的邏輯結構示意圖5為本發明應用實例中頻繁項目集挖掘方法流程示意圖6為應用實例中頻繁項目挖掘方法示意圖。
具體實施例方式
下面將結合附圖及實施例對本發明的技術方案進行更詳細的說明。 本發明提供一種在網絡設備上提取流量攻擊報文特徵的方法，包括 選定需要提取報文特徵的、作為攻擊流量類型的網絡報文類型；
以選定類型報文的報頭欄位為項，在接收到的選定類型的網絡報文中，
找到所有滿足最小支持度的頻繁項目集；
對所找到的所有頻繁項目集先按照元數降序排序，再對元數相同的頻繁 項目集按照支持度降序排序；從排序後的頻繁項目集裡，依次選取一組滿足 報文過濾比例閾值的頻繁項目集的最小集合為選定類型報文的攻擊才艮文特 徵。
其中，所述報文過濾比例閾值可以根據經驗值預先設定，也可以動態計算；假設一個網絡設備中，報文流量平穩時平均為每秒20M字節，在一個時 間段突然增加到每秒100M字節，那麼可以將所述報文過濾比例閾值定為 80%，即準備將突增的報文過濾掉。
排序後，元數最多並且支持度最高的頻繁項目集排在第一位，所述"依 次選取"就是指從第一位開始，按序選取。
其中，該方法如圖l所示，可以具體包括以下步驟
a、 選定需要提取報文特徵的、作為攻擊流量類型的網絡才艮文類型，並構 建一個攻擊才艮文抽樣緩衝區；
b、 在預定定義時間段內對所述網絡設備的特定接收埠接收的選定類型 報文進行抽樣，並存儲到報文抽樣緩沖區；
c、 以選定網絡報文類型的報頭欄位為項，對報文抽樣緩沖區中的網絡報 文進行頻繁項目集挖掘，找到所有滿足最小支持度的頻繁項目集；
d、 對所找到的所有頻繁項目集先按照元數降序排序，再按照支持度降序 排序；在排列後的頻繁項目集中，按序選取一組滿足預先設定的報文過濾比 例閾值的頻繁項目集最小集為選定類型報文的攻擊報文特徵。
其中，所述步驟a中構建的報文抽樣緩衝區可以為循環緩沖區，它允許 容納的最大報文數量是固定的，當要存儲的網絡報文數量超過最大報文容量 時，最先進入的網絡報文將被覆蓋。
其中，步驟b中可以僅將抽樣的網絡報文報頭存儲到報文抽樣緩衝區。
其中，所述步驟a和步驟b之間具體還可以包括
abl、統計一個統計時間段內網絡設備各接收埠的選定類型報文到達速
率；
ab2、統計時間段結束後，判斷是否存在某一接收埠的選定類型才艮文到 達速率超過檢測閾值，存在則啟動檢測周期的計時，執行步驟b;否則返回 abl。
所述統計時間段和檢測周期根據具體的網絡設備和經驗值設定，可以但 不限於都設置為2秒；所述檢測閾值可以根椐具體的網絡設備、報文類型和 經驗值預先設定一一比如在路由器中，某類型報文按照經驗，速率應該不超過X，則檢測閾值為X,當然也可以實際計算，比如將流量平穩時的最高速 率作為檢測閾值。
步驟b中的特定接收埠可以是指選定類型報文到達速率超過檢測閾 值的接收埠。
其中，步驟b中報文抽樣頻率為最後一個預先定義的統計時間段內所 述特定接收埠所接收到的選定類型報文數量除以報文緩沖區最大報文容量 所得到的商。
可以當存在某一接收埠的選定類型報文到達速率超過檢測閾值後，執 行步驟b前確定所述^JL抽樣頻率。
其中，所述步驟c進一步可以包括
cl、以選定類型的網絡報文的各報頭欄位為項，針對各報頭欄位值分別 提取出滿足預設的最小支持度的、元數為一的獨元頻繁項目集，將獨元頻繁 項目集設置為當前頻繁項目集；
c2、從當前頻繁項目集出發，採用拼接和剪枝方法生成元數增一的候選 頻繁項目集；
c3、基於報文抽樣緩沖區中的網糾艮文統計各候選頻繁項目集的支持度， 選擇所有滿足最小支持度的候選頻繁項目集為所求的元數增一的頻繁項目 集，並設置當前頻繁項目集為所求的所有元數增一的頻繁項目集；
c4、重複步驟c2至c3，直至無法生成元數更多的頻繁項目集。
其中，網絡報文類型可以包括TCP(傳輸控制協議)類型、UDP(用戶數 據包協議)類型和ICMP (網際控制消息協議)類型。
其中，對於TCP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和 TCP報頭；對於UDP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和 UDP報頭；對於ICMP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭 和ICMP報頭。所述的標準TCP/IP協議報頭在TCP/IP協議標準文檔中都有 具體的定義。
上述方法提取的流量攻擊報文特徵可以作為報警輸出，或者以依此生成 訪問控制列表ACL，然後下發給所述設備的流量控制模塊或者第三方流量控制設備進行流量控制。
本發明還提供了一種在網絡設備上提取流量攻擊報文特徵的單元，包括 報文收集模塊、頻繁項目集挖掘模塊、攻擊報文特徵提取才莫塊；
報文收集模塊用於選定需要提取報文特徵的、作為攻擊流量類型的網絡 報文類型，並收集^t妻收到的選定類型的網絡報文；
頻繁項目集挖掘模塊用於以選定類型報文的報頭欄位為項，在接收到的 選定類型的網絡報文中，找到所有滿足最小支持度的頻繁項目集；
攻擊報文特徵提取模塊，用於先按照元數降序排序，再對元數相同的頻 繁項目集按照支持度降序排序；從排序後的頻繁項目集裡，依次選取一組滿 足預先設定的報文過濾比例閾值的頻繁項目集最小集為所選類型網絡^J:的 ^J:攻擊特徵。
其中，報文收集模塊還可以包括攻擊報文抽樣緩沖區；
報文收集模塊收集接收到的選定類型的網絡報文是指報文收集模塊在 檢測周期內對所述網絡設備的特定接收埠接收的選定類型報文進行抽樣， 並存儲到報文抽樣緩衝區。
其中，所迷報文抽樣緩衝區可以為循環緩衝區，允許容納的最大報文數 量是固定的，當要存儲的網絡報文數量超過最大報文容量時，最先進入的網 絡報文將被覆蓋。
其中，報文收集模塊可以僅將抽樣的網絡報文報頭存儲到報文抽樣緩衝區。
其中，所述報文收集模塊在檢測周期內對所述網絡設備的特定接收埠 接收的選定類型才艮文進行抽樣可以是指
報文收集模塊統計一個統計時間段內網絡設備各接收埠的選定類型報 文到達速率；統計時間段結束後，判斷是否存在某一接收埠的選定類型報 文到達速率超過檢測閾值，存在則啟動檢測周期的計時，開始對上述^^收端 口接收的選定類型才艮文進行抽樣，直到檢測周期結束；否則繼續統計下一個 統計時間段內網絡設備^#收埠的選定類型報文到達速率。其中，報文收集模塊可以確定報文抽樣頻率為最後一個統計時間段內所 述特定接收埠所接收到的選定類型報文數量，除以報文緩沖區最大報文容 量所得到的商。
頻繁項目集挖掘模塊以選定類型報文的報頭欄位為項，在接收到的選定
類型的網絡報文中，找到所有滿足最小支持度的頻繁項目集可以是指
頻繁項目集挖掘模塊以選定類型的網絡報文的各報頭欄位為項，針對各 報頭欄位值分別提取出滿足預設的最小支持度的、元數為一的獨元頻繁項目
集，將獨元頻繁項目集設置為當前頻繁項目集；重複進行以下操作直至無法 生成元數更多的頻繁項目集從當前頻繁項目集出發，採用拼接和剪枝方法 生成元數增一的候選頻繁項目集；基於報文抽樣緩衝區中的網絡報文統計各 候選頻繁項目集的支持度，選擇所有滿足最小支持度的候選頻繁項目集為所 求的元數增一的頻繁項目集，並設置當前頻繁項目集為所求的所有元數增一 的頻繁項目集。
其中，網絡報文類型可以包括TCP(傳輸控制協議)類型、UDP (用戶數 據包協議)類型和ICMP (網際控制消息協議)類型。
其中，對於TCP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和 TCP報頭；對於UDP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和 UDP報頭；對於ICMP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭 和ICMP報頭。所述的標準TCP/IP協議報頭在TCP/IP協議標準文檔中都有 具體的定義。
下面用本發明的一個應用實例進一步加以i兌明。
由於在開始提取流量攻擊報文特徵之前，需先從TCP/UDP/ICMP三種報 文類型中選擇某種報文類型作為本次流量攻擊的報文類型。對這三類攻擊流 量的報文特徵提取過程類似。為簡化文檔篇幅，這裡僅舉例TCP類型流量攻 擊報文的自動特徵提取過程。
圖2為標準TCP/IP協議中描述的IP報頭格式，其中包括以下欄位
版本(Version)欄位佔4比特，用來表明IP協議實現的版本號；報頭長度(Internet Header Length, IHL)欄位佔4比特，是頭部佔32 比特的數字，包括可選項；
月艮務類型(Type of Service , TOS )欄位佔8比特，其中前3比特為優 先權子欄位；
總長度欄位佔16比特，指明整個數據才艮的長度(以字節為單位)；
標誌欄位(ID):佔16比特，用來唯一地標識主機發送的每一份數據報；
標誌位欄位佔3比特，標誌一份數據報是否要求分段；
段偏移欄位佔13比特，如果一份數據報要求分段的話，此欄位指明該 段偏移距原始數據報開始位置；
生存期(TTL: Time to Live )欄位佔8比特，用來設置數據報最多可 以經過的路由器數；
協議欄位佔8比特，指明IP層所封裝的上層協議類型，如ICMP (1)、 IGMP ( 2 ) 、 TCP ( 6 ) 、 UDP (17 )等；
頭部校驗和欄位佔16比特，內容是根椐IP頭部計算得到的才L驗和碼；
源IP位址、目標IP位址欄位各佔32比特，用來標明發送IP數據報文 的源主機地址和4姿收IP 4艮文的目標主機地址；
可選項欄位佔32比特，用來定義一些任選項，如記錄路徑、時間戳等。
圖3為TCP/IP協議中TCP寺艮頭格式，其中包括以下欄位
源、目標埠號欄位佔16比特，TCP協議通過使用"埠"來標識源 端和目標端的應用進程；
順序號欄位佔32比特，用來標識從TCP源端向TCP目標端發送的數 據字節流；
確認號欄位佔32比特，只有ACK標誌為1時，確認號欄位才有效， 它包含目標端所期望收到源端的下一個數據字節；
頭部長度欄位佔4比特，給出頭部佔32比特的數目；
標誌位欄位(U、 A、 P、 R、 S、 F):佔6比特，各比特的含義如下 URG:緊急指針(urgentpointer)有效；ACK:確認序號有效；PSH:接收方應該儘快將這個報文段交給應用層；RST:重建連接；SYN:發起一個連接； FIN:釋》丈一個連4妻；
窗口大小欄位佔16比特，此欄位用來進行流量控制；
TCP校驗和欄位佔16比特，對整個TCP才艮文段，即TCP頭部和TCP 數據進行校驗和計算，並由目標端進行驗證；
緊急指針欄位佔16比特，它是一個偏移量，和序號欄位中的值相加表 示緊急數據最後一個字節的序號；
選項欄位佔32比特，可能包括"窗口擴大因子"、"時間戳"等選項。
假設選定的攻擊流量報文類型為TCP報文類型，在開始提取流量攻擊報 文特徵前，首先構建攻擊報文抽樣緩沖區。圖4為本發明所述的循環報文緩 衝區邏輯結構。該循環報文緩衝區允許容納的最大報文數量是固定的，即總 的單元格個數；該循環報文緩衝區存在一個報文頭指針start和一個衝艮文尾指 針end;報文緩衝區初始化時，報文頭指針start和報文尾指針end同時指向 報文緩衝區第一個單元格；然後，每向循環報文緩沖區插入一個網射良文， 報文頭指針start將順時針向前移動一個單元格，當報文頭指針start移動到報 文緩衝區最後一個單元格時，如果持續有網絡報文插入，則報文頭指針start 重新指向報文緩沖區第一個單元格，這樣，最新插入的網^4艮文數量將覆蓋 最先插入的網絡報文。下面偽C語言代碼描述了本循環緩沖區所l吏用的數據 結構。
typedef struct tag—PKTs—Cache { unsigned int start; 〃頭才旨4十 unsigned int end; 〃尾指針 unsigned int counter; 〃插入的網絡報文數 PKT PKTArray[MAX_PKTS—NUMBER]; 〃網糾艮文存儲單元格 }PKTS—CACHE;
每向循環報文緩沖區插入一個網絡報文時，除了報文頭指針順時針向前 移動一單元格外，還需要將網絡淨艮文計數器(counter)加一。當counter小於循 環報文緩衝區總單元格數MAX_PKTS—NUMBER時，循環報文緩衝區中存儲的有效報文數為counter,這些有效網絡報文位於從報文尾指針end到報文頭指針start所指的單元格範圍內；當counter大於循環報文緩衝區總單元格數MAX_PKTS—NUMBER時，循環報文緩衝區中存儲於的有效報文格數為循環報文緩沖區總單元格數MAX—PKTS—NUMBER,循環報文緩沖區中的每個單元格都存儲了有效網絡報文。
在從流量攻擊報文抽樣樣本中提取報文特徵時，只需要對網絡報文報頭進行統計分析，因此，循環報文緩衝區中的每個網絡報文單元格並不需要存儲一個完整的網絡數據包，而只需要存儲抽樣的網絡報文報頭。並且，由於TCP/UDP/ICMP類型的網絡報文報頭長度並不相同，因此，不同類型循環報文緩沖區中設定的網絡報文存儲單元格大小不一樣。具體實施時，對於TCP類型網絡淨艮文循環緩衝區，網絡報文單元格大小可以設置為60個字節，這60個字節的單元格空間足以保存n^艮頭和TCP4艮頭；對於UDP類型網絡4艮文循環緩衝區，網絡報文單元格的大小可以設置為48個字節，這48個字節的單元格空間足以保存IP報頭和UDP報頭；對於ICMP類型網絡才艮文循環緩沖區，網絡報文單元格的大小可以設置為32個字節，這32個字節的單元格空間足以保存IP報頭和ICMP報頭。
在開始對流量攻擊報文進行抽樣前，還需要完成兩個事情 一個是確定流量攻擊淨艮文抽樣開始時間；另 一個是確定4艮文抽樣的頻率。
為了確定流量攻擊報文抽樣開始時間，先分別統計所述網絡設備各接收埠的選定類型報文到達速率，即統計時間段間內各接收埠收到的選定類型網絡淨艮文數量；時間段結束，檢查各接收埠的選定類型報文到iiii率，如果發現某一接收埠的選定類型報文到達速率超過檢測閾值，則啟動報文抽樣定時器，準備對該接收埠接收的網絡報文進行抽樣；所述報文抽樣定時器中時間長度等於預定的檢測周期。
由於固定大小循環報文緩衝區能夠存儲的有效網絡報文數是固定的，而預定的檢測周期內產生的流量攻擊網絡報文總體可能遠大於循環報文緩衝區總容量，因此需要對攻擊報文流量進行抽樣存儲。為了使得循環報文緩衝區中存儲的流量攻擊網絡報文抽樣樣本能夠儘可能的反映流量攻擊網絡才良文總體的特徵，這裡需要確定一個合適的報文緩衝區抽樣頻率可以將才艮文抽樣頻率確定為最後一個統計時間段內準備抽樣的接收埠所收到的選定類型報文數量除以循環報文緩沖區最大報文容量。
在檢測周期內，將按照確定的報文抽樣頻率對所述接收埠選定類型的網絡報文進行抽樣，並按照循環報文緩衝區單元格大小對抽樣到的網絡報文
進行截取，然後插入到循環報文緩衝區中。；險測周期結束，則開始流量攻擊報文特徵提取。
圖5為本發明所述方法的頻繁項目集挖掘方法的具體工作流程圖，它包括以下步驟
501、 以選定網絡報文類型的各報頭欄位為項，針對各報頭欄位值分別提取出滿足預設的最小支持度的元數為一的獨元頻繁項目集，將獨元頻繁項目集設置為當前頻繁項目集；
502、 從當前頻繁項目集出發，採用拼接和剪枝方法生成元數增一的候選頻繁項目集；
503、 基於報文抽樣緩沖區中的網絡報文統計各候選頻繁項目集的支持度，選擇所有滿足最小支持度的候選頻繁項目集為所求的元數增一的頻繁項目集，並設置當前頻繁項目集為所求的所有元數增一的頻繁項目集；
504、 重複步驟502至503，直至無法生成元數更多的頻繁項目集。
也就是以選定報文類型的各報頭欄位為項，依據頻繁項目集性質對抽樣的各網絡報文進行頻繁項目集挖掘。頻繁項目集的性質為"頻繁項目集的任一自己也一定是頻繁的"。這裡以TCP類型攻擊流量類型為例來說明整個頻繁項目集挖掘過程。
由圖2和圖3所描述的IP報頭和TCP報頭可知，TCP類型流量攻擊報文的項包括IP版本、IP報頭長度、IP服務類型、IP總長度、IP標識、IP標誌偏移、IP生存期、IP協議類型、IP校驗和、IP源地址、IP目標地址、IP選項、TCP源埠號、TCP目標埠號、TCP順序號、TCP確認號、TCP報頭長度、TCP標誌、TCP窗口大小、TCP校驗和、TCP緊急指針、TCP選項等22項。
對於上面所述的TCP/IP協議報頭每一項，首先求出滿足最小支持度的項目值。這裡採用傳統哈希表方法找到所有滿足最小支持度的項目值，具體步
驟為對於報文抽樣緩衝區中每一個網絡報文，取選定報頭欄位的值，然後查詢哈希表，如果該報頭欄位值在哈希表中，則對應計數器加一、否則創建新的計數器值為一的項並插入到哈希表中；最後，遍歷哈希表，找到所有計數值滿足預定的最小支持度的項目。所求的所有滿足最小支持度的欄位值即為本項目的獨元頻繁項目。實際應用中也可以採用其它方法找到所有滿足最小支持度的項目取值。
對於TCP類型流量攻擊報文的這22個項目，使用上面所述方法分別求出各項目的獨元頻繁項目，所求的獨元頻繁項目的全集就是頻繁項目挖掘方法步驟501所求的獨元頻繁項目集。
圖6所示為本應用實例裡，頻繁項目挖掘方法步驟502和步驟503的工作過程。在本應用實例中，假設通過步驟501從TCP類型流量攻擊報文中求得的所有獨元頻繁項目集如下對於IP生存期項，求得的兩個獨元頻繁項目集為TTL1和TTL2;對於IP標識項，求得的兩個獨元頻繁項目集為ID1和ID2;對於TCP標識項，求得的兩個獨元頻繁項目集為Flagl和Flag2;按照步驟502，首先基於這些獨元頻繁項目集生成候選二元項目集，總共可以生成(762=15個候選頻繁項目集，由於來自同一個項的兩個獨元頻繁項目集組成的二元候選項目集沒有意義需要裁減掉，因此，最後剩下12個二元候選項目集；步驟503則基於TCP類型報文抽樣緩衝區中的報文統計這12個二元候選項目集的支持度，最後，依據最小支持度確定二元頻繁項目集為圖6中第二行所示的7個二元頻繁項目集。由於所求的二元頻繁項目集不為空，所以以所求的二元頻繁項目集為當前頻繁項目集，重複執行步驟502,並且由於來自同 一個報頭欄位的兩個項不能同時出現在三元候選項目中，因此可以得到8個候選三元項目集；再根據頻繁項目集性質對其進行裁減，將這8個候選三元項目集減少為2個；最後執行步驟503,得到的三元頻繁項目集為2個{TTL1, ID1, Flagl}, {TTL1, ID2, Flag2}。由於這裡得到的三元頻繁項目集不為空，因此，沒置所求的三元頻繁項目集為當前頻繁項目集，重複執行步驟502，得到的候選四元項目集為空，整個頻繁項目挖掘過程結束，所求的頻繁項目集的最大元數為3。最後，對所找到的所有頻繁項目集先按照元數降序排序，再對元數相同
的頻繁項目集按照支持度降序排序；從排序後的頻繁項目集裡，依次選取一組滿足預先設定的報文過濾比例閾值的頻繁項目集最小集合為所選類型報文的攻擊報文特徵。假設預先設定的報文過濾比例閾值為;7，具體步驟為首先，取排序後的第1個頻繁項目集，考察被選頻繁項目集的集合過濾的報文抽樣緩沖區的報文比例;i，如果A大於預先設定的才艮文過濾比例閾值T7，則輸出按降序排序後的第1個頻繁項目集為所求的攻擊才艮文特徵並結束；否則，取排序後的前2個頻繁項目集，考察被選頻繁項目集集合過濾的報文抽樣緩衝區的報文比例;i，如果/L大於預先設定的報文過濾比例闊值;/，則輸出排序後的前2個頻繁項目集為所求的攻擊報文特徵並結束；否則，取排序後的前3個頻繁項目集，考察被選頻繁項目集集合過濾的報文抽樣援沖區的才艮文比例A，如果A大於預先設定的報文過濾比例閾值; ，則輸出排序後的前3個頻繁項目集為所求的攻擊4良文特徵並結束；以此類推，直至所考察的排序後的
前n個頻繁項目集過濾的報文抽樣緩沖區的報文比例;i大於預先設定的報文
過濾比例閾值/7 ，則輸出排序後的前n個頻繁項目集為所求的攻擊才艮文特徵並結束。
當然，本發明還可有其他多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形，但這些相應的改變和變形都應屬於本發明的權利要求的保護範圍。
權利要求
1、一種在網絡設備上提取流量攻擊報文特徵的方法，包括選定需要提取報文特徵的、作為攻擊流量類型的網絡報文類型；以選定類型報文的報頭欄位為項，在接收到的選定類型的網絡報文中，找到所有滿足最小支持度的頻繁項目集；對所找到的所有頻繁項目集先按照元數降序排序，再對元數相同的頻繁項目集按照支持度降序排序；從排序後的頻繁項目集裡，依次選取一組滿足報文過濾比例閾值的頻繁項目集的最小集合為選定類型報文的攻擊報文特徵。
2、 如權利要求l所述的方法，其特徵在於，具體包括以下步驟a、 選定需要提取報文特徵的、作為攻擊流量類型的網絡才艮文類型，並構建一個攻擊報文抽樣緩衝區；b、 在檢測周期內對所述網絡設備的特定接收埠接收的選定類型報文進行抽樣，並存儲到報文抽樣緩衝區；c、 以選定網絡報文類型的報頭欄位為項，對報文抽樣緩衝區中的網絡報文進行頻繁項目集挖掘，找到所有滿足最小支持度的頻繁項目集；d、 對所找到的所有頻繁項目集先按照元數降序排序，再對元數相同的頻繁項目集按照支持度降序排序；從排序後的頻繁項目集裡，依次選取一組滿足預先設定的報文過濾比例閾值的頻繁項目集最小集為所選類型網糾艮文的才艮文攻擊特徵。
3、 如權利要求2所述的方法，其特徵在於，所述步驟a中構建的報文抽樣緩衝區為循環緩沖區，允許容納的最大報文數量是固定的，當要存儲的網絡報文數量超過最大報文容量時，最先ii^的網糾艮文將被覆蓋。
4、 如權利要求2所述的方法，其特徵在於，所述步驟b中僅將抽樣的網絡報文報頭存儲到報文抽樣緩沖區。
5、 如權利要求2所述的方法，其特徵在於，所述步驟a和步驟b之間具體還包括abl 、統計一個統計時間段內網絡設備各接收埠的選定類型才艮文到達速率；ab2、統計時間段結束後，判斷是否存在某一接收埠的選定類型報文到達速率超過檢測閾值，存在則啟動檢測周期的計時，執行步驟b;否則返回abl;步驟b中的特定接收埠是指選定類型報文到達速率超過岸企測閾值的才矣收埠 。
6、 如權利要求5所述的方法，其特徵在於，步驟b中才艮文抽樣頻率為最後一個統計時間^險內所述特定接收埠所^接收到的選定類型報文數量，除以報文緩衝區最大^艮文容量所得到的商。
7、 如權利要求2所述的方法，其特徵在於，所述步驟c具體包括cl、以選定類型的網絡報文的各報頭欄位為項，針對各報頭欄位值分別提取出滿足預設的最小支持度的、元數為一的獨元頻繁項目集，將獨元頻繁項目集設置為當前頻繁項目集；c2、從當前頻繁項目集出發，採用拼接和剪枝方法生成元數增一的候選頻繁項目集；c3、基於^Jl抽樣緩衝區中的網絡才艮文統計各候選頻繁項目集的支持度，選擇所有滿足最小支持度的候選頻繁項目集為所求的元數增一的頻繁項目集，並設置當前頻繁項目集為所求的所有元數增一的頻繁項目集；c4、重複步驟c2至c3，直至無法生成元數更多的頻繁項目集。
8、 如權利要求1到7中任一項所述的方法，其特徵在於網絡報文類型包括傳輸控制協議TCP類型、用戶數據包協議UDP類型和網際控制消息協議ICMP類型；其+,對於TCP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和TCP報頭；對於UDP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和UDP報頭；對於ICMP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和ICMP4艮頭。
9、 一種在網絡設備上提取流量攻擊報文特徵的單元，其特徵在於，包括報文收集模塊，用於選定需要提取報文特徵的、作為攻擊流量類型的網絡報文類型，並收集接收到的選定類型的網絡報文；頻繁項目集挖掘模塊，用於以選定類型報文的報頭欄位為項，在接收到的選定類型的網絡報文中，找到所有滿足最小支持度的頻繁項目集；攻擊報文特徵提取模塊，用於先按照元數降序排序，再對元數相同的頻繁項目集按照支持度降序排序；從排序後的頻繁項目集裡，依次選取一組滿足預先設定的報文過濾比例閾值的頻繁項目集最小集為所選類型網糾艮文的4艮文J丈擊特徵。
10、 如權利要求9所述的單元，其特徵在於報文收集模塊還包括攻擊報文抽樣緩衝區；報文收集模塊收集接收到的選定類型的網絡報文是指報文收集模塊在檢測周期內對所述網絡設備的特定接收埠接收的選定類型報文進行抽樣，並存儲到報文抽樣緩衝區。
11、 如權利要求10所述的單元，其特徵在於所述報文抽樣緩衝區可以為循環緩衝區，允許容納的最大報文數量是固定的，當要存儲的網絡報文數量超過最大報文容量時，最先進入的網絡報文將被覆蓋。
12、 如權利要求IO所述的單元，其特徵在於"^艮文收集^^莫塊僅將抽樣的網絡報文才艮頭存儲到報文抽樣緩沖區。
13、 如權利要求9所述的單元，其特徵在於，報文收集模塊在檢測周期內對所述網絡設備的特定接收埠接收的選定類型報文抽樣是指報文收集模塊統計一個統計時間段內網絡設備各接收埠的選定類型報文到達速率；統計時間段結束後，判斷是否存在某一接收埠的選定類型報文到達速率超過檢測閾值，存在則啟動檢測周期的計時，開始對上述接收埠接收的選定類型報文進行抽樣，直到檢測周期結束；否則繼續統計下一個統計時間段內網絡設備^4妄收埠的選定類型才艮文到達速率。
14、 如權利要求13所述的單元，其特徵在於報文收集模塊確定報文抽樣頻率為最後 一個統計時間段內所述特定接收埠所接收到的選定類型報文數量，除以報文緩沖區最大報文容量所得到的商。
15、 如權利要求9所述的單元，其特徵在於，頻繁項目集挖掘模塊以選定類型報文的報頭欄位為項，在接收到的選定類型的網絡報文中，找到所有滿足最小支持度的頻繁項目集是指頻繁項目集挖掘模塊以選定類型的網絡報文的各報頭欄位為項，針對各報頭欄位值分別提取出滿足預設的最小支持度的、元數為一的獨元頻繁項目集，將獨元頻繁項目集設置為當前頻繁項目集；重複進行以下操作直至無法生成元數更多的頻繁項目集從當前頻繁項目集出發，採用拼接和剪枝方法生成元數增一的候選頻繁項目集；基於報文抽樣緩沖區中的網絡報文統計各候選頻繁項目集的支持度，選擇所有滿足最小支持度的候選頻繁項目集為所求的元數增一的頻繁項目集，並設置當前頻繁項目集為所求的所有元數增一的頻繁項目集。
16、 如權利要求9到15中任一項所述的單元，其特徵在於網絡報文類型包括傳輸控制協議TCP類型、用戶數據包協議UDP類型和網際控制消息協議ICMP類型；其中，對於TCP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和TCP報頭；對於UDP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和UDP報頭；對於ICMP類型流量攻擊報文，其TCP/IP協議報頭包括IP報頭和ICMP報頭。
全文摘要
本發明公開了一種在網絡設備上提取流量攻擊報文特徵的方法和單元；方法包括選定需要提取報文特徵的、作為攻擊流量類型的網絡報文類型；以選定類型報文的報頭欄位為項，在接收到的選定類型的網絡報文中，找到所有滿足最小支持度的頻繁項目集；對所找到的所有頻繁項目集先按照元數降序排序，再對元數相同的頻繁項目集按照支持度降序排序；從排序後的頻繁項目集裡，依次選取一組滿足報文過濾比例閾值的頻繁項目集的最小集合為選定類型報文的攻擊報文特徵。本發明克服了流量特徵提取方法的片面性，並且能夠精確過濾，避免誤殺，保障合法網絡流量的正常通過。
文檔編號H04L9/36GK101640594SQ200810117499
公開日2010年2月3日 申請日期2008年7月31日 優先權日2008年7月31日
發明者葉潤國, 濤 周, 孫海波, 煒 鄧, 鄭曙光 申請人:北京啟明星辰信息技術股份有限公司;北京啟明星辰信息安全技術有限公司