基於數據流行為分析的網絡訪問異常檢測裝置及方法
2023-09-20 07:19:35 1
專利名稱：基於數據流行為分析的網絡訪問異常檢測裝置及方法
技術領域：
本發明涉及網絡技術領域，特別涉及網絡訪問異常檢測裝置及方法領域，具體是 指一種基於數據流行為分析的網絡訪問異常檢測裝置及方法。
背景技術：
目前，現有的網絡流流量分析技術分為以下幾類1、通過對網絡流量的總計，並設置閥值來判斷網絡流量是否有異常。例如，通過網 絡設備上的SNMP接口，定期獲取相關網口的數據流量，例如，單播包總包數，單播包總字節 數等等，並通過預設的閥值進行比較，判斷是否異常。2、通過對單個或數個連續的數據包進行分析，判斷數據包是否屬於異常流量。例 如，通過對數據包的協議、埠以及大小來進行判斷。例如，SQL Slammer蠕蟲是通過UDP 1434埠發送大小為376位元組的數據包進行掃描來加以判斷。3、基於對歷史流量的分析，統計網絡流量的行為並進行預測，將一種數據流量分 析的方法應用到各類網絡設備中，該方法分析一段時期內歷史數據流量，通過計算機算法 挖掘出流量的變化規律，同時對下一周期內流量的情況進行預測，一旦實際測量值與預測 值產生較大的差異，則認為產生了異常的訪問流量。上述各種現有方法的缺點在於方法1隻能對總流量的大小進行簡單識別，無法 區分這些流量中那部分是正常流量，哪部分是異常流量。方法2雖然可以識別出具體的異 常流量數據包，但是由於是通過預設的數據包特徵模式，無法識別出新的變異後的異常流 量。方法3考慮到了流量的歷史訪問規律，能檢測出嚴重違背歷史經驗的流量訪問突變，因 此並不需要知道所有可能導致流量異常的數據包的特徵模式。但是，目前大部分屬於方法 3的數據流行為檢測技術，僅僅考慮了對數據流行為的統計，並未考慮一旦檢測到有異常數 據流之後，如何進一步的阻止相關的異常流量。同時，由於屬於方法3的這些技術是針對於 歷史數據流的變化規律進行統計，但未考慮到攻擊方可能會採用一個緩慢的不斷增加異常 流量的過程，即在這樣的情況中，緩慢增加的攻擊流量，會導致算法不斷的修正對歷史流量 規律的統計，從而不斷增加系統預測流量的大小，從而當異常流量達到顯著數量的情況下， 系統仍然無法進行檢測。所以，現有的方法都存在不同的缺陷，難以應用在大規模數據流量 的網絡訪問異常檢測之中。
發明內容
本發明的目的是克服了上述現有技術中的缺點，提供一種能在大規模數據流量分 析的應用環境中快速高效地總結流量行為，識別異常流量，並有效避免無法檢測出緩慢異 常流量增加的情況，從而提高檢測準確性，且應用方式較為簡單，應用成本低廉，且適用範 圍廣泛的基於數據流行為分析的網絡訪問異常檢測裝置及方法。為了實現上述的目的，本發明的基於數據流行為分析的網絡訪問異常檢測裝置具 有如下構成
該裝置包括流量信息收集模塊、異常行為檢測模塊和異常流量處理模塊，所述的 流量信息收集模塊的輸入端連接該檢測裝置外部的路由設備，所述的流量信息收集模塊的 輸出端分別連接所述的異常行為檢測模塊和異常流量處理模塊的輸入端，所述的異常行為 檢測模塊的輸出端連接所述的異常流量處理模塊的輸入端，所述的異常流量處理模塊的輸 出端連接該檢測裝置外部的路由設備。本發明所提供的利用所述的裝置實現基於數據流行為分析的網絡訪問異常檢測 方法，其包括以下步驟(1)所述的流量信息收集模塊從外部路由設備獲得原始流量數據；(2)所述的流量信息收集模塊對原始流量數據進行過濾，將明顯異常的流量數據 發送至所述的異常流量處理模塊，並將經過濾的流量數據發送至所述的異常行為檢測模 塊；(3)所述的異常行為檢測模塊根據一確定的檢測標準對所述的經過濾的流量數據 進行檢測，並將檢測出的異常流量數據發送至所述的異常流量處理模塊；(4)所述的異常行為檢測模塊根據檢測結果自動更新所述的檢測標準；(5)所述的異常流量處理模塊根據所獲得的異常流量的流量信息向外部路由設備 發送流量阻斷指令。該基於數據流行為分析的網絡訪問異常檢測方法中，所述的原始流量數據為 netflow v5格式數據或sFlow格式數據。該基於數據流行為分析的網絡訪問異常檢測方法中，所述的步驟( 具體包括以 下步驟(21)所述的流量信息收集模塊對原始流量數據進行解析，獲得流量數據信息；(22)所述的流量信息收集模塊將明顯異常的原始流量數據的流量數據信息存入 一異常流量資料庫；(23)所述的流量信息收集模塊將其餘的流量數據存入一待檢測流量資料庫。該基於數據流行為分析的網絡訪問異常檢測方法中，所述的流量數據信息包括源 IP位址、源埠、目的IP位址、目的埠、協議類型、埠號、字節數、數據包數及數據流產 生時間。該基於數據流行為分析的網絡訪問異常檢測方法中，所述的步驟C3)具體包括以 下步驟(31)所述的異常行為檢測模塊讀取所述的待檢測流量資料庫中的流量數據；(32)所述的異常行為檢測模塊基於前一周期內一確定時間段的數據流量值生成 本周期內對應時間段的流量數據的預測值；(33)所述的異常行為檢測模塊將本周期該時間段的預測值與本周期內該時間段 的流量數據實際值比較，判斷兩者差距是否大於預設的閾值，若大於，則確定該流量數據為 異常流量數據，並進入步驟(34)，若不大於，則進入步驟；(34)所述的異常行為檢測模塊將該異常流量數據的信息存入所述的異常流量數 據庫，並進入步驟(5)。該基於數據流行為分析的網絡訪問異常檢測方法中，所述的步驟(3 具體是指設第m個周期的第i個時間段內的實際數據流量值為T(i,m)，則根據以下公式得到
6在第m+1個周期內對應的第i個時間段內的預測數據流量值P(i,m+1)P(i,m+1) = a(i,m)+b(i,m)，其中a(i,m)=2S' (i,m)-S〃(i,m)，
權利要求
1.一種基於數據流行為分析的網絡訪問異常檢測裝置，其特徵在於，所述的裝置包括 流量信息收集模塊、異常行為檢測模塊和異常流量處理模塊，所述的流量信息收集模塊的 輸入端連接該檢測裝置外部的路由設備，所述的流量信息收集模塊的輸出端分別連接所述 的異常行為檢測模塊和異常流量處理模塊的輸入端，所述的異常行為檢測模塊的輸出端連 接所述的異常流量處理模塊的輸入端，所述的異常流量處理模塊的輸出端連接該檢測裝置 外部的路由設備。
2.一種利用權利要求1所述的裝置實現基於數據流行為分析的網絡訪問異常檢測方 法，其特徵在於，所述的方法包括以下步驟(1)所述的流量信息收集模塊從外部路由設備獲得原始流量數據；(2)所述的流量信息收集模塊對原始流量數據進行過濾，將明顯異常的流量數據發送 至所述的異常流量處理模塊，並將經過濾的流量數據發送至所述的異常行為檢測模塊；(3)所述的異常行為檢測模塊根據一確定的檢測標準對所述的經過濾的流量數據進行 檢測，並將檢測出的異常流量數據發送至所述的異常流量處理模塊；(4)所述的異常行為檢測模塊根據檢測結果自動更新所述的檢測標準；(5)所述的異常流量處理模塊根據所獲得的異常流量的流量信息向外部路由設備發送 流量阻斷指令。
3.根據權利要求2所述的基於數據流行為分析的網絡訪問異常檢測方法，其特徵在 於，所述的原始流量數據為netflow v5格式數據或sFlow格式數據。
4.根據權利要求2所述的基於數據流行為分析的網絡訪問異常檢測方法，其特徵在 於，所述的步驟( 具體包括以下步驟(21)所述的流量信息收集模塊對原始流量數據進行解析，獲得流量數據信息；(22)所述的流量信息收集模塊將明顯異常的原始流量數據的流量數據信息存入一異 常流量資料庫；(23)所述的流量信息收集模塊將其餘的流量數據存入一待檢測流量資料庫。
5.根據權利要求4所述的基於數據流行為分析的網絡訪問異常檢測方法，其特徵在 於，所述的流量數據信息包括源IP位址、源埠、目的IP位址、目的埠、協議類型、埠 號、字節數、數據包數及數據流產生時間。
6.根據權利要求4所述的基於數據流行為分析的網絡訪問異常檢測方法，其特徵在 於，所述的步驟C3)具體包括以下步驟(31)所述的異常行為檢測模塊讀取所述的待檢測流量資料庫中的流量數據；(32)所述的異常行為檢測模塊基於前一周期內一確定時間段的數據流量值生成本周 期內對應時間段的流量數據的預測值；(33)所述的異常行為檢測模塊將本周期該時間段的預測值與本周期內該時間段的流 量數據實際值比較，判斷兩者差距是否大於預設的閾值，若大於，則確定該流量數據為異常 流量數據，並進入步驟(34)，若不大於，則進入步驟；(34)所述的異常行為檢測模塊將該異常流量數據的信息存入所述的異常流量資料庫， 並進入步驟(5)。
7.根據權利要求6所述的基於數據流行為分析的網絡訪問異常檢測方法，其特徵在 於，所述的步驟(32)具體是指設第m個周期的第i個時間段內的實際數據流量值為T(i,m)，則根據以下公式得到在第 m+1個周期內對應的第i個時間段內的預測數據流量值P(i,m+1)P(i,m+1) = a(i，m)+b(i，m)，其中a(i,111)=2S'一 " (i，m) ° (i，m)，UO.( 》—U，0UJη) ~1[—OiS'(i，,m)與S「(i，m)分別為在第m個周期中第S'(i，,m)=α-T(i,m) + (1- a )S' (「―D，S"(i，,m)=α-S, (i，m)+(l_a ) S" (i，m—D，α為預設的預測敏感係數。
8.根據權利要求7所述的基於數據流行為分析的網絡訪問異常檢測方法，其特徵在 於，在第1個周期中第i個時間段的預測參數S' (i,0)與S" (W)分別為S' (U) = S" (i, 0) = T(ijl)。
9.根據權利要求7所述的基於數據流行為分析的網絡訪問異常檢測方法，其特徵在 於，步驟(3 具體包括以下步驟(33-1)所述的異常行為檢測模塊判斷|T(i,m)-P(i,m)|是否大於預設的閾值；(33-2)若大於，則確定第m個周期的第i個時間段的流量數據為異常流量數據，並進入 步驟(34)；(33-3)若不大於，則進入步驟G)。
10.根據權利要求9所述的基於數據流行為分析的網絡訪問異常檢測方法，其特徵在 於，步驟(34)具體包括以下步驟(34-1)所述的異常行為檢測模塊依確定的選取規則採集所述的第m個周期的第i個時 間段的流量數據的流量數據信息；(34-2)所述的異常行為檢測模塊並將所採集的流量數據信息存入所述的異常流量數 據庫，並進入步驟(5)。
11.根據權利要求10所述的基於數據流行為分析的網絡訪問異常檢測方法，其特徵在 於，所述的選取規則具體為以下之一(1)採集該時間段內流量數據字節或數據包較大的數據流的流量數據信息；(2)採集非關鍵埠產生的數據流的流量數據信息；(3)綜合採集非關鍵埠產生的數據字節或數據包較大的數據流的流量數據信息。
12.根據權利要求7所述的基於數據流行為分析的網絡訪問異常檢測方法，其特徵在 於，所述的步驟(4)具體是指所述的異常行為檢測模塊將第m+1個周期的第i個時間段的流量數據預測值P(i,m+1)設 置為P(i, m+1) — T(i，m) 0
13.根據權利要求4至12中任一項所述的基於數據流行為分析的網絡訪問異常檢測方 法，其特徵在於，所述的步驟( 具體包括以下步驟(51)所述的異常流量處理模塊讀取所述的異常流量資料庫中的流量數據信息；(52)所述的異常流量處理模塊統計所述的流量數據信息中的外部IP位址、協議類型 及埠號；(53)所述的異常流量處理模塊向外部路由設備發送針對所述的外部IP位址的流量阻 斷指令。
全文摘要
本發明涉及一種基於數據流行為分析的網絡訪問異常檢測裝置，其包括流量信息收集模塊、異常行為檢測模塊和異常流量處理模塊，流量信息收集模塊的分別連接異常行為檢測模塊和異常流量處理模塊，異常行為檢測模塊連接異常流量處理模塊。本發明還涉及一種利用該裝置的方法，該方法先過濾掉明顯異常的流量數據，再利用一網絡行為模型對經過濾的流量數據進行檢測，並自動更新網絡行為模型；最後根據檢測結果阻斷流量。利用本發明的裝置和方法能建立正常網絡行為模型，將該模型跟實時數據進行比較，以檢測實時流量是否異常；並動態修正網絡行為模型，分析異常流量來源，對異常流量進行阻斷，從而快速有效地識別異常流量，提高檢測的準確性。
文檔編號H04L12/26GK102130800SQ20111008301
公開日2011年7月20日 申請日期2011年4月1日 優先權日2011年4月1日
發明者逯利軍, 錢培專 申請人:蘇州賽特斯網絡科技有限公司