基於貝葉斯統計模型的網絡異常檢測方法
2023-10-06 16:45:04
專利名稱：基於貝葉斯統計模型的網絡異常檢測方法
技術領域：
本發明涉及網絡異常流量檢測及入侵檢測技術領域，具體涉及一種基於貝葉斯統計模型的網絡異常的檢測方法。
背景技術：
伴隨著網絡的正常應用流量，網絡上各種異常流量也隨之而來，影響到網絡的正常運行，威脅著用戶主機的安全和使用。網絡異常往往由網絡攻擊、蠕蟲病毒、網絡濫用等原因引起的，例如各種網絡掃描、DDoS攻擊、網絡蠕蟲病毒、惡意下載、對網絡資源的不當使用等都會造成網絡性能下降，嚴重時會影響正常的網絡使用，造成網絡擁塞，甚至造成網絡中斷、網絡設備的失效。因此，對網絡流量進行實時監測和管理，發現網絡中存在的已知類型和未知類型的網絡異常，已經成為網絡安全管理中需要解決的首要問題，其對提高網絡的可靠性和可用性有著重要的意義。
傳統的網絡異常流量檢測是通過長時間的網絡運行流量信息的分析、學習，建立網絡正常使用模式的性能參數基準範圍，當網絡運行狀態與正常基線有明顯偏差時，則判定網絡中存在異常發生。該方法可以發現基本的網絡異常，但是，它存在參數基準範圍難以確定、缺乏靈活性和誤報率高等缺陷。
發明內容
本發明的主要目的是提供一種基於貝葉斯統計模型的網絡異常檢測的方法，以克服現有技術存在的參數基準範圍難以確定、缺乏靈活性和誤報率高的問題。
為克服現有技術存在的問題，本發明的是通過以下幾個步驟來實現的步驟一以旁路偵聽方式抓取網絡上的TCP/IP流量數據包；步驟二對於抓來的數據包進行屬性分解，為下一步操作進行數據的預處理，並形成數據矩陣；步驟三對預處理得到的數據矩陣進行數據挖掘，構建正常狀態、已知異常狀態和未知異常狀態的訓練數據矩陣；步驟四繼續實時抓取網絡上的TCP/IP流量數據包，通過貝葉斯評估器對其進行檢測；步驟五如果發現異常，則報警並將異常種類以自學習的方式填充入已知異常狀態資料庫，否則執行步驟(四)。
上述步驟二所描述的數據包的屬性分解是指將抓取到的網絡數據包按照屬性項進行分解歸類。亦即通過抓取網絡數據包的形式，產生每個TCP/IP連接的屬性記錄，這些記錄的格式如下所示R(T，Src.IP，Src.Port，Dst.IP，Dst.Port，FLAG)其中，T代表連接開始的時間；Src.IP代表源IP；Src.Port代表源埠；Dst.IP代表目的IP；Dst.Port代表目的埠；FLAG表示TCP/IP連接的狀態。通過以上的屬性項，系統將會為每一個TCP/IP連接記錄一個屬性記錄集R。
上述步驟三所描述的對預處理得到的數據矩陣進行數據挖掘是指對於給定的、包含有正常狀態、已知異常狀態和未知異常狀態的訓練數據矩陣進行繼續歸納處理，形成一個概率表，在這個表中，每一列代表一種狀態實例的屬性特徵，每一行代表一種狀態實例。該表的格式如下表所示
上表中A代表狀態實例的名稱，這些狀態包括正常狀態、已知異常狀態和未知異常狀態三種類型；X代表每種狀態的屬性參數。
上述步驟四所描述的貝葉斯評估器的算法如下使事件X＝(X1，X2，…，Xt)，參數N=i=1tXi]]>且p＝(p1，…，pt)
觀察其中的一個實例x＝(x1，x2，…，xt)，可知其多項式分布的概率函數為l(p|x)=l(p1,p2,,pt|x1,x2,,xt)=i=11pixi]]>此分布的可以變形為Dirichletf(p|)=(ii=1t)i=1tpi-1(i)]]>這裡對於所有的i存在βi＞0，且(y)=0e-zzy-1dz]]>令參數K=i-1ti]]>和i=iK]]>由此可以得出其先驗概率數學期望為E(pi|K，λ)＝λi其後驗概率數學期望為E(pi|K,,x)=xi+KiN+K]]>由此，經過推算，我們可以得出如下的公式來計算異常估計值K^=(N2-tijk2)/i,j(tijk-Nijk)2]]>t^ijk=N(tijk+K^ijk)/N+K]]>由此得到P(xj|Ai)=t^ijkk=0gt^ijk]]>利用貝葉斯得到P(C=Ai|X=x)=(j=0J-1P(xmj)P(X=Ai))P(X=x)---(1)]]>這裡的xmj是指表中的第mj列，且P(C=Ai)=1Jj=0J-1(K=0gt^ijk/N)]]>由以上步驟可以計算出當前網絡狀況符合那種狀態。
上述步驟五的自學習功能是指，當系統初次發現一個新的異常時，系統將該異常加入到訓練資料庫中，再次發現該異常時，則為已知異常。
與現有技術相比，本發明的優點是
基於貝葉斯統計模型的網絡異常檢測方法是採用貝葉斯定理揭示的學習功能，發現大量變量之間的關係，對數據進行預測、分類，建立起異常入侵檢測貝葉斯網絡，然後通過該網絡來分析網絡異常，判斷結果。該方法通過貝葉斯統計模型來發現、判定網絡中的異常，具有方法靈活、智能化程度高、判斷準確的優點。
附圖為本發明基於貝葉斯統計模型的網絡異常檢測方法流程圖。
具體實施例方式貝葉斯統計分析把先驗信息與樣本信息結合，用於統計推斷之中。用貝葉斯公式先驗信息與樣本信息綜合，得到後驗信息。而得到的後驗信息又可以作為新一輪計算的先驗，與進一步獲得的樣本信息綜合，求的下一個後驗信息。隨著這個過程繼續下去，後驗信息確實是越來越接近於真值。也就是說，貝葉斯方法的學習機制是確實存在而且有效的。這個學習的過程實際上是一個迭代的過程。
本發明的步驟是(一)以旁路偵聽方式捕獲網絡上的數據包(二)對數據包以固定的格式進行屬性的分解，數據包的屬性分解是指將抓取到的網絡數據包按照屬性項進行分解歸類。亦即通過抓取網絡數據包的形式，產生每個TCP/IP連接的屬性記錄，這些記錄的格式如下所示R(T，Src.IP，Src.Port，Dst.IP，Dst.Port，FLAG)其中，T代表連接開始的時間；Src.IP代表源IP；Src.Port代表源埠；Dst.IP代表目的IP；Dst.Port代表目的埠；FLAG表示TCP/IP連接的狀態。通過以上的屬性項，系統將會為每一個TCP/IP連接記錄一個屬性記錄集R。
(三)對預處理得到的數據矩陣進行數據挖掘，構建正常狀態、已知異常狀態和未知異常狀態的訓練數據矩陣，
按照屬性項進行分解歸類，格式如下
(四)繼續實時抓取網絡上的TCP/IP流量數據包，並進行屬性分解，根據前面的公式P(C=Ai|X=x)=(J=0J-1P(xmj)P(C=Ai))P(X=x)---(1)]]>這裡的xmj是指表中的第mj列，且P(C=Ai)=1Jj=0J-1(k=0gt^ijk/N)]]>計算出當前時段的數據包的貝葉斯估計值，並由此判斷出其狀態；(五)如果發現異常，則報警。並將異常種類以自學習的方式填充入已知異常狀態資料庫，否則直接執行下一步；(六)轉到(四)。
最後所應說明的是以上實施方式僅用以說明而非限制本發明的技術方案，儘管參照上述實施方式對本發明進行了詳細的說明，本領域的普通技術人員應當理解依然可以對本發明進行修改或者等同替換，而不脫離本發明的精神和範圍的任何修改與局部替換，其均應涵蓋在本發明的權利要求範圍內。
權利要求
1.基於貝葉斯統計模型的網絡異常檢測方法，依次包括下述步驟步驟一以旁路偵聽方式抓取網絡上的TCP/IP流量數據包；步驟二對於抓來的數據包進行屬性分解，為下一步操作進行數據的預處理，並形成數據矩陣；步驟三對預處理得到的數據矩陣進行數據挖掘，構建正常狀態、已知異常狀態和未知異常狀態的訓練數據矩陣；步驟四繼續實時抓取網絡上的TCP/IP流量數據包，通過貝葉斯評估器對其進行檢測；步驟五如果發現異常，則報警並將異常種類以自學習的方式填充入已知異常狀態資料庫，否則執行步驟(四)。
2.如權利要求1所述的基於貝葉斯統計模型的網絡異常檢測方法，其特徵在於所述步驟二所描述的數據包的屬性分解是指將抓取到的網絡數據包按照屬性項進行分解歸類，亦即通過抓取網絡數據包的形式，產生每個TCP/IP連接的屬性記錄，這些記錄的格式如下所示R(T，Src.IP，Src.Port，Dst.IP，Dst.Port，FLAG)其中，T代表連接開始的時間；Src.IP代表源IP；Src.Port代表源埠；Dst.IP代表目的IP；Dst.Port代表目的埠；FLAG表示TCP/IP連接的狀態。通過以上的屬性項，系統將會為每一個TCP/IP連接記錄一個屬性記錄集R。
3.如權利要求1或2所述的基於貝葉斯統計模型的網絡異常檢測方法，其特徵在於所述步驟三所描述的對預處理得到的數據矩陣進行數據挖掘是指對於給定的、包含有正常狀態、已知異常狀態和未知異常狀態的訓練數據矩陣進行繼續歸納處理，形成一個概率表，在這個表中，每一列代表一種狀態實例的屬性特徵，每一行代表一種狀態實例，該表的格式如下表所示
上表中A代表狀態實例的名稱，這些狀態包括正常狀態、已知異常狀態和未知異常狀態三種類型；X代表每種狀態的屬性參數。
4.如權利要求3所述的基於貝葉斯統計模型的網絡異常檢測方法，其特徵在於所述步驟四所描述的貝葉斯評估器的算法如下P(C=Ai|X=x)=(j=0J-1P(xmj)P(C=Ai))P(X=x)---(1)]]>這裡的xmj是指表中的第mj列，且P(C=Ai)=1Jj=0J-1(K=0gt^ijk/N).]]>
全文摘要
本發明涉及網絡異常流量檢測及入侵檢測技術領域，具體涉及一種基於貝葉斯統計模型的網絡異常的檢測方法。本發明的目的是要克服現有技術存在的參數基準範圍難以確定、缺乏靈活性和誤報率高的問題。其技術方案是包括以下幾個步驟(一)以旁路偵聽方式抓取網絡上的TCP/IP流量數據包；(二)對於抓來的數據包進行屬性分解，形成數據矩陣；(三)對預處理得到的數據矩陣進行數據挖掘，構建正常狀態、已知異常狀態和未知異常狀態的訓練數據矩陣；(四)繼續實時抓取網絡上的TCP/IP流量數據包，通過貝葉斯評估器對其進行檢測；(五)如果發現異常，則報警並將異常種類以自學習的方式填充入已知異常狀態資料庫，否則執行步驟(四)。
文檔編號H04L12/56GK101060444SQ200710017919
公開日2007年10月24日 申請日期2007年5月23日 優先權日2007年5月23日
發明者劉濤, 白亮, 張永彬, 趙衛棟, 靳衛衡 申請人:西安交大捷普網絡科技有限公司