一種基於超統計理論的網絡流量異常檢測方法

2023-11-02 02:17:37

專利名稱：一種基於超統計理論的網絡流量異常檢測方法
技術領域：
本發明涉及網絡信息安全和數理統計相關技術，具體涉及一種基於超 統計的網絡流量異常檢測方法，該方法可以及時發現網絡故障和性能問題， 對提高網絡的可用性，可靠性，保證網絡服務質量具有重要意義。
背景技術：
隨著Internet的不斷發展，網絡攻擊大量出現，由此導致網絡流量異 常，網絡服務質量明顯降低的可能性大大增加。通過檢測網絡流量異常可 以快速發現網絡故障和性能問題，及時採取措施，其實時性強，對提高網 絡的可用性，可靠性，保證網絡服務質量具有重要意義。
網絡流量的分析與建模一直是刻畫網絡性能，進行網絡流量異常檢測 的重要內容。而網絡流量的精確分析，對於網絡的建模、理解網絡的動態 行為，以及網絡異常檢測方法的提出均有重要意義。
傳統的電信網絡，由於業務的單一性，基於泊松過程(連續時間)或貝 努利過程(離散時間)的短相關的數學模型能較準確地描述其特性。但隨著 網絡業務種類的增多，業務流特性日趨複雜。在過去十年的研究中，對實 際流量新的分析發現，無論是區域網還是廣域網，網絡流量在很大的時間 尺度上呈現高可變性並且其自相關係數表現出不可累加性。統計學上，這 些特性可以用長相關性(LRD)來描述。短相關的網絡流量模型的自相關呈 指數衰減，其速度比實際觀測到的要快很多，從而使得使用它們進行性能 估計與實際有相當差距。因此，近年來，大量新的長相關性流量分析模型 被提了出來。在目前對網絡流量進行分析的方法中，基於統計的方法要對網絡流量
建立合適的統計模型來進行分析，時間序列模型AR (自回歸)、ARMA (自回 歸滑動平均)、ARIMA (自回歸求和滑動平均)均是短相關模型，顯然不適 宜將其用於分析具有長相關性的網絡流量時間序列。長相關的時間序列模 型FARIMA(p，d，q)(分式求和ARMA)屬於平穩參數模型，也不適宜將其用於 分析非平穩的網絡流量時間序列；基於網絡流量特徵量的方法是根據表徵 網絡流量自相似特性的Hurst參數的突增程度，對網絡流量異常進行檢測， 它必須假定在所感興趣的時間範圍內，網絡流量時間序列的統計特徵保持 不變(即平穩性假設)，否則會顯著降低其檢測的準確性和穩定性。
傳統的短相關模型很難準確描述網絡流量的長相關以及重尾特性，但是
這些經典的模型都有著完善的理論基礎，並且模型的參數計算簡單。長相
關模型更好的描述了網絡流量的長相關以及重尾特性，但是這種優勢只局
限於長相關性。對於網絡流量中的短相關特性，長相關模型則很難描述，
並且由於長相關模型的參數通常很難估計，這也局限了長相關模型的使用。
超統計理論屬於物理學的前沿領域並彌補了傳統統計方法的不足。超 統計的含義是指"統計之統計"，用於描述多個動力學子系統的複合。這 種系統在較長的時間尺度上存在某種強度量的大幅度波動，這種強度量在 超統計理論中被稱為慢變量(相對於快速變化的系統狀態變量，例如本文 中的網絡流量)。

發明內容
本發明的目的在於提供一種基於超統計的網絡流量異常檢測方法，該 方法中的超統計模型可以描述實際的網絡流量時間序列，實際的網絡流量 通常表現出非平穩性、突發性、長相關性以及重尾性，通過對該方法計算 出的慢變量序列進行網絡流量異常檢測具有明顯的優越性。本發明提供的基於超統計理論的網絡流量異常檢測方法，其步驟包括
(1) 根據網絡流量的實際特性選擇一種分布模型，並且該分布符合網絡
流量的分布擬合檢驗要求；
(2) 根據此分布模型計算網絡流量時間序列的慢變量序列，即分布參數 序列；
(3) 根據慢變量序列的異常波動來檢測網絡流量異常。
本發明通過建立基於超統計(即統計之統計)的網絡流量模型，可以 描述表現出突發性、非平穩、長相關性以及重尾性的網絡流量時間序列並 對網絡流量進行異常檢測。具體而言，本發明具有以下特點
(1)網絡流量時間序列的複雜性表現在非平穩性、突發性、重尾性
和長相關性，傳統的短相關模型以及長相關模型都不能滿足網絡流量時間 序列的上述四個特性。而基於超統計理論的網絡流量模型可以滿足網絡流
量時間序列的全部特性；
(2)根據超統計理論，慢變量序列含有系統的全部信息，因此通過分析 慢變量序列可以達到分析整個系統的目的。並且由於慢變量的個數一般遠 小於原始序列，因此將大大加快計算速度。從慢變量的含義不難得知，慢 變量變現的是較大時間尺度下的系統行為，準確說慢變量的變化比原始序 列的變化更具有分析價值。因為原始序列中包含了許多隨機波動的因素， 在一定的時間範圍內認為原始序列服從相應慢變量的分布模型，原始序列 的波動並不是系統的本質屬性，慢變量的波動變化才能表現系統的特徵。


圖1為基於超統計理論的網絡流量異常檢測方法流程圖； 圖2為一段平穩化的網絡流量時間序列；
圖3為用窗口劃分算法進行窗口劃分後的網絡流量時間序列； (其中橫線段為窗口區間)圖4為慢變量A的序列；
圖5為補償算法流程圖。
具體實施例方式
如圖1所示，本發明方法包括以下步驟
(1) 根據網絡流量的實際特性選擇一種分布模型，並且該分布符合網絡 流量的分布擬合檢驗要求；
針對網絡流量的具體特徵均可以選取一種合適的分布模型擬合局部網 絡流量，該分布模型必須能夠描述局部網絡流量時間序列的特徵並且分布 模型必須通過局部網絡流量的分布擬合檢驗，比如通用的皮爾遜擬合檢驗
法、Kolmogorov-Smirnov檢驗以及針對特定分布模型的檢驗方法，例如正 態分布的W檢驗、D檢驗等。早期的網絡流量由於網絡結構簡單，網絡業務 較少， 一些常用的分布模型例如Poisson分布模型、正態分布模型等都可 以用來對局部網絡流量進行擬合；廣義Pareto分布模型，伽馬分布模型等 則可以用來擬合晚期的網路流量。
(2) 根據此分布模型計算網絡流量時間序列的慢變量序列，即分布參數 序列；
實際的網絡流量表現出很強的非平穩性，非平穩的網絡流量時間序列 不利於慢變量的計算，因此對非平穩的網絡流量時間序列進行平穩化處理， 通常採用的平穩化方法有基於平穩性的分段算法以及差分平穩化方法。 為了計算慢變量序列，必須找到慢變量變化點對應的網絡流量在網絡流量 時間序列中的位置，因此要對平穩化的網絡流量時間序列進行基於分布參 數的窗口劃分。通常採用的窗口劃分算法有滑動窗口方法、自下向上的 以及自上而下的窗口劃分算法；對每個窗口內的網絡流量時間序列進行分
布參數估計，所得到的分布參數既為慢變量。下面舉例一種計算慢變量序
列的方法
(Al)將非平穩的網絡流量時間序列劃分為寬平穩的子序列，或者對整個網絡流量時間序列進行差分平穩化，對原始網絡流量時間序列進行平穩 化處理，得到平穩網絡流量序列；
(A2)設選取的分布模型的分布參數為入y， i=l，2，…K偽分布參數的 個數，再分別根據參數入j的變化趨勢和設定的規則，將步驟(A1)得到的平 穩網絡流量序列劃分為多個窗口，設窗口的總個數為W 7V為正整數；
(A3)計算每個窗口的分布參數A," 1《J《vV，該序列即為慢變量序列。 (3)根據慢變量序列的異常波動來檢測網絡流量異常。 根據超統計理論，網絡流量時間序列的慢變量序列也服從某種分布模 型，當網絡發生異常時，網絡流量的慢變量序列將偏離網絡正常時的慢變 量分布模型，通過檢測異常慢變量對正常慢變量分布模型的偏離可以達到 網絡流量異常檢測的目的；網絡流量時間序列的慢變量是網絡流量的重要 特徵，網絡流量異常發生時慢變量的統計特徵會發生變化，例如慢變量的 均質、方差或者其他高階統計量的顯著異常，因此通過檢測慢變量序列的 統計特性的變化也可以達到網絡流量異常檢測的目的。
下面結合一個實例對本發明方法作進一步詳細的說明。 (1)研究數據的獲取
麻省理工林肯實驗室的信息系統技術組在美國國防部高級研究項目署 (DARPA)及空軍研究室贊助下，為計算機網絡入侵檢測系統評估提供了測 試用數據集合。該數據集合包含了豐富的數據包流量和許多不同類型的入 侵攻擊(主要有拒絕服務攻擊DoS;分布式拒絕服務攻擊DDoS;遠程攻擊R2L; 本地用戶非法提升權限的攻擊U2R和非法監聽和探測等四類)。每一數據項 包括數據包編號、數據包的頭件和正文。其中數據包的頭文件裡記錄了這 個包的起始時間、與第一個包的時間間隔、源地址、目標地址、數據包長 度、網絡協議等信息。數據包主要由以下幾種類型組成IP， arp， netbeui。 其中IP包的長度(bytes)為括號中的字節數加上40 (IP包頭長)，netbeui 為區域網的協議，符合該協議的數據包長度為14位元組，arp(地址解析協議)數據包的長度28位元組。
(2) 網絡流量時間序列的產生
周期採樣方法指的是以固定頻率尺度對網絡流量進行周期性採樣的方 法，它表示每單位時間到達的數據包數量。該方法按照固定的時間間隔對 數據包進行分組，然後對該組數據包中的包數量進行累積，每組累積的包 數量組成一個時間序列。
周期採樣時間序列雖然所體現的網絡流量的信息較小，但是表示方法 簡單，計算複雜度和所需的存儲空間都較小，能有效提高網絡流量攻擊檢
測的實時性、準確性，降低時間、空間複雜度。
(3) 網絡流量時間平穩化處理
將非平穩的網絡流量時間序列進行平穩化處理，通常使用的方法有 將非平穩的網絡流量時間序列劃分為寬平穩的子序列，或者對整個網絡流
量時間序列進行差分平穩化。在本例中採用差分平穩化方法。圖2即為一段 平穩化的DARPA網絡流量時間序列。
(4) 分布模型的選取
從圖l中可以看出，實際網絡流量在局部表現出很強的突發性，並且從 直方圖中可以看出實際網絡表現出明顯的重尾特性。因此基於實際網絡流 量的上述特點，在本例中選擇離散廣義Pareto分布對局部網絡流量進行分 析。因此離散廣義Pareto分布的分布參數即為慢變量。
(5) 離散廣義Pareto的參數估計方法 傳統的GPD模型參數估計方法主要有下列幾種最大似然估計(ML)，矩
估計(醒)以及概率權重矩估計(PWM) 。 2001年Rasmussen提出了一種新的GPD 參數估計方法廣義概率權重矩估計(GP麗)。
為了估計離散GPD模型的參數本文提出了一種基於GP麗的參數估計方 法。首先簡要回顧GPWM方法(X，:^^^…《X^)是經過排序的樣本，v可以取任意實數，GPWM方法通常取
Vl=l， v2=1.5。 ^"是樣本累計分布函數的Kaplan-Meier估計，即經驗累計 分布函數。尺度參數b和形狀參數k可以通過(4)式和(5)式計算。
乂2(V2+1)-^0,+1)
6 =《202+1)02+1 + "
由於GP麗方法不能很好的估計離散GPD模型，因此在使用GP麗方法進行 參數估計之前需要對樣本進行預處理。本文提出了一種樣本補償算法試圖 將離散的樣本恢復成在統計意義上與離散化前相似的樣本。
圖5描述了補償算法的計算流程。算法假設輸入的原始樣本(網絡流量序 列)是一個經過離散化處理的樣本，並且該樣本服從GPD分布。因此在對原 始樣本進行參數估計前需要恢復原始流量的小數部分。首先假設原始樣本 的小數部分服從一個均勻分布，將原始樣本+產生的小數部分後用GP麗方法 進行參數估計。然後用得到的參數產生一個與原始樣本同樣長度的樣本序 列，並用原始樣本減去該樣本得到第二個小數序列。用這個小數序列加上 原始本後再用GP麗方法進行參數估計。算法到此完成一次循環。通常4到5 次循環就足以估計離散GPD模型的參數。 (6)網絡流量時間序列窗口的劃分
本文所採用的基於分布參數的窗口劃分算法由兩個步驟組成第一步， 按照滑動窗口的思路提取分布參數的變化趨勢，由於滑動窗口的限制第一 步所提取的分布參數表現的局部窗口內的分布特徵。第二步，通過一種基 於均值變化的分段算法確定具體的分布變化點。分段算法描述如下
選取滑動窗口大小固定為200， GP麗方法要求進行參數參數估計的樣本 序列的最小長度為50，考慮到GPWM方法的這一要求考慮到的是對實數序列 的參數估計，本文所討論的是對整數樣本的估計，因此應該適當放大窗口 限制。滑動窗口每次移動的距離可以根據實際要求調整，較大的移動距離 可以加快計算速度，但精度有所下降。較小移動距離則需要更多的計算時間。對每個滑動窗口前面介紹的方法進行參數估計得到參數序列Xt然後通 過均值分段算法計算參數序列xt的均值突變點，該點所對應滑動窗口的起 始位置即為流量序列的分布變化點。
滑動窗口計算的是局部窗口的分布特徵，為了彌補局部窗口所帶來的弊 端，本文選用了一種自上而下的均值分段算法。自上而下的分段算法注重 序列的整體趨勢，可以確定序列的全局最優分段點。
啟發式分割算法(BG算法)即是一種能將非平穩時間序列按照均值劃分 為平穩子序列的有效方法。由Galvan在2001年提出，其主要思想介紹如下
對於一個由N個點構成的時間序列x(t)，從左到右分別計算每個點左邊 部分和右邊部分的平均值"1 (i)和"2 (i)及標準偏差sl (i)和s2 (i)，貝Ui點 的合併偏差SD(i)為
formula see original document page 12
其中，Nl， N2分別為i點左邊和右邊部分的點數。我們用t檢驗的統計值 T(i)來量化表示i點左右兩部份均值的差異formula see original document page 12
對x (t)中的每一個點重複上述計算過程，得到與x (t) —一對應的檢驗統計 值序列T(t)， T越大，表示該點左右兩部份的均值相差越大。計算T(t)中 的最大值Tmax的統計顯著性P(Tmax):formula see original document page 12
P(Tmax)表示在隨機過程中取到T值小於等於Tmax的概率( P(Tmax)可近似表示為formula see original document page 12
-般情況下由蒙特卡洛模擬可以得到il=4. 191nN-11.54， S 二O. 40， N是時間序列 x(t)的長度，fN — 2， Ix(a,b)為不完全P函數.我們設定一個臨界值PO， 如果P(Tmax)》P0，則於該點將x (t)分割成兩段均值有一定差異的子序 列，否則不分割。對新得到的兩個子序列分別重複上述操作，如果子序列 有P(Tmax) ^P0，並且子序列與其左、右相鄰的子序列間均值的差異程度 均滿足上述條件，則對子序列進行分割，否則不分割。如此重複直至所有 的子序列都不可分割為止。
對圖2平穩化的網絡流量時間序列進行窗口劃分，其結果如圖3所示。 (7)基於慢變量分布模型的網絡流量異常檢測
對於劃分好的待分析網絡流量窗口 ，由每個窗口的分布參數A可構成 參數序列入j (Kj《N)。參數序列入"A 2 入w即是超統計理論中的慢
變量序列。根據超統計理論，慢變量序列服從同一種分布模型，通過K-近 鄰算法檢測每一參數值入j是否符合這種分布，即可得出此參數所對應的窗 口中是否存在網絡流量異常窗口。圖4為慢變量A的序列。
K-近鄰算法是一種基於分布的異常檢測技術。該算法最突出優點在於 無需知道特徵向量的分布，我們可以假設向量屬於任何一種分布函數；其 次，因為檢測是通過比較最近的數據採樣和歷史數據做出的，所以檢測是 實時的，並能夠自動適應於特定的目標系統；此外，此算法的多維性保證 了它有檢測未知攻擊的能力。基於K-近鄰算法的簡單描述如下
假定歷史數據為R"中的m-l個點，加上實時處理的點，在R"中一共有m 個點，對於向量x, yER" ， d(x， y)表示從x到y的距離。如果用Xj(j^， 2，……， n)表示向量xelT的第j維，那麼最常用的定義就是歐拉距離
本發明方法實例在實際中也使用了歐拉距離。
在實際中接收到一個隨機向量l，然後做出判斷它是否是一個異常。 判斷標準為若點X^相對已經觀察到的所有歷史數據都太遠，則認為異常是很合理的。因此，可以找出點X^到其他m-l個點中的最近鄰的距離。這個
距離就能夠度量出點l距離以前觀察到的所有歷史數據有多遠。而對於"太
遠"的定義，本發明方法實例使用了數據本身。除了從點L到其他m-l個點 中找到它的最近鄰外，對其他的m-l個點也做同樣的工作。最後，對於1=1， 2，……，m，都能夠得到點Xi到它的最近鄰的距離。通過這種方法可以得 到m個最近鄰距離。如果找到的點l的最近鄰距離處於上限，如位於m個最 近鄰距離中最大的1%，那就能夠判定點l是"太遠"了。以上實際上是一 種假設檢驗，1%就是定義的誤報率(概率論中的第一類錯誤).論述該方法的 文獻已給出了這一點的嚴格數學證明。這種假設檢驗對於數據分布並沒有 作任何假設，這正式該方法的優越性所在。
用K-近鄰算法對慢變量A的序列進行分析，共有160個窗口，其中攻擊 窗口為16個，最後檢測出15個攻擊，窗口檢測率為93.75%。 (8)基於慢變量統計特性的網絡流量異常檢測
步驟(7)用KN方法檢測網絡流量異常，該方法基於慢變量服從同一種 分布模型。慢變量除了具有上述特點外，慢變量序列是網絡流量時間序列 的重要特徵，因此可以基於慢變量的統計特徵的顯著異常來進行網絡流量 異常檢領!K
廣義最大似然比(Generalized likelihood Ratio, GLR)的具體做法是 先考慮檢測序列中兩個相鄰的時間窗R(t)和S(t)。在實時檢測過程中，這 兩個時間窗一步一個地向前移動，所以稱它們為滑動窗口。應用似然比檢 驗方法，可檢驗兩個窗口 R(t)和S(t)之間發生的異常變化。該方法假定每 個時間滑動窗口內的序列(觀測值序列的局部)是平穩的，那麼每個時間 滑動窗口可以應用時間序列理論中的自回歸模型(AR)擬合。AR(2)模型的形
式是formula see original document page 14
其中""=1，1 }表示時間序列，A和A是兩個待定係數，^是殘差項，是獨 立正態分布隨機變量。然後計算出兩個窗口序列中殘差的聯合似然比，得到一個統計量，
再取其對數，得到對數似然比，再應用似然比檢驗方法，檢驗兩個窗口 R(t) 和S(t)之間是否發生了異常變化。即在與一個預先設定的閾值T相比較， 當該統計量超過閾值T時，就認為兩個窗口 R(t)和S(t)之間發生了異常變 化。兩個窗口 R(t)和S(t)的邊界就被認定為異常點，反之，就不是異常點。 採用廣義最大似然比方法對圖4所示的慢變量序列進行異常檢測，檢 測率達到87%，誤檢率只有8%。
權利要求
1. 一種基於超統計理論的網絡流量異常檢測方法，其步驟包括(1)根據網絡流量的特性選擇一種分布模型，並且該分布符合網絡流量的分布擬合檢驗要求；(2)根據此分布模型計算網絡流量時間序列的慢變量序列，即分布參數序列；(3)根據慢變量序列的異常波動來檢測網絡流量異常。
2、 根據權利要求l所述的基於超統計理論的網絡流量異常檢測方 法，其特徵在於步驟(2)中慢變量序列的計算包拮下述步驟(Al)將非平穩的網絡流量時間序列劃分為寬平穩的子序列，或者對整 個網絡流量時間序列進行差分平穩化，對原始網絡流量時間序列進行平穩 化處理，得到平穩網絡流量序列；(A2)設選取的分布模型的分布參數為A" i=l,2，…K偽分布參數的 個數，再分別根據參數、的變化趨勢和設定的規則，將步驟(A1)得到的平 穩網絡流量序列劃分為多個窗口，設窗口的總個數為#，劾正整數；(A3)計算每個窗口的分布參數A,"， 1《J《見該序列即為慢變量序列。
3、 根據權利要求l所述的基於超統計理論的網絡流量異常檢測方法， 其特徵在於步驟(3)通過檢測偏離所述慢變量序列所服從的分布模型的慢 變量進行網絡流量異常。
4、 根據權利要求l所述的基於超統計理論的網絡流量異常檢測方法， 其特徵在於步驟(3)採用傳統的異常檢測方法檢測在統計特徵上異常的慢 變量進行網絡流量異常。
5、 根據權利要求l所述的基於超統計理論的網絡流量異常檢測方法， 其特徵在於；步驟(3)採用基於離散廣義Pareto超統計進行網絡流量異常檢 測，其過程為(Cl)對非平穩的網絡流量時間序列進行平穩化處理； (C2)將平穩化的網絡流量時間序列根據離散廣義Pareto分布的參數劃 分成^h子窗口；(C3)計算每個窗口的離散廣義Pareto分布參數，得到網絡流量時間序 列的慢變量序列；(C4)用K-近鄰算法方法檢測慢變量序列中的異常慢變量，異常慢變量 對應的窗口中的網絡流量即為異常網絡流量；(C5)用廣義最大似然比方法檢測慢變量序列，異常慢變量對應的窗口 中的網絡流量即為異常網絡流量。
6、 根據權利要求5所述的基於超統計理論的網絡流量異常檢測方法， 其特徵在於步驟(C2)中，進行離散廣義Pareto分布的參數估計時，利用 下述補償算法對網絡流量時間序列進行預處理(Dl)假設原始網絡流量時間序列的小數部分服從一個均勻分布，將原 始網絡流量時間序列加上均勻分布產生的小數部分後用廣義概率權重矩方 法估計進行參數估計；(D2)根據(Dl)步驟中得到分布參數產生於原始網絡流量時間序列個數相同的樣本序列，計算樣本序列與原始網絡流量時間序列的差值，用該差 值加上原始網絡流量時間序列並用GPWM方法進行參數估計；(D3)重複上述步驟(Dl) - (D2)，估計出離散GPD模型的參數。
7、根據權利要求5所述的基於超統計理論的網絡流量異常檢測方法，其 特徵在於步驟(C2)中，步驟(C2)中的窗口劃分方法步驟如下(El)採用滑動窗口方法，對每個滑動窗口估計離散廣義Pareto分布的 分布參數，得到分布參數序列，該序列反映了網絡流量時間序列的分布參 數的變化趨勢；(E2)採用BG算法計算出分布參數序列的均值突變點，並通過該突變點 對應網絡流量即為窗口劃分點。
全文摘要
本發明公開了一種基於超統計理論的網絡流量異常檢測方法，包括①根據網絡流量的實際特性選擇一種分布模型，並且該分布符合網絡流量的分布擬合檢驗要求；②根據此分布模型計算網絡流量時間序列的慢變量序列，即分布參數序列；③根據慢變量序列的異常波動來檢測網絡流量異常。本發明通過建立基於超統計(即統計之統計)的網絡流量模型，可以描述表現出突發性、非平穩、長相關性以及重尾性的網絡流量時間序列並對網絡流量進行異常檢測。通過本發明所計算的網絡流量時間序列的慢變量序列準確描述了網絡流量的特徵，通過分析慢變量序列可以準確分析網絡流量，並大大減少了計算量，實驗說明基於慢變量的網絡流量異常檢測明顯優於傳統檢測方法。
文檔編號H04L12/56GK101286897SQ200810047728
公開日2008年10月15日 申請日期2008年5月16日 優先權日2008年5月16日
發明者帆 丁, 越 楊, 偉 熊, 一 王, 王祖喜, 胡漢平, 冬 陳, 陳江航 申請人:華中科技大學