一種基於相關特徵聚類的層次入侵檢測系統的製作方法
2023-10-29 05:08:42 2
專利名稱：一種基於相關特徵聚類的層次入侵檢測系統的製作方法
技術領域：
本發明涉及一種用於計算機網絡安全的基於相關特徵聚類的層次入侵檢測系統，屬於網絡信息安全技術領域。
入侵檢測系統的功能是收集網絡數據，對網絡攻擊進行檢測，並將檢測結果報告給網絡管理員，通過防火牆等其他網絡設備採取相應的響應動作，或者在入侵檢測系統中嵌入響應部件，由入侵檢測系統自身執行相應的響應動作。
圖1(A)、(B)分別展示了入侵檢測系統在網絡中的兩種設置形式分接頭(Tap)形式和直連(In-line)形式。
目前，評價一個入侵檢測系統檢測性能的指標主要有兩項A.檢測概率正確檢測到的攻擊數與攻擊總數之比；B.虛警概率正常行為被入侵檢測系統錯誤地判決為攻擊的數目與正常行為總數之比。通常，一個好的入侵檢測系統應該具有較高的檢測概率和較低的虛警概率。也就是說，該入侵檢測系統能夠檢測到絕大多數的攻擊，而且，儘可能少地把正常行為錯判為攻擊。
從檢測技術的角度上，入侵檢測可以分為「誤用檢測」和「異常檢測」兩大類。由於本發明系統只涉及誤用檢測，因此這裡也只介紹誤用檢測。
參見圖2和圖3，目前的誤用檢測系統一般由兩個階段組成初始化(即得到檢測器中檢測規則集)階段和檢測階段。在初始化階段，首先採集包含有已知攻擊數據的初始化數據集，再通過攻擊行為輪廓分析器(如規則學習分析器)或者由信息安全領域的技術人員在初始化數據集上分析現有的每種攻擊的行為輪廓，並用規則等形式來編碼表示，再存儲於存儲器中。這種保存於存儲器中用來描述攻擊行為的規則集合及其相應的檢測程序被稱為「攻擊檢測器」。
攻擊檢測規則集合的一般形式如下(其中符號∧表示「且」、W為已知的攻擊種類數目)如果(條件11∧條件12∧......∧條件1Q1)成立，則判斷當前行為為攻擊1(其中Q1為規則1中的條件個數，以下類似；而且，每種攻擊的檢測規則數量可能不止一條。這裡僅用一條表示其形式)；如果(條件21∧條件22∧......∧條件2Q2)成立，則判斷當前行為為攻擊2；如果(條件W1∧條件W2∧......∧條件WQW)成立，則判斷當前行為為攻擊W。
參見圖4所示的檢測階段中檢測器的工作步驟流程示意圖。攻擊檢測規則集存儲於計算機或者其他專用處理器的存儲器中。其中不同規則具有不同的存儲地址。每種攻擊的規則在存儲器中佔用的地址空間記為e。檢測階段則利用建立好的攻擊檢測器檢測是否產生攻擊如果檢測到當前網絡行為跟已經建立並存儲於存儲器中的攻擊檢測規則集中的某條規則相一致(圖4中稱之為「匹配」)，則表明有相應的攻擊發生；否則，認為沒有攻擊行為發生。即檢測階段流程中的檢測器預設輸出表示沒有攻擊行為發生。如果發現了入侵的攻擊行為，入侵檢測系統將報警或者直接通知與其聯動的其他網絡安全產品，如防火牆等，採取相應的響應措施。
為了完成對入侵攻擊的檢測，目前使用的誤用檢測系統的結構組成簡介如下參見圖5，該系統包括有控制臺1、數據收集模塊2、預處理模塊3、數據存儲模塊4、事件分析模塊5、響應模塊6以及通信模塊7。圖中細實線箭頭表示控制信號流動方向，中空箭頭表示數據流動方向。其中控制臺1是由一臺微機或專用PC機或專用處理器晶片和一個具有先進的圖形用戶界面(GUI，Graphical Users Interface)功能的系統管理軟體組成的控制裝置；它是整個入侵檢測系統和用戶交互的界面。用戶可以通過控制臺配置該系統中的各個部件或了解各部件的運行情況。由網卡及其相應驅動軟體組成的數據收集模塊2負責收集網絡上的網絡數據包。預處理模塊3是由一臺微機或專用PC機或專用處理器晶片和一個具有網絡底層協議解碼及IP分片重組和TCP流重組等功能的相應軟體組成的處理器，負責完成將由網卡收集到的二進位格式的原始網絡數據轉換成ASCII格式的連接數據，並根據網絡數據包的報頭等提取能夠描述連接的信息。這些信息統稱為特徵。所有的特徵可以分為四大類，共M個。下面結合舉例，分別簡介該四大類M(這裡以M＝41為例)個特徵的情況(一)基於單個TCP連接的基本特徵(包括UDP等無連接的協議類型，可以將其單個數據包看成是一次連接)，如連接持續時間(單位秒)、協議類型、目的主機提供的網絡服務類型、源主機到目的主機的字節數、目的主機到源主機的字節數、連接狀態標誌、錯誤的分片數目等。這些特徵的具體取值一般可以通過報頭內容得到。
(二)基於內容的特徵，如訪問系統目錄、創建和執行程序的次數、login失敗次數、發生「文件/路徑未找到」錯誤的次數、是否獲得超級用戶shell的標誌、ftp會話中使用「下載」命令的次數、用「guest」用戶登陸的標誌等。這些特徵的具體取值一般可以通過計算數據包的內容得到。
(三)基於時間窗的流量特徵，如過去一段時間內與當前連接具有相同目的地址的連接次數、對於相同目的主機具有「SYN」錯誤的連接所佔的百分比等。這些特徵的具體取值通常是以2秒鐘的時間窗進行統計。
(四)基於主機的特徵，如具有相同目的主機的連接數目、具有相同目的主機及服務類型的連接數目、具有相同目的主機及服務類型的連接所佔百分比等。這些特徵的具體取值也是通過對連接進行統計得到的。
所有這些特徵可以是符號型取值，也可以是數值型取值。
數據存儲模塊4由存儲器及相應的資料庫軟體組成，負責存放由預處理模塊得到的數據(包括初始化階段的初始化數據集和檢測階段的待測試數據集)及其他需要存放的數據。數據存儲模塊中存放的初始化數據集及測試數據集的形式分別如下面表1和表2所示(表中M為特徵個數，根據不同的應用場合，M的取值可以不同)表1(初始化數據集)
表2(測試數據集)
事件分析模塊5則由攻擊檢測器51和攻擊輪廓分類器52共同組成。其中，攻擊輪廓分析器52是由一臺微機或專用PC機或者專用處理器晶片和一個具有相應分析能力的程序包組成的處理器，其功能是對數據存儲模塊中存儲的初始化數據進行分析，得到攻擊的行為輪廓和以規則集的形式表示的攻擊檢測規則集合。例如下面就是攻擊檢測規則集合的一個具體取值實例如果特徵7＝1，則判斷當前行為為land攻擊；如果2154＜特徵1＜5748，且，特徵2＝ICMP，且，特徵6＞0.54，且，特徵39＝0.25，則判斷當前行為為smurf攻擊……其他(即預設類)判斷當前行為為正常。
攻擊檢測器51是由一臺微機或專用PC機或者專用處理器晶片和一個相應的軟體組成的處理器，負責在檢測階段依據攻擊輪廓分析器52在初始化階段得到的攻擊檢測規則集合完成對待測試數據的檢測，判斷是否有攻擊發生，並報告攻擊類型。由防火牆或其他設備構成的響應模塊6負責根據控制臺1的配置策略及攻擊檢測器51的檢測結果作出相應的響應動作，如命令防火牆切斷由某個IP位址發起的所有網絡連接等。由RS232或者其他通信接口及驅動軟體組成的通信模塊7用於實現該入侵檢測系統與其他網絡設備(如網絡中還存在有另一個基於主機的異常入侵檢測系統等)之間的通信及數據交換功能。
上述各模塊和處理器既可以分別由一臺微機或專用PC機或專用處理器晶片來完成其功能，也可以共享同一臺微機或專用PC機或專用處理器晶片的硬體資源。
參見圖5，現有的誤用檢測系統通常是在初始化階段針對已知的每種具體攻擊方式，利用攻擊行為輪廓分析器52對初始化數據集進行分析，並在此基礎上建立攻擊行為輪廓描述規則，進而建立攻擊檢測器51。圖中的初始化數據流表示在初始化階段用於建立攻擊檢測器51時所用到的初始化數據的流向；測試數據流表示在檢測階段需要檢測的測試數據的流向。
由於無法事先獲知以往沒有發生過的新的攻擊方式，現有的誤用檢測系統的檢測器中不可能包含有對於新的攻擊方式的行為描述規則；因此如果在檢測系統開始工作後，發生了新的攻擊方式，現有的誤用檢測系統將沒有相應的行為描述與之對應，也就無法檢測到該新的攻擊方式。例如在建立攻擊檢測器的初始化階段，由於在初始化數據集中只有10種攻擊，就只能建立這10種攻擊的相應規則集合。然而，當檢測系統投入到實際工作中後，由於新的攻擊方式總在不斷產生，因此肯定會出現超出該已知的10種攻擊以外的其他新的攻擊，可以稱它們為第11種、第12種......攻擊。由於誤用檢測系統的檢測模型中根本沒有關於這些新攻擊的描述，也就不可能實現對其的正確檢測。實際上，它們只能被錯誤地檢測為「正常」(因為對於誤用檢測系統，其預設輸出為「正常的合法行為」)。所以，誤用檢測系統無法檢測到新的攻擊，其檢測概率不會很高。這是目前的誤用檢測系統最大且無法避免的缺點。而且，對於某些已知的攻擊方式的些微變形，誤用檢測系統也不一定能夠正確識別和檢測出來。現實的情況是如果對某種攻擊的行為描述得越具體(不能等同于越準確)，則該種攻擊的檢測概率越高；而其變形的攻擊及新的攻擊被檢測到的可能性就越低。
另外，目前對於網絡攻擊的分類已經進行了較多的研究，現在對攻擊的分類有的是以入侵的結果為標準，有的是根據計算機安全的三性(機密性、可用性、完整性)來劃分。但是，這些分類都不是針對攻擊檢測的具體實現方式。現有的按照上述標準劃分出來的攻擊大類，要麼是過於簡單而不能使用，要麼是不能得到與其分類依據相一致的特徵。因此，以這些標準劃分出來的攻擊大類，在實際的入侵檢測應用中大多不具備較強的相似性。這種分類結果無法直接應用，也無助於建立切實有效的入侵檢測系統。
本發明的一種基於相關特徵聚類的層次入侵檢測系統是這樣實現的包括用於配置系統中的各個部件，並了解和控制各部件運行情況的控制臺；用於收集網絡上的網絡數據包的數據收集模塊；用於將數據收集模塊收集到的二進位原始網絡數據轉換成ASCII格式的連接數據，並根據網絡數據包的報頭提取能夠描述連接信息的特徵的預處理模塊；用於存放由預處理模塊得到的、包括初始化階段的初始化數據集和檢測階段的待測試數據集以及其他需要存儲的數據的數據存儲模塊；用於分析數據存儲模塊中的初始化數據，得到攻擊的行為輪廓和攻擊檢測規則集合的事件分析模塊；在事件分析模塊中包括有依據攻擊檢測規則集合對測試數據流進行檢測，判斷是否發生攻擊並報告該攻擊類型的攻擊檢測器；用於根據控制臺的配置策略及攻擊檢測器的檢測結果產生相應動作的響應模塊；用於實現本系統與其他網絡設備之間的通信和數據交換的通信模塊；其特徵在於所述的事件分析模塊中還包括用於分析處理數據存儲模塊中存儲的初始化數據，對其中的每種攻擊計算其相關特徵，並將該攻擊的各種相關特徵編碼為相關特徵碼字的相關特徵分析器；用於對攻擊的相關特徵碼字進行聚類處理，並根據其結果對初始化數據集重新組織後，得到以大類標誌作為類別標籤的新的初始化數據集，並存儲在對應存儲器中的數據重組器；用於對重組後的帶有大類類別標籤的初始化數據集進行分析，提取攻擊大類的行為輪廓，並將其以規則集形式表示的大類輪廓分析器。
所述的相關特徵分析器、數據重組器、大類輪廓分析器分別是由一臺微機或專用PC機或專用處理器晶片和一個具有對應的相關特徵分析、數據重組、輪廓分析處理功能的程序包組成的處理器，也可以是共享同一臺微機或專用PC機或專用處理器晶片。
所述的將該攻擊的各種相關特徵編碼為相關特徵碼字是將所有特徵用一組二進位碼來表示，並針對不同的攻擊，根據這些特徵是否為檢測該攻擊所需要的相關特徵而確定該二進位碼串中各個比特的數值，該二進位碼串即稱為該攻擊的相關特徵碼字。
所述的相關特徵碼字的字長取決於由預處理模塊得到的各種特徵的總數，每個特徵與該二進位碼串中的某一位相對應，即該二進位碼串中的各個二進位碼的數值表示其所對應的某一個特徵是否為用於區分該攻擊與其他攻擊及合法的正常網絡行為的必要的有用特徵，即相關特徵。
所述的用於區分該攻擊與其他攻擊及合法的正常網絡行為的相關特徵碼字的二進位碼串中的某一比特數值為1，表示該比特所對應的特徵為該攻擊的相關特徵；若該數值為0，則表示該比特所對應的特徵不是該攻擊的相關特徵。
所述的每一種攻擊具有一個或一個以上的相關特徵，即在表示該攻擊的相關特徵的一個二進位碼串中有一個比特或一個以上比特的數值為1；且對於初始化數據集中的若干種攻擊，可以得到與該若干種攻擊的種類數目相等的相關特徵碼字。
所述的對攻擊的相關特徵進行聚類處理是以不同的相關特徵碼字之間的相近性來代表不同的攻擊之間的相近性程度，並根據該相近性的大小將若干種相近的攻擊匯聚劃分為一個大類；再進而根據攻擊匯聚分類的結果將初始化數據集重組，並將其存儲於存儲器中。
所述的聚類處理方法有多種；其中之一是根據各個相關特徵碼字之間的漢明距離大小，將與各種攻擊相對應的所有相關特徵碼字彙聚成若干個攻擊大類。
所述的根據各個相關特徵碼字之間的距離大小，將與各種攻擊相對應的所有相關特徵碼字彙聚分成若干個攻擊大類的聚類處理方法包括下列步驟(1)在總共為W個的相關特徵碼字中任意選取一個碼字(如code1)，作為第一個大類的中心點(C1)。
(2)依次選取剩餘的其它各個相關特徵碼字codei(對於第一輪循環，i＝2，3，...，W)，分別計算這些點codei與第一個大類的中心點(C1)之間的距離D1i(i＝2，3，...，W)，該距離D1i表示這些點與該第一個大類中心點(C1)之間的差異程度，其計算方法是取兩個碼字的所有比特的差的絕對值之和；計算公式為Dji=n=1P|pointjn-pointin|;]]>式中Dji表示點i和點j之間的距離，P為初始化數據集中每條記錄所包含的特徵個數，pointjn表示第j個點中的第n比特，pointin表示第i個點中的第n比特；(3)設定一個閾值T，若D1i≤T，則判定相關特徵碼字codei屬於以第一個大類的中心點(C1)為中心的大類；若D1i＞T，則把該碼字作為新產生的第二個大類中心點(C2)；(4)對剩餘的各個碼字依照步驟(2)分別計算其與目前已產生的所有大類的中心點之間的距離，並對這些剩餘點集合中的每個點選擇其與所有大類中心距離之間的最小者，將該最小距離與閾值T做比較，並依照步驟(3)，將這些點依次化歸於各大類或者用來產生新的大類。
(5)如果一個大類中包含有多個碼字，則選取這些碼字的平均值作為該大類的中心；如此循環，直至對全部相關特徵碼字分類處理完畢。
所述的將與各種攻擊相對應的所有相關特徵碼字彙聚成若干個攻擊大類的聚類處理的實現方法是將各種攻擊的相關特徵碼字彙聚為兩個或者兩個以上的大類，且該若干個大類的個數小於各種攻擊的總數。
所述的將與各種攻擊相對應的所有相關特徵碼字彙聚成若干個攻擊大類的聚類處理的實現方法是將各個相關特徵匯聚為兩個或者兩個以上的大類，且該若干個大類的個數小於各種攻擊的總數。
本發明主要優點是該系統能夠對新攻擊進行正確的檢測和判斷，較好地解決了現有的誤用檢測系統對於網絡上不斷出現的新的攻擊、甚至某些已知攻擊的些微變形都無法正確識別和檢測的問題，從而為防範不斷滋生的、針對網絡的入侵攻擊，提供了一種確實有效的入侵檢測系統。該系統採用基於相關特徵聚類的方法來實現對於攻擊在不同層次的歸類，這種攻擊分類方法是從攻擊檢測的實施手段(即相關特徵)出發的，因此其劃分得到的攻擊大類結果可以直接用於各種入侵檢測系統來檢測網絡攻擊，具有很強的實用價值。本發明為保障計算機系統、網絡系統及整個信息基礎設施的安全提供了一種新的技術裝備。本發明的技術特點是該系統具有自動學習有關攻擊的各種相關特徵、提高檢測水平的自我學習和智能化增強檢測能力的功能。
圖2是目前現有的誤用檢測系統兩個組成階段的示意圖。
圖3是圖2中初始化階段中相關操作步驟流程圖。
圖4是圖2中檢測階段中檢測器的工作步驟流程示意圖。
圖5是目前現有的誤用檢測系統的結構組成示意圖。
圖6是本發明基於相關特徵聚類的層次入侵檢測系統的結構組成示意圖。
圖7是現有誤用檢測系統中攻擊檢測器裡的檢測規則描述示意圖。
圖8是在檢測階段出現新的攻擊方式時現有誤用檢測系統的檢測示意圖。
圖9是本發明利用相關特徵分析器及數據重組器對圖7的攻擊進行聚類處理後的分類結果示意圖。
圖10是本發明層次入侵檢測系統對於圖8中出現的新的攻擊方式進行正確檢測的示意圖。
圖11是增大閾值T以後相關特徵分析器及數據重組器進行聚類處理結果示意圖。
因為本發明系統的大類輪廓分析器55與傳統設備中的攻擊輪廓分析器52(如圖5中所示)的組成結構與功能基本相同，只不過大類輪廓分析器55處理的數據變成了重組後的大類數據，其分析得到的是表示攻擊大類行為輪廓的攻擊大類檢測規則集合。所以下面重點對本發明系統裡的事件分析模塊5中的相關特徵分析器53和數據重組器54的組成及功能作進一步的介紹相關特徵分析器53是由一臺微機或專用PC機或者專用處理器晶片和一個具有相關特徵分析功能的程序包組成。該部件的功能是對存儲於存儲器中的初始化數據進行處理，產生相關特徵碼字。實際上，建立一種特定的攻擊行為的檢測規則，並最終利用這些規則來檢測該種攻擊，這一過程往往並不需要用到所有的M(例如為41)個特徵。事實上，根據不同的攻擊，用來實現其檢測的必要且有用的特徵(即相關特徵)有所不同。實驗已經證明如果在檢測某種攻擊時使用全部特徵(包含相關特徵和不相關特徵)，不但會帶來輪廓分析器55運算量的增加，同時還會降低檢測率。相關特徵分析器的任務就是對每種攻擊計算其相關特徵，並將攻擊，相關特徵子集採用相關特徵碼字來表示。相關特徵碼字長等於所有特徵的個數M(例如本例中為41)。如果對於某種攻擊來說，特徵i為其相關特徵，則其相關特徵碼字的第i比特為1；否則，該相關特徵碼字的該位比特為0。
例如對於land攻擊的檢測只需要檢測特徵7，而對於smurf攻擊的檢測則需要檢測特徵1、特徵2、特徵6和特徵39。如果將land攻擊，特徵7和smurf攻擊，特徵1、特徵2、特徵6、特徵39採用相關特徵碼字來表示，按上述的編碼方式得到的這兩種攻擊的相關特徵碼字分別是land攻擊00000010000000000000000000000000000000000smurf攻擊11000100000000000000000000000000000000100因此，對於初始化數據集中的W種攻擊，總共可以得到W個相關特徵碼，分別記為code1、code2、……、codeW。第j個相關特徵碼中的第i比特位記為pointji。
數據重組器53也是由一臺微機或專用PC機或者專用處理器晶片和一個相應程序包組成。其功能是對相關特徵碼進行聚類處理，並根據其結果對初始化數據集進行重新組織。聚類處理可以有多種不同的軟體程序包實現方式。這裡只介紹本發明使用的一種聚類處理的操作步驟(1)在總共為W個的相關特徵碼字中任意選取一個碼字，例如code1作為第一個大類的中心點(C1)。
(2)然後依次選取剩餘的其它各個相關特徵碼字codei(對於第一輪循環，I＝2，3，...，W)，計算這些點codei與第一個大類的中心點(C1)之間的距離D1i(i＝2，3，...，W)，該距離D1i表示兩個碼字之間的差異程度，其計算方法是取兩個碼字的所有比特的差的絕對值之和；計算公式為Dji=n=1P|pointjn-pointin|;]]>式中Dji表示點i和點j之間的距離，P為初始化數據集中每條記錄所包含的特徵個數，pointjn表示第j個點中的第n比特，pointin表示第i個點中的第n比特；(3)設定一個閾值T，若D1i≤T，則判定相關特徵碼字codei屬於以第一個大類的中心點(C1)為中心的大類；若D1i＞T，則把該碼字作為新的第二大類中心點(C2)；(4)對剩餘的各個碼字依照步驟(2)分別計算其與目前已產生的所有大類中心點之間的距離，並對這些剩餘點的每個點選擇其與所有大類中心距離之間的最小者，將此最小距離與閾值T做比較，再依照步驟(3)，將這些點依次劃歸匯聚於各大類或者用來產生新的大類；(5)如果一個大類中包含有多個碼字，則選取這些碼字的平均值作為該大類的中心；如此循環操作，直至對全部相關特徵碼字分類處理完畢。
聚類處理的結果是根據相關特徵碼字之間的距離大小(即差異度大小)，將對應於W種攻擊的W個相關特徵碼字彙聚成了K個攻擊大類；其中K≤W。
本發明對相關特徵碼字進行聚類處理，實際上是完成了將相關特徵相似的攻擊劃分為一個大類的任務。例如相關特徵子集{特徵1、特徵2、特徵5、特徵6、特徵7}與相關特徵子集{特徵1、特徵3、特徵5、特徵6、特徵7}之間的相似性大於相關特徵子集{特徵1、特徵2、特徵5、特徵6、特徵7}與相關特徵子集{特徵3、特徵5、特徵12、特徵14}之間的相似性。這是聚類算法中用來度量距離的一種方法。目前已經有很多電腦程式可以實現聚類處理的功能。這裡不再一一列舉。
完成聚類處理以後，根據聚類的結果，本發明會將前面介紹的表1所示的初始化數據中的攻擊類別分別替換為其對應的攻擊大類類別，得到如表3所示的重組後的初始化數據集合，完成初始化數據集合的重組，並將其存儲於存儲器中。
表3(重組後的初始化數據集合)
大類輪廓分析器54進行分析的依據是表示攻擊大類行為輪廓的攻擊大類檢測規則集合；其形式如下面所示的一個攻擊大類檢測規則集合的具體取值實例如果特徵3＝451，則判斷當前行為為第一大類攻擊；如果2234＜特徵1＜8448，且，特徵2＝TCP，且，特徵4＞547，且特徵24＝0.36，則判斷當前行為為第二大類攻擊；……其他(即預設類)判斷當前行為為正常。
下面結合附圖進一步具體說明本發明的優點和功效現有的誤用檢測系統的缺點是無法實現對新攻擊方式的檢測。這是因為在系統的初始化階段建立的攻擊檢測器中不可能包含新的攻擊方式的行為規則描述。參見圖7，假設圖7中所示的初始化數據集中已知的攻擊總共有10種，分別用字母A～J來表示。如果在測試階段出現了新的攻擊，即如圖8所示的攻擊K和攻擊L，則目前現有的誤用檢測系統將把這兩個攻擊都檢測為正常的合法行為，不能實現攻擊K和攻擊L的正確檢測。
本發明在事件分析模塊中增加了相關特徵分析器和數據重組器而組成層次入侵檢測系統，則可以檢測到上述的攻擊。因為層次入侵檢測系統中的攻擊檢測器是在先對特徵相似(即彼此距離相近)的攻擊進行歸類的基礎上，再由大類輪廓分析器計算得到的攻擊大類的行為輪廓。每個攻擊大類的規則集不只是其包含的原來的攻擊小種類的規則的簡單合併，而是其推廣和擴展。圖9形象地展示了相關特徵分析器和數據重組器處理後擴展的兩個大類1和大類2所包括的攻擊行為輪廓範圍。這樣，對於檢測階段出現的新攻擊攻擊K和攻擊L，本發明的層次入侵檢測系統也能夠將其分別劃入上述兩個大類1和大類2，從而實現正確檢測(如圖10所示)。
本發明被稱為層次入侵檢測系統，是因為通過相關特徵分析器和數據重組器處理後得到的攻擊大類的範圍是層次可變的。具體地說，只要控制聚類處理中的閾值T的大小，就可以得到不同層次的攻擊相似性歸類結果。例如增大T值，可以得到如圖11所示的只有三個大類的處理結果。
因此，從以上分析可以看出，相對於現有的誤用檢測系統，本發明層次入侵檢測系統能夠靈活地控制攻擊種類的劃分層次，同時能夠在檢測階段檢測到新的攻擊方式，可以有效地提高檢測概率。而且，雖然本發明層次入侵檢測系統模糊了攻擊的小的類別，但這並不會影響到入侵檢測的功能的實現。因為大類類別標誌是根據特徵的相似性得出的，大類的相關特徵及其取值情況可以反映出該大類攻擊的實現特徵。入侵檢測系統中的響應部件及網絡管理員完全可以根據這些特徵做出響應決策。
本發明基於相關特徵聚類的誤用檢測系統是入侵檢測系統的一種實施方案。但其應用不會局限於攻擊的入侵檢測方面。
本發明已經經過計算機仿真實驗驗證，試驗的結果表明該系統能夠實現對新攻擊類型的正確檢測，實現了發明目的。
權利要求
1.一種基於相關特徵聚類的層次入侵檢測系統，包括用於配置系統中的各個部件，並了解和控制各部件運行情況的控制臺；用於收集網絡上的網絡數據包的數據收集模塊；用於將數據收集模塊收集到的二進位原始網絡數據轉換成ASCII格式的連接數據，並根據網絡數據包的報頭提取能夠描述連接信息的特徵的預處理模塊；用於存放由預處理模塊得到的、包括初始化階段的初始化數據集和檢測階段的待測試數據集以及其他需要存儲的數據的數據存儲模塊；用於分析數據存儲模塊中的初始化數據，得到攻擊的行為輪廓和攻擊檢測規則集合的事件分析模塊；在事件分析模塊中包括有依據攻擊檢測規則集合對測試數據流進行檢測，判斷是否發生攻擊並報告該攻擊類型的攻擊檢測器；用於根據控制臺的配置策略及攻擊檢測器的檢測結果產生相應動作的響應模塊；用於實現本系統與其他網絡設備之間的通信和數據交換的通信模塊；其特徵在於所述的事件分析模塊中還包括用於分析處理數據存儲模塊中存儲的初始化數據，對其中的每種攻擊計算其相關特徵，並將該攻擊的各種相關特徵編碼為相關特徵碼字的相關特徵分析器；用於對攻擊的相關特徵碼字進行聚類處理，並根據其結果對初始化數據集重新組織後，得到以大類標誌作為類別標籤的新的初始化數據集，並存儲在對應存儲器中的數據重組器；用於對重組後的帶有大類類別標籤的初始化數據集進行分析，提取攻擊大類的行為輪廓，並將其以規則集形式表示的大類輪廓分析器。
2.根據權利要求1所述的基於相關特徵聚類的層次入侵檢測系統，其特徵在於所述的相關特徵分析器、數據重組器、大類輪廓分析器分別是由一臺微機或專用PC機或專用處理器晶片和一個具有對應的相關特徵分析、數據重組、輪廓分析處理功能的程序包組成的處理器，也可以是共享同一臺微機或專用PC機或專用處理器晶片。
3.根據權利要求1所述的基於相關特徵聚類的層次入侵檢測系統，其特徵在於所述的將各種攻擊的各種相關特徵編碼為相關特徵碼字是將所有特徵用一組二進位碼來表示，並針對不同的攻擊，根據這些特徵是否為檢測該攻擊所需要的相關特徵而確定該二進位碼串中各個比特的數值，該二進位碼串即稱為該攻擊的相關特徵碼字。
4.根據權利要求3所述的基於相關特徵聚類的層次入侵檢測系統，其特徵在於所述的相關特徵碼字的字長取決於由預處理模塊得到的各種特徵的總數，每個特徵與該二進位碼串中的某一位相對應，即該二進位碼串中的各個二進位碼的數值表示其所對應的某一個特徵是否為用於區分該攻擊與其他攻擊及合法的正常網絡行為的必要的有用特徵，即相關特徵。
5.根據權利要求4所述的基於相關特徵聚類的層次入侵檢測系統，其特徵在於所述的用於區分該攻擊與其他攻擊及合法的正常網絡行為的相關特徵碼字的二進位碼串中的某一比特數值為1，表示該比特所對應的特徵為該攻擊的相關特徵；若該數值為0，則表示該比特所對應的特徵不是該攻擊的相關特徵。
6.根據權利要求3所述的基於相關特徵聚類的層次入侵檢測系統，其特徵在於所述的每一種攻擊具有一個或一個以上的相關特徵，即在表示該攻擊的相關特徵的一個二進位碼串中有一個比特或一個以上比特的數值為1；且對於初始化數據集中的若干種攻擊，可以得到與該若干種攻擊的種類數目相等的相關特徵碼字。
7.根據權利要求1所述的基於相關特徵聚類的層次入侵檢測系統，其特徵在於所述的對攻擊的相關特徵進行聚類處理是以不同的相關特徵碼字之間的相近性來代表不同的攻擊之間的相近性程度，並根據該相近性的大小將若干種相近的攻擊匯聚劃分為一個大類；再進而根據攻擊匯聚分類的結果將初始化數據集重組，並將其存儲於存儲器中。
8.根據權利要求7所述的基於相關特徵聚類的層次入侵檢測系統，其特徵在於所述的聚類處理方法有多種；其中之一是根據各個相關特徵碼字之間的漢明距離大小，將與各種攻擊相對應的所有相關特徵碼字彙聚成若干個攻擊大類。
9.根據權利要求8所述的基於相關特徵聚類的層次入侵檢測系統，其特徵在於所述的根據各個相關特徵碼字之間的距離大小，將與各種攻擊相對應的所有相關特徵碼字彙聚分成若干個攻擊大類的聚類處理方法包括下列步驟(1)在總共為W個的相關特徵碼字中任意選取一個碼字(如code1)，作為第一個大類的中心點(C1)。(2)依次選取剩餘的其它各個相關特徵碼字codei(對於第一輪循環，i＝2，3，...，W)，分別計算這些點codei與第一個大類的中心點(C1)之間的距離D1i(i＝2，3，...，W)，該距離D1i表示這些點與該第一個大類中心點(C1)之間的差異程度，其計算方法是取兩個碼字的所有比特的差的絕對值之和；計算公式為Dji=n=1P|pointjn-pointin|;]]>式中Dji表示點i和點j之間的距離，P為初始化數據集中每條記錄所包含的特徵個數，pointjn表示第j個點中的第n比特，pointin表示第i個點中的第n比特；(3)設定一個閾值T，若D1i≤T，則判定相關特徵碼字codei屬於以第一個大類的中心點(C1)為中心的大類；若D1i＞T，則把該碼字作為新產生的第二個大類中心點(C2)；(4)對剩餘的各個碼字依照步驟(2)分別計算其與目前已產生的所有大類的中心點之間的距離，並對這些剩餘點集合中的每個點選擇其與所有大類中心距離之間的最小者，將該最小距離與閾值T做比較，並依照步驟(3)，將這些點依次化歸於各大類或者用來產生新的大類。(5)如果一個大類中包含有多個碼字，則選取這些碼字的平均值作為該大類的中心；如此循環，直至對全部相關特徵碼字分類處理完畢。
10.根據權利要求7所述的基於相關特徵聚類的層次入侵檢測系統，其特徵在於所述的將與各種攻擊相對應的所有相關特徵碼字彙聚成若干個攻擊大類的聚類處理的實現方法是將各種攻擊的相關特徵碼字彙聚為兩個或者兩個以上的大類，且該若干個大類的個數小於各種攻擊的總數。
全文摘要
一種基於相關特徵聚類的層次入侵檢測系統，其中控制臺、數據收集模塊、預處理模塊、數據存儲模塊、響應模塊、通信模塊和事件分析模塊中的檢測器的結構組成、連接關係及功能都與現有的誤用入侵檢測系統相同；其創新的關鍵之處是在事件分析模塊中增設了由相關特徵分析器、數據重組器和大類輪廓分析器構成的對初始化數據流進行相關特徵分析、提取和重組的構件來替代原來的攻擊輪廓分析器，從而構成一種新的層次入侵檢測系統。該系統能夠正確識別和檢測新的攻擊，較好地解決了現有的誤用檢測系統無法檢測新的攻擊方式和檢測概率較低的缺陷，為保障計算機系統、網絡系統及整個信息基礎設施的安全的一種新技術裝備。
文檔編號G06F11/08GK1460932SQ0313709
公開日2003年12月10日 申請日期2003年6月18日 優先權日2003年6月18日
發明者鄒濤, 田新廣 申請人:北京首信股份有限公司