一種基於數據挖掘的網絡異常檢測方法與流程
2023-05-19 20:32:56
本發明屬於計算機應用技術領域，更具體地說，尤其涉及一種基於數據挖掘的網絡異常檢測方法。
背景技術：
數據挖掘是從存放在資料庫，數據倉庫或其他信息庫中的大量數據中挖掘有趣知識的過程。數據挖掘從資料庫中大量模糊的、有噪聲的原始數據中，按照一定規則發掘重要的信息，提取有價值的知識。數據挖掘技術是一門交叉學科，涉及到入侵檢測、智能資料庫與機器學習等多個領域，數據挖掘已經成為熱門的研究課題。在入侵檢測中應用數據挖掘技術，能提高了檢測效率、增強了系統的自適應性和擴展性。基於數據挖掘的入侵檢測系統，能很好地保護計算機網絡系統的安全，具有很高的研究價值和現實意義。
21世紀的信息化革命給人類社會帶來了翻天覆地的變化，改變了全球的信息交流方式，隨著計算機和通信技術的發展，網絡成為當今世界發展的重要因素。近年來，計算機網絡發展極其迅速，信息網絡涉及到了國家的政府、軍事、文教等諸多領域，政府的每項重大決策、商業經濟機密、銀行資金流動、能源統計、科研數據等都包含了大量的信息流動，信息網絡已經成為社會發展的重要保證，是體現國家綜合實力的象徵。隨著計算機的網絡化和全球化，社會的各個領域在網絡時代產生了質的飛躍，人們的學習、工作、生活都融入到網絡中，通過網絡人們共享資源。
經過數十年的發展，網絡環境已經發生了很大的變化，結構由簡單到複雜，應用由單一到多元化，維護網絡的正常穩定運行也成為了極其重要的問題。各種網絡技術在時間和空間上的延伸，用戶數量和設備的增加，網絡攻擊行為頻發等，這些網絡中的不穩定因素使網絡管理的難度加大。通過網絡的犯罪活動口益嚴重，保障計算機網絡系統的安全刻不容緩，網絡安全已成為國家安全的重大問題。只有計算機網絡安全，社會的信息化才能正常發展，國家的信息才能安全，才能保證人民的網絡生活不受侵害，因此，網絡安全技術的研究具有重要的社會意義和現實意義。
目前，網絡應用中存在許多不安全因素，主要表現為信息洩漏、信息篡改、非法使用網絡資源、非法信息滲透等，網絡信息的安全與防範顯得越來越重要。計算機網絡安全隱患多，維護難度大，攻擊手段變得多元化、複雜化、智能化，因此必須要建立一個安全有效的保護系統，才能保證網絡健康穩定的運行。
傳統的網絡安全技術主要有:加密技術、身份鑑別和認證技術、訪問控制技術、防火牆技術等，在計算機網絡發展的初級階段，這些安全技術起到了一定的作用，保證了網絡的正常運行和信息的交流。面對當前複雜的網絡環境，傳統的安全保護技術主要有以下幾個問題:
1.這些技術都屬於靜態安全技術範疇，不能主動跟蹤入侵者，同時靜態防禦中的安全策略犧牲了用戶的部分權利，這與網絡的開放性，共享性相違背；
2.不能防止來自系統內部的攻擊，對授權用戶濫用計算機及其資源的情況無能為力；
3.由於性能的限制，無法提供實時監測。
因此，計算機網絡安全的研究重點由靜態安全技術逐步轉向主動跟蹤、主動檢測的動態安全技術。
技術實現要素：
本發明的目的是為了解決現有技術中存在的缺點，而提出的一種基於數據挖掘的網絡異常檢測方法。
為實現上述目的，本發明提供如下技術方案：
一種基於數據挖掘的網絡異常檢測方法，包括：
系統標準輸入、輸出：stdio；
系統標準庫:stdlib；
系統數學函數庫:math；
系統標準輸入、輸出流:iostream；
具體包括如下步驟：
S1、首先，啟動主程序文件detection.cpp，讀入待檢測的數據和進行預處理；
S2、依次調用數值化程序num.epp、數據歸一化程序format.cpp兩個文件對數據進行預處理，提高後面算法的運行效率；
S3、調用個體適應度計算程序fitcal.cpp計算個體的適應度，以用於選擇算子部分的賭盤選擇；
S4、調用遺傳算子程序genetic.cpp；
S5、調用聚類分析和生成模塊clust.cpp，將前一步所得個體作為聚類劃分方法的初始中心點，由此模塊對數據進行劃分並產生聚類；
S6、調用數據可讀性轉換模塊trap.cpp對產生的聚類進行標識，確定正常數據和異常數據類型；
S7、報警模塊alert.cpp向控制臺輸出正常數據和異常數據的信息。
優選的，在S4中，所述調用遺傳算子程序genetic.cpp的具體步驟如下：
a首先，調用選擇算子選擇適應度較高的個體；
b然後，調用交叉算子對個體進行適度地交叉，提高全局搜索能力；
c最後，調用變異算子對個體進行適度地變異，提高局部搜索能力,一共迭代4次。
優選的，在S5中，所述聚類的具體方法如下：
輸入：密度半徑r，n條記錄的數據集A；輸出：k個聚類；包括如下步驟：
A、掃描一次數據集A，For：讀取樣本集合A中的每一個數據i；
B、計算每個數據的點密度，並計算出每個數據點的距離和Dᵢ與距離均和H；
C、如果數據對象密度值小於密度值Q，並且D>H則視為該對象為孤立點t；
D、去除A中的孤立點數據，得到新的數據集A'，並記錄A'中的樣本個數m=n-t，輸出孤立點；
E、運行改進的獲取初始聚類中心的算法，獲得k個初始聚類中心；
F、對點集U進行聚類，形成k個簇集UK。
異常檢測是根據用戶的行為或資源正常使用狀況的正常程度來判斷是否入侵，可以檢測出新的攻擊行為。異常檢測主要觀察通信中出現的異常現象，而不是已知的入侵行為。異常檢測假設入侵行為都是異常的，比如外部闖入、內部的不正常操作和攻擊，基於這個假設，收集系統正常行為的歷史數據，用定量的方法為系統建立一個正常行為的特徵庫，這樣在理論上與正常特徵不一樣的行為和操作就可以視為入侵行為。異常檢測判斷系統資源的使用情況，通過運行監控程序監視用戶在系統上的行為，將當前的活動的特徵和正常行為的特徵比較，若當前的活動的特徵和正常行為的特徵的差別程度大於設定的閩值即判定為入侵，並發出警報。對於異常檢測，該方法的關鍵是對異常度閥值的設定與正常特徵的選擇。
本發明的技術效果和優點：本發明提供的一種基於數據挖掘的網絡異常檢測方法，與傳統技術相比，本發明有效地應用數據挖掘技術於入侵檢測中，基於入侵檢測的應用需要對原有的聚類分析算法進行改進，使得算法能夠適用於入侵檢測的環境和數據類型，達到入侵檢測的目的，並提高入侵檢測的檢測率，降低誤報率；同時，本發明引入了遺傳算法解決聚類算法收斂於局部最優解的缺陷，從而進一步提高了入侵檢測的檢測率，降低了誤報率。
具體實施方式
為了使本發明的目的、技術方案及優點更加清楚明白，以下結合具體實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
一種基於數據挖掘的網絡異常檢測方法，包括：
系統標準輸入、輸出：stdio；
系統標準庫:stdlib；
系統數學函數庫:math；
系統標準輸入、輸出流:iostream；
具體包括如下步驟：
S1、首先，啟動主程序文件detection.cpp，讀入待檢測的數據和進行預處理；
S2、依次調用數值化程序num.epp、數據歸一化程序format.cpp兩個文件對數據進行預處理，提高後面算法的運行效率；
S3、調用個體適應度計算程序fitcal.cpp計算個體的適應度，以用於選擇算子部分的賭盤選擇；
S4、調用遺傳算子程序genetic.cpp；
S5、調用聚類分析和生成模塊clust.cpp，將前一步所得個體作為聚類劃分方法的初始中心點，由此模塊對數據進行劃分並產生聚類；
S6、調用數據可讀性轉換模塊trap.cpp對產生的聚類進行標識，確定正常數據和異常數據類型；
S7、報警模塊alert.cpp向控制臺輸出正常數據和異常數據的信息。
具體地，在S4中，所述調用遺傳算子程序genetic.cpp的具體步驟如下：
a首先，調用選擇算子選擇適應度較高的個體；
b然後，調用交叉算子對個體進行適度地交叉，提高全局搜索能力；
c最後，調用變異算子對個體進行適度地變異，提高局部搜索能力,一共迭代4次。
具體地，在S5中，所述聚類的具體方法如下：
輸入：密度半徑r，n條記錄的數據集A；輸出：k個聚類；包括如下步驟：
A、掃描一次數據集A，For：讀取樣本集合A中的每一個數據i；
B、計算每個數據的點密度，並計算出每個數據點的距離和Dᵢ與距離均和H；
C、如果數據對象密度值小於密度值Q，並且D>H則視為該對象為孤立點t；
D、去除A中的孤立點數據，得到新的數據集A'，並記錄A'中的樣本個數m=n-t，輸出孤立點；
E、運行改進的獲取初始聚類中心的算法，獲得k個初始聚類中心；
F、對點集U進行聚類，形成k個簇集UK。
綜上所述：本發明基於誤用檢測的方法不能有效地檢測未知類型的攻擊，基於異常的入侵檢測方法不依賴於入侵檢測的特徵庫，能檢測未知類型的攻擊，有必要研究行之有效的異常檢測的方法。本發明採用了數據挖掘技術，對入侵檢測系統做改進，可以有效適用於入侵檢測系統的數據挖掘算法，進一步提高檢測率並降低誤報率。當對系統的攻擊發生時，系統能夠檢測出攻擊行為，及時向網絡管理員報警，達到入侵檢測的目的。
最後應說明的是：以上所述僅為本發明的優選實施例而已，並不用於限制本發明，儘管參照前述實施例對本發明進行了詳細的說明，對於本領域的技術人員來說，其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換,凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。