網際網路流量分級分類方法
2023-06-03 00:27:56
專利名稱：網際網路流量分級分類方法
技術領域：
本發明涉及網際網路流量分類技術領域，具體講是一種網際網路流量分級分類方法。
背景技術：
網際網路流量的精確分類與識別是網絡流量工程、網絡管理與安全監測、網絡設計與規劃等網絡行為的前提和基礎。高效、準確、實時地識別出網際網路流量對於分析網絡發展趨勢、提供服務質量(QoQ保證、實現動態訪問控制和路由決策、進行合法有效的網絡管理和控制、檢測網絡異常行為與提高網絡安全性等都有很重要的現實意義，同時為網際網路的進一步發展提供自適應能力。目前，網際網路流量分類方法主要有以下幾種基於埠的流量識別方法，這種分類方法操作簡單、效率高、能實現早期檢測，但不能識別大量出現的動態埠和偽裝埠的應用。特別是，新一代的對等網絡(P2P)應用綜合了很多防火牆旁路策略，如動態埠分配和中繼節點來避免被檢測或過濾，埠匹配法識別能力有限，只能產生不精確的應用分類結果。深度數據包檢測法(DPI)，易於理解、維護簡單、分類精度高、具有細粒度分類應用能力，但識別開銷大、DPI特徵庫更新工作量大、對應用層載荷加密的流量識別能力有限、對新應用適應性差、在各監測點的靈活部署能力差。流量特徵分析法，不依賴於埠與應用層載荷、具有發現新流量特徵的能力，但需要大量離線分析，甚至要涉及多個流，佔用較多的內存，大部分方法的識別精度相對不高， 適用於粗粒度流量識別。基於機器學習的流統計特性識別法，可擴展性好、能識別加密數據流、無監督或半監督學習還能智能地發現未知應用流量，採用的分類器可擴展性和靈活性好、且無需經常更新，但流量類別細分能力不足、標籤流獲取困難。由於近年來網絡技術的發展，網絡應用越來越豐富，網絡內容種類層出不窮，特別是對等網絡技術的發展，使得網絡用戶規模、應用類型和流量均呈爆發式增長。同時，網際網路流量日趨複雜、動態、多變；而且越來越多的P2P應用以及惡意網絡行為採用動態埠、 偽裝埠、應用層加密、分組填充等多種規避手段來逃避法律責任和躲避監測。目前，僅依賴於單個分類方法幾乎不可能達到網際網路流量分類的高效、準確、智能、實時地識別網際網路流量，並能覆蓋所有網絡應用，具有較好的可擴展性，即識別出未知流量和加密流量，並具有好的靈活性以適用於各個網絡監測點的要求。
發明內容
本發明要解決的技術問題是，克服現有的技術缺陷，提供一種能夠智能、精確、實時、有效地識別網絡流量，具有好的完整性和可擴展性，能夠滿足不同應用目標和分類粒度的網際網路流量分類需求的網際網路流量分級分類方法。本發明的技術解決方案是，提供一種網際網路流量分級分類方法，它包括以下步驟A、粗粒度分類採用基於機器學習的流統計特性法快速分類網絡流量，把網絡流量分成不同特徵的應用類別類，粗粒度分類區分出的流量若需要使用，就直接輸出，若需要進一步分類，則進入下一步。B、細粒度分類在粗粒度分類區分出的應用類別類中進行再一次分類，步驟如下1、採用埠匹配識別法進行分類，輸出已分類的流量，2、將上步完成後剩下的未分類流量，根據DPI流量特徵標籤庫執行DPI分析識別法，分離出各應用流量，並輸出，3、對於上步完成後剩下的加密和未知流量，採用半監督機器學習算法分離並輸出加密流量，餘下的標識為未知的網絡應用流量，4、對標識為未知的網絡應用流量，按分組長度執行基於最長公共子序列的應用層特徵標籤自動提取，5、將上步中自動提取的新特徵標籤經確認補充到DPI特徵標籤庫，輸出已確認應用類型並添加標記的該未知應用流量。實現DPI特徵的自動、智能更新與維護。所述步驟4中，按分組長度執行基於最長公共子序列的應用層特徵標籤自動提取的提取方法步驟如下(1)目標應用流量按五元組聚集成流，並置入流池，所述五元分別為源地址、目標地址、源埠、目標埠、傳輸層協議；(2)對流池中的目標應用流量根據{流持續時間，流的總字節數，分組到達時間間隔最大值，分組淨荷長度最小值}所構成的向量採用k-means聚類網絡應用流，去除噪聲流；(3)對同一網絡應用流的平均分組長度用X-Means算法聚類，然後分別在聚類的樣本流中各自提取應用層特徵；(4)確定每流有效檢測分組數Npadtrt及分組淨荷要檢查的字節數Nbyte，然後截取應用流中的相應淨荷信息組裝成字符串，在預處理得到的k個字符串中求取最長公共子序列；(5)執行基於最長公共子序列的應用層特徵提取算法得到應用層特徵標籤。所述步驟(5)中基於最長公共子序列的應用層特徵提取算法包括以下步驟a、在目標應用的流池中任取兩個流，根據分組長度分別在淨荷長度相近的分組中提取最長公共子序列S_L和S_S作為候選特徵，記為strl ；b、在流池中任取一個新流，求新流與strl的最長公共子序列，記為新的候選特徵 str2 ；c、重複b步，直到前後兩次得到的候選特徵strl和str2相同或者流池中的流已被取完為止；d、把當前的候選特徵str2作為最終的應用層特徵輸出；e、網絡應用特徵唯一化剔除與其它應用協議相同的特徵。本發明從滿足應用需求、提高分類性能、以及與當前網絡流量識別與監管產品的融合角度出發，提出了基於機器學習和深度數據包檢測/埠(DPI/Port)的網際網路流量分級智能分類方法。其中，粗粒度分類僅通過分析流的前幾個分組的統計特性，採用快速有效的基於機器學習的流統計特性法，實現精確實時的網絡流量粗粒度分類；而細粒度分類是在各自的應用大類內採用DPI特徵標籤自動更新的DPI分析識別法，輔以半監督學習算法實現精細粒度的應用流量分類。具有以下優點第一、網絡流量分類的實際需求和最終目標是實現在高速鏈路上高容量流量的實時、準確識別與處理，本發明採用分級分類系統先進行一次粗粒度分類，再在各自的應用類別中進行細粒度分類，能夠充分減少分類複雜度，主要體現在以下幾點(1)基於流統計特性的機器學習分類適用於快速精確的粗粒度分類，能達到高速鏈路上路由設備的粗粒度分類要求。(2)通常根據網絡流量分類需求，對等網絡業務與常規業務是在不同的粗粒度類別域內，常規流量中去除了偽裝埠的對等網絡流，可通過簡單的埠映射來識別，有利於高容量流量和有限計算資源的骨幹網流量識別。(3)分級分類系統在複雜的DPI識別之前，已由流量特徵識別模塊執行粗粒度的業務分類，並由埠映射模塊實現已知固定埠業務的識別，通過埠映射法可分離不少網絡應用流量，這樣，未分類的業務流量及業務種類已大大減少，使得計算複雜度相對較大的DPI技術所需要處理的應用流量銳減。同時，各應用大類把DPI特徵庫分割成子集進行匹配，DPI分類只需在本類內進行，從而減少了深層數據包匹配與檢測的工作量，而且提供了並行處理的可能。(4)以流為單位，並且可以採用流的部分分組信息進行處理，減少了網絡流量分類
處理的工作量。因此本發明網際網路流量分級分類方法能夠充分減少分類複雜度，為高速處理提供可能。第二、分類精度高。當需要粗粒度網絡流量分類時，基於機器學習的流統計特性法能達到較高的分類和識別精度，即使僅利用流的部分信息；當需要細粒度分類網絡流量時， 在粗粒度分類的基礎上主要採用精確度很高的改進DPI分類識別法以及DPI自動特徵提取技術，能實現高精度的網絡應用分類，目前的網絡監測設備也能達到98%的DPI識別精度， 在DPI自動特徵提取和特徵庫自動更新與維護的支持下，可維持、甚至超越現有的識別能力。第三、分類完整性和可擴展性，本發明所述分類方法能夠檢測各種包含複雜應用的網絡流量，檢測出新出現的應用和升級應用，以及加密應用流量。通過流統計特性和DPI 分類識別方法過濾出未知/加密應用，再通過半監督學習方法識別出未知流量和加密流量，分類具有完整性和可擴展性。總之，這種網際網路流量分級分類方法能夠智能、精確、實時、有效地識別網絡流量， 具有好的完整性和可擴展性，能夠滿足不同應用目標和分類粒度的網際網路流量分類的需求。
附圖1是本發明網際網路流量分級分類方法的流程圖；附圖2是本發明網際網路流量分級分類方法中基於機器學習的流統計特性法的流程圖；附圖3為基於最長公共子序列的應用層特徵提取方法流程圖；附圖4為DPI特徵庫識別及更新示意圖。
具體實施例方式下面結合附圖和具體實施方式
對本發明作進一步詳細的說明。如圖1所示，本發明提供一種網際網路流量分級分類方法，它包括以下步驟A、粗粒度分類採用基於機器學習的流統計特性法快速分類網絡流量，把網絡流量分成不同特徵的應用類別類，粗粒度分類區分出的流量若需要使用，就直接輸出，若需要進一步分類，則進入下一步；第一級是粗粒度分類，採用基於機器學習的流統計特性法分類網絡流量。由於協議和應用的載荷特徵和使用的協議埠可以更改，但卻很難更改協議和業務流量的特徵， 根據流量的行為特徵和流的統計特徵不僅可以識別已知的網絡業務，而且可以識別未知/ 加密的同類的網絡業務。因此，流量特徵分析法比較適合於業務的粗粒度分類，能快速地把網絡流量分為不同特徵的幾大應用類別。由於粗粒度分類較易獲取精確的應用大類標籤流，而且決策樹算法具有很好的綜合分類性能，所以採用分類開銷較小決策樹算法如C4. 5 或REPTree;當粗粒度分類的大類中存在未知的粗粒度應用類型，或者標籤流不易獲取時， 則採用基於K-Means的半監督學習方法。粗粒度分類過程如圖2所示系統抓包獲取網絡業務分組，按五元組(即源地址、 目的地址、源埠、目的埠和傳輸層協議)分流，提取相應的分組頭部信息，計算流統計特徵值並置入流統計特性資料庫。按分類性能要求抽樣選取一定的樣本數，形成訓練測試集。為了去除特徵屬性的冗餘和相關，先執行特徵選擇，然後在所得到的最優特徵子集上選用合適的機器學習(Machine Learning,ML)算法進行訓練，最後輸出ML分類模型。在分類階段，同樣抓取網絡流量並分流，根據選定的最優特徵子集統計相應的流特徵值，由ML分類模型對測試集或該網絡流量統計數據進行分類粗粒度分類結果可直接輸出用於流量監測和控制等網絡運行和管理；若需要進一步分離各個應用流量，如用於基於應用的區分服務和計費，以及網絡應用流量建模與容量規劃等，則把粗粒度分類結果輸入到第二級分類模塊，即採用深度數據包檢測/埠(DPI/Port)並輔以機器學習的方法進行細粒度分類。由於上述基於機器學習的流統計特性法為現有技術，故不詳述。B、細粒度分類在粗粒度分類區分出的應用類別類中進行再一次分類，步驟如下1、採用埠匹配識別法進行分類，輸出已分類的流量，2、將上步完成後剩下的未分類流量，根據DPI流量特徵標籤庫執行DPI分析識別法，分離出各應用流量，並輸出，DPI分析識別法為已知的分類方法。3、對於上步完成後剩下的加密和未知流量，採用半監督機器學習算法分離並輸出加密流量，餘下的標識為未知的網絡應用流量，4、對標識為未知的網絡應用流量，按分組長度執行基於最長公共子序列(LCSS， Longest Common SubSequence)的應用層特徵標籤自動提取，如圖3所示，步驟如下(1)目標應用流量按五元組聚集成流，並置入流池，所述五元分別為源地址、目標地址、源埠、目標埠、傳輸層協議；(2)對流池中的目標應用流量根據{流持續時間，流的總字節數，分組到達時間間隔最大值，分組淨荷長度最小值}所構成的向量採用k-means聚類網絡應用流，去除噪聲流；(3)對同一網絡應用流的平均分組長度用X-Means算法聚類，然後分別在聚類的樣本流中各自提取應用層特徵；由於不同分組長度的同一網絡應用流量的流量特徵和用途 (如信令流量、下載流量)不同，其淨荷特徵也存在差異，通常用於連接握手的前幾個分組， 如登錄狀態，所傳輸的數據與真正的下載數據相比要少得多，小的握手分組與大的下載分組不太可能產生公共的特徵標籤。所以，對同一網絡應用流的平均分組長度用X-Means算法聚類，然後分別在聚類的樣本流中各自提取應用層特徵；(4)確定每流有效檢測分組數Npadtrt及分組淨荷要檢查的字節數Nbyte，然後截取應用流中的相應淨荷信息組裝成字符串，在預處理得到的k個字符串中求取最長公共子序列；網絡應用流特徵提取的預處理主要是根據應用層特徵字符串通常出現在流的起始幾個分組，並且主要分布在分組的前幾個字節的特點，為了減少計算複雜度、實現快速特徵提取和提高特徵匹配速度，通過協議分析研究確定每流有效檢測分組數Npadtrt及分組淨荷要檢查的字節數Nbyte，然後截取應用流中的相應淨荷信息組裝成字符串，在預處理得到的k個字符串中求取最長公共子序列，而不是對流的每個分組進行操作或者整流的淨荷字符串進行操作。這樣，不僅降低了網絡應用特徵提取的複雜度，還可以在DPI網絡流量識別中減少模式匹配工作量。(5)執行基於最長公共子序列的應用層特徵提取算法得到應用層特徵標籤，包括以下步驟a、在目標應用的流池中任取兩個流，根據分組長度分別在淨荷長度相近的分組中提取最長公共子序列S_L和S_S作為候選特徵，記為strl ；b、在流池中任取一個新流，求新流與strl的最長公共子序列，記為新的候選特徵 str2 ；c、重複b步，直到前後兩次得到的候選特徵strl和str2相同或者流池中的流已被取完為止；d、把當前的候選特徵str2作為最終的應用層特徵輸出；e、網絡應用特徵唯一化剔除與其它應用協議相同的特徵。5、將上步中自動提取的新特徵標籤經確認補充到DPI特徵標籤庫，輸出已確認應用類型並添加標記的該未知應用流量(如圖4)。對於高速網絡，由於對分組處理速度有較高的要求，可直接以「未知流量」標記輸出該未知流，並啟動自動特徵提取，更新DPI特徵庫，以有效識別該網絡應用的後續流量。 DPI特徵庫可用於流量識別時的DPI方法，只要流量特徵匹配到該應用DPI特徵集中的其中之一即可判斷為該應用。
權利要求
1. 一種網際網路流量分級分類方法，其特徵在於它包括以下步驟A、粗粒度分類採用基於機器學習的流統計特性法快速分類網絡流量，把網絡流量分成不同特徵的應用類別類，粗粒度分類區分出的流量若需要使用，就直接輸出，若需要進一步分類，則進入下一步；B、細粒度分類在粗粒度分類區分出的應用類別類中進行再一次分類，步驟如下(1、採用埠匹配識別法進行分類，輸出已分類的流量，(2、將上步完成後剩下的未分類流量，根據DPI流量特徵標籤庫執行DPI分析識別法，分離出各應用流量，並輸出，(3、對於上步完成後剩下的加密和未知流量，採用半監督機器學習算法分離並輸出加密流量，餘下的標識為未知的網絡應用流量，(4、對標識為未知的網絡應用流量，按分組長度執行基於最長公共子序列的應用層特徵標籤自動提取，(5、將上步中自動提取的新特徵標籤經確認補充到DPI特徵標籤庫，輸出已確認應用類型並添加標記的該未知應用流量。
2.根據權利要求1所述的網際網路流量分級分類方法，其特徵在於所述步驟4中，按分組長度執行基於最長公共子序列的應用層特徵標籤自動提取的提取方法步驟如下(1)目標應用流量按五元組聚集成流，並置入流池，所述五元分別為源地址、目標地址、 源埠、目標埠、傳輸層協議；(2)對流池中的目標應用流量根據{流持續時間，流的總字節數，分組到達時間間隔最大值，分組淨荷長度最小值}所構成的向量採用k-means聚類網絡應用流，去除噪聲流；(3)對同一網絡應用流的平均分組長度用X-Means算法聚類，然後分別在聚類的樣本流中各自提取應用層特徵；(4)確定每流有效檢測分組數Npadtrt及分組淨荷要檢查的字節數Nbyte，然後截取應用流中的相應淨荷信息組裝成字符串，在預處理得到的k個字符串中求取最長公共子序列；(5)執行基於最長公共子序列的應用層特徵提取算法得到應用層特徵標籤。
3.根據權利要求2所述的網際網路流量分級分類方法，其特徵在於所述步驟(5)中基於最長公共子序列的應用層特徵提取算法包括以下步驟a、在目標應用的流池中任取兩個流，根據分組長度分別在淨荷長度相近的分組中提取最長公共子序列S_L和S_S作為候選特徵，記為strl ；b、在流池中任取一個新流，求新流與strl的最長公共子序列，記為新的候選特徵 str2 ；c、重複b步，直到前後兩次得到的候選特徵strl和str2相同或者流池中的流已被取完為止；d、把當前的候選特徵str2作為最終的應用層特徵輸出；e、網絡應用特徵唯一化剔除與其它應用協議相同的特徵。
全文摘要
本發明涉及一種網際網路流量分級分類方法，它包括A、粗粒度分類採用基於機器學習的流統計特性法快速分類網絡流量，把網絡流量分成不同特徵的應用類別類，粗粒度分類區分出的流量若需要使用，就直接輸出，若需要進一步分類，則進入下一步；B、細粒度分類在粗粒度分類區分出的應用類別類中進行再一次分類，能夠智能、精確、實時、有效地識別網絡流量，具有好的完整性和可擴展性，能夠滿足不同應用目標和分類粒度的網際網路流量分類的需求。
文檔編號H04L29/06GK102394827SQ20111035182
公開日2012年3月28日 申請日期2011年11月9日 優先權日2011年11月9日
發明者張萊蕾, 張韡珺, 斯科憶, 朱健蓉, 李君 申請人:浙江萬裡學院