一種基於SDN的網絡協同異常檢測方法與流程

2023-05-17 20:15:56

本發明涉及網絡
技術領域：
：，更具體地，涉及一種基於軟體定義網絡(SoftwareDefinedNetwork，簡稱SDN)的網絡協同異常檢測方法。
背景技術：
：：隨著計算機網絡技術的迅猛發展，網絡已經深深地融入政治、經濟、文化等領域，給人們的工作生活帶來了極大的便利。然而，層出不窮的網絡安全問題不僅影響網際網路的正常運行，還嚴重威脅國家的安全，從而引起了全球的關注。根據資料報導，全球的網絡每天都在遭受不同程度的威脅，包括：針對個人用戶的木馬攻擊、面向政府與企業的以政治、經濟為目的的攻擊行為。這些攻擊往往造成大面積的網絡癱瘓，並導致巨大的經濟損失，例如：大規模分布式拒絕服務(DistributedDenialofService,簡稱DDoS)攻擊、蠕蟲傳播等。中國國家網際網路應急中心CNCERT監測發現，2015年針對我國域名系統的DDoS攻擊流量進一步增大，2015年8月，我國頂級域名系統先後遭受2次大流量DDoS攻擊，峰值流量超過10Gbit/s。2016年10月，美國網絡服務供應商迪恩公司的伺服器遭到DDoS攻擊，造成美國大規模的網際網路癱瘓。為了應對各種紛繁複雜的網絡威脅，提高網絡應對分布式攻擊的能力，學術界與工業界提出了許多用於異常檢測的方案，包括：在骨幹網上部署異常檢測策略和相應的殺毒工具、在重要的網絡節點設置防火牆等防禦加固措施。這些措施在一定程度上減緩網絡所受到的攻擊與威脅、提高網絡運行的穩定性與可靠性。但是，這些方案也存在不足：傳統的單點異常檢測方法僅通過對網絡邊界或受保護對象的監控實現防禦，沒有充分利用網絡的互連性以及網絡側分布式節點與鏈路的信息，從而限制了檢測系統的性能。另外，在這種方案中，當網絡威脅到達受攻擊節點時，檢測系統才能檢測到異常信號，從而使應急響應的實施非常困難。為了應對單點異常檢測方法的不足，需要利用全局網絡的信息，採集分布式節點數據，實現網絡側異常檢測，提高檢測系統的性能。研究人員提出協同異常檢測的方案，該方案利用分布式節點的數據，從全局上檢測異常行為，但是在實現上受限於傳統的TCP/IP網絡架構缺乏節點之間的協同機制。SDN是一種新型的網絡管理模式，分離了控制平面與數據轉發平面，集中化的控制方式可以實現在數據平面設備上採集流量數據，經過分析計算能夠應用於網絡協同異常檢測。從收集到的資料看，目前基於SDN的異常檢測方案有以下幾種：Braga提出一種輕量級的方法，通過使用NOX控制器實現對DDoS洪水攻擊的檢測。在這個方案中，利用NOX控制器的可編程接口收集交換機的統計信息，包括：流表的數據包數、字節數、時間間隔等，採用自組織映射(Self-OrganizingMaps，簡稱SOM)人工神經網絡的方法進行分析，進而檢測DDoS洪水攻擊的特徵信號。陳曉帆提出另一種SDN異常檢測與攔截方法與系統，該方法在交換機埠對數據流進行隨機採樣，得到採樣數據，提取採樣數據的多個特徵欄位，構造各個特徵欄位對應的哈希表值，在預設的時間窗口間隔處，計算各個特徵欄位對應的哈希表的熵值，依據設定的異常判定閾值，檢測出異常網絡行為。左青雲設計了一種基於SDN的輕量級在線流量異常檢測方法，該方法中控制器實時獲取交換機的流量統計信息，構建基於OpenFlow網絡的源、目的結點對(OriginandDestinationPairs，簡稱OD對)流量矩陣，對常見異常流量特徵，構建OD對樣本熵矩陣，對不同特徵，合併成流量組合熵矩陣，利用主成分分析方法構建異常子空間，實現在線的異常流量檢測。上述異常檢測方法的優點是利用分布式方法採集網絡流量信息進行異常檢測。但是在實現協同異常檢測中仍然存在局限：它們沒有考慮相鄰網絡節點之間的關聯性，這種關聯性源自網絡自身的互連，即相鄰網絡節點存在相互作用、相鄰節點的異常流量特徵存在相似性。由於節點間的這種關聯性被忽略，網絡節點的上下文信息沒有被充分用於異常檢測，導致傳統的技術難以實現有效的早期檢測與早期響應。為此，提出一種新的基於SDN的網絡協同異常檢測方法是非常有必要的。技術實現要素：本發明為克服上述現有技術所述的至少一種缺陷(不足)，提供一種基於SDN的網絡協同異常檢測方法。該方法通過網絡互連節點之間的上下文信息，實時估計局部網絡節點及全局網絡的行為狀態，由此實現分布式網絡的協同異常檢測。為了實現發明目的，採用的技術方案如下：一種基於SDN的網絡協同異常檢測方法，本方法屬於SDN的上層網絡應用，通過控制器編程實現，該方法步驟如下：1)利用分布式網絡的流量數據構建網絡行為模型；2)基於已有的網絡行為模型以及實時流量數據，實現局部及全局狀態的估計；3)通過實時測量數據與給定模型的擬合度，實現分布式網絡的異常行為檢測；4)利用通過異常檢測的測量數據實現模型的自動更新。所述步驟1)的實現方式：10)採用隱馬爾科夫隨機場(HiddenMarkovRandomField，簡稱HMRF)模型對分布式網絡的動態變化過程建模；11)採集歷史流量數據，包括在SDN中對網絡拓撲信息的獲取以及對網絡流量信息的採集；12)利用採集的歷史流量數據訓練HMRF模型，得到模型參數。所述步驟2)的實現方式：20)採集實時流量數據；21)基於給定的HMRF模型，利用最大後驗(MaximumAPosteriori，簡稱MAP)估計算法實現局部及全局狀態的估計。所述步驟3)的實現方式：利用似然函數，依據實時測量數據與給定的HMRF模型的偏離程度實現異常網絡行為檢測。所述步驟4)的實現方式：利用通過給定的HMRF模型檢測的實時流量數據，實現模型的在線更新。與現有技術相比，本發明技術方案的有益效果是：一種基於SDN的網絡協同異常檢測方法，在新型的網絡架構中，不局限於各個網絡節點獨立測量得到的數據，還充分利用網絡節點間的相互作用，實現分布式網絡行為及檢測異常的早期感知。附圖說明圖1為本方法的總體框架示意圖；圖2為本方法SDN中網絡協同異常檢測網絡框架；圖3為SDN中的控制器應用開發示意圖；圖4為SDN控制器鏈路發現過程；圖5為控制器獲取交換機埠信息消息交互過程；圖6為控制器請求交換機埠信息報文格式；圖7為交換機響應控制器請求埠信息報文格式；圖8為模型訓練過程流程圖。具體實施方式附圖僅用於示例性說明，不能理解為對本專利的限制；為了更好說明本實施例，附圖某些部件會有省略、放大或縮小，並不代表實際產品的尺寸；對於本領域技術人員來說，附圖中某些公知結構及其說明可能省略是可以理解的。下面結合附圖和實施例對本發明的技術方案做進一步的說明。總體框架一種基於SDN的網絡協同異常檢測方法，本方法是屬於上層網絡應用，本方法的總體框架如圖1所示，包括七個部分：HMRF模型、歷史流量數據、模型訓練、實時流量數據、局部及全局狀態估計、異常網絡行為檢測、模型更新。其中，HMRF用於對分布式網絡的動態變化過程進行建模；歷史流量數據包括網絡拓撲信息以及網絡流量信息，用於HMRF模型的訓練；模型訓練利用歷史流量數據訓練HMRF模型，得到模型參數；實時流量數據是指在實際應用中採集到的待檢測的網絡流量信息。局部及全局狀態估計是指基於給定的HMRF模型，利用MAP估計算法實現網絡狀態的估計；異常網絡行為檢測是利用似然函數，依據實時測量得到的網絡流量相對於給定的HMRF行為模型的偏離程度評估是否存在異常網絡行為；模型更新是利用通過檢測的實時流量數據更新已有模型的參數，有利於增加模型的魯棒性，使其能夠適應網絡行為的遷移與演變。本發明的執行方法如下：在SDN中採集歷史流量數據，將其作為模型訓練數據集輸入模型訓練過程，經過訓練得到相應的HMRF模型。在實際應用中，將採集到的待檢測的實時流量數據輸入已有的HMRF模型，利用MAP算法估計出局部及全局網絡狀態，由此進一步實現異常網絡行為的檢測。最後，把通過模型檢測的實時流量反饋回模型，利用高效的算法實現模型的在線更新。下面結合圖1對本方法各個部分內容進行詳細說明。一、HMRF模型採用HMRF模型對分布式網絡的動態變化過程進行建模。如圖2所示，本發明把網絡節點的行為檢測信息分為兩部分：可觀測部分與不可觀測部分。其中，可觀測部分指那些通過測量工具可以直接獲取的物理量，包括：數據包到達率、數據包排隊時延、數據包丟包率等。在本實施例中，用隨機變量On,t表示節點n在時間t的觀測值，用O表示從時間1到t網絡中所有節點的觀測值集合，記為測量場(MeasuringField，簡稱MF)。不可觀測部分指驅動節點行為的內部機制、原因或狀態。這類變量無法通過測量工具直接獲得，只能根據節點的可觀測物理量進行估計。下文中用隨機變量Xn,t表示節點n在時間t的內部狀態，用X表示從時間1到t網絡中所有節點的狀態集合，記為隱狀態場(StateField，簡稱SF)。本發明假設節點的觀測值On,t由其隱狀態Xn,t所控制，不同節點之間的隱狀態相互影響。因此，由{O，X}構成的雙層隨機場構成了一個給定網絡在特定時間內的完整檢測信息。通過比較HMRF的模型結構與由{O，X}構成的雙層隨機場，可見HMRF非常適合描述分布式網絡的行為檢測信息及其上下文隨時間的演變關係。在SF中利用一階空間馬爾科夫性表示網絡節點的相互作用，即當前節點的狀態直接受其相鄰一跳節點狀態的影響，與一跳之外的節點狀態無關。因此SF的聯合概率可以通過Hammersley-Clifford定理計算得出，特別地，假設每一個網絡節點僅存在兩種狀態，可以使用Ising模型來描述網絡的狀態場模型。在鄰居節點狀態已知的條件下，節點n可以通過下面的公式計算它在t時刻處於狀態x的條件概率：其中，表示t時刻鄰居節點狀態，Nn表示節點n的鄰居節點，表示能量函數，參數α，β分別表示單點基團和雙點基團的勢參數，這裡的物理意義分別表示整個網絡環境對當前節點狀態的影響程度以及當前節點與周圍節點的相互作用程度。當前節點的狀態以及鄰居節點的狀態，均影響能量函數，進而影響節點選擇狀態x的概率。關於參數α，β的確定，採用以下兩種方式來確定1、根據實際的網絡環境以及網絡管理員的需求，直接確定參數。2、基於非監督方法，利用觀測值，通過EM算法估計參數。當前節點與鄰居節點的狀態相同時，能量減β，狀態不同時，則能量加β，α反應整個網絡環境對當前節點的影響。通過比較當前節點與鄰居節點的狀態，計算出能量函數，得到節點選擇狀態x的概率。在t時刻，節點n在狀態為x的條件下輸出為觀測值概率表示為：為了方便計算，將觀測值On,t進行離散化，使用頻率來近似代替概率，即使用觀測值在狀態x下的頻率來近似條件概率。採用最大後驗概率MAP估計節點狀態，即：節點狀態由兩部分模型乘積的最大值確定：一部分為狀態模型ξn,t(x)，即在已知鄰居節點狀態下節點選擇狀態x的概率；一部分為輸出模型φn,t(x)，即在狀態x下輸出為觀測值的概率。二、歷史流量數據本內容包括三個部分，首先介紹SDN控制器網絡應用的開發，其次介紹網絡應用對網絡拓撲信息的獲取以及對網絡流量信息的採集。如圖3所示是SDN控制器網絡應用開發示意圖。以Floodlight開源控制器為例，利用控制器的可編程北向接口，調用網絡資源，開發網絡應用。RESTAPI是控制器對外提供的北向接口之一，用戶可以使用任意的程式語言基於REST接口開發應用，首先確定應用所需的網絡服務信息，其次從RESTAPI列表中選擇能夠滿足服務需求的RESTAPI，最後利用可用的RESTAPI調用，設計、實現、測試應用。本方法利用RESTAPI獲取網絡拓撲信息以及採集網絡流量信息。網絡應用利用可編程北向接口RESTAPI獲取網絡拓撲信息。所使用的RESTAPI接口信息如下：/wm/topology/links/json調用示例如下：http://:port/wm/topology/links/json為遠程控制器的ip地址，port為控制器埠，調用返回json格式的數據，程式語言解析得到調用後數據。控制器利用南向接口的上行通道對底層交換設備上報的信息進行統計處理。使用鏈路層發現協議(LinkLayerDiscoveryProtocol，簡稱LLDP)實現鏈路發現，鏈路發現過程如圖4所示。控制器通過Packet_out消息向所有與之相連的交換機發送LLDP數據包，交換機接收到消息後將LLDP數據包從其他埠轉發出去，相鄰交換機接收到LLDP數據包，通過Packet_in消息將數據包發送至控制器，控制器分析並保存兩臺交換機之間的連接記錄。網絡應用通過上述API獲取SDN中交換機之間的連接列表，得到網絡節點相互連接關係，由此獲取網絡拓撲信息。網絡應用利用網絡拓撲構建網絡節點連接關係矩陣：矩陣中橫軸與縱軸均表示交換機(S1,S2,S3,S4…Sn)，連接關係矩陣中1表示有連接，0表示無連接，此矩陣是一個對稱陣。上述矩陣表示的是S1—S2，S1—S3，S2—S4，S3—S4……這些節點對具有連接關係，由此得到節點的相鄰關係。網絡應用利用可編程北向接口RESTAPI採集網絡流量信息。以採集交換機埠統計信息為例，所使用RESTAPI接口信息如下：/wm/core/switch/all/port/json調用方法同上述。控制器與交換機之間消息交互過程如圖5所示。網絡應用調用RESTAPI，控制器下發OFPT_MULTIPART_REQUEST消息至交換機(對應子消息為OFPMP_PORT_STATS)，交換機解析該消息，將埠統計信息封裝到OFPT_MULTIPART_REPLY消息報文尾部(對應子消息為OFPMP_PORT_STATS)，將其返回至控制器。由此網絡應用採集到交換機埠統計信息。控制器請求交換機埠信息報文格式如圖6所示，報文格式定義了請求的消息類型以及埠。交換機響應控制器請求埠信息報文格式如圖7所示，報文格式定義了交換機埠發送、接收到的數據包數量以及字節數等內容，交換機將埠統計信息封裝在OFPT_MULTIPART_REPLY消息報文尾部，將該消息返回至控制器。採集其他網絡流量信息使用到的RESTAPI接口信息如下：/wm/core/switch/all//json/wm/core/switch///json/wm/core/counter//json/wm/core/counter///jsonstatType可選port，queue，flow，aggregate，desc，table，festures。switchId為合法的交換機DPID。counterTitle可選all或__形式，如00:00:00:00:00:00:00:01_OFPacketIn_L3_ARP。counterName可選OFPacketIn，OFPacketOut等。網絡應用通過上述API採集網絡流量信息，包括交換流表中的計數信息、流中的數據包數以及流中的字節數信息、埠發送接收到的數據包數量以及字節數等信息。本方法取節點數據包到達率作為觀測值On,t。三、模型訓練在SDN中採集歷史流量數據，將其作為訓練數據集輸入模型訓練過程，經過訓練得到相應的HMRF模型。本方法取節點數據包到達率作為觀測值。實際中可以根據網絡環境以及網絡管理員的目的選擇其他觀測值，也可以選擇多個測量指標，利用多屬性分析方法得到觀測值。網絡節點的度對觀測值有影響，需要依據節點的度對節點流量數據進行平均，本方法依據節點的鏈路數進行平均。實際中可按照目的做出相應處理。為方便計算，將觀測值On,t進行離散化。模型的訓練算法流程圖如圖8所示。訓練的算法步驟如下：1、採集所有節點的歷史流量數據O作為觀測值；2、使用K-means聚類算法初始化，將觀測數據分為兩種狀態，得到初始狀態場；3、計算每一種狀態下觀測值的頻數分布；4、基於MAP算法，重新估計每一個節點狀態；5、判斷是否滿足收斂條件，如果滿足則訓練結束；否則，轉步驟3。訓練的收斂條件可以設置為迭代次數，也可以設置為兩次迭代的差值。當迭代次數滿，或者迭代差值小於某預先設定數值，即可停止迭代。訓練得到模型參數，這裡是不同狀態下輸出觀測值的頻數分布，即φn,t(x)。四、實時流量數據實時流量數據是指在實際應用中採集到的待檢測的網絡流量信息。網絡應用通過上述RESTAPI採集實時流量數據，將所有交換機的流量數據作為模型的輸入數據Ot，輸入已有的HMRF模型。應用在預設的時間窗口t，採集所有交換機流量信息，得到數據包到達率，經離散化之後得到觀測值Ot，輸入HMRF模型，用於進一步估計網絡行為狀態以及檢測異常網絡行為。五、局部及全局狀態估計在預設的時間窗口，對於每一個節點，收集到當前流量統計信息，將其進行離散化，得到觀測值On,t，該節點的鄰居節點狀態使用上一個時刻的節點狀態表示，依據上述提到的MAP算法實現網絡狀態的估計。全局狀態通過遍歷所有節點獲取。通過此過程，得到實時更新的刻畫分布式網絡狀態的全局圖。六、異常網絡行為檢測利用似然函數，依據實時測量得到的網絡流量相對於給定的HMRF行為模型的偏離程度評估是否存在異常網絡行為。節點n的似然函數計算如下：上述似然函數表徵節點中觀測值出現的概率。全局網絡的似然函數計算如下：上述似然函數表徵整個網絡中觀測值出現的概率。使用對數似然函數來檢測異常網絡行為，通過比較實時測量數據與給定模型的擬合度，也即比較實時觀測數據與正常的網絡場景，較大的偏離意味著出現異常可能性較大。七、模型更新利用通過模型檢測的實時流量數據，實現模型的在線更新。本方法中的狀態模型描述節點狀態的相互作用關係，參數相對穩定。輸出模型表徵節點在狀態x下輸出觀測值的概率，參數隨著網絡行為的演變而改變，因此固定的模型參數會導致模型的誤差。模型更新是為了適應網絡行為的遷移與演變。在更新的周期中，利用通過模型檢測的實時流量數據反饋回模型，依據上述的訓練過程，更新模型參數，避免了對舊流量數據的重新訓練而引起計算複雜性的提高，同時也使模型能夠適應網絡行為的演變，增加模型的魯棒性。顯然，本發明的上述實施例僅僅是為清楚地說明本發明所作的舉例，而並非是對本發明的實施方式的限定。對於所屬領域的普通技術人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這裡無需也無法對所有的實施方式予以窮舉。凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明權利要求的保護範圍之內。當前第1頁1&nbsp2&nbsp3&nbsp當前第1頁1&nbsp2&nbsp3&nbsp