計算機網絡異常檢測的方法、系統及移動終端與流程
2023-05-28 11:14:07
本發明涉及計算機網絡異常的檢測技術領域，更具體地說，本發明涉及一種計算機網絡異常檢測的方法、系統及移動終端。
背景技術：
隨著計算機網絡的迅速發展，網絡威脅和其他網絡相關問題日益增多，如網絡攻擊、數據盜竊、病毒、蠕蟲、惡意埠掃描活動等網絡威脅的作用速度更快、變化速率更快、更加複雜。當前，儘管有外圍防禦，網絡威脅還是會通過計算機網絡直接潛入，因此出現了很多威脅檢測工具。
傳統的檢測包含簡單的或者深度的數據包檢測，通常可以被歸類為入侵檢測防護設備或者防病毒系統。這些設備以特徵的形式設置了威脅資料庫，讓威脅資料庫的特徵和計算機網絡傳輸的數百萬個工具包進行匹配。由於特徵創造過程是人為操作的，出現新的網絡威脅特徵，或者網絡威脅特徵發生變化，威脅資料庫就不能及時創造出這些新型特徵。
另一個傳統檢測是通過監測流量率來檢測異常。流量監測異常的方法會產生大量的錯誤警報，因為與威脅無關的許多原因會導致流量的變化率或者其他可觀察量的發生。另外，傳統的流量異常檢測系統起初是用來檢測在預設定行為中的變化，所以傳統的異常檢測系統是不用來檢測新型網絡威脅的。
技術實現要素：
針對上述技術中存在的不足之處，本發明提供一種計算機網絡異常檢測方法、系統及移動終端，能夠檢測不可預見類型的網絡威脅和其他網絡相關問題，異常的檢測的準確率提高。
為了實現根據本發明的這些目的和其它優點，本發明通過以下技術方案實現：
本發明提供一種計算機網絡異常檢測方法，其包括步驟：
從計算機網絡事務中獲取事件；
從所述事件中同時提取多個所述特徵並輸出；
將輸出的多個所述特徵與已學習趨勢作比較，得到異常；對所述異常進行判斷與推理，根據所述判斷與推理髮出警報與操作；
其中，多個所述特徵包括包含實數的連續值型特徵和呈現為集合的有限集型特徵；所述已學習趨勢包括一系列所述連續值型特徵。
優選的是，獲取的所述事件包括一個事件或將一系列事件按照事件之間的邏輯關係進行捆綁形成的事件捆綁。
優選的是，獲取所述事件，包括步驟：
收集計算機網絡事務中的數據包；
將所述數據包按照事務屬性分類存儲於數據結構中，形成所述事件。
優選的是，獲取所述事件，還包括步驟：從其他來源獲取所述事件。
優選的是，獲取所述事件後，還包括步驟：對所述事件進行聚合、選擇以及過濾處理。
優選的是，提取所述特徵，包括步驟：
從所述事件中提取所述數據結構各欄位之間的交互相關；或，
從所述事件中提取所述數據結構各行之間的順序相關。
優選的是，多個所述特徵輸出，包括步驟；
將所述連續值型特徵從所述有限集型特徵中分離出來；
將分離後的有限集型特徵轉化成學習趨勢模塊的地址；
將分離出的連續值型特徵轉給具有所述地址的所述學習趨勢模塊。
優選的是，多個所述特徵輸出，還包括步驟：
對多個所述特徵進行基於數學運算的轉化處理，優化所述特徵。
一種計算機網絡異常檢測系統，所述異常檢測系統存儲有多條用於計算機網絡異常檢測的程序指令，所述程序指令由計算機網絡移動終端加載並執行；所述程序指令包括：
從計算機網絡事務中獲取事件；
從所述事件中同時提取多個所述特徵並輸出；以及，
將輸出的多個所述特徵與已學習趨勢作比較，得到異常，並對所述異常進行判斷與推理並輸出；
其中，多個所述特徵包括包含實數的連續值型特徵和呈現為集合的有限集型特徵；所述已學習趨勢包括一系列所述連續值型特徵。
優選的是，從計算機網絡事務中獲取事件的程序指令，包括：
收集計算機網絡事務中的數據包，將收集的所述數據包按照事務屬性分類存儲於數據結構中，形成所述事件；
和/或，從其他來源獲取所述事件；以及，
接收所述事件。
優選的是，從其他來源獲取所述事件，還包括：對從其他來源獲取的事件進行格式轉化。
優選的是，從計算機網絡事務中獲取事件的程序指令，還包括：
從獲得的所述事件中進行選擇，並將所述事件發出以供後續特徵提取程序指令進行特徵提取。
優選的是，從所述事件中同時提取多個所述特徵並輸出的程序指令，包括：
對所述事件進行群體分類與管理；
對群體分類處理後的一個或多個所述事件進行捆綁形成事件捆綁，並從單一事件或事件捆綁中提取特徵；以及，
決定協議、所述行為群體以及埠是否遵循規範。
優選的是，將輸出的多個所述特徵與已學習趨勢作比較得到異常並對所述異常進行判斷與推理並輸出的程序指令，包括：
將所述連續值型特徵從有限集特徵中分離；
設置存儲所述已學習趨勢的學習趨勢模塊；
將分離後的所述有限集特徵轉換成所述學習趨勢模塊的地址；
選擇出具有所述地址的學習趨勢模塊接收分離出的所述連續值型特徵；
將所述學習趨勢模塊中存儲的所述已學習趨勢與接收的所述連續值型特徵進行比較，輸出異常；
對所述異常進行判斷與推理並輸出；
存儲所述事件、異常和任何與計算機網絡相關的異常檢測信息；
存儲具有一系列所述連續值型特徵的所述學習趨勢；以及，
接收所述判斷與推理，發出警報與操作。
一種計算機網絡移動終端，其包括：
異常檢測系統，其存儲有多條用於計算機網絡異常檢測的所述程序指令，發出警報與操作的提醒；
設備本體，其用於加載和執行所述異常檢測系統的所述程序指令，接收所述警報與操作的提醒。
本發明至少包括以下有益效果：
本發明提供的計算機網絡異常檢測的方法、系統及移動終端，通過從計算機網絡事務中收集數據包轉換成的事件中同時提取包括連續值型特徵和有限集型特徵的多個特徵後輸出；將輸出的多個特徵與包括一系列連續值型特徵的已學習趨勢作比較，得到異常，並對異常進行判斷與推理並輸出；該判斷與推理能夠檢測不可預見類型的網絡威脅和其他網絡相關問題，多維技術的使用將錯誤報警數降到最低，異常的檢測的準確率提高。
本發明的其它優點、目標和特徵將部分通過下面的說明體現，部分還將通過對本發明的研究和實踐而為本領域的技術人員所理解。
附圖說明
圖1為本發明所述的計算機網絡異常檢測系統的示例圖；
圖2為本發明所述的異常檢測系統的示例圖；
圖3為本發明所述的異常檢測系統的檢測流程示例圖；
圖4為本發明所述的計算機網絡事務及時開展示例圖。
圖5為本發明所述的從事件中提取特徵的流程示例圖；
圖6為本發明所述的一組節點突發聚集的事件捆綁示例圖；
圖7為本發明所述的計算機網絡異常檢測的流程示例圖；
圖8為本發明所述的機器學習單元的示例圖；
圖9為本發明所述的學習趨勢模塊的示例圖；
圖10為本發明所述的連續值型特徵聚類或學習的三維圖示；
圖中：
100-控制臺伺服器；200-傳感器伺服器；300-應用程式表示層；
110-異常檢測系統；
10-事件處理模塊；
11-數據包收集單元；12-事件生成單元；13-事件接收單元；
14-事件聚合和選擇單元；15-事件過濾單元；16-事件管理單元；
17-其他來源單元；18-事件代理；
20-特徵提取模塊；
21-行為群體單元；22-事件捆綁與特徵提取單元；23-規範管理單元；
30-機器智能模塊；
31-機器學習單元；
311-特徵分離器；312-地址單元；313-學習趨勢模塊；
32-啟發式算法和主機優先級單元；33-事件資料庫單元；
34-知識資料庫單元；35-警報與操作單元；
40-應用程式接口和系統管理模塊；
具體實施方式
下面結合附圖對本發明做進一步的詳細說明，以令本領域技術人員參照說明書文字能夠據以實施。
應當理解，本文所使用的諸如「具有」、「包含」以及「包括」術語並不排除一個或多個其它元件或其組合的存在或添加。
本發明所述的網絡異常，包括由網絡威脅或其他網絡相關問題導致的趨勢偏離，如蠕蟲、惡意埠掃描活動、網絡人為誤用、伺服器響應速度慢、設備崩潰、程序異常導致的網絡流量、網絡故障、容量使用率變化、使用模式改變以及拓撲結構改變等情況。
本發明實施例提供一種計算機網絡異常檢測方法，其包括步驟：
s10，從計算機網絡事務中獲取事件；
s20，從事件中同時提取多個特徵並輸出；
s30，將輸出的多個特徵與已學習趨勢作比較，得到異常；對異常進行判斷與推理，根據判斷與推理髮出警報與操作。
其中，多個特徵包括包含實數的連續值型特徵和呈現為集合的有限集型特徵；已學習趨勢包括一系列連續值型特徵。
上述實施方式中，步驟s10中，獲取的事件包括一個事件或將一系列事件按照事件之間的邏輯關係進行捆綁形成的事件捆綁。
作為一種優選實施方式，步驟s10中，獲取事件，包括步驟：
s11，收集計算機網絡事務中的數據包；
s12，將數據包按照事務屬性分類存儲於數據結構中，形成事件。
作為上述的進一步優選，步驟10中，獲取所述事件，還包括步驟：s13，從其他來源獲取事件。
作為上述的進一步優選，步驟10中，獲取所述事件後，還包括步驟：s14對所述事件進行聚合、選擇以及過濾處理。
作為一種優選實施方式，步驟s20中，提取特徵，包括步驟：
s21，從事件中提取數據結構各欄位之間的交互相關；或，從事件中提取數據結構各行之間的順序相關。
作為一種優選實施方式，步驟s20中，多個特徵輸出，包括步驟；
s22，將連續值型特徵從有限集型特徵中分離出來；
s23，將分離後的有限集型特徵轉化成學習趨勢模塊的地址；
s24，將分離出的連續值型特徵轉給具有地址的學習趨勢模塊。
作為上述的進一步優選，步驟s20中，多個特徵輸出，還包括步驟：
s25，對多個特徵進行基於數學運算的轉化處理，優化特徵。
作為一種優選實施方式，步驟s30中，接收判斷與推理，發出警報與操作後，還包括步驟：s31，發出網絡檢測異常的提醒。
在實施例1提供的計算機網絡異常檢測系統的基礎上，本發明實施例提供應用於計算機網絡的異常檢測系統110。異常檢測系統110存儲有多條用於計算機網絡異常檢測的程序指令，程序指令由計算機網絡移動終端加載並執行。計算機網絡移動終端包括但不限於計算機、手機、平板電腦等。圖1給出一種異常檢測系統110的應用示例。圖1中，計算機網絡移動終端示例為傳感器伺服器200和/或控制臺伺服器100，異常檢測系統110設置於具有傳感器伺服器200和/或控制臺伺服器100中，異常檢測系統110中存儲的程序指令由傳感器伺服器200和/或控制臺伺服器100加載並執行計算機網絡異常檢測。應用程式表示層300用於支持應用處理，同時還能翻譯通過計算機網絡傳輸的數據。應用程式表示層300與控制臺伺服器100以及傳感器伺服器200之間通過計算機網絡通信。
在實施例1和2的基礎上，本發明實施例提供一種計算機網絡移動終端，其包括異常檢測系統110以及設備本體。其中，異常檢測系統110存儲有多條用於計算機網絡異常檢測的程序指令，發出警報與操作的提醒，設備本體用於加載和執行程序指令，接收警報與操作的提醒。
圖1給出了設備本體的一種形式，例如傳感器伺服器200和/或控制臺伺服器100，則異常檢測系統110中存儲的程序指令由傳感器伺服器200和/或控制臺伺服器100加載並執行。
下面，結合實施例1、實施例2以及實施例3，對計算機網絡異常檢測的方法、系統及行動網路終端，做進一步說明，並給出異常檢測系統110及其存儲的程序指令加載與執行的一個示例，如圖2所示。
異常檢測系統110可以以分布式方式分別在任意數量的控制臺伺服器100和傳感器伺服器200中運行，控制臺伺服器100和傳感器伺服器200中的每一個伺服器執行異常檢測系統110的一個埠，或，異常檢測系統110可以不以分布式方式在一個伺服器上執行，例如異常檢測系統110可以在控制臺伺服器100或傳感器伺服器200上執行。需要說明的是，控制臺伺服器100和傳感器伺服器200可以分別包含有任何型號計算機設備，例如計算機設備包括：基於一個處理單元(例如微處理器)的計算機系統、存儲器(如隨機存儲器、硬碟、光學媒體)、可攜式計算機裝置、手機以及家電計算引擎等；另外，用於通信的計算機網絡包括將計算節點聯繫在一起的任何類型有線、無線交流頻道，典型的計算機網絡包括基於數據包的計算機數據網絡、無線網絡、ip網絡、電話網絡、貿易網絡(網上拍賣)、信用卡購買事務網絡、業務活動監控網絡、業務處理一體化網絡、行動電話網絡、對等網絡以及全球資訊網等。
異常檢測系統110中存儲的程序指令包括：
從計算機網絡事務中獲取事件；
從事件中同時提取多個所述特徵並輸出；以及，
將輸出的多個特徵與已學習趨勢作比較，得到異常，並對異常進行判斷與推理並輸出；
其中，多個特徵包括包含實數的連續值型特徵和呈現為集合的有限集型特徵；已學習趨勢包括一系列連續值型特徵。
針對上述程序指令，圖2給出了異常檢測系統110的一個示例：異常檢測系統110包括事件處理模塊10、特徵提取模塊20、機器智能模塊30以及控制上述幾個模塊的執行與管理的應用程式接口和系統管理模塊40。事件處理模塊10用於從計算機網絡事務中獲取事件，作為優選，獲取的事件包括一個事件或將一系列事件按照事件之間的邏輯關係進行捆綁形成的事件捆綁。特徵提取模塊20用於從事件中同時提取多個特徵並輸出，多個特徵包括包含實數的連續值型特徵和呈現為集合的有限集型特徵。機器智能模塊30用於將輸出的多個特徵與已學習趨勢作比較，得到異常，並對異常進行判斷與推理並輸出；已學習趨勢包括一系列連續值型特徵。
上述實施方式中，從計算機網絡事務中獲取事件的程序指令，包括：收集計算機網絡事務中的數據包，將收集的數據包按照事務屬性分類存儲於數據結構中，形成事件；和/或，從其他來源獲取事件；以及，接收事件。結合圖2的示例，則異常檢測系統110的事件處理模塊10包括數據包收集單元11、事件生成單元12以及事件接收單元13。數據包收集單元11用於收集計算機網絡事務中的數據包，數據包收集單元11包括網絡測試訪問埠、交換機鏡像埠、無線傳感器和/或網絡集線器。計算機網絡中的事務有許多屬性，例如源址、目的地址和數據交換量、狀態(例如傳輸的錯誤、成功、拒絕和接受狀態)、嚴重的程度、傳輸數據的屬性、事務類型、事務持續時間以及事務的時間戳等。事件生成單元12用於將收集的數據包按照事務屬性分類存儲於數據結構中，形成事件，事件接收單元13與各單元通信以接收事件。圖4中，計算機網絡402包括節點404-408。事務由數據組件x1-x5和時間戳t1-t5表示。例如從節點406到405的一項事務就是有x2，t2代表的。事務可以存儲在一個數據結構中，比如表格。表格1給出了事務記錄的示例。
表1事務記錄
如表1所示，每一筆事務在表格1中都有記錄顯示，每一個記錄都可以有一個或多個單元格。除了節點標識符404-408和時間戳t1-t5，表格1還包含標識符(id)和數據特徵(a-e)。id代表每一筆事務唯一的標識符，每一個數據組件(x1-x5)可以有多重數據特徵或屬性(a-e)。隨著事務的及時展開，記錄表會增長，同時，每一筆記錄都代表了一項新事務的發生或現存事務的進展。表格2給出了從ip網絡分析場景中獲取的事務數據的示例。
表2從ip網絡分析場景中獲取的事務數據
根據表格1和表格2可知，一個事件可以代表一筆事務的完成或者計算機網絡中事務發生的狀態。例如，表格1或表格2中的一項記錄，就是一個事件。除了表格，事務可以存儲在任何一種合適類型的數據結構中，例如數組、xml架構圖、json(數據格式)、純文本格式、資料庫和電子表格等。
事件生成單元12通過把接收到的事務存儲成數據結構，比如一張表格(如表格1和表格2)，從而將數據包轉化成事件。例如在ip網絡中，ip數據包在兩臺計算設備之間流動，計算設備的ip地址和唯一的埠號(傳輸控制協議或用戶數據包協議)綁定，在計算機網絡中代表源址和目的地址，在表格中顯示為單一記錄(即使有多於一個數據包在計算設備之間流動)。在兩臺計算設備的特定埠交換的所有數據包會形成單一通信，因此在表格是以單一記錄被存儲下來。例如埠為3452ip地址為192.168.0.1的計算設備通過使用tcp協議同另一個埠為80ip地址為192.168.0.2計算設備通信。他們所有的數據通信都可以被放入事件生成單元12，事件生成單元12代表著正在通信。取決於諸多條件，當此次通信開始、終結或者正在進行時，表格中都會顯示一條記錄。除非通信過程持續時間特別長，否則表格中只會產生一條記錄，此後後續的記錄才會產生。
作為進一步優選，從其他來源獲取事件，還包括：對從其他來源獲取的事件進行格式轉化。結合圖2的示例，異常檢測系統110的事件處理模塊10還包括其他來源單元17以及事件代理18。其他來源單元17用於從其他來源提供事件，其他來源單元17的事件通過日誌消息傳遞的方式被發送出去，或者從日誌文件中被及時提取；作為一種具體實施方式，其他來源單元17的事件來源包括計算機日誌文件、系統日誌、syslog、網絡日誌、資料庫日誌、網上聊天記錄數據、電話記錄數據、信用卡交易數據、銀行交易數據、網上支付數據、雲計算事件、物理安全監測系統數據、伺服器、防火牆、入侵檢測系統、虛擬專用網、安全事件管理系統、路由器、網絡交換器、資料庫系統、系統日誌以及作業系統日誌等。事件代理18用於將其他來源單元17獲取的事件轉換成異常檢測系統110可使用的格式，例如架構。
作為進一步優選，從計算機網絡事務中獲取事件的程序指令，還包括：從形成的事件中進行選擇，並將事件發出以供後續特徵提取程序指令進行特徵提取。結合圖2的示例，則異常檢測系統110的事件處理模塊10還包括事件聚合和選擇單元14。事件聚合和選擇單元14用於從事件處理模塊10的其他各單元聚合和選擇事件，並將事件發送給特徵提取模塊20。作為進一步優選，事件處理模塊10還包括事件過濾單元15和事件管理單元16。事件過濾單元15用於對事件進行基礎過濾，事件管理單元16用於對事件進行管理。
上述實施方式中，從事件中同時提取多個特徵並輸出的程序指令，包括：
對事件進行群體分類與管理；
對群體分類處理後的一個或多個事件進行捆綁形成事件捆綁，並從單一事件或事件捆綁中提取特徵；以及，
決定協議、行為群體以及埠是否遵循規範。
結合圖2的示例，異常檢測系統110中的特徵提取模塊20包括行為群體單元21、事件捆綁與特徵提取單元22以及規範管理單元23。行為群體單元21用於對事件進行群體分類與管理，即決定哪些信息屬於哪一個群體，例如，行為群體單元21可以決定來從同一個事件進來的多個計算設備是否屬於一個行為群體，或者從同一個事件進來的多個網絡協議地址是否屬於一個行為群體。需要說明的是，一個行為群體可以是一個象徵或者一個名字，在計算機網絡中代表著一種或多種邏輯上或行為上相似的節點，例如，在軟體開發部門，所有計算設備都被當做是一個行為群體—「工程行為群體」，因為計算設備的行為都是相似的；再例如，資料庫伺服器和網頁伺服器可以組成一個行為群體；至於行為群體的分類來源，可以是人為定義，也可以利用機器學習技術從事件中自動發現。事件捆綁與特徵提取單元22用於對群體分類處理後的一個或多個所述事件進行捆綁形成事件捆綁，並從單一事件或事件捆綁中提取特徵。規範管理單元23用於決定協議、行為群體以及埠是否遵循規範，即規範管理單元23規定在網絡傳輸中什麼是允許的和什麼是不允許的。
其中，特徵包括包含實數的連續值型特徵和呈現為集合的有限集型特徵兩個方面；已學習趨勢包括一系列連續值型特徵。即，一個連續值型特徵由任何一個能夠映射到實數數軸上的實數組成；換而言之，連續值型特徵是指和數軸上的數一一對應的點。例如，一個連續值型特徵包含從一個主機傳輸到另一個主機的數據量(例如字節，89.7位元組，20兆字節等)或者事務量(例如1，4等)。有限集型特徵呈現為集合，指的是能和{1,2,...,n}這種形式的集合進行雙映射的集合，其中n是自然數。有限集型特徵包含整數、字母數字字符、單詞、句子和(或)符號。一個典型的有限集特徵包含用於tcp或者udp連接的目標埠號，其他例子有：一組語言符號中的協議，該協議包含tcp、udp、icmp、arp、http和ftp，與源ip地址相關的行為群體的名字，與目標ip地址相關的行為群體的索引。
其中，連續值型特徵和有限集型特徵都可以從單一事件或者事件捆綁中提取。如果特徵是從事件捆綁中提取出來的，則一個或多個事件將會被捆綁到事件捆綁中。需要說明的是，事件捆綁是指通過邏輯關係將事件捆綁在一起；這些事件捆綁在一起後，會對一些特定的異常比較敏感，比如蠕蟲、惡意埠掃描活動、對網絡的人為誤用，伺服器反應慢，設備崩潰，異常程序的網絡傳輸等。一個或多個事件可以根據任何合適的標準有邏輯地捆綁起來。例如，事件可以根據屬性捆綁在一起，也可以根據事件特徵捆綁在一起。在一個實施例中，事件捆綁的源計算設備有一個ip地址，目標計算設備可以為任何ip地址，時間跨度為兩秒鐘。典型的事件捆綁還包括：1.所有的事件都有一種「嘗試信息洩露」，發生在一秒鐘之內，並且有一個特殊的行為群體作為源行為群體(例如一個事件的源ip地址歸屬的行為群體)；2.所有事件發生在最後兩秒鐘之內，並且有一個特定的源、目標行為群體；3.所有的事件都源自一個指定的源ip地址，這個源址是在最後兩秒鐘產生的；4.在最後4秒鐘，所有的事件會有一個特定目標ip；5.倒數n個事件(例如n＝100，45等)源自一個指定的源ip地址；6.倒數m(例如m＝200，50等)個事件會有一個共同的目標ip地址；7.倒數p(例如p＝100，30等)個事件有一個指定的源ip地址和事件類型「tcp預置；」8.所有事件在最後一秒會有一個指定的目標ip地址和事件類型「tcp建立」；9.所有有指定源行為群體的事件有一個目標埠作為埠80，使用tcp或者http協議；10.所有事件在8:32amand8:35am之間，從源址到目標地址，傳輸零字節的數據；11.所有事件的狀態在7:00amand9:00am都是連接復位。在另一個實體例中，事件捆綁可以通過捆綁那些事件被創造出來，這些被捆綁的事件展示出事件表中的一系列節點的活動爆發。特別是，一張相互聯繫的圖表是為所有節點創造的，事件表示圖表的邊線。每一個節點都可以是一個ip地址、計算設備和網絡接口等。如果許多事件的發生是因為一副指定的源-目標節點，事件可以用那些節點之間的單邊線來解釋。如果許多事件的終端節點作為源和目標，那麼邊線可以有一個高克重。如果轉移的數據量很大，或者形成邊緣終端的節點之間通信的某種其他方法很大，邊線也能被給予高克重。因此，圖表分區算法使用的標準有比如事務頻率、數據轉移數量，可以用來把以上圖表分成子圖表，每一個子圖代表節點中最繁忙的群體，通信通信量最多的節點，或者在節點之間數據傳輸最大量的節點群體。這些子圖現在包含邊線，這些邊線都可以追溯到原始事件表或者數據表中的一部分。
接下來，給出連續值型特徵和有限集型特徵分別從單一事件或者事件捆綁中提取的示例。在一個實施例中，可以從單一事件中提取的典型的有限集型特徵有：1.和源ip地址相關的行為群體；2.和目標ip地址相關的行為群體；3.源埠數；4.目標埠數；5.通信協議。在另一個實施例中，可以從單一事件中提取的連續值型特徵有：1.從源址到目標地址傳輸的數據量；2.從目標址到源址傳輸的數據量。3.通信或事務的時長；5.通信初次會話期間源址的延遲反應；6.一天的時間；7.星期和日期。在另一個實施例中，可以從事件捆綁中提取的典型的有限集特徵有：1.最為突出或最頻繁出現的目標埠。2.最為頻繁的源行為群體；3.最為頻繁的目標行為群體；4.最為頻繁的源埠；5.最為突出的協議。6.目標行為群體數；7.從源址傳輸到目標址的數據量；8.從目標址傳輸到源址的數據量；9.源ip地址和目標ip地址的數量比率；10.源行為群體和目標行為群體的數量比率；11.時間；12.星期和日期。
需要再進一步說明的是，在一個實施例中，為了從事件捆綁中提取特徵，可以從事件捆綁中提取數據結構各欄位之間的交互相關；或，從事件捆綁中提取數據結構各行之間的順序相關。具體地，為了檢測欄位之間的相關，可通過檢測數據結構中的數據欄位的交互相關，來分析事件捆綁。和事件捆綁相關的數據結構中，各種欄位之間的一種統計關係稱作交互相關。如從源址傳輸到目標地址的數據量和從目標地址返回到源址的數據量可以形成相關。從這個相關中提取的特徵可以以中數、眾數、方差、協方差、相互係數等形式存在。具體地，可以通過檢測和事件捆綁相關的數據結構各行之間的順序相關，來分析事件捆綁，從而檢測行與行之間的相關。在和事件捆綁相關的數據結構中，順序相關是各行間的統計關係。例如，順序相關可以在緊靠在一起的行之間建立。例如，在t秒內，t12型事務緊隨t2型事務發生了，這個過程會重複幾次，那麼這樣的經歷就會形成順序相關或者行為模式。因此，t1→t2就是一個順序相關特徵。任何合適的數據挖掘技術都可以應用到事件捆綁中，來確定交互相關和順序相關。在另外一個實施例中，可以在不使用統計相關的情況下，將特徵從事件捆綁中提取出來。例如，使用欄位中值總和、最常見值、最大值和最小值等，可以從事件捆綁中把這些特徵提取出來。在另外的一個實施例中，使用在事件捆綁中從源址傳輸到目標地址的字節數的總數、發生最為頻繁的目標埠、在事件捆綁中每秒事件發生的數目來提取特徵。
需要再進一步說明的是，在一個實體例中，提取出的特徵可以直接輸出，而不需要轉化再使用。在另一個優選的實施例中，對提取出來的特徵進行基於數學運算的轉化處理，對特徵進行轉化是為了使數據容易處理、有意義，同時(或)使數據和機器學習單元31相兼容，優化特徵。這樣的轉化可以減少誤報，有助於訓練系統少用特徵。典型的轉化有比率、根(比如平方根、立方根或者n次方根(其中n是一個實數))、對數、查詢表映射、多項式和(或)其他數學方程。
上述實施方式中，將輸出的多個特徵與已學習趨勢作比較得到異常並對異常進行判斷與推理並輸出的程序指令，包括：
將所述連續值型特徵從有限集特徵中分離；
設置存儲所述已學習趨勢的學習趨勢模塊；
將分離後的所述有限集特徵轉換成所述學習趨勢模塊的地址；
選擇出具有所述地址的學習趨勢模塊接收分離出的所述連續值型特徵；
將所述學習趨勢模塊中存儲的所述已學習趨勢與接收的所述連續值型特徵進行比較，輸出異常；
對所述異常進行判斷與推理並輸出；
存儲所述事件、異常和任何與計算機網絡相關的異常檢測信息；
存儲具有一系列所述連續值型特徵的所述學習趨勢；以及，
接收所述判斷與推理，發出警報與操作。
結合圖2的示例，異常檢測系統110中的機器智能模塊30包括機器學習單元31、啟發式算法和主機優先級單元32、事件資料庫單元33、知識資料庫單元34以及警報與操作單元35。其中，機器學習單元31用於將連續值型特徵從有限集特徵中分離、將分離後的有限集特徵轉換成學習趨勢模塊的地址、選擇出具有地址的學習趨勢模塊來接收分離出的連續值型特徵、將學習趨勢模塊接收的連續值型特徵與從知識資料庫單元34獲得的已存儲的學習趨勢進行比較，輸出異常。具體地，如圖8所示，機器學習單元31包括將連續值型特徵從有限集特徵中分離的特徵分離器311、用於存儲有限集特徵轉換成學習趨勢模塊地址的地址單元312、分別存儲有具有一系列連續值型特徵的學習趨勢的若干個學習趨勢模塊313。如圖8和圖9所示，學習趨勢模塊313從知識資料庫單元34中獲取具有一系列連續值型特徵的學習趨勢並存儲，即已學習趨勢，以供後續檢測異常的比較使用；被分離出的連續值型特徵通過地址單元312的地址識別存儲至對應的一個學習趨勢模塊313，機器學習單元31將學習趨勢模塊313從知識資料庫單元34獲得的已存儲的學習趨勢與接收的連續值型特徵進行比較，輸出異常給啟發式算法和主機優先級單元32處理的同時，將異常存儲於事件資料庫單元33中。啟發式算法和主機優先級單元32用於對異常做出判斷與推理來觸發警報與操作單元35發出警報與操作。事件資料庫單元33用於存儲事件、異常和任何與計算機網絡相關的異常的檢測信息。知識資料庫單元34用於存儲具有一系列連續值型特徵的學習趨勢模塊。警報與操作單元35用於接收判斷與推理，發出警報與操作。發出警報的方式有電子郵件、網頁以及日誌消息等；發出操作的方式包括運行一個程序、屏幕顯示、給網絡設備編程序、網絡流量路徑會不一樣、通過防火牆阻止某些類型的網絡傳輸、以及在計算機網絡中通過阻擋主機的網絡傳輸使某些主機癱瘓等。
上述實施方式中，如圖8所示，通過特徵分離器311將連續值型特徵分離出的有限集型特徵，經過地址單元312會轉化成地址，該地址與機器學習單元31若干個學習趨勢模塊313中的一個之間具有唯一的識別性，即可理解為地址單元312轉化成的地址含有任何有限集特徵的唯一組合。例如，如果一個有限集型特徵有值χ和β，另外一組有限集特徵有值a和d，則存在四組有限集特徵的唯一組合，即χa、βa、χd和βd(組合(例如χa和aχ)的排列順序不包含在此例的唯一組合中)。以上的四個組合中的每一個都被當做是一個地址來選擇其中一個學習趨勢模塊。另外一個例子是三個學習趨勢模塊和賦值的有限集特徵的唯一組合相對應：1.源行為群體：工程部門，目標行為群體：網際網路，埠80，協議:http；2.源行為群體：市場部門，目標行為群體：網際網路，埠：80，協議：http；3.源：工程部門，目標：市場部門，埠：137，協議：udp。
上述實施方式中，如圖8示例，機器學習單元31包含若干個學習趨勢模塊313，每個學習趨勢模塊313利用機器學習和分類技術(如人工神經網絡、knn分類法、k均值算法等)估計出事件捆綁與特徵提取單元22提取的特徵的聚合趨勢，尤其是學習趨勢模塊313從統計方面關聯連續值型特徵集來學習趨勢。這些趨勢代表計算機網絡中事務的本質。例如，一個趨勢大約是兩個主機之間傳輸b字節。b可以是像203這樣的數字。如果傳輸的是1.02*b字節，而不是b字節，因子1.02代表一個小小的偏差，因此可以被當成是在趨勢範圍內。這個小小的偏差是正常的，結果是，相應的連續值型特徵(例如，數據傳輸量)保存在學習趨勢模塊已學習範圍內。傳輸的是0.001*b字節時，將會有異常被檢測到，因為0.001*b字節遠遠少於已學習趨勢的b字節。偏離已學習趨勢多少會被當成異常，取決於一些因素：比如異常類型、異常的檢測器的應用、用戶給系統設置的敏感度。已學習趨勢和異常可以在多維數組中同時被確定，而不是看單一屬性(比如源址到目標地址的數據傳輸量)。學習趨勢模塊313儲存這些已學習趨勢或者連續值型特徵集轉化成知識資料庫單元34的統計關聯。在學習趨勢的過程中，學習趨勢模塊313會收到很多典型的連續值型特徵集，從而形成他們的知識庫或者是已學習趨勢。下一次，一個連續值型特徵集輸入到學習趨勢模塊中後，學習趨勢模塊313可以決定，新的連續值型特徵集是否和在學習趨勢模塊313中學習到的某個典型的連續值型特徵集十分相似。一般來說，連續值型特徵集的繼續給予會引發學習趨勢模塊313的一個輸出，這個輸出會顯示出輸入的連續值型特徵屬於或者不屬於已學習趨勢(例如，一個異常值)範圍內。通過比較輸入連續值型特徵集和知識資料庫單元34存儲的已學習趨勢，決定輸入連續值型特徵是否屬於已學習趨勢範圍內。換而言之，檢查後，可以決定輸入連續值型特徵是否在已學習趨勢範圍內。輸出也可以顯示出輸入連續值型特徵和已學習趨勢之間的幾何距離。連續值型特徵完全在已學習趨勢範圍之外就被歸為異常。在一個實體例中，學習趨勢模塊313可以使用聚類技術(例如，ann，k-nn等)來檢測異常點。圖10是一個有三個坐標軸的坐標系。這三個坐標軸分別是連續值型特徵x軸，連續值型特徵y軸，連續值型特徵z軸。這個圖表顯示出在學習模式中已經學習了的連續值型特徵b密集群和連續值型特徵a。通過比較連續值型特徵群b和連續值型特徵a，可以看出連續值型特徵a不在連續值型特徵b群的範圍內。由於連續值型特徵a在連續值型特徵群b範圍之外，那麼連續值型特徵a就是一個異常點或者一個異常。
需要說明的是，每一個學習趨勢模塊313都和某一種相關性相關，並且被用來關聯和學習一個連續值型特徵集。在一個實施例中，用戶可以選擇連續值型特徵群，連續值型特徵群給每一個學習趨勢模塊313形成輸入。舉個例子，顯示快速蔓延蠕蟲的蔓延情況的連續值型特徵群包括：1.在一秒鐘內，和單一源ip地址相連接的不同目標ip地址數；2.在一秒鐘內每一個ip地址聯繫的數量；3.這些聯繫中最突出的協議。如果在一秒鐘內一個單一的源ip地址使用udp協議聯繫到100個不同的目標ip地址，那這樣的聯繫很有可能是蠕蟲。然而，如果這些聯繫使用的是arp協議，那這些聯繫有可能是來自路由器。相應地，以上三種連續值型特徵都可以被選中輸入給其中一個學習趨勢模塊313。在另一個實體例中，自動算法可以被用來選擇連續值型特徵，這些連續值型特徵形成每個學習趨勢模塊的輸入。通過讓自動系統選擇對輸入到其他學習趨勢模塊313有意義的連續值型特徵來實現自動化。這個實體例是從學習趨勢模塊313學習連續值型特徵群的任意組合開始，這些連續值型特徵群會輸入到其中一個學習趨勢模塊313。因此，自動系統可以做一個搜索，然後選擇最佳組合，這些最佳組合可以對連續值型特徵產生有意義的關聯。舉個例子，一個異常檢測系統在檢測異常時，選中一個事件捆綁意味著，一秒鐘內指定的源ip地址到任意一個目標ip地址的所有聯繫。從這個事件捆綁中提取出來的特徵有：1.連接單一源ip地址的目標ip地址數；(2)在事件捆綁中，被連接的不同埠數。如果有一個特徵，它的目標ip地址數有一個值是10，特徵的不同埠數的值是2(埠53和埠80)，這些特徵可能是正常的全球資訊網搜索活動。在這些正常的搜索活動中，一個計算設備通常先連接上埠53的域名伺服器，查找ip地址的的名字，然後再連接幾次埠80上的網頁伺服器，獲取網頁的所有元素。因為這些活動在計算機網絡中會頻繁發生，機器學習單元31將在學習趨勢中學習到，值為10和2的特徵的組合分別代表目標ip地址數和不同埠數就是一個趨勢。在檢測模式，如果學習趨勢模塊313收到一組特徵集，值為1和100，這些特徵可能顯示有檢測活動(例如，埠掃描)，因為這些特徵顯示，單一源ip地址在100個不同埠掃描到單一目標計算設備。
需要進一步說明的是，每一個學習趨勢模塊313都是用來相關、學習和檢測一系列連續值型特徵的異常。在一個實體例中，每一個學習趨勢模塊313都被用作捕獲一種或多種已知類型的異常，例如蠕蟲、埠掃描、伺服器反應慢、點對點檔案分享等。在另一個實體例中，每一個學習趨勢模塊313都有連續值型特徵輸入來捕獲未知型異常，而不是有目標性地捕獲某一種異常。一般而言，學習趨勢模塊313是將多組實數(例如特徵向量或者連續值型特徵集)作為標本的分類單元。連續值型特徵的每一個集合都有n個維度，其中n可以是1、2、3、4等任意數。n維代表學習趨勢模塊正在學習的任意的連續值型特徵。在給學習趨勢模塊313提供許多標準連續值型特徵集後，這些學習趨勢模塊313會形成學習趨勢(例如分類體系)。學習過程一旦完成，連續值型特徵集的進一步給予會引發一個輸出，這個輸出會顯示異常的檢測。
需要進一步說明的是，異常包括普通異常、異常源和異常目標等情況。舉個例子，異常可以是針對一個或多個計算設備的一個問題或者異常行為。啟發式算法和主機優先級單元32可以給一個計算設備提供嚴重度評分，由源ip地址或者目標ip地址表示，嚴重度評分是基於和計算設備相關的異常。例如，根據計算設備產生的異常，啟發式算法和主機優先級單元32可以給計算設備分配一個數。例如，計算設備的嚴重度評分隨著異常產生的數量而升高。另外，啟發式算法和主機優先級單元32可以用來決定連接計算設備時發生的活動異常類型、判斷計算設備是否有被懷疑答覆更慢、和/或判斷計算設備和其他易受攻擊埠的計算設備連接速度很快。相應地，嚴重評分度取決於，在過去t秒中與計算設備相關的異常數量、異常類型以及這些異常和趨勢的偏離情況。當嚴重評分度達到一個閾值時，就會產生警報，這時會給用戶發送一個通知或者產生一個自動修復行為。可以設置多重閾值來觸發多種類型的操作。閾值會隨著應用的不同類型主機和主機展示的不同行為而有所不同。
上述實施方式中，異常檢測系統110存儲有多條用於計算機網絡異常檢測的程序指令，發出警報與操作的提醒。具體地，當一個計算機網絡設備(如移動終端、伺服器、控制臺等)進行網絡異常檢測獲得警報和操作後，向位於同一個計算網絡中的其他至少一個計算機網絡移動終端發送警報與操作的提醒；則同一個計算網絡中的其他至少一個計算機網絡移動終端可以接收該警報與操作的提醒。提醒的方式，包括但不限於簡訊、微信、網頁等形式。
需要進一步說明的是，本發明提供的異常檢測系統110，在實際應用中，包括但不限於一種存儲有用於計算機網絡異常檢測的程序指令例如app，則本發明提供的計算機網絡移動終端，包括但不限於加載或執行app中存儲用於檢測計算機網絡異常的程序指令的計算機、計算機移動存儲設備、手機、平板電腦等。
本發明提供的計算機網絡異常檢測方法、系統及移動終端，使用統計趨勢和機器學習多維技術來檢測異常。具體地，通過從計算機網絡事務中收集數據包轉換成的事件中同時提取包括連續值型特徵和有限集型特徵的多個特徵後輸出；將輸出的多個特徵與包括一系列連續值型特徵的已學習趨勢作比較，得到異常，並對異常進行判斷與推理並輸出。該判斷與推理能夠檢測不可預見類型的網絡威脅和其他網絡相關問題，多維技術的使用將錯誤報警數降到最低，異常的檢測的準確率提高。本發明提供的計算機網絡異常檢測系統可以用於其他計算機系統配置，包括手機、微處理系統、微處理器基或可編程電子消費品、微型機和大型計算機等。
儘管本發明的實施方案已公開如上，但其並不僅僅限於說明書和實施方式中所列運用。它完全可以被適用於各種適合本發明的領域。對於熟悉本領域的人員而言可容易地實現另外的修改。因此在不背離權利要求及等同範圍所限定的一般概念下，本發明並不限於特定的細節和這裡示出與描述的圖例。