一種面向大數據應用平臺的入侵檢測的實時分析系統的製作方法
2023-07-25 14:55:51
一種面向大數據應用平臺的入侵檢測的實時分析系統的製作方法
【專利摘要】本發明公開了一種面向大數據應用平臺的入侵檢測的實時分析系統。本系統主要分為3層，信息採集層、運算層、展示層。信息採集層，主要包含監控模塊及2個相互通信的組件：部署在大數據應用平臺節點上面的Agent與部署在入侵檢測系統的Server；運算層，包括特徵庫模塊、實時分析模塊、趨勢分析模塊；展示層，包括告警模塊和統一報表模塊。通過本發明能夠實時地對大數據應用平臺進行入侵檢測，實時監控，主動發現，主動防禦，聯動管控。其次，基於大數據的入侵檢測，可以無限擴展。大數據應用平臺在入侵檢測系統的協助下，可以只關注業務，無需花費精力擔心內外部用戶的入侵。
【專利說明】一種面向大數據應用平臺的入侵檢測的實時分析系統
【技術領域】
[0001]本發明涉及網絡安全【技術領域】，尤其涉及一種面向大數據應用平臺的入侵檢測的實時分析系統。
【背景技術】
[0002]隨著雲計算、移動網際網路、物聯網的崛起與發展，大數據的時代已經來臨。大數據應用平臺已經在各個大型公司中運行推廣開來。但是，一般大數據應用平臺都關注於性能和功能，而較少考慮安全方面的因素。因此，在大數據應用平臺中附加一個入侵檢測系統，有其應用意義和商業價值。
[0003]常規的入侵檢測系統，可以監控網絡、系統、主機、存儲、應用等。入侵檢測系統所採用的技術可分為特徵檢測與異常檢測兩種。入侵可以分為3類:1)基於主機、2)基於網絡、3)分布式。一個成功的入侵檢測系統，可使系統管理員時刻了解網絡系統，包括程序、文件和硬體設備等的任何變更，給網絡安全策略的制訂提供指南，管理、配置簡單，使非專業人員非常容易地獲得網絡安全的管理配置等。而且入侵檢測的規模還應根據網絡威脅、系統構造和安全需求的改變而改變。入侵檢測系統在發現入侵後，會及時做出響應，包括切斷網絡連接、記錄事件和報警等。
[0004]但是常規的入侵檢測技術，一般是單機安裝部署的，無法對大數據應用平臺進行分析，因為大數據應用平臺一般都是分布式集群架構，流量和信息量比較大。因此，大數據的入侵檢測平臺，必然架構在集群技術之上。
[0005]此外，基於Hadoop的入侵檢測系統，可以實現對大數據應用平臺的入侵檢測。Hadoop是一個基於雲計算思想的開源雲計算平臺框架。Hadoop具備諸多優點，如高可靠性、高擴展性、高效性、高容錯性等。它能夠部署在大量廉價硬體設備上，組成組成成本較低而規模大的雲計算集群。Hadoop用戶可以在不了解該平臺上底層細節的情況下，開發自己的應用程式。
[0006]Hadoop雲計算平臺具有強大的數據收集與運算的能力，將其融合到入侵檢測系統，能夠為其提供強大的技術支持。如Hadoop雲計算平臺能夠為入侵檢測系統提供分布式計算、分布式文件存儲服務、管理作業、文件系統等服務。應用Hadoop雲計算平臺能夠更好的對海量數據進行分析，對相應的信息進行挖掘，提高IDS對海量數據的處理能力，從而進一步提聞入侵檢測系統的相關性能。
[0007]基於Hadoop的入侵檢測系統,無法實現實時性,只能做事後彌補,這是由Hadoop的批處理特性所決定的。
[0008]狹義上來說，Hadoop是MapReduce和HDFS的結合，採用一種離線模式或者批處理的模式。Hadoop處理數據的方式是數據並行，處理串行。在Hadoop所採用的批處理的工作方式下，每個job並行只發生在一個map段和一個reduce段中，並且這兩個階段不能並行執行，所有被map過程訪問的數據都會被凍結，直至整個工作job執行結束。並且Hadoop中的數據通過分布式文件系統(HDFS)進行組織，網絡I/O開銷會帶來相應的延遲。因此Hadoop也有許多缺點-延遲大，響應緩慢，運維複雜。這意味著Hadoop並不適合實現對
延遲要求很嚴格的場景中，如在線的實時應用。基於Hadoop的入侵檢測系統，也因此很難做到較好的實時性。
【發明內容】
[0009]本發明的目的是為了克服現有技術的缺陷，提供一種面向大數據應用平臺的入侵檢測的實時分析系統。本系統主要分為3層，信息採集層、運算層、展示層。
[0010]信息採集層，主要包含監控模塊及2個相互通信的組件:部署在大數據應用平臺節點上面的Agent與部署在入侵檢測系統的Server。
[0011]運算層，包括特徵庫模塊、實時分析模塊、趨勢分析模塊。特徵庫模塊，主要包括正則匹配組件與HBase資料庫；實時分析模塊,基於Storm實現；趨勢分析模塊,基於RHadoop實現。
[0012]展不層，包括告警模塊和統一報表模塊。
[0013]本發明技術方案帶來的有益效果:
[0014]通過本發明能夠實時地對大數據應用平臺進行入侵檢測，實時監控，主動發現，主動防禦，聯動管控。其次，基於大數據的入侵檢測，可以無限擴展。另外，大數據應用平臺在入侵檢測系統的協助下，可以只關注業務，無需花費精力擔心內外部用戶的入侵。
【專利附圖】
【附圖說明】
[0015]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其它的附圖。
[0016]圖1是典型的大數據應用平臺的拓撲結構圖；
[0017]圖2是本發明的面向大數據應用平臺的入侵檢測的實時分析系統的拓撲結構圖；
[0018]圖3是本發明的面向大數據應用平臺的入侵檢測的實時分析系統的部署圖；
[0019]圖4是本發明的面向大數據應用平臺的入侵檢測的實時分析系統的架構圖；
[0020]圖5是本發明系統中節點信息採集的流程圖；
[0021]圖6是本發明系統中實時分析的流程圖；
[0022]圖7是本發明系統中趨勢分析的流程圖。
【具體實施方式】
[0023]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0024]由於對大數據應用平臺的安全性重視程度不夠，從而導致平臺出現一系列的安全隱患，本發明採用了一種面向大數據應用平臺的入侵檢測的實時分析系統，通過實時監控，主動發現，主動防禦，聯動管控的方案，從而提高大數據應用平臺的信息安全性。[0025]如圖1所示為典型的大數據應用平臺的拓撲結構圖，本發明系統是在大數據應用平臺的基礎上部署入侵檢測系統，其拓撲結構圖如圖2所示。入侵檢測系統，部署在大數據應用平臺與用戶訪問接口之間，用戶想要訪問大數據應用平臺，必須先經過入侵檢測系統。入侵檢測系統允許用戶安全的訪問請求，拒絕用戶的惡意攻擊。
[0026]本發明系統的部署如圖3所示:在大數據應用平臺的配置管理節點、元數據節點、數據節點等節點安裝部署入侵檢測系統的Agent。Agent根據入侵檢測的策略，打開不同的通信埠，主動發送信息到入侵檢測系統的監控模塊。
[0027]在入侵檢測系統伺服器端，實時分析模塊協同特徵庫模塊對監控模塊推送過來的信息進行實時分析，發現威脅，調用告警模塊對用戶進行告警處理。趨勢分析模塊對歷史記錄進行趨勢分析、挖掘。
[0028]本發明系統的架構如圖4所示:
[0029]本系統主要分為3層，信息採集層、運算層、展示層。
[0030]信息採集層，主要包含監控模塊，包括2個相互通信的組件:部署在大數據應用平臺節點上面的Agent與部署在入侵檢測系統的Server。
[0031]運算層，包括特徵庫模塊、實時分析模塊、趨勢分析模塊。特徵庫模塊，主要包括正則匹配組件與HBase資料庫；實時分析模塊,基於Storm實現；趨勢分析模塊,基於RHadoop實現。
[0032]展不層，包括告警模塊和統一報表模塊。
[0033]本發明系統中節點信息採集的處理流程如圖5所示，具體為:
[0034](I)如果收到退出命令，跳轉到(4)，否則，跳轉到(2)；
[0035](2) Agent主動推送信息到監控模塊；
[0036](3)監控模塊接收信息，轉發到消息隊列，並跳轉到(I)；
[0037](4)節點的信息採集結束。
[0038]本發明系統中實時分析的處理流程如圖6所示，具體為:
[0039](I)如果收到退出命令，跳轉到(7)，否則，跳轉到(2)；
[0040](2) Storm在消息隊列中取消息；
[0041](3) Storm對消息進行模式匹配；
[0042](4)如果存在威脅，跳轉到(4)，否則，跳轉到(I)；
[0043](5) Storm通知告警模塊；
[0044](6)告警模塊發送信息，並跳轉到(I)；
[0045](7)節點的信息採集結束。
[0046]本發明系統中趨勢分析的處理流程如圖7所示，具體為:
[0047](I)從HBase資料庫中讀取歷史記錄；
[0048](2)運行RHadoop的趨勢分析算法Storm對消息進行模式匹配；
[0049](3)運行結果保存在HDFS上；
[0050](4)趨勢分析結束。
[0051]通過本發明能夠實時地對大數據應用平臺進行入侵檢測，實時監控，主動發現，主動防禦，聯動管控。其次，基於大數據的入侵檢測，可以無限擴展。另外，大數據應用平臺在入侵檢測系統的協助下，可以只關注業務，無需花費精力擔心內外部用戶的入侵。[0052]以上對本發明實施例所提供的一種面向大數據應用平臺的入侵檢測的實時分析系統進行了詳細介紹，本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在【具體實施方式】及應用範圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發明的限制。
【權利要求】
1.一種面向大數據應用平臺的入侵檢測的實時分析系統，其特徵在於，該系統包括信息採集層、運算層、展示層； 信息採集層，包括監控模塊及2個相互通信的組件:即部署在大數據應用平臺節點上面的Agent與部署在入侵檢測系統的Server ； 運算層，包括特徵庫模塊、實時分析模塊、趨勢分析模塊；特徵庫模塊，包括正則匹配組件與HBase資料庫；實時分析模塊，基於Storm實現；趨勢分析模塊,基於RHadoop實現；展示層，包括告警模塊和統一報表模塊。
2.根據權利要求1所述的系統，其特徵在於，大數據應用平臺節點包括配置管理節點、元數據節點、數據節點。
3.根據權利要求1或2所述的系統，其特徵在於，該系統的部署為:在大數據應用平臺的配置管理節點、元數據節點、數據節點安裝部署入侵檢測系統的Agent，Agent根據入侵檢測的策略，打開不同的通信埠，主動發送信息到入侵檢測系統的監控模塊； 在入侵檢測系統伺服器端，實時分析模塊協同特徵庫模塊對監控模塊推送過來的信息進行實時分析，發現威脅，調用告警模塊對用戶進行告警處理，趨勢分析模塊對歷史記錄進行趨勢分析、挖掘。
4.根據權利要求1或2所述的系統，其特徵在於，該系統中節點信息採集的處理流程為: 41)如果收到退出命令，跳轉至IJ44)，否則，跳轉至IJ 42)； 42)Agent主動推送信息到監控模塊； 43)監控模塊接收信息，轉發到消息隊列，並跳轉到41)； 44)節點的信息採集結束。
5.根據權利要求1或2所述的系統，其特徵在於，該系統中實時分析的處理流程為: 51)如果收到退出命令，跳轉到57)，否則，跳轉到52)； 52)Storm在消息隊列中取消息； 53)Storm對消息進行模式匹配； 54)如果存在威脅，跳轉到54)，否則，跳轉到51)； 55)Storm通知告警模塊； 56)告警模塊發送信息，並跳轉到51)； 57)節點的信息採集結束。
6.根據權利要求1或2所述的系統，其特徵在於，該系統中趨勢分析的處理流程為: 61)從HBase資料庫中讀取歷史記錄； 62)運行RHadoop的趨勢分析算法Storm對消息進行模式匹配； 63)運行結果保存在HDFS上； 64)趨勢分析結束。
【文檔編號】H04L29/06GK103561018SQ201310526461
【公開日】2014年2月5日 申請日期:2013年10月30日 優先權日:2013年10月30日
【發明者】柯宗貴, 柯宗慶, 楊育斌, 趙必廈 申請人:藍盾信息安全技術股份有限公司