基於大數據分析的威脅預警監測系統、方法及部署架構與流程
2023-05-17 09:15:11 2
本發明涉及網絡安全威脅預警技術領域，尤其涉及一種基於大數據分析的威脅預警監測系統、方法及部署架構。
背景技術：
當前我國各政府部門和企事業單位都加大了網絡安全建設的投入力度，部署了各種類型的安全設備或系統，如入侵檢測系統(ids)、入侵防禦系統(ips)、防火牆、殺毒軟體等。但這些基於特徵規則的傳統安全設備只能檢測已知攻擊，漏報和誤報均較高。
安全運營中心(soc)對安全系統的大量日誌進行整合，不僅數據源單一，而且缺乏提供精準分析的能力與手段，安全分析人員從這些海量數據分析出有效線索無異於大海撈針。因此，soc並未對網絡安全積極防禦起到有效作用。
當前情況下，國家電網公司大力推進堅強智能電網和全球能源網際網路建設，電網數位化和智能化程度不斷提高，與此同時，隨著智能化時代的邁入，電網日益受到來自網際網路的計算機病毒、邏輯炸彈、木馬的攻擊，信息安全防護的難度大幅增加，對電力信息安全和智能電網的發展提出新的挑戰。電網信息系統安全數據的採集和存儲能力、信息系統安全威脅的發現感知能力、立體化縱深防禦能力等方面，都面臨著相比過去傳統信息系統的安全防護體系更高的技術和管理規範化要求。尤其是在相關安全情報數據的數量、速度、種類的迅速膨脹的情況下，海量異構數據的融合、存儲、管理和利用對傳統的安全分析方法提出了重大的挑戰。
由於網絡攻擊行為通常分散在各地，攻擊過程由多步驟實施，具有一定的複雜性，僅靠單個網絡安全設備的日誌信息無法完全還原出攻擊原貌，這嚴重製約了網絡安全分析人員評估整個網絡環境的運行狀態以及用戶的活動情況。
技術實現要素：
本發明的目的就是為了解決上述問題，提供一種基於大數據分析的威脅預警監測系統、方法及部署架構，用於多種業務場景下的網絡安全威脅態勢感知和深度分析，實現從攻擊預警、攻擊識別到分析取證的綜合能力。
為了實現上述目的，本發明採用如下技術方案：
基於大數據分析技術的威脅預警監測系統，包括，
數據採集系統模塊，通過網絡全流量安全分析系統、入侵檢測系統、入侵防禦系統及高級持續性威脅系統對原始網絡流量進行實時數據採集；
數據存儲系統模塊，對數據採集系統模塊採集的數據進行數據歸併和數據清洗處理後再進行存儲管理，支持分布式文件系統、行式資料庫、列式資料庫及對象存儲系統存儲；
實時威脅智能分析系統模塊，利用數據挖掘、文本分析、流量分析、全文搜尋引擎、實時處理對安全數據進行深度的分析與挖掘，結合入侵檢測模型、網絡異常行為模型和設備異常行為模型實時甄別未知的安全威脅；
態勢感知展示系統模塊，採用了數據可視化工具庫實時、立體地對安全威脅態勢進行綜合展示；
後臺管理系統模塊，對整個監測系統進行運維監控管理。
所述數據採集系統模塊還採集威脅情報，從網際網路上爬取威脅情報；
實時威脅智能分析系統模塊依據殺傷鏈對威脅情報進行分析，對威脅情報進行載體利用和突防利用、攻擊手法、威脅情報本土化所關心的行業領域、目標作業環境和偏好進行機器學習和分析；
態勢感知展示系統模塊實時展現獲取的威脅情報、apt攻擊報告的數量、重大網際網路洩密事件的數量、重大安全漏洞曝光事件的數量、惡意文件的數量、惡意ip的數量、惡意url的數量、地圖上動態顯示所有威脅源或攻擊源國家或地區、高亮顯示個別國家的威脅情報情況、實時刷新威脅情報事件、對威脅源國家進行top排名展現。
所述實時威脅智能分析系統模塊包括：分析中心模塊、安全日誌模塊、可疑文件模塊、威脅情報模塊、前端取證模塊及專家分析模塊。
所述分析中心模塊包括ip行為畫像模塊和數據挖掘模塊，
ip行為畫像模塊實現對ip的整體畫像，針對系統中存在的ip地址能搜索出來，查看與該ip相關的信息，還能鑽取進入二級ip詳細信息頁面；通過提供全域ip鑽取，對ip進行dns請求、威脅情報命中、安全日誌和網絡流量多個維度的分析並持續鑽取；通過dns請求，能分析域名訪問和c&c外聯情況，ip命中的威脅情報和安全日誌佐證被攻擊情況，網絡流量為回溯取證提供依據；
數據挖掘模塊實現對攻擊關聯圖、攻擊源分布、時序圖、威脅類型分布、威脅情報命中及力導圖中的數據進行挖掘。
所述攻擊關聯圖整體展示安全日誌中關聯的內部、外部主機ip之間的相關性；
攻擊源分布展示全球地圖分布上的安全威脅情況，根據安全日誌的源ip的geo地理位置按國家、城市進行聚合統計；
時序圖模塊根據安全日誌中的威脅事件發生的時間進行聚合；
威脅類型分布能挖掘出安全日誌的威脅類型相關的數據；威脅次數根據安全日誌的威脅類型進行聚合，並與威脅單位進行關聯；
力導圖實現了對安全日誌中主機ip與威脅ip的關聯，根據主機ip與大數據量威脅ip進行關聯分析；
威脅情報命中實現了對黑ip、黑域名、黑md5數據的挖掘，根據威脅情報庫與安全日誌中的主機ip進行碰撞關聯，對被威脅的ip主機數和威脅次數進行統計。
所述安全日誌功能模塊記錄了所有類型的威脅事件日誌，提供關鍵詞檢索、自定義時間查詢或者實時查詢、標籤過濾、刪除事件日誌、下載事件數據包、日誌研判；
可疑文件模塊記錄所有已發現的可疑的文件，並將這些文件及其靜態、動態檢測報告存儲在大數據的分布式文件系統之中；
威脅情報模塊支持黑ip、黑域名、黑md5、黑url四類數據；對四類數據對命中趨勢圖、地理位置分布圖、命中次數、命中主機ip佔比進行分析展示，還實現對這四類數據的導入；
前端取證模塊實現數據採集系統模塊中不同前端設備的分開配置操作，進行數據包管理、警報配置、行為模型及前端回查；
專家分析模塊為整個系統提供所有關鍵性數據的查詢，包括但不限於：apt威脅事件、惡意文件、tcp會話、udp會話、dns。
所述態勢感知展示系統模塊採用數據可視化工具庫，實時、立體地對安全威脅態勢進行綜合展示，包括單位威脅態勢、行業威脅態勢、資產安全態勢、威脅報告管理、運維監控、組織管理及系統管理。
所述後臺管理系統包括運維監控模塊、組織管理模塊、系統管理模塊；
運維監控模塊包括全局監控、前端狀態、運維告警、告警配置；
組織管理模塊包括監控單位管理和前端設備管理模塊；監控單位管理模塊對客戶單位進行管理；前端設備管理模塊對前端設備進行信息維護；
系統管理模塊包括用戶管理、角色管理、權限管理、菜單管理、安全審計、配置管理及數據字典。
採用所述基於大數據分析技術的威脅預警監測系統的方法，包括，
通過網絡全流量安全分析系統、入侵檢測系統、入侵防禦系統及高級持續性威脅系統對原始網絡流量進行實時數據採集；
對採集的數據進行數據歸併和數據清洗處理後再進行存儲管理，支持分布式文件系統、行式資料庫、列式資料庫及對象存儲系統存儲；
利用數據挖掘、文本分析、流量分析、全文搜尋引擎、實時處理對安全數據進行深度的分析與挖掘，結合入侵檢測模型、網絡異常行為模型和設備異常行為模型實時甄別未知的安全威脅；
採用數據可視化工具庫實時、立體地對安全威脅態勢進行綜合展示。
一種所述基於大數據分析技術的威脅預警監測系統的部署架構，包括前端安全設備採集器，所述前端安全設備採集器與採集器通信，所述採集器與預處理伺服器通信，預處理伺服器匯總採集器上報的數據，並對上報數據進行統一的範式化處理，對採集的數據進行數據歸併、數據清洗操作，並根據不同業務把數據存儲到不同的存儲系統上；
預處理伺服器與hadoop伺服器通信，預處理完成的數據存放在hadoop伺服器上，並對數據進行關聯統計與數據挖掘，形成結果數據導入檢索引擎，供web伺服器查詢數據；
es節點伺服器對hadoop伺服器形成的結果數據進行海量數據的存儲與二次統計，並提供給web伺服器檢索數據；
客戶端伺服器針對整個威脅預警監測系統提供運維與監控服務；
web伺服器包括web資料庫伺服器和web展示伺服器；web資料庫伺服器存放業務功能數據；web展示伺服器按業務功能管理與威脅數據分析兩大功能進行數據可視化展現；
前端安全設備採集器包括tsa伺服器、ids伺服器、ips伺服器及apt伺服器。
本發明的有益效果：
本發明可以通過數據採集器實現對異構數據源的整合、清洗和範式化處理，實現對多數據源數據進行全面採集；通過構建在hadoop平臺之上，可實現海量數據可靠存儲；通過內建以機器學習和智能分析算法為基礎的多種網絡安全分析模型，達到實時甄別未知安全威脅；藉助大數據可視化分析工具與豐富的數據展示組件，實現對分析結果的多維度圖形化直觀展現。
通過構建基於大數據分析技術的威脅預警監測系統，能夠直觀顯示出企業網絡環境的實時安全狀況、受攻擊情況、攻擊來源等情況，安全分析人員能及時掌握實時及歷史安全威脅狀況。通過此方法及系統實現了對未知威脅進行主動防禦，達到了事前規劃預防、事中監測阻斷、事後追溯整改的目的。
附圖說明
圖1為本發明監測系統的架構圖；
圖2為本發明監測系統的部署架構圖。
具體實施方式
下面結合附圖與實施例對本發明作進一步說明。
如圖1所示，基於大數據分析技術的威脅預警監測系統，包括數據採集系統模塊、數據存儲系統模塊、實時威脅智能分析系統模塊、態勢感知展示系統模塊、後臺管理系統模塊。
數據採集系統模塊是網絡全流量安全分析系統(tsa)、入侵檢測系統(ids)、入侵防禦系統(ips)、高級持續性威脅系統(apt)等前端安全設備數據採集的伺服器。數據採集系統對原始網絡流量實時採集和儲存，提供最真實的通信信息，並實現tsa、ids、ips、apt等前端安全設備採集的數據上傳。採集數據包括威脅情報、ips日誌數據、apt系統數據、ids日誌數據、網絡流量等數據。數據採集系統支持主流安全設備廠商的相關安全設備的無縫對接，支持syslog，http，ftp等10多種標準協議接口，並支持自定義接口。
數據採集模塊中所述的威脅情報來源於威脅情報系統，威脅情報系統主要實現了從網際網路上爬取威脅情報，也可以從第三方交換威脅情報和廠商獲取的情報進行導入推送。對威脅情報的分析主要依據殺傷鏈，對威脅情報進行載體利用和突防利用、攻擊手法、威脅情報本土化所關心的行業領域、目標作業環境和偏好等進行了機器學習和分析。最終以可視化的方式分類展示。
威脅情報系統主要以實時分析圖進行展示，主要功能包括：實時展現獲取的威脅情報、apt攻擊報告的數量、重大網際網路洩密事件的數量、重大安全漏洞曝光事件的數量、惡意文件的數量、惡意ip的數量、惡意url的數量、地圖上動態顯示所有威脅源或攻擊源國家或地區、可高亮顯示某個國家的威脅情報情況、實時刷新威脅情報事件、對威脅源國家進行top排名展現。
數據存儲系統模塊對採集的數據進行數據歸併和數據清洗等處理後再進行存儲管理。數據存儲系統支持分布式文件系統(hdfs)，行式資料庫(rowdb)，列式資料庫(columndb)，對象存儲系統(ceph)四種存儲系統，實現對採集的大量數據進行可靠存儲，有效解決了大數據分析技術的可靠存儲需求。
實時威脅智能分析系統模塊利用數據挖掘、文本分析、流量分析、全文搜尋引擎、實時處理等方式來對安全數據進行深度的分析與挖掘，結合模型庫內的入侵檢測模型、網絡異常行為模型、設備異常行為模型，實時甄別未知的安全威脅。
實時威脅智能分析系統模塊主要包括：分析中心、安全日誌、可疑文件、威脅情報、前端取證、專家分析等模塊。
分析中心模塊主要包括ip行為畫像和數據挖掘。
ip行為畫像實現對ip的整體畫像，有助於用戶了解某ip的流量和安全態勢，針對系統中存在的ip地址都能在該頁面搜索出來，查看與該ip相關的信息，還可鑽取進入二級ip詳細信息頁面。以ip為維度的分析是增強用戶網絡安全性的核心，可有效分析外部ip對組織內部的攻擊狀況，以及評估內部ip受損情況。通過提供全域ip鑽取，用戶可對ip進行多個維度的分析並持續鑽取，用以發現攻擊趨勢和線索。ip行為畫像分析最重要的四個維度包括：dns請求、威脅情報命中、安全日誌和網絡流量。通過dns請求，可分析域名訪問和c&c外聯情況；ip命中的威脅情報和安全日誌可進一步佐證被攻擊情況；網絡流量詳細刻畫了該ip網絡通訊的會話信息，為回溯取證提供依據。
數據挖掘功能實現對分析中心的數據進行挖掘，主要包括：攻擊關聯圖、攻擊源分布、時序圖、威脅類型分布、力導圖、威脅情報命中這六個模塊的數據進行挖掘。
攻擊關聯圖模塊整體展示各安全設備上報的安全日誌中關聯的內部、外部主機ip之間的相關性。根據安全日誌的主機ip出現的次數的topn來展示，如果主機ip有關聯則建立威脅連接。每個ip可以點擊進入到ip行為畫像分析的詳細頁面。
攻擊源分布模塊以2d地圖展示了全球地圖分布上的安全威脅情況，根據安全日誌的源ip的geo地理位置按國家、城市進行聚合統計。根據各城市可挖掘到與該城市的ip發起的攻擊威脅top圖和發起威脅次數。
時序圖模塊根據安全設備上報的安全日誌中的威脅事件發生的時間進行聚合。用戶可自定義時間，實現對該時間段內發生的所有威脅事件日誌記錄的挖掘。
威脅類型分布模塊可挖掘出tsa、ips、ids等安全設備上報的安全日誌的威脅類型相關的數據。威脅次數根據安全日誌的威脅類型進行聚合，並與威脅單位進行關聯。威脅類型包括特徵值警報、web攻擊、黑ip警報、可疑域名、郵件敏感字等。
力導圖模塊實現了對各安全設備上報的安全日誌中主機ip與威脅ip的關聯，根據主機ip與大數據量威脅ip進行關聯分析。可自定義內部、外部ip顯示的個數，每個ip以一個圓圈表示，每個ip均可挖掘出該ip相關的所有信息。
威脅情報命中模塊實現了對黑ip、黑域名、黑md5數據的挖掘。比對規則來源於威脅情報庫的黑名單命中安全日誌。根據威脅情報庫與安全日誌中的主機ip進行碰撞關聯，根據被威脅的ip主機數和威脅次數進行統計。
安全日誌功能模塊記錄了所有前端上報的各種類型的威脅事件日誌，提供關鍵詞檢索、自定義時間查詢或者實時查詢、標籤過濾、刪除事件日誌、下載事件數據包、日誌研判等功能。關鍵詞檢索支持md5、文件名、目標ip、目標埠、源ip、源埠進行搜索。標籤過濾主要包括客戶單位、危險等級、安全設備、威脅類型。ip地址鑽取實現查詢列表中的源ip地址、目的ip地址中任意ip均可點擊，實現鑽取挖掘到該ip二級詳細信息頁面。刪除事件日誌支持單個和批量刪除，刪除後的日誌會進入日誌回收站。下載事件數據包支持單個和批量下載。日誌研判可自定義對威脅事件進行研判，主要是對某單位的威脅事件進行事件描述。
可疑文件功能模塊記錄所有已發現的可疑的文件，並將這些文件及其靜態、動態檢測報告存儲在大數據的hdfs分布式文件系統之中。該模塊提供關鍵詞檢索、自定義時間查詢、ip地址鑽取、可疑文件下載等功能。關鍵詞檢索支持ip地址、文件名稱、惡意代碼、md5值檢索。ip地址鑽取實現查詢列表中的源ip地址、目的ip地址中任意ip均可實現鑽取挖掘到該ip二級詳細信息頁面。
威脅情報功能模塊支持黑ip、黑域名、黑md5、黑url這4類數據。這4類數據在不同頁面展示，但每一類數據頁面所提供的功能完全一致。該模塊主要針對4類數據對命中趨勢圖、地理位置分布圖、命中次數、命中主機ip佔比等進行分析展示。還實現對這4類數據的導入功能。
前端取證功能模塊實現不同單位的不同前端設備分開配置操作，目前系統配置的前端設備主要包括網絡全流量安全分析系統(tsa)、入侵檢測系統(ids)、入侵防禦系統(ips)、高級持續性威脅系統(apt)，目前支持的功能有數據包管理、警報配置、行為模型、前端回查四個功能。
數據包管理模塊提供數據包手動獲取和數據包自動獲取策略配置功能。此模塊可根據文件名稱和數據包開始結束時間進行查詢，並可下載刪除數據包。還可以添加數據包獲取任務，根據網絡應用、會話、地址、埠、網段、國家、協議這七個欄位來配置任務，配置策略包括與條件和或條件。或條件代表只要滿足條件之一則會捕獲數據包，與條件代表必須滿足所有條件才會捕獲數據包。
警報配置模塊包括5種警報類型的配置，分別是：流量警報、郵件敏感字警報、可疑ip警報、可疑域名警報、特徵值警報。每種警報類型都具有新增、刪除、查看、下載、導入、導出功能。新增警報配置後，可將警報配置下發至前端。
行為模型模塊提供基於元數據的網絡行為配置，支持100多種元數據欄位的提取，通過對提取的元數據欄位使用簡單、輕量級的語法規則描述語言，可實現各種類型的網絡行為配置。
前端回查模塊提供3類數據的回查，包括：dns查詢、useragent查詢和特徵回查。根據任務名稱可查看相關的配置信息，也可以將新增的任務下發至前端。
專家分析功能模塊為整個系統提供所有關鍵性數據的查詢，包括但不限於以下類型：apt威脅事件、惡意文件、tcp會話、udp會話、dns。每一類數據都有各自查詢的不同邏輯條件，同時還支持各類數據的關聯查詢，結果中繼續查詢。
本發明中數據挖掘處理過程中進行關聯分析涉及的安全模型主要包括：關聯分析模型、融合分析模型和攻擊要素分析模型。
1、關聯分析模型：網絡中的安全設備日誌都是對進入網絡的安全事件的流量的刻畫，針對某一個可能的攻擊事件，會產生大量的日誌和相關報警記錄，這些記錄存在著很多的冗餘和關聯，因此首先要對得到的原始日誌進行單源上的關聯分析，把海量的原始日誌轉換為直觀的、能夠為人所理解的、可能對網絡造成危害的安全事件。基於大數據分析技術的威脅預警監測系統採用基於相似度的報警關聯分析，可以較好地控制關聯後的報警數量，有利於減少複雜度。
其處理過程是：
1)首先提取報警日誌中的主要屬性，形成原始報警；
2)再通過重複報警聚合，生成聚合報警；
3)對聚合報警的各個屬性定義相似度的計算方法，並分配權重；
4)計算兩個聚合報警的相似度，通過與相似度閥值的比較，來決定是否對聚合報警進行超報警；
5)最終輸出屬於同一類報警的地址範圍和報警信息，生成安全事件。
2、融合分析模型：多源日誌存在冗餘性、互補性等特點，態勢感知藉助數據融合技術，能夠使得多個數據源之間取長補短，從而為感知過程提供保障，以便更準確地生成安全態勢。經過單源日誌報警關聯過程，分別得到各自的安全事件。而對於來自安全設備的多源安全事件，採用d-s證據理論方法進行融合判別，對安全事件的可信度進行評估，進一步提高準確率，減少誤報。
d-s證據理論應用到安全事件融合的基本思路：首先研究一種切實可行的初始信任分配方法，分配信息度函數；然後通過d-s的合成規則，得到融合之後的安全事件的可信度。
3、攻擊要素分析模型：通過對網絡入口處安全設備日誌的安全分析，得到的只是進入目標網絡的可能的攻擊信息，而真正對網絡安全狀況產生決定性影響的安全事件，則需要通過綜合分析攻擊知識庫和具體的網絡環境進行最終確認。
其處理過程主要分為三個步驟：
1)一是通過對大量網絡攻擊實例的研究，得到可用的攻擊知識庫，主要包括各種網絡攻擊的原理、特點，以及它們的作用環境等；
2)二是分析關鍵主機上存在的系統漏洞和承載的服務的可能漏洞，建立當前網絡環境的漏洞知識庫，分析當前網絡環境的拓撲結構、性能指標等，得到網絡環境知識庫；
3)三是通過漏洞知識庫來確認安全事件的有效性，即對當前網絡產生影響的網絡攻擊事件。在網絡安全事件生成和攻擊事件確認的過程中，提取出用於對整個網絡安全態勢進行評估的態勢要素，主要包括整個網絡面臨的安全威脅、分支網絡面臨的安全威脅、主機受到的安全威脅以及這些威脅的程度。
態勢感知展示系統模塊採用了多種豐富的數據可視化工具庫，實時、立體對安全威脅態勢進行綜合展示，包括單位威脅態勢、行業威脅態勢、資產安全態勢、威脅報告管理、運維監控、組織管理及系統管理，便於技術或者管理人員能夠輕鬆掌握實時及歷史安全威脅狀況。
單位安全態勢模塊主要是將系統監控的所有單位、行業及其總體相關的所有威脅數據統計值以圖表的形式展現。此模塊劃分為以下3個子功能：單位態勢、行業態勢、總體態勢。單位態勢包含單位全局態勢、月環比、前端、重點資產4個功能；行業態勢包含行業全局態勢與月環比兩個功能；總體態勢主要是將威脅統計、攻擊類型、行業威脅比重、攻擊源國家等數據值以統計圖表的形式展現。
資產安全態勢模塊將系統監控的重點資產與後臺管理中的重點資產進行整合，並按照攻擊類型和時間對資產被攻擊情況進行展示。此模塊可添加、導入資產信息，並對重點資產被攻擊情況進行自動分析。重點資產和攻擊ip以星圖形式展示，提供設置網段、重點資產自動分析、ip地址挖掘等功能。設置網段功能主要是將外網網段中的ip也加入到重點資產識別的範圍。重點資產自動分析功能實現自動識別哪些伺服器屬於某單位的重點資產，識別完成之後可以選擇性的將結果中的一部分或全部添加進入某單位重點資產目錄。ip地址挖掘能自動對重點資產被攻擊的相關ip進行ip地址鑽取挖掘。
威脅報告管理模塊提供了定時報告、研判報告、自定義報告這3類報告管理。
定時報告功能主要生成各單位的安全檢測日報與安全檢測月報，支持編輯、導出、刪除、查詢、手動生成報告等功能。
研判報告功能是針對系統中所有頁面研判後生成的報告會集中在該頁面展示，包括安全日誌(威脅事件)研判報告、數據包研判報告、可疑文件研判報告、自主研判報告；該頁面提供統一的管理，提供刪除、導出、查詢等功能。
自定義報告功能提供自定義報告的集中管理，可以隨意向系統內導出需要備份的報告，也可以編輯、查看、刪除系統內的報告。
後臺管理系統包括運維監控、組織管理、系統管理模塊。
運維監控模塊包括全局監控、前端狀態、運維告警、告警配置。全局監控頁面中以各類圖表的形式實時監控所有伺服器，包括前端伺服器、中心伺服器，中心伺服器指的是本系統的web伺服器。監控信息包括：cpu狀態、內存狀態、磁碟狀態。前端狀態頁面中以圖表的形式展示出所有的前端設備狀態信息。運維告警功能記錄了所有前端的告警日誌，包括前端伺服器的cpu利用率告警、內存利用率告警、磁碟空間告警、數據傳輸類告警。告警配置頁面提供對各類告警的自定義配置，提供了4類警報信息配置，包括：cpu利用率、內存利用率、磁碟空間、離線與數據傳輸。
組織管理模塊包括監控單位管理和前端設備管理模塊。監控單位管理模塊中可以新增、編輯、刪除單位，支持使用客戶名、行業檢索客戶單位。前端設備管理模塊中可以添加、編輯、刪除前端設備，可查看前端設備的警報日誌；支持使用設備名稱、所屬客戶檢索前端設備信息。目前，系統前端設備主要包括網絡全流量分析系統tsa、入侵防禦系統ips、入侵檢測系統ids、高級持續性威脅系統apt等安全設備。
系統管理模塊包括用戶管理、角色管理、權限管理、菜單管理、安全審計、配置管理、數據字典。用戶管理模塊支持新增、編輯、刪除、修改密碼、分配角色等功能。角色管理模塊可以新增、編輯、刪除角色，支持角色和狀態查詢，每個角色可以分配不同的權限。權限管理模塊提供新增、編輯、刪除、查詢功能。菜單管理模塊以樹狀顯示大數據威脅預警監測系統和後臺管理系統的菜單目錄，可進一步查看、編輯、新增各級菜單的頁面信息。安全審計模塊記錄了所有用戶在系統中的登錄日誌、操作日誌與訪問日誌；提供日誌查詢功能，可以根據日誌類型、操作用戶、菜單選擇、操作ip、開始與結束時間查詢想要查看的日誌記錄。配置管理模塊提供為資產安全等級進行配置具體的值。數據字典模塊可以新增、編輯、刪除字典信息；字典包括帳戶狀態、廠商名稱、行業類型、日誌類型、伺服器類型、權限狀態、角色狀態等。
採用所述基於大數據分析技術的威脅預警監測系統的方法，包括，
通過網絡全流量安全分析系統、入侵檢測系統、入侵防禦系統及高級持續性威脅系統對原始網絡流量進行實時數據採集；
對採集的數據進行數據歸併和數據清洗處理後再進行存儲管理，支持分布式文件系統、行式資料庫、列式資料庫及對象存儲系統存儲；
利用數據挖掘、文本分析、流量分析、全文搜尋引擎、實時處理對安全數據進行深度的分析與挖掘，結合入侵檢測模型、網絡異常行為模型和設備異常行為模型實時甄別未知的安全威脅；
採用數據可視化工具庫實時、立體地對安全威脅態勢進行綜合展示。
如圖2所示，一種所述基於大數據分析技術的威脅預警監測系統的部署架構，包括，前端伺服器主要分為tsa伺服器、ids伺服器、防火牆等伺服器，每種類型的前端伺服器都為大數據分析技術的威脅預警監測系統提供數據來源，供威脅預警監測系統進行數據分析與檢索。
採集伺服器負責對tsa、ids、apt、ips等前端安全伺服器數據進行集中收集，並對數據進行過濾，緩存，簡單範式化等處理操作。
預處理伺服器匯總所有採集伺服器上報的數據，並對上報數據進行統一的範式化處理，對採集的數據進行數據歸併、數據清洗等操作，並根據不同業務把數據存儲到不同的存儲系統上。
預處理完成的數據都存放在hadoop伺服器上，並利用hadoop的存儲與分析能力，對數據進行關聯統計與數據挖掘，形成結果數據並導入檢索引擎，供web伺服器查詢數據。
es節點(elasticsearch)伺服器對hadoop伺服器形成的結果數據，進行海量數據的存儲與簡單的二次統計，並提供接口給web伺服器檢索數據。
客戶端伺服器針對整個威脅預警監測系統，提供自動化運維與監控服務，運維人員通過客戶端伺服器提供的接口去配置與管理系統平臺的任務調度與運維監控。
web伺服器主要分為web資料庫伺服器和web展示伺服器。web資料庫伺服器主要是存放威脅預警監測系統的業務功能數據；web展示伺服器利用業務伺服器的基礎數據和威脅預警監測系統的數據按業務功能管理與威脅數據分析兩大功能進行數據可視化展現。
上述雖然結合附圖對本發明的具體實施方式進行了描述，但並非對本發明保護範圍的限制，所屬領域技術人員應該明白，在本發明的技術方案的基礎上，本領域技術人員不需要付出創造性勞動即可做出的各種修改或變形仍在本發明的保護範圍以內。