一種統一威脅管理系統及其數據處理方法
2023-05-24 17:28:26 1
專利名稱：一種統一威脅管理系統及其數據處理方法
技術領域：
本發明涉及網絡安全領域，具體涉及一種統一威脅管理系統及其數據處理方法。
背景技術：
UTM(Unified Threat Management，安全網關)作為網關類產品，軟體結構要有利於提升整體性能。UTM作為統一威脅管理類產品，功能涵蓋了入侵防禦、防病毒、防垃圾郵件、內容過濾和流量管理等多項功能，那麼必然包含多項的分析處理引擎，如何融合分析處理引擎，合併性能消耗關鍵業務單元成為UTM產品軟體結構設計首要考慮的問題。當前業界比較流行的方式是在一體化安全網關的軟體結構設計上引入了一體化的設計理念。即將入侵防禦、防病毒、防垃圾郵件、內容過濾和流量管理等各項功能的分析處理引擎進行一體化設計，以達到性能最優的目的。研究表明，網關類產品性能消耗50%來自於模式匹配，25%來自於協議重組、25% 來自於報文重組。因為模式匹配是分析處理引擎的關鍵性能消耗單元，因此，分析處理引擎的一體化首先是模式匹配單元的融合。對於不同的功能模塊，模式匹配是基於不同特徵庫的，因此模式匹配的融合主要是特徵庫的統一。一體化安全網關實現了特徵庫的統一，通過對病毒特徵庫、入侵特徵庫、內容過濾特徵庫、垃圾郵件特徵庫等統一進行格式化和歸併處理，並採用標籤的方式轉發到不同模塊的處理引擎進行分項處理。完全實現了分析處理引擎的一體化設計，極大的提高了多功能模塊同時運行時的運行效率。一體化安全網關本著安全高效原則，採用「檢測與控制相分離，引擎特徵相統一」的一體化設計思想，最終形成了如圖1的總體軟體結構。其中包括，人機界面、報文接收模塊、報文處理模塊、報文發送模塊和支撐庫，網絡報文首先通過報文接收模塊進行報文預處理和流分類後進入報文處理模塊，在報文處理模塊，防火牆FW進行2-3層過濾， VPN(Virtual PrivateNetwork，虛擬專用網絡)負責接入控制；其次模塊匹配引擎和行為分析引擎分別根據支撐庫中的統一特徵庫和行為知識庫進行匹配查找；最後，對於合法報文直接交由報文發送模塊進行報文轉發，對於非法報文，送交相應的處理引擎(包括內容過濾處理引擎、網際網路協議群IPS處理引擎、防病毒處理引擎、防垃圾郵件處理引擎)進行處理。整個過程的日誌信息和數據流量信息送數據中心監控和備案，管理中心負責整體的配置和調整。在一體化安全網關軟體結構中，雖然通過一體化的方法將多種匹配引擎特徵統一起來，以提高系統的處理速率，但系統中各模塊之間仍然是直接耦合的關係，也就是說，一個處理模塊的輸出直接作為另一個或多個模塊的輸入。這種直接耦合的結構具有以下特點(1)各個功能模塊的輸入和輸出數據被耦合的模塊所私有，不被其它模塊所知。(2)各功耦合模塊之間直接進行通信，將自己的輸出推送給下一模塊的輸入端。(3)各個功能模塊的輸入是被動的，表現在數據輸入要靠其它模塊推送，輸入數據的類型自己不能主動提出。直接耦合的一體化安全網關軟體結構存在以下不足(1)直接耦合的造成的數據私有化，不利於系統功能的動態擴展。因為私有化的輸入輸出數據不為耦合模塊之外的其它模塊所知，當要加入一個處理模塊時，不知道可以從哪個模塊獲得適應的輸入數據。還有，由於各個功能模塊的直接輸入輸出數據推送，當要加入一個處理模塊時，已存在的模塊不能將輸出數據推送給新加的模塊。( 耦合模塊之間數據的直接推送，使得耦合模塊之間形成了一種依賴關係，即後向依賴。當一個模塊輸出數據時，要保證數據的接收方是存活的，並且能接收數據，一旦後繼模塊不能及時接收處理數據，則可能影響前繼模塊的功能處理。這種後向依賴，使得系統對故障的傳播比較敏感，不利於系統的容錯和穩定。
發明內容
本發明要解決的技術問題是提供一種統一威脅管理系統及其數據處理方法，可以避免直接耦合的一體化安全網關存在的動態擴展性和容錯性方面的不足。為了解決上述問題，本發明提供了一種統一威脅管理系統，包括數據存儲模塊，包括多個數據池，各所述數據池分別用於存儲一種類型的數據；服務處理模塊，包括一個或多個計算池，各計算池分別用於進行實現一種服務功能的處理操作，從用於存儲本計算池所需類型的數據的所述數據池讀取數據，將處理後的數據輸出給用於存儲該類型數據的數據池；管理中心，用於保存各數據池和數據的類型之間的第一對應關係，及各計算池與服務功能之間的第二對應關係。進一步地，各所述數據池分別包括存儲器，用於保存本數據池對應的類型的數據，以及保存所有需要該類型的數據的計算池的標識；數據監控器，用於當接收到數據時，保存在所述存儲器中並記錄該數據的數據存儲位置；每次保存後產生一個數據提取通知，發送給所述存儲器保存的標識對應的計算池， 在所述數據提取通知中攜帶本次記錄的數據存儲位置；以及當收到一計算池的數據提取消息時，按該數據提取消息中攜帶的數據存儲位置從所述存儲器中讀取數據，發送給該計算池。進一步地，所述存儲器通過一個計算池標識列表保存所有需要該類型數據的計算池的標識；所述管理中心還用於當建立/註銷一個計算池後，查找該計算池所需數據的類型對應的數據池，在查找到的數據池的所述計算池標識列表中增加/刪除該計算池的標識。進一步地，各所述計算池分別包括執行器，用於執行一個或多個實現本計算池對應的服務功能的處理進程；各處理進程對輸入的數據進行處理後輸出；服務管理器，用於接收到一數據池的所述數據提取通知後，當需要使用數據時返回一個數據提取消息給該數據池，其中攜帶所述數據提取通知裡攜帶的數據存儲位置；從該數據池中提取到數據後，輸入給所述執行器中各處理進程；接收所述執行器中各處理進程輸出的數據，發送給用於存儲該類型數據的數據池。進一步地，所述管理中心還用於當系統增加一個服務功能時，建立用於進行實現該服務功能的處理的計算池，在所述第二對應關係中記錄該服務功能和該計算池的對應關係；根據所述第一對應關係，將該計算池的輸入指向該計算池所需數據的類型對應的數據池，輸出指向該計算池處理後的數據的類型對應的數據池。進一步地，所述管理中心在建立計算池時，還用於先根據所述第一對應關係判斷， 是否存在該計算池所需數據的類型對應的數據池，如果沒有，則不建立該計算池；所述管理中心將計算池的輸出指向該計算池處理後的數據的類型對應的數據池是指所述管理中心根據所述第一對應關係查找該計算池處理後的數據的類型對應的數據池，將該計算池的輸出指向所查找到的數據池；如果查找不到，則建立用於存儲新的數據池，將該計算池的輸出指向該新的數據池，在所述第一對應關係中記錄該新的數據池和該計算池輸出數據的類型之間的對應關係。進一步地，所述計算池還用於定時向管理中心發送心跳信息；當本計算池不能實現所對應的服務功能時，停止發送心跳信息；所述管理中心當未收到某計算池的心跳信息的持續時間大於或等於一預設的時間閾值時，註銷該計算池；註銷後，判斷是否還有其它計算池輸出的數據的類型與該計算池輸出數據的類型相同，如果沒有，則註銷該計算池輸出數據的類型對應的數據池。本發明還提供了一種統一威脅管理系統的數據處理方法，包括建立多個數據池，各所述數據池分別存儲一種類型的數據，保存各數據池和數據的類型之間的第一對應關係；按照所述統一威脅管理系統要實現的服務功能建立一個或多個計算池，各計算池分別進行實現一種服務功能的處理操作，保存各計算池與服務功能之間的第二對應關係；所述計算池從存儲本計算池所需類型的數據的所述數據池讀取數據，對數據進行處理，將處理後的數據輸出給存儲該類型數據的數據池。進一步地，所述計算池從存儲本計算池所需類型的數據的所述數據池讀取數據的步驟包括各所述數據池分別保存所有需要本數據池對應類型的數據的計算池的標識；所述數據池當接收到數據時，保存該數據並記錄該數據的數據存儲位置；每次保存後產生一個數據提取通知，發送給所保存的標識對應的計算池，在所述數據提取通知中攜帶本次記錄的數據存儲位置；所述計算池接收到數據池的所述數據提取通知後，當需要使用數據時返回一個數據提取消息給該數據池，攜帶所述數據提取通知裡攜帶的所述數據存儲位置；所述數據池當收到所述計算池的數據提取消息時，按所述數據存儲位置讀取數據，發送給該計算池。進一步地，所述計算池對數據進行處理的步驟包括所述計算池執行一個或多個實現本計算池對應的服務功能的處理進程；各處理進程對輸入的數據進行處理。進一步地，所述的方法還包括所述數據池通過一個計算池標識列表保存所有需要本數據池對應類型的數據的計算池的標識；當建立/註銷一個計算池後，查找該計算池所需數據的類型對應的數據池，在查
7找到的數據池的所述計算池標識列表中增加/刪除該計算池的標識。進一步地，所述的方法還包括當系統增加一個服務功能時，建立用於進行實現該服務功能的處理的計算池，在所述第二對應關係中記錄該服務功能和該計算池的對應關係；根據所述第一對應關係，將該計算池的輸入指向該計算池所需數據的類型對應的數據池，輸出指向該計算池處理後的數據的類型對應的數據池。進一步地，在建立計算池的步驟前，還包括步驟根據所述第一對應關係判斷，是否存在該計算池所需數據的類型對應的數據池，如果沒有，則不建立該計算池；如果有，則建立該計算池；所述將計算池的輸出指向該計算池處理後的數據的類型對應的數據池的步驟包括根據所述第一對應關係查找該計算池處理後的數據的類型對應的數據池，將該計算池的輸出指向所查找到的數據池；如果查找不到，則建立用於存儲新的數據池，將該計算池的輸出指向該新的數據池，在所述第一對應關係中記錄該新的數據池和該計算池輸出數據的類型之間的對應關係。進一步地，所述的方法還包括所述計算池定時發送心跳信息；當本計算池不能實現所對應的服務功能時，停止發送心跳信息；當某計算池不發送心跳信息的持續時間大於或等於一預設的時間閾值時，註銷該計算池；註銷後，判斷是否還有其它計算池輸出的數據的類型與該計算池輸出數據的類型相同，如果沒有，則註銷該計算池輸出數據的類型對應的數據池。本發明的技術方案通過將數據和功能池化，可以克服直接耦合系統的以上不足， 將各處理模塊的直接耦合變為通過數據緩衝區形成的間接耦合，有效地限制了故障的傳播，具有極強的動態擴展性、可靠性以及可維護性；另外還通過數據驅動，實現存儲、傳輸以及處理的分布式全並行處理，可以有效地提高整個系統的處理速度及整體的性價比。
圖1是現有的--體化安全網關的總體軟體結構示意圖2是實施例--的統一』威脅售;理系統整體結構示意圖3是實施例--的統一』威脅售;理系統的數據池結構示意圖4是實施例--的統一』威脅售;理系統的計算池結構示意圖5是實施例二二的統一』威脅售;理系統的數據存儲模塊組成示意圖6是實施例三Ξ的統一』威脅售;理系統的服務處理模塊組成示意圖7是實施例四的統一』威脅售;理系統的工作流程圖8是實施例十四的統一威脅管理系統的網頁木馬檢測處理流程圖
具體實施例方式
下面將結合附圖及實施例對本發明的技術方案進行更詳細的說明。
需要說明的是，如果不衝突，本發明實施例以及實施例中的各個特徵可以相互結合，均在本發明的保護範圍之內。另外，在附圖的流程圖示出的步驟可以在諸如一組計算機可執行指令的計算機系統中執行，並且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同於此處的順序執行所示出或描述的步驟。實施例一，一種統一威脅管理系統，如圖2所示，包括數據存儲模塊102，包括多個數據池，各數據池分別用於存儲一種類型的數據，各數據池存儲的數據的類型互不相同；也就是說，所述數據存儲模塊102按存儲的數據類型劃分成不同的存儲子模塊，將每個存儲子模塊稱為一個數據池；服務處理模塊103，包括一個或多個計算池，各計算池分別用於進行實現一種服務功能的處理操作，從用於存儲本計算池所需類型的數據的所述數據池讀取數據，將處理後的數據輸出給用於存儲該類型數據的數據池；各計算池提供的服務功能互不相同；也就是說，服務處理模塊103按提供服務功能的不同劃分成不同的服務子模塊，將每個服務子模塊稱為一個計算池。管理中心101，用於保存各數據池和數據的類型之間的第一對應關係(即各數據池所存儲的數據的類型)，及各計算池與服務功能之間的第二對應關係(即各計算池所實現的服務功能)。本實施例中，不同的「服務功能」可以按照對報文數據的不同處理任務來劃分；可以認為一個獨立的處理任務提供一種服務功能，由一個獨立的處理過程作為一個服務子模塊，形成一個計算池；所述「獨立的處理任務」是指，該處理任務在讀取完所需數據後，到處理完成的整個任務中，不需要再獲取其它處理任務的數據，也沒有中間數據(即處理過程中得到的數據，而不是「處理後的數據」)是其它處理任務所需要的；當然，該獨立的處理任務可產生只供本處理任務使用的中間數據，處理後的數據也可供其它處理任務使用。本實施例中，一個計算池可需要一種或多種類型的數據，可產生一種或多種類型的數據，相應的，一個計算池從一個或多個數據池讀取數據，將處理後的數據輸出給一個或多個數據池。本實施例中，當加入新的計算池時，根據其輸入/輸出數據的類型，就可以有效地與相應數據池進行耦合，因此提高了系統的可擴展性；而完成不同處理功能的計算池之間通過數據池來中轉數據，即使進行後繼處理的計算池出錯而不能及時接收數據，也不會影響前一計算池，因此加強了系統的容錯性和穩定。本實施例中，所述管理中心101可以但不限於通過維持一個全局的數據池註冊表保存所述第一對應關係，還可以在該數據池註冊表中保存各數據池輸入和輸出數據的計算池。本實施例中，所述管理中心101可以但不限於通過一個全局的計算池註冊表保存所述第二對應關係，還可以在該計算池註冊表中保存各計算池輸入和輸出數據的數據池 (即所需數據的類型對應的數據池，和輸出數據的類型對應的數據池)、需要/輸出的數據的類型等。實際應用時也可以採用其它形式保存第一、第二對應關係。本實施例中，所述管理中心101還可以根據當前所述數據池註冊表和計算池註冊表的內容，提供系統的數據類型報告和服務功能報告，以指示該系統當前保存了哪些類型
9的數據，以及可以提供哪些服務功能。本實施例中，所述管理中心101還可以用於建立計算池及數據池；如果採用計算池/數據池註冊表，則當建立計算池/數據池時在所述計算池/數據池註冊表中添加新的表項。本實施例中，所述管理中心101還可以用於註銷計算池及數據池；如果採用計算池/數據池註冊表，則當註銷計算池/數據池時在所述計算池/數據池註冊表中刪去相應的表項。本實施例的一種實施方式中，所述數據池還可以用於每當接收到新的數據並保存時，產生一個數據提取通知，在其中攜帶該新數據的數據存儲位置，發送給所有需要使用本數據池所保存類型的數據的計算池；當收到一計算池的數據提取消息後，根據其中攜帶的數據存儲位置，讀取數據發送給該計算池；所述計算池收到一數據池發送的數據提取通知後，當需要使用數據時返回一個數據提取消息給該數據池，其中攜帶所述數據提取通知中的數據存儲位置。本實施例的其它實施方式中，也可以是所述數據池收到新的數據後，就直接發送給所有需要該類型的數據的計算池；還可以是計算池當需要時再從相應的數據池獲取數據，或定期監測相應數據池，當發現有新數據到達時進行獲取。實際應用時，數據如何從數據池傳輸給計算池的方案並不限於以上實施方式。本實施例中，不同的數據池可以分布在不同的物理執行單元上；每個數據池有一個唯一的第一標識。所述物理執行單元可以是一臺獨立的網絡計算機或是伺服器集群中的一臺主機，也可以是高級電信計算機體系結構(Advanced TCA或ATCA)的刀片式伺服器上的一個刀片。本實施例中，不同的計算池可以分布在不同的物理執行單元上，同一個計算池也可以分布在不同的物理執行單元上；每個計算池有一個唯一的第二標識。本實施例中，所述管理中心101可以獨立於數據存儲模塊102和服務處理模塊 103之外；也可以將全部或部分功能分布在數據存儲模塊102和服務處理模塊103中實現， 比如一部分位於數據存儲模塊102中，用於保存各數據池和數據的類型之間的第一對應關係；而另一部分位於服務處理模塊103中，用於保存各計算池與服務功能之間的第二對應關係。本實施例的一個具體例子中的數據存儲模塊102如圖3所示，包括網絡原始報文數據池301、IP報文池302、UDP報文數據池303、TCP報文數據池 304、HTTP報文數據池305、SMTP報文數據池306、P0P3報文數據池307、報警數據池308、其它數據池。實際應用時，所述數據存儲模塊102至少包括網絡原始報文數據池301，可以但不限於包括上述任一種數據池或其任意組合；可根據實際可能用到的數據類型來選擇。本實施例的一個具體例子中的服務處理儲模塊103如圖4所示，包括報文碎片處理計算池401、流重組計算池402、協議解析計算池403、特徵檢測計算池404、關聯分析計算池405、報警輸出計算池406、其它計算池。實際應用時，所述服務處理儲模塊103可以但不限於包括上述任一種計算池或其任意組合；可根據實際可能要實現的服務功能來選擇；各計算池的實現可採用現有實現相應服務功能的處理方案。實施例二，一種統一威脅管理系統，包括實施例一中的服務處理模塊103、數據存儲模塊102和管理中心101。本實施例中，各所述數據池如圖5所示，分別可以具體包括存儲器，用於保存本數據池對應的類型的數據，以及保存所有需要該類型的數據的計算池的第二標識；數據監控器1021，用於當接收到數據(可以是網絡原始報文數據，也可以是所述服務處理模塊103中計算池輸出的數據)時，保存在所述存儲器中並記錄該數據的數據存儲位置；每次保存後產生一個數據提取通知，發送給所述存儲器保存的第二標識對應的計算池，在所述數據提取通知中攜帶本次記錄的數據存儲位置；以及當收到一計算池的數據提取消息時，按該數據提取消息攜帶的數據存儲位置從所述存儲器中讀取數據，發送給該計算池。本實施例中，所述存儲器可以但不限於通過一個計算池標識列表1022保存需要使用所保存類型的數據的計算池的第二標識；可以但不限於採用一數據隊列1023保存數據，此時，所述數據監控器1021各次保存數據時，將數據封裝為一個數據單元，保存在所述數據隊列1023中。本實施例中，所述數據監控器1021還可以用於向所述管理中心101發送心跳信息，以表示該數據池正常工作，即可以接收和輸出數據；所述管理中心101還可以用於當未收到某個數據池的心跳信息的持續時間大於或等於第一時間閾值時，註銷該數據池。本實施例中，所述管理中心101還可以用於當建立/註銷一個計算池後，根據所述第一對應關係或計算池註冊表查找該計算池所需數據的類型對應的數據池，在查找到的數據池的所述計算池標識列表1022中增加/刪除該計算池的第二標識。本實施例中，所述數據存儲位置可以但不限於為存儲地址，也可以是數據單元在數據隊列中的序號等。實施例三，一種統一威脅管理系統，包括實施例一或二中的服務處理模塊103、數據存儲模塊102和管理中心101。本實施例中，各所述計算池如圖6所示，分別可以具體包括執行器1032，用於執行一個或多個實現本計算池對應的服務功能的處理進程；當有多個處理進程時，這些處理進程可以相同或不同；各處理進程對輸入的數據進行處理後輸出；執行器1032可以看成是一個處理進程集；服務管理器1031，用於接收到一數據池的所述數據提取通知後，當需要使用數據時返回一個數據提取消息給該數據池，其中攜帶所述數據提取通知裡攜帶的數據存儲位置；從該數據池中提取到數據後，輸入給所述執行器中各處理進程；接收所述執行器中各處理進程輸出的數據，發送給用於存儲該類型數據的數據池。本實施例中，所述服務管理器1031可以保存本計算池輸出數據的類型對應的數據池的第一標識，輸出處理後的數據時，就輸出給所保存的第一標識表示的數據池。本實施例中，所述計算池還可以用於定時向管理中心101發送心跳信息，以表示其提供的服務是活動的，可以但不限於由所述服務管理器1031發送；當本計算池發生故障，不能提供所對應的服務功能(比如其所在的執行單元死機或掉電)時，就停止發送心跳
fn息ο所述管理中心101當未收到某計算池的心跳信息的持續時間大於或等於一預設的第二時間閾值時，註銷該計算池。本實施例中，所述服務管理器1031還可以用於對本計算池中的處理進程進行管理，包括任務劃分，負載均衡等。本實施例中，所述計算池可通過服務管理器1031形成一個自治系統，當收到一個數據池的數據提取通知時，可以根據本計算池中處理進程的要求自行決定要從哪些數據池中所提取所需的數據以及提取多少數據；提取數據之後，如何在計算池中分發數據也可以由所述服務管理器1031自行負責。本實施例中，所述計算池可以部署在由多個伺服器形成的集群上，服務管理器 1031所在的節點為主節點，其餘節點作為副節點。實施例四，參見圖7，一種實施例三中的統一威脅管理系統的數據處理流程可以包括以下步驟步驟701，啟動至少一臺計算機；步驟702，在其中一臺計算機上運行管理中心；步驟703，註冊第一個數據池作為網絡原始報文數據池，保存由網絡捕包器件捕獲的網絡原始數據包；步驟704，註冊其它數據池和計算池；步驟705，執行各種處理操作，進行統一威脅管理所需的各種服務功能對應的處理操作；步驟706，當要添加一個新的服務功能時，配置新的服務管理器並運行新的服務管理器，註冊一個新的計算池。步驟707，當要刪除一個服務功能時，直接將其對應的計算池的服務管理器和其管理的處理進程關閉，註銷相應計算池。實施例五，一種統一威脅管理系統，包括實施例一、二或三中的服務處理模塊103、 數據存儲模塊102和管理中心101。本實施例中，所述管理中心101還可以用於當系統增加一個服務功能時，建立用於進行實現該服務功能的處理的計算池，在所述第二對應關係中記錄該服務功能和該計算池的對應關係；根據所述第一對應關係，將該計算池的輸入指向該計算池所需數據的類型對應的數據池，輸出指向該計算池處理後的數據的類型對應的數據池。本實施例中，如果採用的是實施例二中的數據池，則將計算池的輸入指向該數據池，即將該計算池的第二標識添加進該數據池的所述計算池標識列表1023中。如果採用的是實施例三中的計算池，則將計算池的輸出指向相應的數據池，即將該數據池的第一標識保存進該計算池的所述服務管理器1031。本實施例中，所述管理中心101在建立計算池時，還可以用於先根據所述第一對應關係判斷，是否存在該計算池所需數據的類型對應的數據池，如果沒有，則不建立該計算池；如果有，則建立該計算池。本實施例中，所述管理中心101將計算池的輸出指向該計算池處理後的數據的類型對應的數據池具體可以是指所述管理中心101根據所述第一對應關係查找該計算池處理後的數據的類型對應的數據池，將該計算池的輸出指向所查找到的數據池；如果查找不到，則建立用於存儲新的數據池，將該計算池的輸出指向該新的數據池，在所述第一對應關係中記錄該新的數據池和該計算池輸出數據的類型之間的對應關係。本實施例中，所述管理中心101當添加一個已有服務功能的處理進程時，直接根據所述第二對應關係將該處理進程添加入該服務功能對應的計算池中。本實施例中，所述管理中心101還可以用於當註銷一個計算池後，判斷是否還有其它計算池輸出的數據的類型與該計算池輸出數據的類型相同，如果沒有，則註銷該計算池輸出數據的類型對應的數據池。實施例六，實施例五中的管理中心101的一種工作流程包括以下步驟步驟601，在選中的一臺計算機上創建數據池註冊表和計算池註冊表；步驟602，在至少一臺計算機上申請適當大小的存儲空間，作為數據存儲模塊 102，並建立一個網絡原始報文數據池；步驟603，維護數據存儲模塊102和服務處理模塊103。本實施例中，管理中心101建立一個數據池的一種實施工作方式為步驟801，在一臺計算機上中按數據類型及預設的數據隊列的大小，建立數據隊列；步驟802，啟動一個數據池監控進程；步驟803，管理中心在數據池註冊表中增加一個表項，並填寫數據池名稱及數據池標識；數據池標識可以由數據監控器所在的主機地址、進程號等組成。本實施例中，管理中心101建立一個計算池的一種實施工作方式為步驟901，在一臺計算機上啟動一個服務管理器，如果本計算池有新的類型的數據輸出，還要向管理中心註冊一個數據池；步驟902，在至少一臺計算機上啟動至少一個處理進程；步驟903，在計算池註冊表中增加一個表項，並填寫服務名稱及計算池標識；計算池標識可以由服務管理器所在的主機地址、進程號等組成；步驟904，在數據池註冊表中查找所建立的計算池所需數據的類型對應的數據池名稱及相應的數據池標識，並將建立的計算池的標識添加到該數據池的計算池標識列表中。實施例七，一種統一威脅管理系統的數據處理方法，包括建立多個數據池，各所述數據池分別存儲一種類型的數據，保存各數據池和數據的類型之間的第一對應關係；可以但不限於以數據池註冊表保存該第一對應關係；按照所述統一威脅管理系統要實現的服務功能建立一個或多個計算池，各計算池分別進行實現一種服務功能的處理操作，保存各計算池與服務功能之間的第二對應關係； 可以但不限於以計算池註冊表保存該第二對應關係；所述計算池從存儲本計算池所需類型的數據的所述數據池讀取數據，對數據進行處理，將處理後的數據輸出給存儲該類型數據的數據池。本實施例中，所述計算池從存儲本計算池所需類型的數據的所述數據池讀取數據
13的步驟具體可以包括各所述數據池分別保存所有需要本數據池對應類型的數據的計算池的標識；可以但不限於以一個計算池標識列表保存；所述數據池當接收到數據時，保存該數據並記錄該數據的數據存儲位置；每次保存後產生一個數據提取通知，發送給所保存的標識對應的計算池，在所述數據提取通知中攜帶本次記錄的數據存儲位置；所述計算池接收到數據池的所述數據提取通知後，當需要使用數據時返回一個數據提取消息給該數據池，攜帶所述數據提取通知裡攜帶的所述數據存儲位置；所述數據池當收到所述計算池的數據提取消息時，按所述數據存儲位置讀取數據，發送給該計算池。本實施例中，所述計算池對數據進行處理的步驟具體可以包括所述計算池執行一個或多個實現本計算池對應的服務功能的處理進程；各處理進程對輸入的數據進行處理。本實施例中，所述的方法還可以包括當添加一個已有服務功能的處理進程時，直接在將該處理進程添加入相應的計算池中。本實施例中，所述的方法還可以包括所述數據池通過一個計算池標識列表保存所有需要本數據池對應類型的數據的計算池的標識；當建立/註銷一個計算池後，查找該計算池所需數據的類型對應的數據池，在查找到的數據池的所述計算池標識列表中增加/刪除該計算池的標識。其中，對於計算池的劃分等實現細節可同實施例一。實施例八，一種統一威脅管理系統的數據處理方法，除了實施例七中的步驟外，還包括步驟當系統添加一個新的服務功能時，建立用於進行實現該服務功能的處理的計算池，在所述第二對應關係中記錄該服務功能和該計算池的對應關係；根據所述第一對應關係，將該計算池的輸入指向該計算池所需數據的類型對應的數據池，輸出指向該計算池處理後的數據的類型對應的數據池。本實施例中，在建立計算池的步驟前，還可以包括步驟根據所述第一對應關係判斷，是否存在該計算池所需數據的類型對應的數據池，如果沒有，則不建立該計算池；如果有，則建立該計算池；所述將計算池的輸出指向該計算池處理後的數據的類型對應的數據池的步驟具體可以包括根據所述第一對應關係查找該計算池處理後的數據的類型對應的數據池，將該計算池的輸出指向所查找到的數據池；如果查找不到，則建立用於存儲新的數據池，將該計算池的輸出指向該新的數據池，在所述第一對應關係中記錄該新的數據池和該計算池輸出數據的類型之間的對應關係。實施例九，一種統一威脅管理系統的數據處理方法，除了實施例七和八中的步驟外，還包括步驟所述計算池定時發送心跳信息；當本計算池不能實現所對應的服務功能時，停止發送心跳信息；當某計算池不發送心跳信息的持續時間大於或等於一預設的時間閾值時，註銷該計算池。本實施例中，註銷計算池後，判斷是否還有其它計算池輸出的數據的類型與該計算池輸出數據的類型相同，如果沒有，則註銷該計算池輸出數據的類型對應的數據池。本實施例中，數據池也可以定時發送心跳消息；如果某個數據池未能在規定的時間間隔內發送心跳信息，則註銷該數據池。實施例十，實施例九的統一威脅管理系統的數據處理方法中，註銷一個數據池的一種實施工作方式為步驟1001，在數據池註冊表中找到並刪除相應的表項；步驟1002，終止該數據池的監控進程；步驟1003，釋放該數據池的數據隊列。實施例十一，實施例九的統一威脅管理系統的數據處理方法中，註銷一個計算池的一種實施工作方式為步驟1101，在計算池註冊表中找到並刪除相應的表項；步驟1102，註銷該計算池輸出數據的數據池。步驟1103，在其獲取輸入數據的數據池的計算池標識列表中刪除該計算池標識。實施例十二，一種計算池在分布式伺服器集群上的統一威脅管理系統，工作方式為步驟1201，在一臺伺服器上安裝服務管理器軟體；步驟1202，在各節點伺服器上安裝池化設置軟體，池化設置軟體的任務是進行協議、埠號、池策略、池名以及消息通訊等設置(同一伺服器池內的節點伺服器，池策略必須一致)；步驟1203，服務管理器通過定時發布組播協議監控計算池內伺服器的運行狀況， 並收集伺服器性能信息；步驟1204，當服務管理器從數據池中提取出要計算的數據時，自動切割任務後根據預先設置好的負載均衡略將任務「撒進」計算池。各節點伺服器接收任務後進行任務計算，最後將各自計算結果匯總至服務管理器，再由它寫入相應的數據池。步驟1205，在需要擴展計算池中的伺服器時，節點伺服器只需安裝池化設置軟體即可加入計算池。步驟1206，服務管理器定時發送組播消息，收集各節點伺服器運行狀態，計算性能信息，並根據這些信息制定任務分配策略。服務管理器一旦發現某節點伺服器發生故障，即可迅速將該臺伺服器計算任務轉發給池內另一臺伺服器，並將故障伺服器「遷出」計算池。步驟1207，服務管理器定時發送向管理中心101發送心跳信息，以告知其所代表的服務是存活的。實施例十三，一種數據池分布於不同的物理執行單元上的統一威脅管理系統，工作方式為
步驟1301，檢查每個數據池的計算池標識列表中各計算池所在的物理執行單元， 找出在其上部署計算池最多的物理執行單元，如果所述計算池的數目超過預設的閾值則執行步驟1302，否則執行步驟1304 ；步驟1302，將所述數據池遷移到該所述物理執行單元上；步驟1303，修改數據池註冊表中的相應信息；步驟1304，結束。實施例十四，一種實施例一的統一威脅管理系統進行網頁木馬檢測任務的具體處理過程如圖8所示，包括步驟1401，外部報文捕獲工具將捕獲的網絡報文放入網絡原始報文數據池；步驟1402，網絡原始報文數據池201通知報文碎片處理計算池301提取數據；步驟1403，報文碎片處理計算池301從網絡原始報文數據池201提取數據並進行碎片處理，將結果輸出到IP報文池202 ；步驟1404，IP報文池202通知協議解析計算池303提取數據；步驟1405，協議解析計算池303從IP報文池202提取數據並進行應用協議解析， 並將結果輸出到HTTP報文數據池205 ；步驟1406，HTTP報文數據池205通知特徵檢測計算池304提取數據；步驟1407，特徵檢測計算池304從HTTP報文數據池205提取數據並進行特徵檢測；如果發現惡意代碼特徵，則執行步驟1408，否則執行步驟1411 ；步驟1408，將結果輸出到報警數據池208 ；步驟1409，報警數據池208通知報警輸出計算池306提取數據；步驟1410，報警輸出計算池306從報警數據池208，並根據報警數據的內容，做出報警或響應處理；步驟1411，結束。本領域普通技術人員可以理解上述方法中的全部或部分步驟可通過程序來指令相關硬體完成，所述程序可以存儲於計算機可讀存儲介質中，如只讀存儲器、磁碟或光碟等。可選地，上述實施例的全部或部分步驟也可以使用一個或多個集成電路來實現。相應地，上述實施例中的各模塊/單元可以採用硬體的形式實現，也可以採用軟體功能模塊的形式實現。本發明不限制於任何特定形式的硬體和軟體的結合。當然，本發明還可有其他多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員當可根據本發明作出各種相應的改變和變形，但這些相應的改變和變形都應屬於本發明的權利要求的保護範圍。
權利要求
1.一種統一威脅管理系統，其特徵在於，包括數據存儲模塊，包括多個數據池，各所述數據池分別用於存儲一種類型的數據；服務處理模塊，包括一個或多個計算池，各計算池分別用於進行實現一種服務功能的處理操作，從用於存儲本計算池所需類型的數據的所述數據池讀取數據，將處理後的數據輸出給用於存儲該類型數據的數據池；管理中心，用於保存各數據池和數據的類型之間的第一對應關係，及各計算池與服務功能之間的第二對應關係。
2.如權利要求1所述的系統，其特徵在於，各所述數據池分別包括存儲器，用於保存本數據池對應的類型的數據，以及保存所有需要該類型的數據的計算池的標識；數據監控器，用於當接收到數據時，保存在所述存儲器中並記錄該數據的數據存儲位置；每次保存後產生一個數據提取通知，發送給所述存儲器保存的標識對應的計算池，在所述數據提取通知中攜帶本次記錄的數據存儲位置；以及當收到一計算池的數據提取消息時，按該數據提取消息中攜帶的數據存儲位置從所述存儲器中讀取數據，發送給該計算池。
3.如權利要求2所述的系統，其特徵在於所述存儲器通過一個計算池標識列表保存所有需要該類型數據的計算池的標識；所述管理中心還用於當建立/註銷一個計算池後，查找該計算池所需數據的類型對應的數據池，在查找到的數據池的所述計算池標識列表中增加/刪除該計算池的標識。
4.如權利要求2所述的系統，其特徵在於，各所述計算池分別包括執行器，用於執行一個或多個實現本計算池對應的服務功能的處理進程；各處理進程對輸入的數據進行處理後輸出；服務管理器，用於接收到一數據池的所述數據提取通知後，當需要使用數據時返回一個數據提取消息給該數據池，其中攜帶所述數據提取通知裡攜帶的數據存儲位置；從該數據池中提取到數據後，輸入給所述執行器中各處理進程；接收所述執行器中各處理進程輸出的數據，發送給用於存儲該類型數據的數據池。
5.如權利要求1到4中任一項所述的系統，其特徵在於，所述管理中心還用於當系統增加一個服務功能時，建立用於進行實現該服務功能的處理的計算池，在所述第二對應關係中記錄該服務功能和該計算池的對應關係；根據所述第一對應關係，將該計算池的輸入指向該計算池所需數據的類型對應的數據池，輸出指向該計算池處理後的數據的類型對應的數據池。
6.如權利要求5所述的系統，其特徵在於所述管理中心在建立計算池時，還用於先根據所述第一對應關係判斷，是否存在該計算池所需數據的類型對應的數據池，如果沒有，則不建立該計算池；所述管理中心將計算池的輸出指向該計算池處理後的數據的類型對應的數據池是指所述管理中心根據所述第一對應關係查找該計算池處理後的數據的類型對應的數據池，將該計算池的輸出指向所查找到的數據池；如果查找不到，則建立用於存儲新的數據池，將該計算池的輸出指向該新的數據池，在所述第一對應關係中記錄該新的數據池和該計算池輸出數據的類型之間的對應關係。
7.如權利要求5所述的系統，其特徵在於所述計算池還用於定時向管理中心發送心跳信息；當本計算池不能實現所對應的服務功能時，停止發送心跳信息；所述管理中心當未收到某計算池的心跳信息的持續時間大於或等於一預設的時間閾值時，註銷該計算池；註銷後，判斷是否還有其它計算池輸出的數據的類型與該計算池輸出數據的類型相同，如果沒有，則註銷該計算池輸出數據的類型對應的數據池。
8.一種統一威脅管理系統的數據處理方法，包括建立多個數據池，各所述數據池分別存儲一種類型的數據，保存各數據池和數據的類型之間的第一對應關係；按照所述統一威脅管理系統要實現的服務功能建立一個或多個計算池，各計算池分別進行實現一種服務功能的處理操作，保存各計算池與服務功能之間的第二對應關係；所述計算池從存儲本計算池所需類型的數據的所述數據池讀取數據，對數據進行處理，將處理後的數據輸出給存儲該類型數據的數據池。
9.如權利要求8所述的方法，其特徵在於，所述計算池從存儲本計算池所需類型的數據的所述數據池讀取數據的步驟包括各所述數據池分別保存所有需要本數據池對應類型的數據的計算池的標識； 所述數據池當接收到數據時，保存該數據並記錄該數據的數據存儲位置；每次保存後產生一個數據提取通知，發送給所保存的標識對應的計算池，在所述數據提取通知中攜帶本次記錄的數據存儲位置；所述計算池接收到數據池的所述數據提取通知後，當需要使用數據時返回一個數據提取消息給該數據池，攜帶所述數據提取通知裡攜帶的所述數據存儲位置；所述數據池當收到所述計算池的數據提取消息時，按所述數據存儲位置讀取數據，發送給該計算池。
10.如權利要求8所述的方法，其特徵在於，所述計算池對數據進行處理的步驟包括 所述計算池執行一個或多個實現本計算池對應的服務功能的處理進程；各處理進程對輸入的數據進行處理。
11.如權利要求8所述的方法，其特徵在於，還包括所述數據池通過一個計算池標識列表保存所有需要本數據池對應類型的數據的計算池的標識；當建立/註銷一個計算池後，查找該計算池所需數據的類型對應的數據池，在查找到的數據池的所述計算池標識列表中增加/刪除該計算池的標識。
12.如權利要求8到11中任一項所述的方法，其特徵在於，還包括當系統增加一個服務功能時，建立用於進行實現該服務功能的處理的計算池，在所述第二對應關係中記錄該服務功能和該計算池的對應關係；根據所述第一對應關係，將該計算池的輸入指向該計算池所需數據的類型對應的數據池，輸出指向該計算池處理後的數據的類型對應的數據池。
13.如權利要求12所述的方法，其特徵在於在建立計算池的步驟前，還包括步驟根據所述第一對應關係判斷，是否存在該計算池所需數據的類型對應的數據池，如果沒有，則不建立該計算池；如果有，則建立該計算池；所述將計算池的輸出指向該計算池處理後的數據的類型對應的數據池的步驟包括 根據所述第一對應關係查找該計算池處理後的數據的類型對應的數據池，將該計算池的輸出指向所查找到的數據池；如果查找不到，則建立用於存儲新的數據池，將該計算池的輸出指向該新的數據池，在所述第一對應關係中記錄該新的數據池和該計算池輸出數據的類型之間的對應關係。
14.如權利要求13所述的方法，其特徵在於，還包括所述計算池定時發送心跳信息；當本計算池不能實現所對應的服務功能時，停止發送心跳信息；當某計算池不發送心跳信息的持續時間大於或等於一預設的時間閾值時，註銷該計算池；註銷後，判斷是否還有其它計算池輸出的數據的類型與該計算池輸出數據的類型相同， 如果沒有，則註銷該計算池輸出數據的類型對應的數據池。
全文摘要
本發明提供了一種統一威脅管理系統及其數據處理方法；系統包括數據存儲模塊，包括多個數據池，各所述數據池分別用於存儲一種類型的數據；服務處理模塊，包括一個或多個計算池，各計算池分別用於進行實現一種服務功能的處理操作，從用於存儲本計算池所需類型的數據的所述數據池讀取數據，將處理後的數據輸出給用於存儲該類型數據的數據池；管理中心，用於保存各數據池和數據的類型之間的第一對應關係，及各計算池與服務功能之間的第二對應關係。本發明可以避免直接耦合的一體化安全網關存在的動態擴展性和容錯性方面的不足。
文檔編號G06F21/24GK102385677SQ20101027045
公開日2012年3月21日 申請日期2010年9月1日 優先權日2010年9月1日
發明者葉潤國, 周力丹, 胡振宇, 袁智輝 申請人:北京啟明星辰信息安全技術有限公司, 北京啟明星辰信息技術股份有限公司