網格信息監控系統的製作方法
2023-08-05 21:07:51 2
專利名稱：網格信息監控系統的製作方法
技術領域：
本發明涉及一種網格信息監控系統，尤其是一種在節點層面和系統層面對整個系統進行系統資源監控的網格信息監控系統。
背景技術：
網格計算是伴隨著網際網路技術而迅速發展起來的，專門針對複雜科學計算的新型計算模式。這種計算模式是利用網際網路把分散在不同地理位置的電腦組織成一個「虛擬的超級計算機」，其中每一臺參與計算的計算機就是一個「節點」，而整個計算是由成千上萬個「節點」組成的「一張網格」，因此稱這種計算方式為網格計算。這樣組織起來的「虛擬的超級計算機」有兩個優勢，一個是數據處理能力超強；另一個是能充分利用網上的閒置處理能力。簡單地講，網格是把整個網絡整合成一臺巨大的超級計算機，實現計算資源、存儲資源、數據資源、信息資源、知識資源、專家資源的全面共享，但由於網格中的各個節點往往存在著異構性的問題，難以有效的實現共享和協作。
人們將Web Services技術引入到網格計算領域中來，提出了服務網格體系結構，這種服務網格體系結構中的計算、存儲、網絡和設備等各種資源都被抽象為服務的形式，從而有效地屏蔽了網格中資源的異構性，為資源的共享和協同提供了有效的支持。在這種服務網格體系結構下，所用到的計算資源、存儲資源、網絡資源以及其他的資源都是在地理上分布的，這種分布形式增加了整個網格系統的複雜性，並且增加了觀察整個網格系統的狀態以及性能的難度。在大規模分布的網格系統中，從多個地理上分布的節點中的海量數據收集到的各種資源數據往往是最原始的格式，用戶無法通過直接觀察來監控網絡的運行狀態，更難以直接進行操作和管理。
開放源碼組織Globus在2004年推出了服務網格中間件系統GlobusToolkit 4。其中的信息服務組件MDS即Monitor and Discovery System提供了資源和計算網格狀態的有關信息，解決了Globus Toolkit 4中的服務發現、資源狀態信息、針對使用情況的應用描述和執行監督、V0範圍內的狀態監控等問題，但信息服務組件MDS卻有著不可克服的缺點MDS只提供了對所部署機器的一些信息的收集，但是沒有提供對整個網格系統中所有機器的相關信息進行收集的功能。在可視化方面只提供了基於Web的列表顯示資源的一些信息，信息顯示度有限，無法展現事件。
發明內容
本發明要解決的技術問題是服務網格體系結構下難以收集在地理上分布的網格系統中節點的數據，難以有效地對狀態和性能進行監測和管理的問題，以及在服務網格體系結構下收集來的原始數據未進行可視化處理，用戶難以理解的問題。
為了解決上述技術問題，本發明提供了一種網格信息監控系統，其包括監控引擎模塊，用於對監控系統的運行進行控制；事件收集模塊，與所述監控引擎模塊相連，用於從伺服器獲取網絡節點的監控事件信息；服務接口模塊，與所述事件收集模塊相連，用於提供查詢或者接收網絡側的服務端信息的接口；事件消費模塊，與所述資源收集模塊相連，用於將所述事件收集模塊收集的原始信息進行處理和保存。
根據以上的技術方案，本發明具有以下優點1、本發明通過服務接口模塊對節點事件進行了完善的記錄，並提供整個網格系統拓撲結構的變化狀況，以及網格中每個節點的具體動態、靜態信息，方便進行觀測和分析。
2、本發明通過事件收集模塊實現了易於擴展的事件收集結構，能夠使管理員對整個網格系統的實時狀態進行全面的了解，並且通過歷史事件的回放了解到網格系統中發生的歷史事件，為整個網絡系統的行為分析、系統優化以及故障定位、故障恢復提供了數據支持和分析依據。
3、本發明通過展現模塊實現了基於多圖層技術的可視化展現，能夠對各個節點收集來的時間進行匯聚分析，並通過不同的圖層展現不同的部分，可以使管理員和開發人員更直觀的理解整個網格網絡的運行狀態和歷史狀態。
下面通過附圖和實施例，對本發明的技術方案做進一步的詳細描述。
圖1為本發明網格信息監控系統的一實施例的基本結構示意圖。
圖2為圖1的實施例的服務接口模塊和事件收集模塊的具體結構示意圖。
圖3為圖1的實施例的事件消費模塊的具體結構示意圖。
圖4為基於圖1的實施例的監控過程示意圖。
圖5為本發明網格信息監控系統的另一實施例的基本結構示意圖。
圖6為圖4的實施例的展現模塊的具體結構示意圖。
圖7為圖5實施例的監控過程示意圖。
具體實施例方式
如圖1所示，為本發明網格信息監控系統的一實施例的基本結構示意圖，包括以下組件監控引擎模塊1、事件收集模塊2、服務接口模塊3以及事件消費模塊4，其中監控引擎模塊1是網格信息監控系統的核心組件，起到的是調配內部資源，對整體的運行進行控制的作用；事件收集模塊2與監控引擎模塊1相連，其作用是根據監控引擎模塊1的要求獲取網絡中關於節點的各種監控事件信息；服務接口模塊3與事件收集模塊2相連，為資源收集模塊2提供原始監控事件信息，其與伺服器端通信，可以查詢監控事件信息或接收在網絡側訂閱的一些監控事件；事件消費模塊4與事件收集模塊2相連，其作用是將事件收集模塊2收集到的原始監控事件信息進行處理、保存或者建模，為以後的處理和展現做準備。
如圖2所示，為圖1的實施例的服務接口模塊和事件收集模塊的具體結構示意圖，其中服務接口模塊3包括資源監控服務接口單元31、節點統計接口模塊單元32和日誌信息服務接口單元33，資源收集模塊2包括節點靜態信息收集單元21、節點動態信息收集單元22、節點延遲信息收集單元23、節點統計信息收集單元24以及節點日誌信息收集單元25。資源監控服務接口單元31與節點靜態信息收集單元21和節點動態信息收集單元22相連，用於從網絡側伺服器查詢或者接收網絡節點靜態信息和節點動態信息以提供給所屬節點靜態信息收集單元21和節點動態信息22收集單元；節點統計接口單元32與節點統計信息收集單元24相連，其作用是接受網絡節點的事件統計信息，並將統計信息提供給所屬節點統計信息收集單元24；日誌信息服務接口單元33與節點日誌信息收集單元25相連，用於接收網絡側伺服器記錄的事件日誌，並提供給節點日誌信息收集單元25；節點靜態信息收集單元21，與監控引擎模塊1、事件消費模塊4和資源監控服務接口單元31相連，用於收集網絡節點的靜態信息，網絡節點的靜態信息包括計算機類型、作業系統等；節點動態信息收集單元22與監控引擎模塊1、事件消費模塊4和資源監控服務接口單元31相連，用於收集網絡節點的動態信息，動態信息包括CPU負載或可用存儲空間等，這些信息都被封裝成Web Services，用戶能夠通過SOAP消息獲取在遠程的服務容器所在節點的系統資源信息，其中動態的信息採用了推送的方式，可以以異步的方式得到動態資源的實時信息；節點延遲信息收集單元23與監控引擎模塊1和事件消費模塊4相連，用於收集由於網絡原因導致的指令延遲信息；節點統計信息收集單元24與監控引擎模塊1、事件消費模塊4和節點統計接口單元32相連，用於收集網絡節點的統計信息，這些統計信息在一定程度上能夠反應節點的服務質量，而了解節點服務性能狀況對了解整個網格系統的狀況以及對網格系統的運行至關重要，這些統計信息也封裝成Web Service，用戶能夠通過SOAP消息獲取遠程的服務容器所在節點的系統資源信息，統計信息的涉及的方面包括總調用次數、失敗次數、成功次數以及平均響應時間等；節點日誌信息收集單元25與監控引擎模塊1、事件消費模塊4和日誌信息服務接口單元33相連，用於收集網絡節點的日誌信息，這些日誌信息是部署在服務容器上節點的時間信息，有助於了解網格系統中基本的運行單元的狀態和歷史記錄，這些日誌信息包括節點的服務調用、服務響應、服務部署、服務反部署以及服務重部署等，這些信息也是封裝成Web Service，用戶能夠通過SOAP消息獲取遠程的服務容器所在節點的系統資源信息。事件收集模塊2還可以進行擴展，隨著網格系統的規模不斷增大和系統的調整，可供收集的信息也會變得多種多樣，因此根據監控要求來調整和擴展事件收集模塊2中的各信息收集單元。
如圖3所示，為圖1的實施例的事件消費模塊的具體結構示意圖，事件消費模塊4包括資料庫事件消費單元41、模型事件消費單元42以及內存事件消費單元43，其中資料庫事件消費單元41，與資源收集模塊2中的所有單元都進行連接，由事件收集模塊2收集的監控事件信息都會保存在資料庫事件消費單元41中；模型事件消費單元42與事件收集模塊2中的所有單元都進行連接，其作用是將事件收集模塊2收集的監控事件信息存儲在用於事件展現的模型中，針對於展現形式對這些原始信息進行保存和預處理等操作；內存事件消費單元43，也與事件收集模塊2中的所有單元都進行連接，在對一些立即處理的監控事件信息直接保存在內存中，可以加快處理速度。
如圖4所示，為基於圖1的實施例的監控過程示意圖，包括以下步驟步驟101，網格信息監控系統接收操作指令啟動，並處於運行狀態中；步驟102，監控引擎模塊1讀取配置文件，對自身參數進行配置，並同時對網格信息監控系統中各個模塊的參數也進行相應的配置；步驟103，監控引擎模塊1啟動事件收集模塊2的進程，準備對網格中各個節點的信息進行收集；步驟104，事件收集模塊2通過服務接口模塊3從網絡側的服務端獲取監控事件信息；步驟105，事件收集模塊2將這些監控事件信息保存到事件消費模塊中，具體可以保存到資料庫中留作歷史存檔，供以後處理時使用。
如圖5所示，為本發明網格信息監控系統的另一實施例的基本結構示意圖，在上一實施例的基礎上增加了RLDS模塊5和展現模塊6，RLDS模塊5與監控引擎模塊1相連，其作用是提供監控引擎模塊網絡節點資源的拓撲情況；展現模塊6與事件消費模塊4相連，可以以多圖層的可視化展現方式展現從各個節點收集來的事件，直觀的向網格系統管理人員和開發人員展現整個網格系統的運行狀態和歷史狀態。展現模塊6是以多圖層的方式進行展現的，因此該模塊可以進一步的細分，如圖6所示，為圖4的實施例的展現模塊的具體結構示意圖，包括地層單元51、事件圖層單元52和節點圖層單元53，這三個圖層單元都與事件消費模塊4中的模型事件消費單元42連接，模型事件消費單元42將收集到的節點事件信息進行預處理，並構建模型為展現做準備，其中地層單元51展現的是網格所分布的地理區域，事件圖層單元52展現的是節點上發生的事件信息，而節點圖層單元53展現的是網格中節點的位置信息以及狀態信息等。通過不同的圖層來展現網格的不同部分，網格系統管理人員和開發人員能夠更直觀的了解系統的運行情況和歷史情況，為系統的正常運行提供了很好的參照。
在這個實施例中，監控過程如圖7所示，為圖5的實施例的監控過程示意圖，包括以下步驟步驟201，網格信息監控系統接收操作指令啟動，並處於運行狀態中；步驟202，監控引擎模塊1讀取配置文件，對自身參數進行配置，並同時對網格信息監控系統中各個模塊的參數也進行相應的配置；步驟203，監控引擎模塊1從RLDS模塊5中獲取網格中節點的拓撲信息；步驟204，監控引擎模塊1啟動事件收集模塊2的進程，準備對網格中各個節點的信息進行收集；步驟205，事件收集模塊2通過服務接口模塊3從網絡側的服務端獲取監控事件信息；步驟206，事件收集模塊2將這些監控事件信息保存到事件消費模塊中，具體可以保存到資料庫中留作歷史存檔，供以後處理時使用；也可以根據展現的要求對這些監控事件信息進行預處理(對節點搜集到的監控事件信息進行匯聚分析)和建模；步驟207，建模後將形成多圖層的可視化展現，以不同的圖層展現不同的部分。
最後應當說明的是以上實施例僅用以說明本發明的技術方案而非對其限制；儘管參照較佳實施例對本發明進行了詳細的說明，所屬領域的普通技術人員應當理解依然可以對本發明的具體實施方式
進行修改或者對部分技術特徵進行等同替換；而不脫離本發明技術方案的精神，其均應涵蓋在本發明請求保護的技術方案範圍當中。
權利要求
1.一種網格信息監控系統，其特徵在於包括監控引擎模塊，用於對監控系統的運行進行控制；事件收集模塊，與所述監控引擎模塊相連，用於從伺服器獲取網絡節點的監控事件信息；服務接口模塊，與所述事件收集模塊相連，用於提供查詢或者接收網絡側的服務端信息的接口；事件消費模塊，與所述事件收集模塊相連，用於將所述事件收集模塊收集的原始信息進行處理和保存。
2.根據權利要求1所述的網格信息監控系統，其特徵在於還包括展現模塊，該展現模塊與所述事件消費模塊相連，用於通過圖形顯示網絡中各節點的地理位置、節點狀況以及事件。
3.根據權利要求1所述的網格信息監控系統，其特徵在於還包括RLDS模塊，該RLDS模塊與所述監控引擎模塊相連，用於提供所述監控引擎模塊網絡節點資源的拓撲情況。
4.根據權利要求1所述的網格信息監控系統，其特徵在於所述事件收集模塊包括節點靜態信息收集單元，與所述監控引擎模塊、事件消費模塊和所述服務接口模塊相連，用於收集網絡節點的靜態信息。節點動態信息收集單元，與所述監控引擎模塊、事件消費模塊和所述服務接口模塊相連，用於收集網絡節點的動態信息。節點延遲信息收集單元，與所述監控引擎模塊、事件消費模塊和所述服務接口模塊相連，用於收集由於環境原因導致的指令延遲信息。節點統計信息收集單元，與所述監控引擎模塊、事件消費模塊和所述服務接口模塊相連，用於收集網絡節點的統計信息。節點日誌信息收集單元，與所述監控引擎模塊、事件消費模塊和所述服務接口模塊相連，用於收集網絡節點的日誌信息。
5.根據權利要求4所述的網格信息監控系統，其特徵在於所述服務接口模塊包括資源監控服務接口單元，與所述節點靜態信息收集單元和節點動態信息收集單元相連，用於從網絡側伺服器查詢或者接收網絡節點靜態信息和節點動態信息以提供給所述節點靜態信息收集單元和節點動態信息收集單元；節點統計接口單元，與所述節點統計信息收集單元相連，用於對網絡節點的事件信息進行統計，並將統計信息提供給所述節點統計信息收集單元；日誌信息服務接口單元，與所述節點日誌信息收集單元相連，用於接收網絡側伺服器記錄的事件日誌，並提供給所述節點日誌信息收集單元。
6.根據權利要求1所述的網格信息監控系統，其特徵在於所述事件消費模塊包括資料庫事件消費單元，與所述事件收集模塊相連，用於將收集的信息保存在資料庫中；模型事件消費單元，與所述事件收集模塊相連，用於將收集的信息進行可視化預處理；內存事件消費單元，與所述事件收集模塊相連，用於將收集的信息保存內存中。
7.根據權利要求2所述的網格信息監控系統，其特徵在於所述展現模塊包括地層單元，與所述模型事件消費單元相連，用於向用戶展示節點的地理位置圖；事件圖層單元，與所述模型事件消費單元相連，用於向用戶展示事件發生的情況以及位置；節點圖層單元，與所述模型事件消費單元相連，用於顯示節點的具體位置和節點信息。
全文摘要
本發明涉及一種網格信息監控系統，其包括監控引擎模塊，用於對監控系統的運行進行控制；事件收集模塊，與監控引擎模塊相連，用於從伺服器獲取網絡節點的監控事件信息；服務接口模塊，與事件收集模塊相連，用於提供查詢或者接收網絡側的服務端信息的接口；事件消費模塊，與事件收集模塊相連，用於將事件收集模塊收集的原始信息進行處理和保存。本發明採用完善的節點事件記錄，能提供整個網格系統拓撲結構的變化狀況以及網格中每個節點的信息以進行觀測和分析；本發明採用易於擴展的事件收集結構，為網絡系統的行為分析、系統優化等提供了數據支持和分析依據；本發明採用多圖層的可視化展現，能夠更直觀的理解整個網格網絡的運行狀態和歷史狀態。
文檔編號H04L12/24GK1791028SQ200510132548
公開日2006年6月21日 申請日期2005年12月26日 優先權日2005年12月26日
發明者懷進鵬, 胡春明, 沃天宇, 鍾亮, 劉萬濤 申請人:北京航空航天大學