跨數據中心集群的分布式系統監控方法及系統的製作方法
2023-05-11 10:00:51
跨數據中心集群的分布式系統監控方法及系統的製作方法
【專利摘要】本發明涉及一種跨數據中心集群的分布式系統監控方法及系統，該系統採用多層分布式的架構，共包括業務層和支撐層兩個層級及其業務端、控制端、匯總端、監控端四個模塊組成的監控架構；其中，業務層包括業務端、控制端兩類功能對象；支撐層包括匯總端和監控端兩類功能對象；從而實現了統一管理、穩定開放的針對雲計算跨越多數據中心的監控架構。
【專利說明】跨數據中心集群的分布式系統監控方法及系統
【技術領域】
[0001]本發明涉及伺服器集群監控領域，尤其涉及橫跨多數據中心實現監控系統及方法。
【背景技術】
[0002]隨著雲計算越來越多地應用到信息產業的各個領域，雲平臺所依託的數據中心數量逐漸增多、規模日趨龐大，進而出現單一雲平臺中運行的業務橫跨多個數據中心的情況。如何有效地實現監控和管理龐大數量、跨數據中心、跨地域的集群設備並且保證系統的高性能和高可用性是當前面臨的必要和緊迫的問題。
[0003]目前業界普遍採用的第一種監控架構是金字塔式的，例如由某大學的國家高性能計算機實驗室研發針對的通用的應用於大規模Linux集群的監控系統軟體SuperMon，它分為三個層次:底層每個節點上的數據服務(mon)用來收集節點狀態信息，中層的數據集中器(Supermon)匯總來自每個mon的數據並處理來自上層的數據請求實例，最上層的應用客戶端或頂層數據集中器匯總每個Supermon的數據，進行顯示或者再次匯總；另外由Yahoo開發的基於Hadoop之上的用於分布式系統狀態監控的大型數據採集與分析系統Chukwa，由Agent和Collector組件組成，Agent負責採集監控主機上原始數據，Collector負責收集Agent發送的數據並做持久化處理。這些軟體組成的模塊首先所有最底層被監控的伺服器節點上的代理程序收集數據，然後每個代理程序將數據匯聚給所在集群的中心監控伺服器節點，最後中心監控伺服器節點將數據累積上傳給總監控伺服器節點，監控集群的數據則需要從總監控節點獲取。
[0004]採用這種架構存在以下幾個問題:
[0005](1)大量監控數據由下層伺服器節點同時向總監控節點匯集，同時總監控節點還要響應業務方面獲取監控數據的請求，無疑極大增加了總監控節點的輸入輸出壓力，同時也直接導致穩定性下降，不能很好地滿足日常業務需求。
[0006]( 2 )監控系統中節點角色的唯一性，如果中心監控節點出現問題，則部分監控系統就失效了 ；如果總監控伺服器節點出現故障或宕機，則整個監控系統隨之陷於癱瘓。
[0007](3)面對跨多個數據中心的業務時，總監控節點在總數據量和架構的瓶頸限制下將很難橫跨多個數據中心，將很大程度上減慢響應的時間而無法滿足實時性的要求。
[0008]第二種監控架構為分布式架構，突出的代表是由美國UC Berkeley開發維護的Ganglia軟體，它基於XML技術的數據傳遞可以是系統的狀態數據跨越不同的系統平臺而進行交互，解決了系統間異構性的問題；採用基於多播的listen/announce協議，每個節點向所有相鄰節點發出自身節點的狀態監控信息。收發大量不必要的冗餘信息，造成網絡和節點1/0開銷非常大，導致監控數據刷新的頻率較慢。
[0009]另外，上面所述的Ganglia在用戶進行安裝初始化過程中，每個節點的代理端gmond都需要手工配置參數後才能運行，如果需要變更運行配置參數，還需要逐個節點進行修改後重啟程序，過程非常繁瑣，是監控系統的靈活性和可擴展性隨之下降。[0010]發明專利一種超大規模集群監控系統及方法，該系統包括分區監控伺服器和中心監控伺服器；每個分區監控伺服器採集到每個分區集群內部信息後，將該信息推送至中心監控伺服器；中心監控伺服器接收來自分區監控伺服器的信息，並按照信息對所有分區進行統一配置，然後將統一配置結果提供給分區監控伺服器；分區監控伺服器接收來自中心監控伺服器的統一配置結果，按此結果對集群進行監控和管理。該發明採用了分區監控伺服器和中心監控伺服器的金字塔架構，當下層分區監控伺服器及被監控的節點規模增大時，中心監控伺服器的網絡和本機I/O非常大。並且沒有實現對於業務個性化監控請求的定製，沒有對於單個業務運行在多個數據中心情況下的協同處理，仍然停留在單個數據中心的層面。但是僅僅解決業務定製的問題，並沒有將各層節點的職能做了清晰地劃分而使監控集群更加高效。
[0011]發明專利分布式集群監控系統及方法，該方法包括以下步驟:每個分中心監控伺服器採集到每個分布式集群內部的信息後，將信息推送至中心監控伺服器。中心監控伺服器接收來自分中心監控伺服器的信息，並按照信息對所有分布式集群進行統一配置，然後將統一配置的結果提供給分中心監控伺服器。分中心監控伺服器接收來自中心監控伺服器的統一配置結果，按照配置結果對分布式集群進行監控和管理。該發明為每個子集群創建了分中心的監控器，將採集到的集群內部信息推送到中心監控伺服器，仍然會造成中心監控伺服器的網絡和節點I/o巨大的問題沒有解決。沒有滿足業務的個性化監控定製需求，並且針對各層節點的動態擴展性和運行時穩定性不佳。
【發明內容】
[0012]為了解決對雲計算橫跨多數據中心的伺服器集群的監控當前面臨的諸多問題，提出了跨數據中心集群的分布式系統監控方法及系統，採用監控數據匯聚和節點關係控制相分離的方式實現，降低了高層節點的負載，使監控系統更加有針對性和效率。通過使用統一的集中式監控平臺，有效實現了對超大規模集群進行高效的監控和管理。
[0013]具體地講，本發明公開了一種跨數據中心集群的分布式系統監控系統，該系統採用多層分布式的架構，共包括業務層和支撐層兩個層級及其業務端、控制端、匯總端、監控端四個模塊組成的監控架構；其中，業務層包括業務端、控制端兩類功能對象；支撐層包括匯總端和監控端兩類功能對象；
[0014]監控模板，用於規定監控端需要收集的數據域的信息；
[0015]業務端，用於向監控集群請求獲取所有監控數據信息；
[0016]控制端，用於保存匯總端和監控端伺服器的映射關係；負責處理業務端、控制端、監控端和匯總端的註冊請求，並協調這業務端、匯總端、監控端伺服器正常地運行；管理和控制匯總端和監控端的監控內容和策略；
[0017]匯總端，用於統計和處理監控端上傳的監控數據；分解由控制端下發的監控模板，根據內容下發給對應的監控端；響應業務端提交的獲取集群內的監控數據請求；向控制端上傳其下轄監控端的資源或設備的報警信息；
[0018]監控端，用於根據監控模板監控本機的各項指標數據，並向匯總端進行提交；運行由匯總端下發更新的監控模板規定的內容；
[0019]監控集群，用於將監控端、匯總端和控制端運行完整監控系統模塊的集合。[0020]該四個模塊在該系統中均包括多個伺服器節點。
[0021]該數據域的信息，包括控制端和匯總端的設備信息、域元素的名稱、數值精度、域元素單位、採集和上傳的時間間隔和上下限值、唯一標識、附加信息等數據域相關的內容和待監控端節點列表、監控起止時間、備用分流控制端節點列表、備用分流匯總端節點列表、數值特徵匯總方式等策略操作的相關信息。
[0022]本發明還公開了一種跨數據中心集群的分布式系統監控方法，採用多層分布式的架構，共包括業務層和支撐層兩個層級及其業務端、控制端、匯總端、監控端四個模塊組成的監控架構；其中，業務層包括業務端、控制端兩類功能對象；支撐層包括匯總端和監控端兩類功能對象；
[0023]啟動步驟，用於規定監控端需要收集的數據域的信息；
[0024]業務步驟，用於向監控集群請求獲取所有監控數據信息；
[0025]控制步驟，用於保存匯總端和監控端伺服器的映射關係；負責處理業務端、控制端、監控端和匯總端的註冊請求，並協調這業務端、匯總端、監控端伺服器正常地運行；管理和控制匯總端和監控端的監控內容和策略；
[0026]匯總步驟，用於統計和處理監控端上傳的監控數據；分解由控制端下發的監控模板，根據內容下發給對應的監控端；響應業務端提交的獲取集群內的監控數據請求；向控制端上傳其下轄監控端的資源或設備的報警信息；
[0027]監控步驟，用於根據監控模板監控本機的各項指標數據，並向匯總端進行提交；運行由匯總端下發更新的監控模板規定的內容；
[0028]監控集群步驟，用於將監控端、匯總端和控制端運行完整監控系統模塊的集合。
[0029]四個模塊的啟動步驟如下:
[0030]步驟S1，控制端初始化過程；
[0031]步驟S11，如果監控集群在沒有其他的控制端的情況下，則直接運行新控制端即可；
[0032]步驟S12，如果監控集群存在其他控制端時，則新控制端將本機信息向監控集群中在任意一個目的控制端發送註冊請求；
[0033]步驟S13，目的控制端返回註冊結果信息，如果成功，則返回包括所有控制端節點的信息，然後運行下面的步驟；如果失敗則終止；
[0034]步驟S14，新添加的控制端如果存在下轄匯總端和監控端等伺服器節點時，則繼續向目的控制端同步其下轄匯總端-監控端映射關係以及監控端的監控模板信息；
[0035]步驟S15，目的控制端將包括新添加的控制端配置信息、新增的下轄匯總端-監控端映射關係和監控模板信息等內容同步到監控集群眾所有其他的控制端中。
[0036]其中，匯總步驟具體包括如下步驟:
[0037]步驟S21，新匯總端向控制端發送包括本機配置信息的註冊請求；
[0038]步驟S22，控制端處理步驟S21的請求並返回結果，成功則繼續進行下列步驟；失敗則終止；
[0039]步驟S23，匯總端如果有下轄的監控端節點時，則將其與所有下轄監控端的映射關係、各節點監控模板和配置信息整理並向控制端發送加入監控集群的附加請求；如果沒有下轄監控端節點，則終止；[0040]步驟S24，控制端處理S23步驟的附加請求，校驗並記錄新增加的匯總端上傳的配置信息、各個監控模板和匯總端-監控端映射關係信息；
[0041]步驟S25，控制端根據匯總端的配置等信息處理並返回匯總端和監控端綁定結果，並返回備用分流控制端伺服器信息列表；
[0042]步驟S26，控制端將本機信息、新增的匯總端-監控端映射關係數據和監控模板同步到另外的控制端中。
[0043]監控步驟分封閉式和開放式，其中封閉式監控步驟具體包括如下步驟:
[0044]步驟S31，監控端將包括本機信息的註冊請求發送給匯總端；
[0045]步驟S32，匯總端將包括監控模板等信息返回給監控端；
[0046]步驟S33，監控端根據步驟S32返回的監控模板中規定的內容，評估本節點的配置和性能後進行填充，然後上傳給匯總端；
[0047]步驟S34，匯總端根據步驟S33填充的監控模板內容確定是否進行添加。如果添力口，則更新保存本機中的匯總端-監控端的映射關係和監控端節點的模板信息；反之，則向監控端節點回應拒絕信息；
[0048]步驟S35，最後將監控端的監控模板和新增的匯總端-監控端映射關係上傳到控制端中，完成與監控端的綁定操作；
[0049]步驟S36，匯總端向監控端返回註冊處理結果信息；
[0050]步驟S37，控制端向監控集群中所有其他的監控端同步新增加的匯總端-監控端映射關係信息和監控模板。
[0051]監控步驟分封閉式和開放式，其中開放式監控步驟具體包括如下步驟:
[0052]步驟S41，新監控端將包括本機配置信息的註冊請求發送給控制端；
[0053]步驟S42，控制端將監控模板信息返回給請求的監控端；
[0054]步驟S43，監控端根據本機的實際配置和性能填充步驟S42返回的監控模板，繼續向控制端發送請求；
[0055]步驟S44，控制端根據步驟S43中填充好的監控模板的信息確定是否在監控集群中添加監控端，如果成功添加則返回控制端保存的下轄匯總端列表信息給監控端，之後進行下述步驟；反之則返回拒絕信息；
[0056]步驟S45，監控端收到步驟S44中的匯總端節點列表之後，驗證與匯總端節點的連通性；
[0057]步驟S46，如果聯通成功則將本機信息和欲加入的匯總端信息向控制端提交綁定請求；
[0058]步驟S47，控制端將此監控端的請求進行記錄並新增匯總端-監控端映射關係後，將監置控模板信息和配信息下發到對應的匯總端中，然後向新監控端發送綁定成功信息；
[0059]步驟S48，新監控端根據步驟S43中填充好的監控模板規定的數據內容要求收集和整理，然後向匯總端上傳監控數據；
[0060]步驟S49，在步驟S42中的控制端向監控集群中的其他控制端節點同步新加入的監控端信息及與匯總端的映射關係。
[0061]業務步驟具體包括如下步驟:
[0062]步驟S51，業務端向控制端發送包括業務端的基本信息、請求的進行監控的節點集合、需要獲取節點的數據域及其採集頻率和精度等內容的監控模板請求信息；
[0063]步驟S52，控制端根據業務端的請求，在所有匯總端-監控端映射關係中查詢符合條件的匯總端和監控端伺服器節點列表，然後生成為後續業務端與匯總端通信索引用的唯一標識；
[0064]步驟S53，控制端分解業務端的請求內容，分別將包括業務端節點信息、對應的監控端節點列表集合、唯一標識等監控模板信息逐個下發給所有監控端對應匯總端伺服器；
[0065]步驟S54，控制端向業務端返回包括匯總端列表信息的請求處理結果和在S52步驟中生成的業務端和匯總端通信的唯一標識；
[0066]步驟S55，業務端將包括機器信息和唯一標識的監控請求逐個發送給步驟S54中的列表中的所有匯總端伺服器；
[0067]步驟S56，匯總端根據業務端的請求中包括的機器信息和唯一標識查詢並整理其需要的所有下轄監控端的數據；
[0068]步驟S57，匯總端將步驟S56中的監控數據返回給業務端。
[0069]所述的跨數據中心集群的分布式系統監控方法，開放式監控步驟在監控集群中的註銷過程、封閉式監控步驟在監控集群中的註銷過程、匯總步驟在監控集群的註銷過程與各自的啟動步驟相同。
[0070]本發明中系統實現了統一管理、穩定開放的針對雲計算跨越多數據中心的監控架構，具有如下技術效果:
[0071]1、控制端和匯總端負責維護整個監控集群各類型節點列表和映射關係等核心數據，降低了上層節點的負載，縮短了監控數據傳輸路徑，降低了網絡間和節點I/O的開銷，使監控系統更加高效。
[0072]2、控制端和匯總端均採用分布式的架構，包括各自的備用分流節點，在單個節點負載量較大或者宕機的情況下，仍然能夠保證了系統運行和響應的穩定性。
[0073]3、開放性的監控系統很好的滿足了多數據中心和多業務方的可定製化監控的需求，例如在業務跨多數據中心的情況下，即可根據業務方的需求進行監控信息的定製和獲取；在監控過程中，業務的監控需求可以實現動態同步到所有目的監控節點並執行。
【專利附圖】
【附圖說明】
[0074]圖1為多示意圖；
[0075]圖1監控系統結構圖；
[0076]圖2監控系統初始化流程圖；
[0077]圖3控制端初始化過程；
[0078]圖4匯總端初始化過程；
[0079]圖5封閉式監控端初始化過程；
[0080]圖6開放式監控端初始化過程；
[0081]圖7業務端初始化過程。
【具體實施方式】
[0082]本發明的監控系統採用多層分布式的架構，並且系統共包括兩個層級及其下四個模塊類型組成的監控軟體架構。兩個層級分別為業務層和支撐層(參見附圖1)，四個軟體模塊分別是:業務層包括運行業務端監控軟體的伺服器(簡稱業務端)和運行控制端軟體伺服器(簡稱控制端)兩類功能對象；支撐層包括運行匯總端軟體的伺服器(簡稱匯總端)和運行監控端軟體的伺服器(簡稱監控端)兩類功能對象。每個模塊類型在監控系統中包括多個節點。
[0083]監控模板(簡稱模板):規定監控端需要收集的數據域的信息，包括控制端和匯總端的設備信息、域元素的名稱、數值精度、域元素單位、採集和上傳的時間間隔和上下限值、唯一標識、附加信息等數據域相關的內容和待監控端節點列表、監控起止時間、備用分流控制端節點列表、備用分流匯總端節點列表、數值特徵匯總方式等策略操作的相關信息。
[0084]業務端:向監控集群請求獲取所有指定伺服器節點的監控數據信息。
[0085]控制端:保存匯總端和監控端伺服器的映射關係；負責處理業務端、控制端、監控端和匯總端的註冊請求，並協調這業務端、匯總端、監控端伺服器正常地運行；管理和控制匯總端和監控端的監控內容和策略。
[0086]匯總端:統計和處理監控端上傳的監控數據；分解由控制端下發的監控模板，根據內容下發給對應的監控端；響應業務端提交的獲取集群內的監控數據請求；向控制端上傳其下轄監控端的資源或設備的報警信息。
[0087]監控端:根據監控模板監控本機的各項指標數據，並向匯總端進行提交；運行由匯總端下發更新的監控模板規定的內容。
[0088]監控集群:以上所有類型的伺服器節點(監控端、匯總端和控制端)運行完整監控系統模塊的集合。
[0089]本發明的監控系統啟動的流程如附圖2所示，每個模塊部分的詳細啟動流程分解為如下具體步驟:
[0090]步驟S1，控制端初始化過程(參見圖3)
[0091]步驟S11，如果監控集群在沒有其他的控制端的情況下，則直接運行新控制端即可。
[0092]步驟S12，如果監控集群存在其他控制端時，則新控制端將本機信息向監控集群中在任意一個目的控制端發送註冊請求。
[0093]步驟S13，目的控制端返回註冊結果信息，如果成功，則返回包括所有控制端節點的信息，然後運行下面的步驟；如果失敗則終止。
[0094]步驟S14，新添加的控制端如果存在下轄匯總端和監控端等伺服器節點時，則繼續向目的控制端同步其下轄匯總端-監控端映射關係以及監控端的監控模板信息。
[0095]步驟S15，目的控制端將包括新添加的控制端配置信息、新增的下轄匯總端-監控端映射關係和監控模板信息等內容同步到監控集群眾所有其他的控制端中。
[0096]同理，可以類似上述步驟完成控制端伺服器節點在監控集群的註銷過程。
[0097]步驟S2，匯總端初始化過程(參見附圖4)
[0098]步驟S21，新匯總端向控制端發送包括本機配置信息的註冊請求；
[0099]步驟S22，控制端處理步驟S21的請求並返回結果，成功則繼續進行下列步驟；失敗則終止。
[0100]步驟S23，匯總端如果有下轄的監控端節點時，則將其與所有下轄監控端的映射關係、各節點監控模板和配置信息整理並向控制端發送加入監控集群的附加請求；如果沒有下轄監控端節點，則終止；
[0101]步驟S24，控制端處理步驟S23的附加請求，校驗並記錄新增加的匯總端上傳的配置信息、各個監控模板和匯總端-監控端映射關係信息；
[0102]步驟S25，控制端根據匯總端的配置等信息處理並返回匯總端和監控端綁定結果，並返回備用分流控制端伺服器信息列表；
[0103]步驟S26，控制端將本機信息、新增的匯總端-監控端映射關係數據和監控模板同步到另外的控制端中。
[0104]同理，可以類似上述步驟完成匯總端在監控集群的註銷過程。
[0105]步驟S3，封閉式監控端初始化過程(參見附圖5)
[0106]步驟S31，監控端將包括本機信息的註冊請求發送給匯總端；
[0107]步驟S32，匯總端將包括監控模板等信息返回給監控端；
[0108]步驟S33，監控端根據步驟S32返回的監控模板中規定的內容，評估本節點的配置和性能後進行填充，然後上傳給匯總端。
[0109]步驟S34，匯總端根據步驟S33填充的監控模板內容確定是否進行添加。如果添力口，則更新保存本機中的匯總端-監控端的映射關係和監控端節點的模板信息。反之，則向監控端節點回應拒絕信息。
[0110]步驟S35，最後將監控端的監控模板和新增的匯總端-監控端映射關係上傳到控制端中，完成與監控端的綁定操作。
[0111]步驟S36，匯總端向監控端返回註冊處理結果信息。
[0112]步驟S37，控制端向監控集群中所有其他的監控端同步新增加的匯總端-監控端映射關係信息和監控模板。
[0113]同理，可以類似上述步驟完成封閉式監控端在監控集群中的註銷過程。
[0114]步驟S4，開放式監控端初始化過程(參見附圖6)
[0115]步驟S41，新監控端將包括本機配置信息的註冊請求發送給控制端；
[0116]步驟S42，控制端將監控模板信息返回給請求的監控端。
[0117]步驟S43，監控端根據本機的實際配置和性能填充步驟S42返回的監控模板，繼續向控制端發送請求。
[0118]步驟S44，控制端根據步驟S43中填充好的監控模板的信息確定是否在監控集群中添加監控端，如果成功添加則返回控制端保存的下轄匯總端列表信息給監控端，之後進行下述步驟；反之則返回拒絕信息。
[0119]步驟S45，監控端收到步驟S44中的匯總端節點列表之後，驗證與匯總端節點的連通性。
[0120]步驟S46，如果聯通成功則將本機信息和欲加入的匯總端信息向控制端提交綁定請求。
[0121]步驟S47，控制端將此監控端的請求進行記錄並新增匯總端-監控端映射關係後，將監置控模板信息和配信息下發到對應的匯總端中，然後向新監控端發送綁定成功信息。
[0122]步驟S48，新監控端根據步驟S43中填充好的監控模板規定的數據內容要求收集和整理，然後向匯總端上傳監控數據。[0123]步驟S49，在步驟S42中的控制端向監控集群中的其他控制端節點同步新加入的監控端信息及與匯總端的映射關係。
[0124]同理，可以類似上述步驟完成開放式監控端在監控集群中的註銷過程。
[0125]步驟S5，業務端初始化過程(參見附圖7)
[0126]步驟S51，業務端向控制端發送包括業務端的基本信息、請求的進行監控的節點集合、需要獲取節點的數據域及其採集頻率和精度等內容的監控模板請求信息；
[0127]步驟S52，控制端根據業務端的請求，在所有匯總端-監控端映射關係中查詢符合條件的匯總端和監控端伺服器節點列表，然後生成為後續業務端與匯總端通信索引用的唯一標識；
[0128]步驟S53，控制端分解業務端的請求內容，分別將包括業務端節點信息、對應的監控端節點列表集合、唯一標識等監控模板信息逐個下發給所有監控端對應匯總端伺服器；
[0129]步驟S54，控制端向業務端返回包括匯總端列表信息的請求處理結果和在S52步驟中生成的業務端和匯總端通信的唯一標識；
[0130]步驟S55，業務端將包括機器信息和唯一標識的監控請求逐個發送給步驟S54中的列表中的所有匯總端伺服器；
[0131]步驟S56，匯總端根據業務端的請求中包括的機器信息和唯一標識查詢並整理其需要的所有下轄監控端的數據；
[0132]步驟S57，匯總端將步驟S56中的監控數據返回給業務端。
[0133]綜上所述，本發明解決了【背景技術】部分所列當前存在的諸多問題，因此具有良好的應用前景和市場推廣價值。實現了統一管理、穩定開放的針對雲計算跨越多數據中心的監控架構，此架構有如下優點:
[0134]1、控制端和匯總端負責維護整個監控集群各類型節點列表和映射關係等核心數據，降低了上層節點的負載，縮短了監控數據傳輸路徑，降低了網絡間和節點I/O的開銷，使監控系統更加高效。
[0135]2、控制端和匯總端均採用分布式的架構，包括各自的備用分流節點，在單個節點負載量較大或者宕機的情況下，仍然能夠保證了系統運行和響應的穩定性。
[0136]3、開放性的監控系統很好的滿足了多數據中心和多業務方的可定製化監控的需求，例如在業務跨多數據中心的情況下，即可根據業務方的需求進行監控信息的定製和獲取；在監控過程中，業務的監控需求可以實現動態同步到所有目的監控節點並執行。
【權利要求】
1.一種跨數據中心集群的分布式系統監控系統，其特徵在於，該系統採用多層分布式的架構，共包括業務層和支撐層兩個層級及其業務端、控制端、匯總端、監控端四個模塊組成的監控架構；其中，業務層包括業務端、控制端兩類功能對象；支撐層包括匯總端和監控端兩類功能對象；監控模板，用於規定監控端需要收集的數據域的信息；業務端，用於向監控集群請求獲取所有監控數據信息；控制端，用於保存匯總端和監控端伺服器的映射關係；負責處理業務端、控制端、監控端和匯總端的註冊請求，並協調這業務端、匯總端、監控端伺服器正常地運行；管理和控制匯總端和監控端的監控內容和策略；匯總端，用於統計和處理監控端上傳的監控數據；分解由控制端下發的監控模板，根據內容下發給對應的監控端；響應業務端提交的獲取集群內的監控數據請求；向控制端上傳其下轄監控端的資源或設備的報警信息；監控端，用於根據監控模板監控本機的各項指標數據，並向匯總端進行提交；運行由匯總端下發更新的監控模板規定的內容；監控集群，用於將監控端、匯總端和控制端運行完整監控系統模塊的集合。
2.如權利要求1所述的跨數據中心集群的分布式系統監控系統，其特徵在於，該四個模塊在該系統中均包括多個伺服器節點。
3.如權利要求1所述的跨數據中心集群的分布式系統監控系統，其特徵在於，該數據域的信息，包括控制端和匯總端的設備信息、域元素的名稱、數值精度、域元素單位、採集和上傳的時間間隔和上下限值、唯一標識、附加信息等數據域相關的內容和待監控端節點列表、監控起止時間、備用分流控制端節點列表、備用分流匯總端節點列表、數值特徵匯總方式等策略操作的相關信息。
4.一種跨數據中心集群的分布式系統監控方法，其特徵在於，採用多層分布式的架構，共包括業務層和支撐層兩個層級及其業務端、控制端、匯總端、監控端四個模塊組成的監控架構；其中，業務層包括業務端、控制端兩類功能對象；支撐層包括匯總端和監控端兩類功能對象；啟動步驟，用於規定監控端需要收集的數據域的信息；業務步驟，用於向監控集群請求獲取所有監控數據信息；控制步驟，用於保存匯總端和監控端伺服器的映射關係；負責處理業務端、控制端、監控端和匯總端的註冊請求，並協調這業務端、匯總端、監控端伺服器正常地運行；管理和控制匯總端和監控端的監控內容和策略；匯總步驟，用於統計和處理監控端上傳的監控數據；分解由控制端下發的監控模板，根據內容下發給對應的監控端；響應業務端提交的獲取集群內的監控數據請求；向控制端上傳其下轄監控端的資源或設備的報警信息；監控步驟，用於根據監控模板監控本機的各項指標數據，並向匯總端進行提交；運行由匯總端下發更新的監控模板規定的內容；監控集群步驟，用於將監控端、匯總端和控制端運行完整監控系統模塊的集合。
5.如權利要求4所述的跨數據中心集群的分布式系統監控方法，其特徵在於，四個模塊的啟動步驟如下:步驟si，控制端初始化過程；步驟S11，如果監控集群在沒有其他的控制端的情況下，則直接運行新控制端即可；步驟S12，如果監控集群存在其他控制端時，則新控制端將本機信息向監控集群中在任意一個目的控制端發送註冊請求；步驟S13，目的控制端返回註冊結果信息，如果成功，則返回包括所有控制端節點的信息，然後運行下面的步驟；如果失敗則終止；步驟S14，新添加的控制端如果存在下轄匯總端和監控端等伺服器節點時，則繼續向目的控制端同步其下轄匯總端-監控端映射關係以及監控端的監控模板信息；步驟S15，目的控制端將包括新添加的控制端配置信息、新增的下轄匯總端-監控端映射關係和監控模板信息等內容同步到監控集群眾所有其他的控制端中。
6.如權利要求4所述的跨數據中心集群的分布式系統監控方法，其特徵在於，匯總步驟具體包括如下步驟:步驟S21，新匯總端向控制端發送包括本機配置信息的註冊請求；步驟S22，控制端處理步驟S21的請求並返回結果，成功則繼續進行下列步驟；失敗則終止；步驟S23，匯總端如果有下轄的監控端節點時，則將其與所有下轄監控端的映射關係、各節點監控模板和配置信息整理並向控制端發送加入監控集群的附加請求；如果沒有下轄監控端節點，則終止；步驟S24，控制端處理S23步驟的附加請求，校驗並記錄新增加的匯總端上傳的配置信息、各個監控模板和匯總端`-監控端映射關係信息；步驟S25，控制端根據匯總端的配置等信息處理並返回匯總端和監控端綁定結果，並返回備用分流控制端伺服器信息列表；步驟S26，控制端將本機信息、新增的匯總端-監控端映射關係數據和監控模板同步到另外的控制端中。
7.如權利要求4所述的跨數據中心集群的分布式系統監控方法，其特徵在於，監控步驟分封閉式和開放式，其中封閉式監控步驟具體包括如下步驟:步驟S31，監控端將包括本機信息的註冊請求發送給匯總端；步驟S32，匯總端將包括監控模板等信息返回給監控端；步驟S33，監控端根據步驟S32返回的監控模板中規定的內容，評估本節點的配置和性能後進行填充，然後上傳給匯總端；步驟S34，匯總端根據步驟S33填充的監控模板內容確定是否進行添加。如果添加，則更新保存本機中的匯總端-監控端的映射關係和監控端節點的模板信息；反之，則向監控端節點回應拒絕信息；步驟S35，最後將監控端的監控模板和新增的匯總端-監控端映射關係上傳到控制端中，完成與監控端的綁定操作；步驟S36，匯總端向監控端返回註冊處理結果信息；步驟S37，控制端向監控集群中所有其他的監控端同步新增加的匯總端-監控端映射關係信息和監控模板。
8.如權利要求4所述的跨數據中心集群的分布式系統監控方法，其特徵在於，監控步驟分封閉式和開放式，其中開放式監控步驟具體包括如下步驟:步驟S41，新監控端將包括本機配置信息的註冊請求發送給控制端；步驟S42，控制端將監控模板信息返回給請求的監控端；步驟S43，監控端根據本機的實際配置和性能填充步驟S42返回的監控模板，繼續向控制端發送請求；步驟S44，控制端根據步驟S43中填充好的監控模板的信息確定是否在監控集群中添加監控端，如果成功添加則返回控制端保存的下轄匯總端列表信息給監控端，之後進行下述步驟；反之則返回拒絕信息；步驟S45，監控端收到步驟S44中的匯總端節點列表之後，驗證與匯總端節點的連通性；步驟S46，如果聯通成功則將本機信息和欲加入的匯總端信息向控制端提交綁定請求；步驟S47，控制端將此監控端的請求進行記錄並新增匯總端-監控端映射關係後，將監置控模板信息和配信息下 發到對應的匯總端中，然後向新監控端發送綁定成功信息；步驟S48，新監控端根據步驟S43中填充好的監控模板規定的數據內容要求收集和整理，然後向匯總端上傳監控數據；步驟S49，在步驟S42中的控制端向監控集群中的其他控制端節點同步新加入的監控端信息及與匯總端的映射關係。
9.如權利要求4所述的跨數據中心集群的分布式系統監控方法，其特徵在於，業務步驟具體包括如下步驟:步驟S51，業務端向控制端發送包括業務端的基本信息、請求的進行監控的節點集合、需要獲取節點的數據域及其採集頻率和精度等內容的監控模板請求信息；步驟S52，控制端根據業務端的請求，在所有匯總端-監控端映射關係中查詢符合條件的匯總端和監控端伺服器節點列表，然後生成為後續業務端與匯總端通信索引用的唯一標識；步驟S53，控制端分解業務端的請求內容，分別將包括業務端節點信息、對應的監控端節點列表集合、唯一標識等監控模板信息逐個下發給所有監控端對應匯總端伺服器；步驟S54，控制端向業務端返回包括匯總端列表信息的請求處理結果和在S52步驟中生成的業務端和匯總端通信的唯一標識；步驟S55，業務端將包括機器信息和唯一標識的監控請求逐個發送給步驟S54中的列表中的所有匯總端伺服器；步驟S56，匯總端根據業務端的請求中包括的機器信息和唯一標識查詢並整理其需要的所有下轄監控端的數據；步驟S57，匯總端將步驟S56中的監控數據返回給業務端。
10.如權利要求4所述的跨數據中心集群的分布式系統監控方法，其特徵在於，開放式監控步驟在監控集群中的註銷過程、封閉式監控步驟在監控集群中的註銷過程、匯總步驟在監控集群的註銷過程與各自的啟動步驟相同。
【文檔編號】H04L29/08GK103685486SQ201310636793
【公開日】2014年3月26日 申請日期:2013年12月2日 優先權日:2013年12月2日
【發明者】楊慶林, 孫毓忠 申請人:中國科學院計算技術研究所