新四季網

一種集群設備性能同步統計方法及系統與流程

2023-05-26 09:13:36 1


本發明涉及集群技術的NAS(Network Attached Storage,網絡附屬存儲)存儲領域,特別涉及一種集群設備性能同步統計方法及系統。



背景技術:

在傳統多設備環境中,性能統計一般由網絡管理系統主動跟業務設備代理進行通信或者設備代理上報獲得原始性能參數值,並進行處理來實現。這種實現方式主要有如下三個特點,第一是必須需要一臺中心主機來運行網絡管理系統;第二是網絡管理系統和業務設備代理程序實現是C/S模式;第三是各個設備的統計對象都是不相關的。

集群技術是一種較新的技術,在付出較低成本的情況下獲得在性能、可靠性、靈活性方面的相對較高的收益。它是由一組相互獨立的、通過高速網絡互聯的設備構成的一個整體,集群環境也是一種多設備環境,但是集群環境有其獨特性,以NAS存儲集群環境為例,下面三種情況不適合上述傳統統計方式:1)卷統計對象運行節點的切換;2)節點加入或退出集群,3)節點上統計對象的增加或刪除。傳統方式的網絡管理系統在上面三種情況下不能動態偵測到變化,也就無法對其進行正常性能統計。



技術實現要素:

本發明要解決的技術問題是提供一種集群設備性能同步統計方法及系統,用以解決現有的集群中在採用傳統統計方式進行設備性能統計時,不能動態監測集群中每個節點的變化,造成集群性能統計的可持續性不高的問題。

為了解決上述技術問題,本發明實施例提供一種集群設備性能同步統計方法,應用於集群設備中作為主節點的第一節點,其中,所述集群設備性能同步統計方法包括:

採集集群中包括第一節點在內的所有節點上的統計對象的計數器值;

分別將每個所述節點上的統計對象的計數器值進行匯總處理,生成統計記錄;

將所述統計記錄同步到集群設備中的除第一節點外的其它節點。

進一步地,所述在採集集群中包括第一節點在內的所有節點上的統計對象的計數器值的步驟之前,所述集群設備性能同步統計方法還包括:

在所述第一節點上電運行時,創建性能統計資料庫,並為預設的每種統計對象類型在資料庫上創建資料庫表;其中,

所述統計對象類型包括:節點、網絡埠、虛擬盤、卷和邏輯單元號。

進一步地,在所述分別將每個所述節點上的統計對象的計數器值進行匯總,生成統計記錄的步驟之後,所述集群設備性能同步統計方法還包括:

將所述統計記錄存入所述性能統計資料庫。

進一步地,所述集群設備性能同步統計方法還包括:

接收集群中作為一從節點的第二節點發送的包含有所述第二節點的內存容量的數據信息;

將所述第二節點的內存容量與所述第一節點的內存容量進行比較;

若所述第二節點的內存容量小於所述第一節點的內存容量,則刪除所述性能統計資料庫中的部分統計記錄。

進一步地,所述集群設備性能同步統計方法還包括:

接收預設請求指令,其中,所述預設請求指令為查詢請求指令或導出請求指令;

根據所述預設請求指令攜帶的請求參數,在所述統計記錄中查找與所述請求參數相匹配的統計對象對應的第一統計記錄;

返回所述第一統計記錄給所述預設請求指令的發送方。

進一步地,所述集群設備性能同步統計方法還包括:

監測系統時間是否發生變更;

當監測到系統時間發生變更時,在預設採集時間到達時,獲取所述第一節點的當前系統時間;

將當前系統時間、上一次統計時間和預設採集時間進行運算,得到一運算 結果;

將所述運算結果的絕對值與預設值進行比較,若所述絕對值大於所述預設值,則進一步判斷所述運算結果是否小於零;

若所述運算結果小於零,則將所述統計記錄的統計時間減去所述運算結果的絕對值得到第一結果,將所述第一結果作為所述統計記錄的最新統計時間;否則,將所述統計記錄的統計時間加上所述運算結果的絕對值得到第二結果,將所述第二結果作為所述統計記錄的最新統計時間。

進一步地,所述集群設備性能同步統計方法還包括:

監測是否有對集群管理中存儲的統計對象數據的預處理操作,所述預處理操作為統計對象的增加操作或刪除操作;

若監測到有所述預處理操作,則獲取集群管理中存儲的統計對象數據以及統計對象的索引數組數據;

將所述統計對象數據與所述索引數組數據進行比對,依據比對結果對所述索引數組數據進行預處理。

本發明實施例提供一種集群設備性能同步統計系統,應用於集群設備中作為主節點的第一節點,其中,所述集群設備性能同步統計系統包括:

第一採集模塊,用於採集集群中包括第一節點在內的所有節點上的統計對象的計數器值;

第一統計記錄生成模塊,用於分別將每個所述節點上的統計對象的計數器值進行匯總處理,生成統計記錄;

第一同步模塊,用於將所述統計記錄同步到集群設備中的除第一節點外的其它節點。

進一步地,所述集群設備性能同步統計系統,還包括:

第一初始化模塊,用於在所述第一節點上電運行時,創建性能統計資料庫,並為預設的每種統計對象類型在資料庫上創建資料庫表;其中,

所述統計對象類型包括:節點、網絡埠、虛擬盤、卷和邏輯單元號。

進一步地,所述第一統計記錄生成模塊還用於:將所述統計記錄存入所述性能統計資料庫。

進一步地,所述集群設備性能同步統計系統還包括:

第一接收模塊,用於接收集群中作為一從節點的第二節點發送的包含有所述第二節點的內存容量的數據信息;

比較模塊,用於將所述第二節點的內存容量與所述第一節點的內存容量進行比較;

刪除模塊,若所述第二節點的內存容量小於所述第一節點的內存容量,則用於刪除所述性能統計資料庫中的部分統計記錄。

進一步地,所述集群設備性能同步統計系統還包括:

第二接收模塊,用於接收預設請求指令,其中,所述預設請求指令為查詢請求指令或導出請求指令;

查找模塊,用於根據所述預設請求指令攜帶的請求參數,在所述統計記錄中查找與所述請求參數相匹配的統計對象對應的第一統計記錄;

信息反饋模塊,用於返回所述第一統計記錄給所述預設請求指令的發送方。

進一步地,所述集群設備性能同步統計系統還包括:

第一監測模塊,用於監測系統時間是否發生變更;

時間獲取模塊,用於當監測到系統時間發生變更時,在預設採集時間到達時,獲取所述第一節點的當前系統時間;

計算模塊,用於將當前系統時間、上一次統計時間和預設採集時間進行運算,得到一運算結果;

判斷模塊,用於將所述運算結果的絕對值與預設值進行比較,若所述絕對值大於所述預設值,則進一步判斷所述運算結果是否小於零;

計算賦值模塊,若所述運算結果小於零,則將所述統計記錄的統計時間減去所述運算結果的絕對值得到第一結果,將所述第一結果作為所述統計記錄的最新統計時間;否則,將所述統計記錄的統計時間加上所述運算結果的絕對值得到第二結果,將所述第二結果作為所述統計記錄的最新統計時間。

所述集群設備性能同步統計系統還包括:

第二監測模塊,用於監測是否有對集群管理中存儲的統計對象數據的預處理操作,所述預處理操作為統計對象的增加操作或刪除操作;

統計對象獲取模塊,若監測到有所述預處理操作,則用於獲取集群管理中存儲的統計對象數據以及統計對象的索引數組數據;

比對處理模塊,用於將所述統計對象數據與所述索引數組數據進行比對,依據比對結果對所述索引數組數據進行預處理。

本發明實施例提供一種集群設備性能同步統計方法,應用於集群設備中作為從節點的第二節點,其中,所述集群設備性能同步統計方法包括:

獲取第一節點上的統計記錄,並將所述統計記錄進行存儲。

進一步地,在所述獲取第一節點上的統計記錄,並將所述統計記錄進行存儲的步驟之前,所述集群設備性能同步統計方法還包括:

在所述第二節點上電運行時,創建性能統計資料庫,並為預設的每種統計對象類型在資料庫上創建資料庫表;其中,

所述統計對象類型包括:節點、網絡埠、虛擬盤、卷和邏輯單元號。

進一步地,所述集群設備性能同步統計方法還包括:

檢測是否生成由第二節點變為第一節點的變化信號;

若生成所述變化信號,則採集集群中上電的包括所述第二節點在內的所有節點上的統計對象的計數器值;

分別將每個所述節點上的統計對象的計數器值進行匯總處理,生成統計記錄;

將所述統計記錄同步到集群設備中的除所述第二節點外的其它節點。

本發明實施例提供一種集群設備性能同步統計系統,應用於集群設備中作為從節點的第二節點,其中,所述集群設備性能同步統計系統包括:

獲取模塊,用於獲取第一節點上的統計記錄,並將所述統計記錄進行存儲。

進一步地,所述集群設備性能同步統計系統還包括:

第二初始化模塊,用於在所述第二節點上電運行時,創建性能統計資料庫,並為預設的每種統計對象類型在資料庫上創建資料庫表;其中,

所述統計對象類型包括:節點、網絡埠、虛擬盤、卷和邏輯單元號。

進一步地,所述集群設備性能同步統計系統還包括:

檢測模塊,用於檢測是否生成由第二節點變為第一節點的變化信號;

第二採集模塊,若生成所述變化信號,則採集集群中上電的包括所述第二節點在內的所有節點上的統計對象的計數器值;

第二統計記錄生成模塊,用於分別將每個所述節點上的統計對象的計數器 值進行匯總處理,生成統計記錄;

第二同步模塊,用於將所述統計記錄同步到集群設備中的除所述第二節點外的其它節點。

本發明的有益效果是:

上述方案,通過利用集群中主節點統計集群中各個節點上的統計對象的計數器值,生成統計記錄,並將該統計記錄同步到集群中的每個從節點,以此保證了集群的主節點在下電或宕機時,集群中的從節點也可以根據其同步的統計記錄,繼續完成主節點的工作,保證了集群性能統計的高度可持續。

附圖說明

圖1表示本發明實施例的應用於主節點的集群設備性能同步統計方法的總體流程圖;

圖2表示本發明實施例的應用於主節點的集群設備性能同步統計系統的模塊示意圖;

圖3表示本發明實施例的主節點與從節點上的集群設備性能同步統計系統的交互示意圖;

圖4表示本發明實施例的集群設備性能同步統計系統對異常情況一的處理流程圖;

圖5表示本發明實施例的集群設備性能同步統計系統對異常情況二的處理流程圖;

圖6表示本發明實施例的集群設備性能同步統計系統對異常情況三的處理流程圖一;

圖7表示本發明實施例的集群設備性能同步統計系統對異常情況三的處理流程圖二;

圖8表示本發明實施例的集群設備性能同步統計系統對異常情況四的處理流程圖;

圖9表示本發明實施例的集群設備性能同步統計系統對異常情況五的處理流程圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚,下面將結合附圖及具體實施例對本發明進行詳細描述。

本發明針對現有的集群中在採用傳統統計方式進行設備性能統計時,不能動態監測集群中每個節點的變化,造成集群性能統計的可持續性不高的問題,如圖1所示,提供一種集群設備性能同步統計方法,應用於集群設備中作為主節點的第一節點,其中,所述集群設備性能同步統計方法包括:

步驟110,採集集群中包括第一節點在內的所有節點上的統計對象的計數器值;

步驟120,分別將每個所述節點上的統計對象的計數器值進行匯總處理,生成統計記錄;

步驟130,將所述統計記錄同步到集群設備中的除第一節點外的其它節點。

本發明上述方案,通過利用集群中主節點來統計集群中各個節點上的統計對象的計數器值,生成統計記錄,並將該統計記錄同步到集群中的每個從節點,以此保證了集群的主節點在下電或宕機時,集群中的從節點也可以根據其同步的統計記錄,繼續完成主節點的工作,保持了集群性能統計的高度可持續性。

應當說明的是,步驟110中,每個節點上的統計對象是集群設備管理員預先定義好,且保存在集群的節點中的,集群中的每個節點在運行時,會隨著自身的運行採集針對這些統計對象生成的數據信息,然後節點對這些數據信息進行處理,將獲取的結果保存在節點的計數器中,應當說明的是,所述計數器可以看作是節點上存放統計對象的數據信息的一存儲區域。應當說明的是,由統計對象的數據信息到將此數據信息進行加工處理後存放在存儲區域的過程為本領域技術人員所熟知的,在此不再進行詳細的說明。

所述步驟120為在集群的主節點上匯總統計對象的計數器值,生成統計記錄的過程,主要實現方式為:根據統計對象的計數器值,利用相應的計算方式,比如說流量統計,由公式執行流量計數器值/統計時間間隔得到;而計算緩存命中率,由公式執行命中次數/(命中次數+丟失次數)計算得到。根據不同計算方式加工計數器值為可讀的數據項,統計對象的統計記錄由多個這樣的數據項組成。

所述步驟130實現的便是將統計記錄同步到集群中的其它節點,其實現方式可以:在達到固定的時間間隔後,主節點向其它從節點發送自身保存的統計記錄,以實現與從節點上數據的共享。

應當說明的是,所述統計記錄應按照統計對象類型進行一一存儲,而為了方便的實現對數據的查詢與管理,現在通常使用資料庫進行數據的保存,因此在集群主節點首次上電運行時,需要先創建一個保存統計記錄的資料庫,具體的實現方法為:

在步驟110之前,所述集群設備性能同步統計方法還包括:在所述第一節點上電運行時,創建性能統計資料庫,並為預設的每種統計對象類型在資料庫上創建資料庫表;其中,

所述統計對象類型包括:節點、網絡埠、虛擬盤、卷和邏輯單元號。

應當說明的是,根據創建的性能統計資料庫,在獲取得到每個對象的統計記錄後,所述集群設備性能同步統計方法還包括:

將所述統計記錄存入所述性能統計資料庫。應當說明的是,依據統計對象類型為每個統計對象類型建立一個資料庫表,在進行統計信息記錄時,依據統計對象的類型將統計記錄一一對應存儲到性能統計資料庫相應的資料庫表中。例如:統計對象為埠1、埠2、虛擬盤a和卷1,在獲取得到每個統計對象的統計記錄時,需要將埠1和埠2的統計記錄存入網絡埠資料庫表中,將虛擬盤a的統計記錄存入虛擬盤資料庫表中,將卷1的統計記錄存入卷資料庫表中。同時,所述統計對象類型以及統計對象可以根據集群設備在實際運行時的統計需求進行實時的增加或刪除。通過按照統計對象類型存儲每個統計對象的統計記錄,方便了對統計信息的管理。

因本發明中的所述資料庫需要實現在集群的主節點和從節點上的共享,即主節點和從節點上均保存一份相同的性能統計資料庫,因此,需保證主節點和從節點均能容納所述性能統計資料庫,因此,本發明中,所述集群設備性能同步統計方法還包括:

接收集群中作為一從節點的第二節點發送的包含有所述第二節點的內存容量的數據信息;

將所述第二節點的內存容量與所述第一節點的內存容量進行比較;

若所述第二節點的內存容量小於所述第一節點的內存容量,則刪除所述性能統計資料庫中的部分統計記錄。

應當說明的是,當從節點容量大於主節點容量時,不需對資料庫進行刪除操作,在進行資料庫的刪除時,應按照時間順序,刪除最早生成的統計記錄,而保留最近最新的統計記錄。

同時,因資料庫佔用內存,不能無限保存數據,需要確定限制方式,採用每種統計對象類型的統計對象限制一個最大統計記錄數,根據保存時間多久決定最大統計記錄數,例如設定的統計對象的統計記錄需保存一天,且統計對象的計數器的採集時間間隔為15秒,則最大統計記錄數為24*60*60/15=5760條,保存統計記錄之前,判斷當前的統計對象的統計記錄條數是否達到最大值,如果達到最大值,需要刪除該統計對象的最老的一條統計記錄,這時才能將新統計記錄保存到資料庫中,新統計記錄由資料庫同步機制同步到其他從節點資料庫中。

為了方便集群管理員根據統計記錄能對集群進行更好的管理,本發明的所述集群設備性能同步統計方法還包括:

接收預設請求指令,其中,所述預設請求指令為查詢請求指令或導出請求指令;

根據所述預設請求指令攜帶的請求參數(應當說明的是,所述請求參數中包含的數據可以為統計對象ID、測量類型或時間區間),在所述統計記錄中查找與所述請求參數相匹配的統計對象對應的第一統計記錄;

返回所述第一統計記錄給所述預設請求指令的發送方。

需要說明的是,在依據統計對象ID進行統計記錄查看時,根據集群管理員輸入的統計對象ID,先跟某種類型統計對象數組裡的元素ID進行匹配,如果沒有匹配到直接返回統計對象不存在錯誤,否則從資料庫查詢出所有該統計對象的統計記錄,依據時間區間,比如說1小時,過濾得到最近1小時的若干條統計記錄,根據測量類型,測量類型包括流量、時延、IOPS(Input/Output Operations Per Second,即每秒進行讀寫操作的次數)等,然後將每條統計記錄的所需欄位(比如節點統計流量對象測量類型)提取出來,作為查詢響應。因節點上保存資料庫的空間有限,而資料庫中的某些統計對象可能需要長久的進行保存,在 此時,便需要手動的將資料庫中的某些對象導出,存儲到其它設備中,導出統計記錄請求攜帶參數只有統計對象ID或不帶,如果帶有統計對象ID,則根據統計對象ID,先與某種類型統計對象數組裡的元素ID進行匹配,如果沒有匹配到直接返回統計對象不存在錯誤,否則從資料庫查詢出該統計對象的所有統計記錄,如果請求攜帶參數不帶統計對象ID,則查詢全部統計對象的所有統計記錄,將查詢到的統計記錄保存到一個文件中,將文件發給請求者,同時刪除該文件。

因一條統計記錄對應一個唯一統計時間,如果最開始設備系統時間不正確,在進行統計時,這些錯誤的日期會加入到統計記錄中,後面更正了設備系統時間,前面生成的統計記錄的統計時間沒有得到更正,會造成保存的統計記錄的時間不準的問題,因此,本發明的所述集群設備性能同步統計方法還包括:

監測系統時間是否發生變更;系統時間的變更主要指集群管理員在發現系統時間不正確時,對系統時間的調整;

當監測到系統時間發生變更時,在預設採集時間到達時,獲取所述第一節點的當前系統時間;

將當前系統時間、上一次統計時間和預設採集時間進行運算,得到一運算結果;

將所述運算結果的絕對值與預設值進行比較,若所述絕對值大於所述預設值,則進一步判斷所述運算結果是否小於零;

若所述運算結果小於零,則將所述統計記錄的統計時間減去所述運算結果的絕對值得到第一結果,將所述第一結果作為所述統計記錄的最新統計時間;否則,將所述統計記錄的統計時間加上所述運算結果的絕對值得到第二結果,將所述第二結果作為所述統計記錄的最新統計時間。

應當說明的是,只有在系統時間調整時才進行上述步驟,通過在更正系統時間後,對統計記錄的統計時間進行相應的調整,保證了一個統計對象在一個時刻只對應一條唯一的統計記錄。

因集群中存儲有眾多的統計對象,為了方便對所述統計對象的管理,一般將所述統計對象存放在資料庫中,但是,在進行統計對象的統計記錄的查看時,檢索資料庫中的統計對象,會存在數據讀取速度慢,耗時較長的問題,因此,需依據資料庫中的統計對象建立統計對象的索引數組,在進行統計對象的統計 記錄的查看時,依據統計對象的索引數組查找相應的統計記錄,此種方式提高了數據的讀取速率。無論是統計對象的刪除還是增加,都先要對資料庫進行修改,為了保證資料庫中的統計對象與統計對象的索引數組一致,本發明的所述集群設備性能同步統計方法還包括:

監測是否有對集群管理中存儲的統計對象數據的預處理操作,所述預處理操作為統計對象的增加操作或刪除操作;

若監測到有所述預處理操作,則獲取集群管理中存儲的統計對象數據以及統計對象的索引數組數據;

將所述統計對象數據與所述索引數組數據進行比對,依據比對結果對所述索引數組數據進行預處理。

應當說明的是,當增加了統計對象時,需將資料庫中存儲的統計對象數據與統計對象的索引數組數據進行比對,比對得到索引數組數據中未存在的統計對象則為新增的統計對象,此時要將該統計對象增加到所述索引數組數據中;當刪除了統計對象時,將資料庫中存儲的統計對象數據與統計對象的索引數組數據進行比對後,會發現索引數組數據中的某些統計對象在資料庫中存儲的統計對象數據中不存在,此時,便需將該不存的統計對象在索引數組數據中刪除。

上述方案,集群中的主節點負責從集群各個節點採集節點設備統計對象的計數器信息並進行處理、存儲、且同步到其它節點,同時還提供性能統計數據查詢,保證了集群性能統計的高度可靠性。

如圖2所示,本發明實施例提供一種集群設備性能同步統計系統,應用於集群設備中作為主節點的第一節點,其中,所述集群設備性能同步統計系統包括:

第一採集模塊101,用於採集集群中包括第一節點在內的所有節點上的統計對象的計數器值;

第一統計記錄生成模塊102,用於分別將每個所述節點上的統計對象的計數器值進行匯總處理,生成統計記錄;

第一同步模塊103,用於將所述統計記錄同步到集群設備中的除第一節點外的其它節點。

進一步地,所述集群設備性能同步統計系統,還包括:

第一初始化模塊,用於在所述第一節點上電運行時,創建性能統計資料庫,並為預設的每種統計對象類型在資料庫上創建資料庫表;其中,

所述統計對象類型包括:節點、網絡埠、虛擬盤、卷和邏輯單元號。

進一步地,所述第一統計記錄生成模塊102還用於:將所述統計記錄存入所述性能統計資料庫。

進一步地,所述集群設備性能同步統計系統還包括:

第一接收模塊,用於接收集群中作為一從節點的第二節點發送的包含有所述第二節點的內存容量的數據信息;

比較模塊,用於將所述第二節點的內存容量與所述第一節點的內存容量進行比較;

刪除模塊,若所述第二節點的內存容量小於所述第一節點的內存容量,則用於刪除所述性能統計資料庫中的部分統計記錄。

進一步地,所述集群設備性能同步統計系統還包括:

第二接收模塊,用於接收預設請求指令,其中,所述預設請求指令為查詢請求指令或導出請求指令;

查找模塊,用於根據所述預設請求指令攜帶的請求參數,在所述統計記錄中查找與所述請求參數相匹配的統計對象對應的第一統計記錄;

信息反饋模塊,用於返回所述第一統計記錄給所述預設請求指令的發送方。

進一步地,所述集群設備性能同步統計系統還包括:

第一監測模塊,用於監測系統時間是否發生變更;

時間獲取模塊,用於當監測到系統時間發生變更時,在預設採集時間到達時,獲取所述第一節點的當前系統時間;

計算模塊,用於將當前系統時間、上一次統計時間和預設採集時間進行運算,得到一運算結果;

判斷模塊,用於將所述運算結果的絕對值與預設值進行比較,若所述絕對值大於所述預設值,則進一步判斷所述運算結果是否小於零;

計算賦值模塊,若所述運算結果小於零,則將所述統計記錄的統計時間減去所述運算結果的絕對值得到第一結果,將所述第一結果作為所述統計記錄的最新統計時間;否則,將所述統計記錄的統計時間加上所述運算結果的絕對值 得到第二結果,將所述第二結果作為所述統計記錄的最新統計時間。

可選地,所述集群設備性能同步統計系統還包括:

第二監測模塊,用於監測是否有對集群管理中存儲的統計對象數據的預處理操作,所述預處理操作為統計對象的增加操作或刪除操作;

統計對象獲取模塊,若監測到有所述預處理操作,則用於獲取集群管理中存儲的統計對象數據以及統計對象的索引數組數據;

比對處理模塊,用於將所述統計對象數據與所述索引數組數據進行比對,依據比對結果對所述索引數組數據進行預處理。

需要說明的是,該集群設備性能同步統計系統是與上述集群設備性能同步統計方法相對應的系統,上述集群設備性能同步統計方法的所有實現方式均適用於該集群設備性能同步統計系統中,也能達到與上述集群設備性能同步統計方法相同的技術效果。

本發明實施例還提供一種集群設備性能同步統計方法,應用於集群設備中作為從節點的第二節點,其中,所述集群設備性能同步統計方法包括:

獲取第一節點上的統計記錄,並將所述統計記錄進行存儲。

可選地,在所述獲取第一節點上的統計記錄,並將所述統計記錄進行存儲的步驟之前,所述集群設備性能同步統計方法還包括:

在所述第二節點上電運行時,創建性能統計資料庫,並為預設的每種統計對象類型在資料庫上創建資料庫表;其中,

所述統計對象類型包括:節點、網絡埠、虛擬盤、卷和邏輯單元號。

需要說明的是,因從節點和主節點對應的統計對象可能不同,因此在從節點首次上電時,也需要針對自身的統計對象建立性能統計資料庫,然後在與主節點進行交互時,在將從主節點獲取的統計記錄保存到自身的性能統計資料庫中。

需要說明的是,集群在運行過程中,主節點可能會出現斷電下機的情況,因此,為了保證集群中的統計數據不發生間斷,本發明的所述集群設備性能同步統計方法還包括:

檢測是否生成由第二節點變為第一節點的變化信號;

若生成所述變化信號,則採集集群中上電的包括所述第二節點在內的所有 節點上的統計對象的計數器值;

分別將每個所述節點上的統計對象的計數器值進行匯總處理,生成統計記錄;

將所述統計記錄同步到集群設備中的除所述第二節點外的其它節點。

應當說明的是,在主節點發生下電或宕機時,通過選用從節點中的一個節點實現主節點的功能,進行統計數據採集以及統計記錄的生成,將此從節點作為主節點來使用,且此節點能實現上述主節點的所有功能,確保了集群性能統計的高度可持續。

針對於上述集群設備性能同步統計方法,本發明實施例提供一種集群設備性能同步統計系統,應用於集群設備中作為從節點的第二節點,其中,所述集群設備性能同步統計系統包括:

獲取模塊,用於獲取第一節點上的統計記錄,並將所述統計記錄進行存儲。

進一步地,所述集群設備性能同步統計系統還包括:

第二初始化模塊,用於在所述第二節點上電運行時,創建性能統計資料庫,並為預設的每種統計對象類型在資料庫上創建資料庫表;其中,

所述統計對象類型包括:節點、網絡埠、虛擬盤、卷和邏輯單元號。

進一步地,所述集群設備性能同步統計系統還包括:

檢測模塊,用於檢測是否生成由第二節點變為第一節點的變化信號;

第二採集模塊,若生成所述變化信號,則採集集群中上電的包括所述第二節點在內的所有節點上的統計對象的計數器值;

第二統計記錄生成模塊,用於分別將每個所述節點上的統計對象的計數器值進行匯總處理,生成統計記錄;

第二同步模塊,用於將所述統計記錄同步到集群設備中的除所述第二節點外的其它節點。

需要說明的是,該集群設備性能同步統計系統是與上述集群設備性能同步統計方法相對應的系統,上述集群設備性能同步統計方法的所有實現方式均適用於該集群設備性能同步統計系統中,也能達到與上述集群設備性能同步統計方法相同的技術效果。

結合上述實施例以及實際的使用情況,對上述集群設備性能同步統計系統 具體舉例說明如下:

所述集群設備性能同步統計系統按照功能可以劃分為:上電初始化單元11、原始計數器值採集單元12、性能統計數據生成單元13、主從節點交互單元14、接管性能統計單元15和查詢和導出統計數據單元16。需要說明的是,集群的每個節點上均存在所述集群設備性能同步統計系統,但在實際應用中,主節點上的所述集群設備性能同步統計系統的工作單元為上電初始化單元11、原始計數器值採集單元12、性能統計數據生成單元13、主從節點交互單元14和查詢和導出統計數據單元16,接管性能統計單元15處於不工作的狀態;而主節點上的所述集群設備性能同步統計系統的工作單元為上電初始化單元11、主從節點交互單元14和接管性能統計單元15,原始計數器值採集單元12、性能統計數據生成單元13和查詢和導出統計數據單元16處於不工作的狀態;當主節點下電或宕機,從節點中的一個代替該主節點起作用時,此時該從節點上的原始計數器值採集單元12、性能統計數據生成單元13和查詢和導出統計數據單元16由不工作狀態轉為工作狀態,且接管性能統計單元15由工作狀態轉為不工作狀態;主節點和從節點的工作單元如圖3所示,圖3中主節點和從節點上處於不工作的單元未示出。

以上單元的主要功能為:

上電初始化單元11:在集群所有節點上電時運行,負責創建性能統計資料庫、為每種統計對象類型在資料庫上創建資料庫表、從節點同步資料庫數據(從節點發起同步性能統計資料庫同步請求,主節點上性能統計資料庫的各個統計對象類型表的數據同步到從節點上資料庫的相應表上,以後主節點上資料庫的數據變化都會同步增量到從節點資料庫上)、註冊節點狀態變化通知(一旦節點狀態變化就通知到接管性能統計單元15);

原始計數器值採集單元12:在集群主節點上運行,啟用數據採集定時器,採集間隔可以根據需要配置,例如配置15秒,定時器消息到達時,先通過集群管理獲取集群節點列表信息,依次取得集群節點列表中的節點的地址信息,向該節點的各個業務子系統發送消息請求獲取其上對應統計對象的原始計數器值和前後兩次統計時間間隔,並將獲得的各個統計對象的原始計數器值和前後兩次統計間隔發送給性能統計數據生成單元13;這裡需要說明的是業務子系統處 理請求後應將統計對象原始計數器值清零;

性能統計數據生成單元13:在集群主節點上運行,將採集到的集群各個節點的統計對象原始計數器值進行匯總加工(利用相應的計算方式,比如說流量統計,執行流量原始計數器值/統計時間間隔得到;而計算緩存命中率,執行命中次數/(命中次數+丟失次數)計算得到,根據不同計算方式加工原始計數器值為可讀的數據項,統計對象統計記錄由多個這樣的數據項組成,統計對象統計記錄需要存進資料庫),生成對用戶來說可讀性強的統計記錄,一個統計對象在一個統計時間點對應一條統計記錄,將統計記錄存進去資料庫,再由資料庫同步機制同步該統計記錄到所有集群從節點作為備份;同時,內存資料庫佔用內存,不能無限保存數據,需要確定限制方式,採用每種統計對象類型的統計對象限制一個最大統計記錄數,根據保存時間多久決定最大統計記錄數,在統計記錄保存之前,判斷當前的統計對象的統計記錄條數是否達到最大值,如果達到最大值,需要刪除該統計對象的最老的一條統計記錄,這時才能將新統計記錄保存到資料庫中,新統計記錄由資料庫同步機制同步到其他從節點資料庫中;

主從節點交互單元14:在集群從節點上電時候運行,向集群主節點告知自身節點設備的內存大小,主節點接收到請求,根據請求參數決定資料庫需要保留的數據;

接管性能統計單元15:因集群性能統計是在主節點上進行的,如果主節點出現異常,就無法正常進行性能統計;當集群主節點由於人為重啟或者未知原因宕機,集群管理在集群從節點中選舉出一個作為集群主節點,被新選舉為集群主節點的集群從節點的該接管性能統計單元15偵測到這種變化,接管性能統計任務,從資料庫讀出所有的統計對象保存到各種類型統計對象索引數組中,通知業務子系統清零各個原始計數器值,啟用定時器開始進行集群設備性能統計;

查詢和導出統計數據單元16:接收用戶發來的查詢請求,根據請求攜帶的參數,返回所有某個統計對象相應統計記錄,客戶端利用這些統計記錄畫動態統計曲線圖;接收用戶發出的導出請求,根據請求參數,以文件形式返回選擇統計對象的相應統計數據記錄,用戶選擇保存文件到本地目錄,實現整體查看或歷史統計記錄保存的目的。

應當說明的是,所述集群設備性能同步統計系統還需要對以下異常情況進行處理:

情況一:

原始計數器值是變量值,系統運行久了必然會出現溢出,並且又由於請求並不是每次都是成功的,如果出現失敗,性能統計數據生成單元就不知道具體的統計時間間隔,必然導致計算不夠精確。

針對情況一的處理方式為(如圖4所示):

步驟401,原始計數器值採集單元12初次請求業務子系統獲得統計對象原始計數器值;

步驟402,業務子系統記錄該次請求統計時間,返回原始計數器值,並清零原始計數器值;

步驟403,原始計數器值採集單元12再次請求業務子系統獲得原始計數器值;

步驟404,業務模塊十分忙,沒有及時響應請求,請求超時;

步驟405,原始計數器值採集單元12繼續請求業務模塊獲得原始計數器值;

步驟406,響應這次請求,計算當前的系統時間,該時間減去步驟202記錄的統計時間,作為兩個點之間的統計時間間隔,保存該系統時間作為該次請求統計時間,返回原始計數器值、統計間隔給原始計數器值採集單元12,並清零原始計數器值。

情況二:

一條統計記錄對應一個唯一統計時間,如果最開始設備系統時間不正確,在進行統計時,這些錯誤的日期會加入的統計記錄中,後面更正了設備系統時間,前面生成的統計記錄的統計時間沒有得到更正。

針對情況二的處理方式為(如圖5所示):

步驟501,系統時間不正常,性能統計數據生成單元13將統計記錄保存到資料庫中,記錄系統時間為最近一次統計時間;

步驟502,用戶更正系統時間;

步驟503,統計定時器到達,定時器周期為15秒,獲取當前系統時間,減去(最近一次統計系統的統計時間+15),然後取絕對值,如果絕對值大於某個 數,這裡配置為8秒,表明系統時間正在更正,這時判斷當前系統時間減去(最近一次統計系統的統計時間+15)小於0,說明是往回修改時間,將所有統計記錄的時間戳欄位值減去前面計算出來的絕對值保存,否則加上該絕對值保存,最後將當前系統時間記錄為最近一次統計時間。

情況三:

統計對象都會隨時動態地增加和刪除,如果統計對象增加,無法查詢到該統計對象的統計信息顯然是不應該,同理統計對象被刪除,需要刪除其所有統計記錄。

針對情況三的處理方式為:

1、增加統計對象(如圖6所示):

步驟601,用戶新增了統計對象;

步驟602,性能統計數據生成單元13,獲取當前集群所有統計對象;

步驟603,將上一步驟獲得的統計對象,依次在統計對象索引數組查詢,如果查詢不到,表明是統計對象為新增,在統計對象索引數組添加新統計對象,計算得到新統計對象的統計記錄保存到資料庫中。

2、刪除統計對象(如圖7所示)

步驟701,用戶刪除了統計對象;

步驟702,性能統計數據生成單元13,獲取當前集群統計對象;

步驟703,將統計對象索引數組保存的每個統計對象根據ID在上一步驟獲得的集群統計對象中查詢,如果查詢不到,表明統計對象已經被刪除。統計對象索引數組需要刪除該統計對象,並且從資料庫中刪除該統計對象的所有統計記錄。

情況四:

有些統計對象屬於整個集群,另一些屬於單個節點,對於屬於單個節點上的統計對象,只要沒有退出集群,仍然有可能隨節點運行出現,這樣就需要保證原來的統計記錄不刪除,在節點不運行的這段時間也需要進行統計,統計值需要以某種方式呈現。

針對情況四的處理方式為(如圖8所示):

步驟801,某個節點下電;

步驟802,獲取集群節點列表信息,根據節點狀態得到下電的節點;

步驟803,得到該下電節點的所有統計對象,進行性能統計時,該統計對象的統計記錄的數據欄位值全部置為零;

步驟804,將統計對象的統計記錄保存到資料庫中。

情況五:

原始計數器值採集單元發起獲取請求,由於業務模塊比較忙,來不及處理請求,定時採集性能統計數據單元不能長時間等待,因此獲取原始計數器值並不是每次都成功的,必須採取某種方式統計,讓用戶感覺系統沒有出現問題。

針對情況五的處理方式為(如圖9所示):

步驟901,原始計數器值採集單元12請求業務子系統獲得原始計數器值;

步驟902,業務子系統未及時響應,請求超期;

步驟903,當前統計對象的統計記錄的數據欄位採用該對象上次統計的統計記錄數字欄位賦值,新統計記錄僅修改統計時間;

步驟904,保存新統計記錄到資料庫中。

本發明實施例的所述集群設備性能同步統計系統主要特點為:1)集群中的主節點負責從集群各個節點採集節點設備統計對象原始計數器信息進行處理、存儲、同步,並提供性能統計數據查詢,實際上主節點相當於中心主機,當前主節點出現故障時,性能統計會交由新選舉出來的主節點繼續進行,保持性能統計的高度可持續;2)性能統計數據已經生成和保存在集群節點上,通過B/S模式和C/S模式均可以獲得數據統計數據;3)集群中出現節點加入或退出、卷統計對象切換運行節點、用戶增加和刪除統計對象等情況,可以動態及時偵測到,並且對其進行性能統計。

以上所述的是本發明的優選實施方式,應當指出對於本技術領域的普通人員來說,在不脫離本發明所述的原理前提下還可以作出若干改進和潤飾,這些改進和潤飾也在本發明的保護範圍內。

同类文章

一種新型多功能組合攝影箱的製作方法

一種新型多功能組合攝影箱的製作方法【專利摘要】本實用新型公開了一種新型多功能組合攝影箱,包括敞開式箱體和前攝影蓋,在箱體頂部設有移動式光源盒,在箱體底部設有LED脫影板,LED脫影板放置在底板上;移動式光源盒包括上蓋,上蓋內設有光源,上蓋部設有磨沙透光片,磨沙透光片將光源封閉在上蓋內;所述LED脫影

壓縮模式圖樣重疊檢測方法與裝置與流程

本發明涉及通信領域,特別涉及一種壓縮模式圖樣重疊檢測方法與裝置。背景技術:在寬帶碼分多址(WCDMA,WidebandCodeDivisionMultipleAccess)系統頻分復用(FDD,FrequencyDivisionDuplex)模式下,為了進行異頻硬切換、FDD到時分復用(TDD,Ti

個性化檯曆的製作方法

專利名稱::個性化檯曆的製作方法技術領域::本實用新型涉及一種檯曆,尤其涉及一種既顯示月曆、又能插入照片的個性化檯曆,屬於生活文化藝術用品領域。背景技術::公知的立式檯曆每頁皆由月曆和畫面兩部分構成,這兩部分都是事先印刷好,固定而不能更換的。畫面或為風景,或為模特、明星。功能單一局限性較大。特別是畫

一種實現縮放的視頻解碼方法

專利名稱:一種實現縮放的視頻解碼方法技術領域:本發明涉及視頻信號處理領域,特別是一種實現縮放的視頻解碼方法。背景技術: Mpeg標準是由運動圖像專家組(Moving Picture Expert Group,MPEG)開發的用於視頻和音頻壓縮的一系列演進的標準。按照Mpeg標準,視頻圖像壓縮編碼後包

基於加熱模壓的纖維增強PBT複合材料成型工藝的製作方法

本發明涉及一種基於加熱模壓的纖維增強pbt複合材料成型工藝。背景技術:熱塑性複合材料與傳統熱固性複合材料相比其具有較好的韌性和抗衝擊性能,此外其還具有可回收利用等優點。熱塑性塑料在液態時流動能力差,使得其與纖維結合浸潤困難。環狀對苯二甲酸丁二醇酯(cbt)是一種環狀預聚物,該材料力學性能差不適合做纖

一種pe滾塑儲槽的製作方法

專利名稱:一種pe滾塑儲槽的製作方法技術領域:一種PE滾塑儲槽一、 技術領域 本實用新型涉及一種PE滾塑儲槽,主要用於化工、染料、醫藥、農藥、冶金、稀土、機械、電子、電力、環保、紡織、釀造、釀造、食品、給水、排水等行業儲存液體使用。二、 背景技術 目前,化工液體耐腐蝕貯運設備,普遍使用傳統的玻璃鋼容

釘的製作方法

專利名稱:釘的製作方法技術領域:本實用新型涉及一種釘,尤其涉及一種可提供方便拔除的鐵(鋼)釘。背景技術:考慮到廢木材回收後再加工利用作業的方便性與安全性,根據環保規定,廢木材的回收是必須將釘於廢木材上的鐵(鋼)釘拔除。如圖1、圖2所示,目前用以釘入木材的鐵(鋼)釘10主要是在一釘體11的一端形成一尖

直流氧噴裝置的製作方法

專利名稱:直流氧噴裝置的製作方法技術領域:本實用新型涉及ー種醫療器械,具體地說是ー種直流氧噴裝置。背景技術:臨床上的放療過程極易造成患者的局部皮膚損傷和炎症,被稱為「放射性皮炎」。目前對於放射性皮炎的主要治療措施是塗抹藥膏,而放射性皮炎患者多伴有局部疼痛,對於止痛,多是通過ロ服或靜脈注射進行止痛治療

新型熱網閥門操作手輪的製作方法

專利名稱:新型熱網閥門操作手輪的製作方法技術領域:新型熱網閥門操作手輪技術領域:本實用新型涉及一種新型熱網閥門操作手輪,屬於機械領域。背景技術::閥門作為流體控制裝置應用廣泛,手輪傳動的閥門使用比例佔90%以上。國家標準中提及手輪所起作用為傳動功能,不作為閥門的運輸、起吊裝置,不承受軸向力。現有閥門

用來自動讀取管狀容器所載識別碼的裝置的製作方法

專利名稱:用來自動讀取管狀容器所載識別碼的裝置的製作方法背景技術:1-本發明所屬領域本發明涉及一種用來自動讀取管狀容器所載識別碼的裝置,其中的管狀容器被放在循環於配送鏈上的文檔匣或託架裝置中。本發明特別適用於,然而並非僅僅專用於,對引入自動分析系統的血液樣本試管之類的自動識別。本發明還涉及專為實現讀