一種基於同步策略的測試和調整集群存儲系統性能的方法
2023-09-15 03:02:30 1
專利名稱：一種基於同步策略的測試和調整集群存儲系統性能的方法
技術領域：
本發明涉及一種計算機應用技術領域，具體地說是一種基於同步策略的測試和調整集群存儲系統性能的方法，本發明適用於目前業界流行的集群存儲系統中。
背景技術：
計算機集群簡稱集群是一種計算機系統它通過一組鬆散集成的計算機軟體和硬體連接起來高度緊密地協作完成計算工作。目前，由於個人及企業數據的大量增長，集群存儲系統發展迅速，但是目前對於集群存儲系統的系能測試方面，基本還是延照單個節點性能測試的方法，然後將各個節點的性能測試結果累加的方法來衡量集群存儲系統的性能。 這種方法，雖然簡單，但是不夠嚴謹和科學。目前，比較流行的性能測試工具如iozone，iometer等，雖然能夠多線程，多進程測試讀寫帶寬，也提供了比較多的測試選項，可以測試隨機讀、隨機寫、順序讀、順序寫的性能指標，但是，這些工具只是針對單個節點的讀寫帶寬做測試。如果需要測試整個集群系統的性能，如果只是簡單的將多個節點的性能測試結果做一個累加，由於時間的不同步性並且各個節點的進程結束的不同步性，測試結果往往不夠準確。因此，基於集群存儲系統架構設計測試工具，就迫在眉睫。
發明內容
本發明的目的是提供一種基於同步策略的測試和調整集群存儲系統性能的方法。本發明的目的方法是按以下方式實現的，包含數據節點模塊組、控制模塊組和客戶端節點模塊組三大模塊組三大模塊組相互配合和通信，以控制模塊組為核心，共同完成系統測試和監控任務，其中，控制模塊組負責負載調度和均衡所有模塊，收集測試結果和同步所有模塊的時間，數據節點模塊組用於收集數據節點監控信息和時間同步，客戶端節點模塊組用於模擬讀寫操作、收集客戶端節點的監控數據並實現時間同步，其中
數據節點模塊組包含數據性能監控模塊、時間同步模塊和通信控制模塊三個子模塊， 其中，數據性能監控模塊用於收集數據節點的網絡負載、CPU負載信息，時間同步模塊用於和控制模塊組同步時間，數據性能監控模塊和時間同步模塊與控制模塊組的信息交互是通過通信控制模塊和控制模塊組的通信控制模塊完成的；
控制模塊組包含負載調度模塊，信息收集模塊、結果計算模塊、時間同步控制模塊、通信控制模塊1和通信控制模塊2組成；控制模塊組包含負載調度模塊和時間同步控制模塊， 能夠使得各個節點上的讀寫操作更加均衡和更好的一致與同步性，負載調度模塊在收到結果計算模塊的結果時，此模塊將調度和調整各個客戶端的讀寫模擬模塊，使得各個客戶端節點讀寫操作更加均衡，保證各個節點時間和讀寫操作的同步性；
客戶端節點模塊組包含讀寫模擬模塊、性能監控模塊、時間同步模塊和通信模塊，讀寫模擬模塊負責在客戶端節點上模擬讀寫操作，並接受負載調度模塊的調度，調整讀寫操作， 性能監控模塊負責收集客戶端節點的性能、CPU負載、網絡負載信息。本發明的優異效果是，這種方法適應集群存儲系統的架構和測試需求，同時可以監控各個節點的讀寫性能，易於發現集群系統的性能瓶頸，並且由於引入了時間同步和負載調度的功能，使得各個節點上的測試可以同步完成，測試出的結果更可靠，更科學。在這種模式下，由於測試工具對整個系統的所有節點都有流量監控，因此如果系統的性能出現問題的時候，很容易找到瓶頸，從而實現快速尋找故障，排除故障的目的。對於系統的調試和故障診斷，起到關鍵作用。本軟體部署時，需要在集群存儲系統的數據節點上部署數據節點模塊組，在客戶端節點上部署客戶端節點模塊組。控制模塊組可以根據需要部署在集群內的任一節點上。
圖1集群存儲性能測試軟體架構圖； 圖2集群存儲系統架構圖。
具體實施例方式參照說明書附圖對本發明的方法作以下詳細地說明。本發明方法包含三大模塊組數據節點模塊組、控制模塊組和客戶端節點模塊組。 三大模塊組相互配合和通信，以統籌和控制模塊組為核心，共同完成系統測試和監控任務。 其中，控制模塊組負責負載調度和均衡所有模塊，收集測試結果和同步所有模塊的時間。數據節點模塊組用於收集數據節點監控信息和時間同步。客戶端節點模塊組用於模擬讀寫操作、收集客戶端節點的監控數據並實現時間同步。數據節點模塊組包含三個子模塊數據性能監控模塊、時間同步模塊和通信控制模塊。其中，數據性能監控模塊用於收集數據節點的網絡負載、CPU負載等信息，時間同步模塊用於和控制模塊組同步時間。數據性能監控模塊和時間同步模塊與控制模塊組的信息交互是通過通信控制模塊和控制模塊組的通信控制模塊2完成的。控制模塊組包含負載調度模塊，信息收集模塊、結果計算模塊、時間同步控制模塊、通信控制模塊1和通信控制模塊2組成，其中，信息收集模塊負責收集各個模塊的監控信息，然後反饋給結果計算模塊，然後由結果計算模塊分別計算出所有客戶端節點的性能累加和所有數據節點監控到的性能累加。同時，結果計算模塊要計算出各個客戶端節點之間的性能差異，此時，如果各個客戶端節點性能差異超過一定值，就調用負載調度模塊調度和均衡各個客戶端節點的讀寫模擬模塊，使得各個客戶端節點性能均衡。其中，通信控制模塊1負責和所有客戶端節點模塊組的通信。通信控制模塊2負責和所有的數據節點模塊組通信。時間同步控制模塊負責同步整個系統的時間，保證測試的一致性和同步性。這就是本方法的核心，利用時間同步控制模塊保證各個節點的時間的同步，利用負載調度模塊保證各個節點的讀寫操作的同步性。客戶端節點模塊組包含讀寫模擬模塊、性能監控模塊、時間同步模塊和通信控制模塊。讀寫模擬模塊負責在客戶端節點上模擬讀寫操作，並接受負載調度模塊的調度，調整讀寫操作。性能監控模塊負責收集客戶端節點的性能、CPU負載、網絡負載等信息。
本發明的方法適應集群存儲系統的架構和測試需求，同時可以監控各個節點的讀寫性能，易於發現集群系統的性能瓶頸，並且由於引入了時間同步和負載調度的功能，使得各個節點上的測試可以同步完成，測試出的結果更可靠，更科學。除說明書所述的技術特徵外，均為本專業技術人員的已知技術。
權利要求
1. 一種基於同步策略的測試和調整集群存儲系統性能的方法，其特徵在於包含數據節點模塊組、控制模塊組和客戶端節點模塊組三大模塊組三大模塊組相互配合和通信，以控制模塊組為核心，共同完成系統測試和監控任務，其中，控制模塊組負責負載調度和均衡所有模塊，收集測試結果和同步所有模塊的時間，數據節點模塊組用於收集數據節點監控信息和時間同步，客戶端節點模塊組用於模擬讀寫操作、收集客戶端節點的監控數據並實現時間同步，其中數據節點模塊組包含數據性能監控模塊、時間同步模塊和通信控制模塊三個子模塊， 其中，數據性能監控模塊用於收集數據節點的網絡負載、CPU負載信息，時間同步模塊用於和控制模塊組同步時間，數據性能監控模塊和時間同步模塊與控制模塊組的信息交互是通過通信控制模塊和控制模塊組的通信控制模塊完成的；控制模塊組包含負載調度模塊，信息收集模塊、結果計算模塊、時間同步控制模塊、通信控制模塊1和通信控制模塊2組成，其中，信息收集模塊負責收集各個模塊的監控信息， 反饋給結果計算模塊，然後由結果計算模塊分別計算出所有客戶端節點的性能累加和所有數據節點監控到的性能累加，同時，結果計算模塊要計算出各個客戶端節點之間的性能差異，此時，如果各個客戶端節點性能差異超過一定值，就調用負載調度模塊調度和均衡各個客戶端節點的讀寫模擬模塊，使得各個客戶端節點性能均衡，其中，通信控制模塊1負責與所有客戶端節點模塊組的通信，通信控制模塊2負責與所有的數據節點模塊組通信，時間同步控制模塊負責同步整個系統的時間，保證測試的一致性和同步性，利用時間同步控制模塊保證各個節點的時間的同步，利用負載調度模塊保證各個節點的讀寫操作的同步性；客戶端節點模塊組包含讀寫模擬模塊、性能監控模塊、時間同步模塊和通信模塊，讀寫模擬模塊負責在客戶端節點上模擬讀寫操作，並接受負載調度模塊的調度，調整讀寫操作， 性能監控模塊負責收集客戶端節點的性能、CPU負載、網絡負載信息。
全文摘要
本發明提供一種基於同步策略的測試和調整集群存儲系統性能的方法，該方法包含數據節點模塊組、控制模塊組和客戶端節點模塊組三大模塊組三大模塊組相互配合和通信，以控制模塊組為核心，共同完成系統測試和監控任務，其中，控制模塊組負責負載調度和均衡所有模塊，收集測試結果和同步所有模塊的時間，數據節點模塊組用於收集數據節點監控信息和時間同步，客戶端節點模塊組用於模擬讀寫操作、收集客戶端節點的監控數據並實現時間同步。
文檔編號H04L12/26GK102291449SQ20111022581
公開日2011年12月21日 申請日期2011年8月8日 優先權日2011年8月8日
發明者侯志敏, 張敬海 申請人:浪潮電子信息產業股份有限公司