雲公共服務平臺下的大規模計算機資源的監控和調度方法

2023-05-18 19:09:06 2

專利名稱：雲公共服務平臺下的大規模計算機資源的監控和調度方法
技術領域：
本發明涉及一種雲公共服務平臺下的大規模計算機資源的監控和調度方法。
背景技術：
雲計算是繼1980年代大型計算機到客戶端-伺服器的大轉變之後的又一種巨變。用戶不再需要了解「雲」中基礎設施的細節，不必具有相應的專業知識，也無需直接進行控制。雲計算描述了一種基於網際網路的新的IT服務增加、使用和交付模式，通常涉及通過網際網路來提供動態易擴展而且經常是虛擬化的資源。雲其實是網絡、網際網路的一種比喻說法。因為過去在圖中往往用雲來表示電信網，後來也用來表示網際網路和底層基礎設施的抽象。典型的雲計算提供商往往提供通用的網絡業務應用，可以通過瀏覽器等軟體或者其他Web服務來訪問，而軟體和數據都存儲在伺服器上。雲計算關鍵的要素，還包括個性化的用戶體驗。網際網路上的雲計算服務特徵和自然界的雲、水循環具有一定的相似性，因此，雲是一個相當貼切的比喻。通常雲計算服務應該具備以下幾條特徵1)基於虛擬化技術快速部署資源或獲得服務；2)實現動態的、可伸縮的擴展；3)按需求提供資源、按使用量付費；4)通過網際網路提供、面向海量信息處理；5)用戶可以方便地參與；6)形態靈活，聚散自如；7)減少用戶終端的處理負擔；8)降低了用戶對於IT專業知識的依賴。虛擬化是一個廣義的術語，是指計算元件在虛擬的基礎上而不是真實的基礎上運行，是一個為了簡化管理，優化資源的解決方案。這種把有限的固定的資源根據不同需求進行重新規劃以達到最大利用率的思路，在IT領域就叫做虛擬化技術。虛擬化技術可以擴大硬體的容量，簡化軟體的重新配置過程。CPU的虛擬化技術可以單CPU模擬多CPU並行，允許一個平臺同時運行多個作業系統，並且應用程式都可以在相互獨立的空間內運行而互不影響，從而顯著提高計算機的工作效率。通過軟體模擬的具有完整硬體系統功能的、運行在一個完全隔離環境中的完整計算機系統。通過虛擬機軟體，你可以在一臺物理計算機上模擬出一臺或多臺虛擬的計算機，這些虛擬機完全就像真正的計算機那樣進行工作，例如你可以安裝作業系統、安裝應用程式、訪問網絡資源等等。對於你而言，它只是運行在你物理計算機上的一個應用程式，但是對於在虛擬機中運行的應用程式而言，它就是一臺真正計算機。對於雲計算服務提供商而言，利用虛擬機給不同的租戶提供不同的運行環境是一個非常好的解決方案；但是隨著租戶數量和業務的增加，如何管理這些虛擬機是一個非常重要的問題。雲服務提供商通常集中管理物理計算資源，通過存儲設備提供數據的存儲和備份。物理計算資源是指提供的計算能力的伺服器，虛擬化軟體的運行環境。通過運行在這些伺服器上的虛擬軟體來提供虛擬機的運行環境，而運行虛擬機需要的存儲介質來源於儲存設備。如何調度和監控這些虛擬機是雲服務提供商需要解決的另一個重要問題。當前沒有統一的標準，每個廠商按照自己的理解進行資源管理。因此，當前的雲平臺下的資源監控和調度缺乏統一的標準，不利於產業的發展和資源的共享，在新的業務需求下不能快速、有效的提供Z 服務。

發明內容
本發明是為避免上述已有技術中存在的不足之處，提供一種雲公共服務平臺下的大規模計算機資源的監控和調度方法，以對雲服務平臺下計算機資源進行有效地管理和調度、提高雲公共服務平臺的工作效率。本發明提供了雲公共服務平臺下的大規模計算機資源的監控和調度方法。雲公共服務平臺下的大規模計算機資源的監控和調度方法，包括虛擬機查找與加載過程和虛擬機監控過程；所述虛擬機查找與加載過程包括以下幾個步驟·第一步驟對虛擬機按照租戶的特性進行存儲，將每個租戶的虛擬機儲存在一個連續的空間內；第二步驟建立一個以IP位址、租戶、業務和虛擬機的資源管理表；第三步驟對於經常使用的虛擬機、或則是優先級高的虛擬機，在伺服器上建立資
源管理表；第四步驟如果監控到租戶的業務運行請求，在伺服器上和關係型資料庫上查找對應的虛擬機存儲位置；第五步驟運行在伺服器上的監控軟體，並根據查找到的虛擬機提供業務；所述虛擬機監控過程包括以下幾個步驟第I步對虛擬機的監控；監控CPU和內存的使用情況；如果CPU比較繁忙，則調整虛擬系統對應進程的優先級，將該進程綁定到特定的CPU上運行；如果是內存使用率較高，則調整該虛擬系統使用的內存大小；第2步對於業務的監控；如果在預設時間T內沒有業務請求，則暫停虛擬機；如果在該時間段內有業務請求，則恢復該虛擬機；如果在2T時間內沒有業務請求，則關閉該虛擬機，停止該業務的處理，否則恢復該虛擬機。關於時間T，根據租戶相關信息和費用情況
進行管理。第3步對於伺服器的監控，監控管理程序監控伺服器業務運行情況，並根據伺服器的狀態進行虛擬機的遷移，然後關閉不需要的伺服器。與已有技術相比，本發明有益效果體現在本發明的雲公共服務平臺下的大規模計算機資源的監控和調度方法，可快速地對虛擬機進行查詢和加載，並對虛擬機進行有效地監控，關閉不需要服務的虛擬機，降低系統能耗和成本。通過對業務的監控，在保證業務連續性的同時也最大限度地降低了伺服器的空運行，從而提高了系統的工作效率。本發明的雲公共服務平臺下的大規模計算機資源的監控和調度方法，具有可快速地對虛擬機進行查詢和加載、並對虛擬機進行有效地監控、降低系統能耗和成本和在保證業務連續性的同時也最大限度地降低了伺服器的空運行等優點。


圖I為本發明的方法進行計算機資源管理、調度處理過程的示意圖。
以下通過具體實施方式
，並結合附圖對本發明作進一步說明。
具體實施例方式參見圖1， 雲公共服務平臺下的大規模計算機資源的監控和調度方法，包括虛擬機查找與加載過程和虛擬機監控過程；所述虛擬機查找與加載過程包括以下幾個步驟第一步驟對虛擬機按照租戶的特性進行存儲，將每個租戶的虛擬機儲存在一個連續的空間內；第二步驟建立一個以IP位址、租戶、業務和虛擬機的資源管理表；第三步驟對於經常使用的虛擬機、或則是優先級高的虛擬機，在伺服器上建立資
源管理表；第四步驟如果監控到租戶的業務運行請求，在伺服器上和關係型資料庫上查找對應的虛擬機存儲位置；第五步驟運行在伺服器上的監控軟體，並根據查找到的虛擬機提供業務；所述虛擬機監控過程包括以下幾個步驟第I步對虛擬機的監控；監控CPU和內存的使用情況；如果CPU比較繁忙，則調整虛擬系統對應進程的優先級，將該進程綁定到特定的CPU上運行；如果是內存使用率較高，則調整該虛擬系統使用的內存大小。第2步對於業務的監控；如果在預設時間T內沒有業務請求，則暫停虛擬機；如果在該時間段內有業務請求，則恢復該虛擬機；如果在2T時間內沒有業務請求，則關閉該虛擬機，停止該業務的處理，否則恢復該虛擬機。關於時間T，根據租戶相關信息和費用情況
進行管理。第3步對於伺服器的監控，監控管理程序監控伺服器業務運行情況，並根據伺服器的狀態進行虛擬機的遷移，然後關閉不需要的伺服器。從而減少伺服器的運行數量，降低功耗等。如圖I所示，本發明的方法的計算機資源管理、調度處理過程如下1)租戶提出業務服務請求；2)雲服務提供上的業務管理程序向資源管理程序發出資源查詢請求；3)資源查詢程序同時向資源表和資料庫發出查詢請求；4)查詢結果通知給資源管理程序；5)資源管理程序將查詢結果通知給伺服器管理程序；6)伺服器管理程序根據資源記錄信息，分配合適的伺服器、加載對應的虛擬機；7)伺服器對虛擬機的控制啟動、暫停、恢復、停止、調整運行資源等操作；8)業務管理程序將業務運行信息通知給伺服器管理程序；9)虛擬機在伺服器之間的遷移處理；10)虛擬機啟動以後提供對租戶的業務服務功能；11)伺服器管理程序根據業務運行信息和伺服器運行信息，對伺服器的控制指令，例如虛擬機的遷移指令、業務的停止/恢復/暫停等指令。在雲計算中強調的是按需提供服務。也就是說雲服務提供商提供的這些服務不是每時每刻都運行的，而是可以根據租戶的需要啟動這些服務。如何快速根據租戶的請求啟動服務是調度的一個重要特性。在海量的虛擬機中，如何高效的查找到有效地虛擬機、並加載虛擬機，具體實施時可以通過下列步驟完成
I)對虛擬機管理採用按照租戶為特性進行存儲，及每個租戶的虛擬機儲存在一個連續的空間；2)建立一個以IP位址、租戶、業務和虛擬機的資源管理表；該表以IP位址、業務為關鍵字進行保存，通過關係型資料庫來實現；3)對於經常使用的虛擬機、或則是優先級高的虛擬機，在伺服器上以某種的方式
建立資源管理表；4)如果監控到租戶的業務運行請求，同時在伺服器上和關係型資料庫上查找對應的虛擬機存儲位置；對於一個設計優秀的資源管理表，由於運行在伺服器上，可以非常快的查找到對應的虛擬機，滿足80%的業務請求；如果在伺服器上查找失敗，等待從關係型數據 庫的返回，這種情況佔20%的情況。5)運行在伺服器上的監控軟體根據查找到的虛擬機提供業務。當虛擬機加載以後，我們需要對虛擬機的運行情況進行監控(監控分為兩部分一是對虛擬機的監控，另一個是對伺服器的監控)；需要根據運行情況進行調整虛擬機的運行環境。處理方法和步驟如下I)對虛擬機的監控，主要監控CPU和內存的使用情況；如果CPU比較繁忙，可以通過這些方法進行調整1)調整虛擬系統對應進程的優先級，2)將該進程綁定到特定的CPU上運行(減少因為CPU的不同而增加的任務切換導致的開銷);如果是內存使用率較高，則調整該虛擬系統使用的內存大小，以減少因為內存抖動引起的IO操作)；2)對於業務的監控，體現在當租戶的請求完成以後，需要一種機制來監控是否需要停止虛擬機的運行。由於雲服務是通過網絡提供的，監控程序通過監聽網絡的連結情況進行不同的處理。監控程序設定在一段時間T內(例如5分鐘)如果沒有業務請求，則暫停虛擬機；如果在該時間段內有業務請求,則恢復該虛擬機。在2T時間內如果沒有業務請求，則關閉該虛擬機，停止該業務的處理；否則恢復該虛擬機。通過這種方式在保證了業務的連續性的同時，又降低了伺服器空運行。3)對於伺服器的監控，監控管理程序通過虛擬機遷移技術，來實現關閉暫時不需要的伺服器，降低能源的消耗，實現按需提供服務、降低成本。本發明中，雲計算(Cloud Computing)是一種基於網際網路的計算方式,通過這種方式，共享的軟硬體資源和信息可以按需提供給計算機和其他設備。租戶，在雲計算模式下，是指通過Internet租借雲服務提供商提供的服務的客戶。計算資源，從廣義上來講是指所有參與計算的硬體、軟體、網絡等資源；本文描述的計算資源是指通過虛擬化軟體提供的虛擬機。雲服務，指由雲計算服務提供商提供的業務，該業務被租戶通過Internet使用的服務。虛擬機，通過虛擬化軟體，在物理計算機系統上提供的虛擬計算機環境；該虛擬機提供某一種特殊的服務。
權利要求
1.雲公共服務平臺下的大規模計算機資源的監控和調度方法，其特徵是，包括虛擬機查找與加載過程和虛擬機監控過程； 所述虛擬機查找與加載過程包括以下幾個步驟 第一步驟對虛擬機按照租戶的特性進行存儲，將每個租戶的虛擬機儲存在一個連續的空間內； 第二步驟建立一個以IP位址、租戶、業務和虛擬機的資源管理表； 第三步驟對於經常使用的虛擬機、或則是優先級高的虛擬機，在伺服器上建立資源管理表； 第四步驟如果監控到租戶的業務運行請求，在伺服器上和關係型資料庫上查找對應的虛擬機存儲位置； 第五步驟運行在伺服器上的監控軟體，並根據查找到的虛擬機提供業務； 所述虛擬機監控過程包括以下幾個步驟 第I步對虛擬機的監控；監控CPU和內存的使用情況；如果CPU比較繁忙，則調整虛擬系統對應進程的優先級，將該進程綁定到特定的CPU上運行；如果是內存使用率較高，則調整該虛擬系統使用的內存大小。
第2步對於業務的監控；如果在預設時間T內沒有業務請求，則暫停虛擬機；如果在該時間段內有業務請求，則恢復該虛擬機；如果在2T時間內沒有業務請求，則關閉該虛擬機，停止該業務的處理，否則恢復該虛擬機。
第3步對於伺服器的監控，監控管理程序監控伺服器業務運行情況，並根據伺服器的狀態進行虛擬機的遷移，然後關閉不需要的伺服器。
全文摘要
本發明公開了一種雲公共服務平臺下的大規模計算機資源的監控和調度方法，包括虛擬機查找與加載過程和虛擬機監控過程。對虛擬機按照租戶的特性進行存儲。建立資源管理表。如果監控到租戶的業務運行請求，在伺服器上和關係型資料庫上查找對應的虛擬機存儲位置。運行在伺服器上的監控軟體，並根據查找到的虛擬機提供業務。所述虛擬機監控過程包括對虛擬機的監控、對於業務的監控和對於伺服器的監控。本發明的大規模計算機資源的監控和調度方法，具有可快速地對虛擬機進行查詢和加載、並對虛擬機進行有效地監控、降低系統能耗和成本和在保證業務連續性的同時也最大限度地降低了伺服器的空運行等優點。
文檔編號G06F9/50GK102946433SQ201210478919
公開日2013年2月27日 申請日期2012年11月22日 優先權日2012年11月22日
發明者唐舜, 李穎和 申請人:合肥華雲通信技術有限公司