利用存儲負載信息來平衡集群虛擬機的製作方法

2023-10-18 06:24:14

專利名稱：利用存儲負載信息來平衡集群虛擬機的製作方法
技術領域：
本發明一般涉及在集群計算環境中運行的多個虛擬機的負載平 衡，更具體地講，本發明涉及產生並且利用存儲系統負載信息對可在諸如所謂的"刀片中心(Wade center)"的集群的多個物理處理器 上運4亍的多個虛擬才幾進行負載平衡的系統和方法。
背景技術：
在計算行業中公知，提供在物理計算環境"之上"運行的虛擬機 環境。也稱作訪客作業系統的虛擬機環境提供虛擬化層，從而使用戶 和/或應用程式可以進行操作，就好像它們正在利用具有均在虛擬化 作業系統("訪客"作業系統)的控制下的關聯的專用存儲器、存儲 裝置和I/O外圍設備的專用物理處理器一樣。因此，多個這種虛擬機 可以同時(和/或並發地)在一個計算環境上運行，從而使多個用戶 和/或應用程式可以同時/並發地進行操作，就好像每個用戶和/或應用 程序正在使用專用物理計算環境一樣。這種虛擬機計算技術在計算領 域中已被公知了一段時間，包括例如IBM MVS (multiple virtual systems,多虛擬系統)計算環境以及包括最新的例子，諸如 VMware族的虛擬4幾軟體組件。如上所述，在物理計算環境之上運行虛擬機的主要好處是允許在 一個物理計算環境上同時/並發地運行多個這種虛擬機。每個虛擬機 代表對應的一組用戶和/或對應的一組應用程式運4亍。此外，由於集 群計算已經發展成使多個物理處理器在"集群"中緊密耦合，虛擬機 計算技術已經適於允許在這種集群中利用多個處理器。具體地講，多個虛擬機計算環境可以同時/並發地運行並且分配到配置在集群計算 環境中的多個物理處理器上。這裡使用的集群計算應該被廣義地理解為不僅包括通過短距離總線結構進行通信的緊密耦合的物理處理器， 還包括更加寬廣分配的網絡計算，其中，利用公知的計算機網絡通信 協議和介質將多個處理器邏輯耦合成"集群，，。具體地講，這裡使用 的"集群"包括通常稱作"刀片中心，，的結構，其中，多個伺服器 (每個包括在作業系統的控制下的一個或多個全操作處理器以及存儲 器)通過共享結構和/或通過公共背板/中間板總線架構而緊密耦合。 因此，集群可以表示共享用於進程間通信的結構連接或短距離總線結 構的、物理上鄰近的緊密耦合的多個物理處理器和/或處理器/存儲器聯合體(complex)，並且可以包括利用計算機組網協議耦合多個處 理器的更寬物理分配。另外，這裡使用的"多個處理器"是指與在一 個刀片/聯合體上具有多個處理器的刀片或聯合體中的一個處理器不 同的、諸如刀片的處理器/存儲器聯合體。換言之，這裡使用的"多 個處理器"中的每個"處理器，，包括通常在一個作業系統的控制下的 處理器/存儲器聯合體。在運行多個虛擬機的這種集群計算環境中，通常知道在該集群環 境內提供負栽平衡方法和/或組件，以允許在多個的處理器中的不同 處理器上動態分配和重新分配多個虛擬機(即，訪客作業系統)。換 言之，當多個物理處理器之一 (例如， 一個刀片或者聯合體)由於在 其上運行的多個虛擬機的計算要求和/或存儲要求而過載時，在過載 的刀片/聯合體上運行的一個或更多個虛擬機可以被重新分配到一個 或更多個負載較輕的物理處理器。因此，集群環境識別的負載平衡組 件或方法負責將虛擬機環境適當地分配或重新分配到集群環境中的多 個物理處理器中的不同處理器(例如，不同的刀片或聯合體)，以避 免或者減輕該集群的刀片/聯合體的可能過栽。與在集群計算環境中運行的多個虛擬機相關的當前負載平衡系統 和技術僅僅考慮從集群計算物理處理器本身得出的負載係數信息。換 言之，當前的負載平衡系統和技術可以確定，在關聯的物理處理器上 運行多個虛擬機，可能使該物理處理器的特定CPU或者存儲器計算 過載。然而，通常的問題是這種負載係數信息不能夠解決虛擬機操作所強加的負載的其它方面。具體地講，在集群計算環境中運行的多 個虛擬機的當前負載平衡技術沒有考慮與附接存儲系統關聯的負載系 數信息。在集群計算環境中，多個物理處理器常常共享對存儲系統的 訪問。該存儲系統可以包括多個存儲控制器，這些存儲控制器都耦合到多個存儲裝置，用於代表附接物理處理器提供i/o請求處理，例如包括諸如RAID存儲管理的存儲管理技術。通常，多個虛擬機不會使 任何特定物理處理器的CPU或主存儲器顯著過載。然而，由於共享 將物理處理器耦合到存儲系統的特定存儲控制器的公共接口結構，多 個虛擬機會形成集群系統的整體性能的瓶頸。因此，當前的負載平衡 技術通常不能夠檢測這種負栽平衡瓶頸並且由此不能夠通過將一個或 更多個虛擬機重新分配到其它物理處理器來補救這種瓶頸。從以上討論可以明顯看出，需要對在集群計算環境中運行的多個 虛擬機進行負載平衡的改進系統和方法。發明內容通過提供用於產生存儲系統相關負載係數信息並且在用來重新分 配在集群計算機環境中運行的多個虛擬機的負載的負載平衡技術中利 用這種信息的系統和方法，本發明解決了以上和其它問題，由此推進 了現有技術。因此，本發明的第一特徵提供了一種系統，該系統包括物理處理 器的集群，其中，所述物理處理器中的每個與該集群的每個其它物理處理器通信地耦合。該系統還包括多個虛擬機，其中，每個虛擬機可 在物理處理器的任何子集上運行，並且其中，所述多個虛擬機被分配 以在多個物理處理器上運行。另外，該系統包括負載平衡器，與所述 多個物理處理器通信地耦合，該負載平衡器適於基於負載係數信息將 虛擬機從物理處理器的第一子集重新分配到物理處理器的不同子集。 最後，該系統包括具有多個存儲控制器的存儲系統。該存儲系統耦合 到所述物理處理器並且包括適於產生與所述存儲系統的存儲控制器相 關的存儲系統負載係數信息的存儲負載係數信息產生器。該負栽係數信息產生器與該負載平衡器通信地耦合，從而將所述存儲系統負栽系 數信息應用於所述負載平衡器，以在所述負載平衡器中用來重新分配 虛擬機。本發明的另一個特徵提供了一種用於平衡在與存儲系統耦合的多 個物理處理器的集群中運行的多個虛擬機的負載的方法。該方法包括 在所述存儲系統內產生與所述存儲系統中的多個存儲控制器的負載相 關的存儲負載係數信息。該方法還包括將所述存儲負載係數信息傳送 到與所述多個物理處理器關聯的負栽平衡器。該方法最後包括重新分 配所述多個虛擬機中的一個或更多個以在所述集群中的不同物理處理 器上運行從而平衡與存儲控制器的使用相關聯的物理處理器的負載。本發明的另 一個特徵提供了 一種用於多個虛擬機的負載平衡設 備。所述設備和虛擬機可在具有刀片中心的系統中運行，所述刀片中 心通過交換結構連接而耦合到存儲系統。所述刀片中心包括多個處理 器/存儲器聯合體，所述存儲系統包括多個存儲控制器。所述負栽平 衡設備包括存儲系統負載係數信息產生器，其可在所述存儲系統內運 行以產生與所述多個存儲控制器中的一個或更多個相關的存儲負載系 數信息。所述設備還包括負載平衡器，其可在所述刀片中心中運行並 且與所述存儲系統負載係數信息產生器通信地耦合。所述負栽平衡器 適於從所述產生器接收所述存儲負載係數信息，並且還適於利用所述 存儲負載係數信息以在所述刀片中心的所述多個處理器/存儲器聯合 體上分配所述多個虛擬機中的一個或更多個的操作。


圖l是根據本發明的特徵和方面增強的示例性系統的框圖，該系 統用於產生存儲相關負載係數信息並且將它傳送到與在多個物理處理 器上運行的多個虛擬機關聯的負載平衡器。圖2和圖3是描述根據本發明的特徵和方面的集成在圖1的系統 的一個或更多個存儲控制器內的存儲相關負載係數信息產生器的示例 性實施例的框圖。圖4是描述根據本發明的特徵和方面的示例性方法的流程圖，該 方法在存儲系統內內產生存儲相關負栽係數信息並且將該產生的信息 傳送到負載平衡器以用於平衡可在多個物理處理器上運行的多個虛擬 機的負載。圖5到圖7是提供圖4的方法的實施例的用於產生並且傳送存儲 相關負栽係數信息以供負載平衡器用來平衡可在多個物理處理器上運 行的多個虛擬機的示例性附加細節的流程圖。
具體實施方式
圖1是示例性系統100的框圖，該框圖具體表達了系統100內的 用於產生和利用存儲相關負載係數信息的特徵和方面。系統100可以 包括集群計算環境102，該集群計算環境102包括多個物理處理器， 即處理器A 104、處理器B 106和處理器C 108。本領域公知的是， 這種集群環境可以包括用於耦合多個處理器的背板或者中間板互連 152 (或者其它合適的互連結構)。這種互連152的例子包括各種 PCI總線結構、AMB/AHB總線結構以及多種高速串行互連結構和協 議，以允許各處理器104到108 ;f皮此進行通信。多個虛擬機可以在集群102的處理器上運行。另外，多個虛擬機 可以分布在集群102中的多個物理處理器中的一個或更多個上。例 如，處理器A 104指示虛擬機VI和虛擬才幾V2當前在處理器A 104上運行。處理器B 106指示虛擬機V3到V7利用該處理器運 行。按照相似方式，處理器C 108指示它也被虛擬機V7利用(例 如，V7分配在兩個處理器106和108上)。系統100還包括負載平衡器101,該負載平衡器101通過互連 152與多個物理處理器104到108通信地耦合，以幫助均衡或者平衡 在所述多個物理處理器上運行的虛擬機的負載。圖l中通過例子將集 群102的負載平衡器101示出為與集群102的各個處理器104到108 不同的獨立實體。本鄰域普通技術人員會容易地認識到，負載平衡器 101可以實現為集群102內的這種獨立的不同的處理部件，或者可以集成在該集群的特定處理器內，或者可以分配為駐留在多個物理處理 器中的每個中的協作通信進程。這些設計選擇對於本鄰域普通技術人 員是公知的。如上所述，當前實行的負載平衡技術和結構通常僅僅考慮與每個 特定處理器關聯並且由每個特定處理器可確定的利用率度量。例如，當前已知的負載平衡技術傾向於僅考慮特定物理處理器的CPU利用率、該特定處理器的存儲器利用率、由處理器產生的1/0請求速率等 (即，由每個處理器針對該處理器確定的度量)。如當前實行的，在 多個物理處理器上運行的虛擬機的負載平衡技術沒有考慮對諸如存儲系統110的公共存儲裝置的共享訪問，在存儲系統110中，多個存儲 控制器112到116可用於操作。例如，當前的負載平衡技術無法實現 使在物理處理器104到108中的一個或更多個上運行的幾個虛擬機共 享針對公共存儲-系統110的多個存儲控制器112到116中的僅僅一個 的訪問。如果特定共享的存儲控制器過載，則共享對該存儲控制器的 訪問的對應虛擬機可能不是最佳地執行。例如，可以將虛擬機移動到 集群102的不同處理器，從而允許共享對特定存儲控制器的訪問的一 個或更多個虛擬機與存儲系統110的多個存儲控制器112到116中的 不同存儲控制器進行交互。然而，當前的負栽平衡技術和結構不允許 這種負載平衡，實際上一般沒有與涉及存儲系統操作的負載係數相關 的有用信息用來進行這種確定。根據存儲系統110的特徵和方面，存儲系統110包括負載係數信 息產生器部件118，該負栽係數信息產生器部件118用於分析存儲系 統110的整體操作以及存儲系統110的多個存儲控制器112到116的 操作。產生器118於是可以產生與各個存儲控制器112到116的性能 以及系統110的整體性能相關的負載係數信息。由部件118產生的這 種負載係數信息然後被傳送到可在集群102中運行的負載平衡器 101，從而允許負載平衡器101在決定如何分配或者重新分配在集群 102的多個物理處理器104到108上運行的多個虛擬機的負載時，考 慮存儲控制器和存儲系統負載係數信息。在現有技術中已公知，集群102的多個物理處理器104到108可 以通過交換結構耦合150與存儲系統110的各個存儲控制器112到 116進行通信。這種交換結構可以實現為串行連接SCSI ( "SAS") 交換結構、光纖通道交換結構、或者其它幾個其它已知的可買到的計 算機和/或存儲組網結構和協議中的任何一個。負載係數信息產生器 118通常與存儲控制器112到116中的每個通信地耦合，以收集存儲 相關負載係數信息並且經由存儲控制器和交換結構150將該信息傳送 給集群102內的負載平衡器101。通信路徑154概括地表示允許負載係數信息產生器118從存儲系 統110的存儲控制器112到116中的每個收集信息的任何合適的控制 器間通信結構和協議。路徑154還允許負載係數信息產生器118通過 存儲控制器112到116中的一個或更多個、經由結構150、通過一個 或更多個處理器104到108，將產生的信息傳送給集群102 (具體地 傳送給負栽平衡器101)。更具體地講，負載係數信息產生器118可 以表示任何合適的結構和/或進程間通信技術，用於從存儲控制器112 到116收集信息並且將這種收集的信息格式化為要發送到負載平衡器 101的負載係數信息。因此，產生器118可以是存儲系統110中與多 個存儲控制器112到116不同且分離的組件，或者可以集成在一個或 更多個存儲控制器內並且在其內中運行。存儲系統110的存儲控制器112到116還可以通過交換結構耦合 160與存儲系統110的多個存儲裝置120到122進行通信。如上所 述，串行連接SCSI (SAS)、並行SCSI、光纖通道、和其它公知的 可買到的通信結構和協議可以用於將存儲控制器112到116中的每個 與存儲裝置120和122中的每個進行耦合。還可以通過交換結構耦合 160將控制器間通信通道154簡單實現為控制器到控制器的通信。優 選的是，為了控制器間通信的目的，獨立且不同的通信通道154將各 個存儲控制器112到116與產生器118進行耦合，從而留下交換結構 耦合160的全部帶寬以用於在存儲控制器112到116與存儲裝置120 和122之間交換數據。如圖1所示，耦合系統100的各個組件的交換結構150例如允許 多個處理器(104到108)中的任何一個可控地耦合到存儲系統110 內的多個存儲控制器(112到116)中的任何一個。串行連接SCSI ("SAS")的使用例示了應用本技術的公共設計選擇。然而，本領 域普通技術人員將容易地認識到，利用可買到的產品以允許這種靈活 連通的各種其它交換結構連通架構。此外，還可以實現如下的特徵和 方面，其中，處理器與存儲控制器之間的連通不被切換，而是通過操 作員的配置和安裝進行靜態確定。因此，儘管在圖l中沒有顯示，但 是這些特徵和方面還可以應用於在處理器與存儲控制器之間沒有交換 結構連通的系統中。在這種情況下，這裡進一步討論的負栽係數信息 可以從多個存儲控制器中的特定一個發送到與其靜態耦合的、多個存 儲控制器中的對應的特定一個。然後，接收處理器利用存儲相關負載 係數信息，會使得首先與其它處理器和/或與負載平衡器部件101共 享該信息，從而使得可以重新分配在各個處理器上運行的一個或更多 個虛擬機以更好地平衡所有的多個處理器上的負載。如上所述以及如下面進一步描述的，產生的關於存儲系統110的 存儲控制器112到116的操作的負載係數信息可以通過多種技術中的 任何一種技術從存儲系統110內的產生器118傳送到集群102中的負 載平衡器101。例如，關於存儲系統110的負載係數信息可以關於任 何i/o操作異步地產生，例如，周期性產生或者響應於檢測到特定變 化而產生，並且通過存儲控制器112到116經由交換結構耦合150通 過處理器104到108中的任何一個轉發到負載平衡器101。因此，負 載平衡器101可以包括專用管理應用，該專用管理應用在多個物理處 理器104到108中的一個或更多個上運行並且適於接收反映存儲系統 110的當前負載信息的這種周期性或間歇性傳輸。此外，負載係數信 息產生器118的操作可以與存儲系統110的存儲控制器112到116中 的每個內的1/0處理緊密集成在一起。因此，與存儲系統110以及其 中的每個控制器(112到116)的操作相關的當前負載係數信息可以 被提供作為與來自集群102的1/0請求的處理關聯的返回狀態信息的一部分。然後，通過與多個物理處理器104到108以及在其上運行的 虛擬機的協作集成，負載平衡器101可以從返回狀態信息中檢索與存 儲系統110相關的這種負載係數信息。不管存儲系統110內產生的負 載係數信息被返回到集群102的方式為何，負載平衡器101利用關於 存儲系統110的這種負載係數信息來分配和/或重新分配在集群102 的多個物理處理器上運行的多個虛擬機的負載。本領域普通技術人員會容易地認識到圖1所示之外的用於全功能 系統100、集群102或者存儲系統110的大量的等效和附加部件。因 此，圖l僅僅是在集群計算環境中實現用以基於關於與該集群耦合的 存儲系統內的多個存儲控制器的負載係數信息，在該集群內的多個處 理器上分配或者重新分配多個虛擬機(或者其它應用)的負載的特徵 和方面的示例。僅僅為了討論的筒化和簡短，省去了圖l中的這些附 力口特徵。如圖l所示，負栽係數信息產生器118被描述為相對於存儲系統 110內的多個存儲控制器112到116分離且不同。但是如上所述，負 載係數信息產生功能也可以緊密地集成在存儲控制器的處理內。因 此，圖2示出了存儲系統110的一個示例性實施例，其中，負載係數 信息產生器218集成在多個存儲控制器(212到216)的指定監督存 儲控制器212內。存儲系統U0的其它存儲控制器214和216與監督 存儲控制器212協作運行，以與在監督存儲控制器212內運行的負載 係數信息產生器218交換負載係數信息。以同樣的方式，圖3示出了另一個示例性實施例，其中，負載系 數信息產生被分配到多個存儲控制器的每個。圖3的存儲系統310由 此示出了三個存儲控制器312到316，其中的每個分別具有對應的集 成負載係數信息產生器組件318 (A) 、 318 (B)和318 (C)。在圖2和圖3中，多個存儲控制器212到216以及312到316可 以利用幾個已知的可買到的控制器間通信介質和協議中的任何一個進 行通信。由此，任何一個或多個存儲控制器可以收集與多個存儲控制 器中的任何一個或全部相關的負載係數信息。這種控制器間通信介質和協議例如可以包括InfiniBand、光纖通道、串行連接SCSI (SAS) 、 PCI總線結構(包括PCI標準的幾種變型)等等。因此， 本領域普通技術人員會容易地認識到多種等效結構，憑藉這些等效結 構，可以收集關於存儲系統整體和/或關於存儲系統內的各個存儲控 制器中的每個的負栽係數信息並且將其傳送到附接的集群計算環境中 的適當部件。另外，本領域普通技術人員會容易地認識到，在全功能 存儲系統110中通常存在大量的附加部件。為了討論的簡化和簡短， 從圖2和圖3去除了這些附加部件。圖4是寬泛地描述根據可在諸如以上參照圖1示出和描述的系統 內運行的特徵和方面的方法的流程圖。首先，步驟400用於通過存儲 系統內的任何合適裝置產生存儲相關負載係數信息。如上所述，負載 係數信息產生器部件可以在存儲系統的任何或全部的存儲控制器內運 行，或者可以作為相對於存儲控制器獨立且不同並且與其耦合的組件 來運行。這種負載係數信息可以包括相關存儲系統和/或每個存儲控 制器的操作的任何數目的方面。例如，在與存儲系統和/或存儲控制 器的操作相關的各種類型的負載係數信息之中有*當前與存儲系統的每個存儲控制器通信的虛擬機的數目；*與多個存儲控制器的任何一個耦合的任何一組限定的虛擬機的1/0請求處理速率； *任何一組識別的存儲控制器與可在多個處理器上運行的任何一組虛擬機之間的測量的數據吞吐率； *在任何一組識別的存儲控制器中未決的排隊或未處理的I/O請求的數目；*從任何一組識別的虛擬機產生的排隊或未處理的I/O請求的 數目；*任何一組識別的存儲控制器與可在多個處理器上運行的任何 一組識別的虛擬機之間的可能通信路徑的最大數目；*當前與任何一組識別的虛擬機耦合的存儲控制器的總數；以 及 物理處理器的總數。在通過存儲系統內的負載係數產生器部件的操作產生了這種存儲相關負載係數信息後，步驟400還用於實現將產生的負栽信息傳送給 與可在多個物理處理器上運行的多個虛擬機關聯的負載平衡器部件。 負載平衡器然後可以利用該存儲相關負載係數信息(結合對於負栽平 衡確定有用的任何其它信息)，來重新分配可在多個物理處理器上運 行的虛擬機。通過利用該存儲相關負載係數信息，虛擬機的重新分配 可以更好地利用存儲系統的處理和通信帶寬以及物理處理器利用率的 其它方面。如上所述以及如下面進一步討論的，產生的存儲相關負載係數信 息的傳送可以利用幾種技術和結構中的任何一種。此外，該產生的信 息可以周期性產生以更新與多個虛擬機關聯的負載平衡器，可以基於 在存儲系統內檢測到的事件或者改變的條件間歇性產生，或者可以作 為由存儲系統從可在多個物理處理器上運行的一個或更多個虛擬機接 收並處理的1/0請求的處理的一部分進行產生並返回。因此，圖4的步驟402表示與多個虛擬機關聯的負載平衡器部件 按需要在多個物理處理器上重新分配多個虛擬機中的一個或多個的處 理。這種重新分配(如果存在的話)幫助實現多個物理處理器上的負 載的更好平衡，並且由此提供多個虛擬機的更好的整體性能。本領域普通技術人員會容易地認識到圖4的處理的大量附加步驟 和示例性詳細實施例。將在下文參照圖5到圖7進一步討論詳細處理 的一些示例性實施例。本領域普通技術人員會容易地明白其它實施例 和附加步驟，並且為了討論的簡潔和簡短，在這裡省去了這些其它實 施例和附加步驟。圖5是提供以上描述的圖4的步驟的示例性詳細處理的流程圖。 通常，僅當在存儲系統內檢測到基礎狀態的改變時，圖5的處理產生 關於存儲系統的負載係數信息。因此，通過檢測會影響負載係數信息 的存儲系統的狀態的改變(可以包括由存儲系統檢測到的附接系統和 虛擬機的改變)，按需要間歇性產生負載係數信息。步驟500因此表示如下處理確定從上一次產生負栽係數信息開始任何存儲系統狀態 是否改變。如果沒有檢測到顯著改變，處理持續在步驟500循環直到 諸如檢測到相關改變時。然後，當檢測到存儲系統狀態的這種改變 時，步驟502用於產生反映存儲系統中的負載係數相關信息的當前狀 態的更新的負栽係數信息。然後，步驟504用於將產生的、更新的負 栽係數信息發送到與在多個物理處理器上運行的多個虛擬機關聯的負 載平衡器部件。因此，圖5中詳述的步驟400可用於在檢測到存儲系 統的狀態的任何顯著改變時，產生負栽係數信息並且將它從存儲系統 發送到負載平衡器部件。圖6是提供以上描述的圖4的步驟的示例性詳細處理的流程圖。 通常，圖6的處理響應於對從虛擬機和/或物理處理器接收的由存儲 系統進行的I/O請求的接收和處理，產生並返回當前的負載係數信 息。具體地講，步驟600表示存儲系統內的1/0請求的接收和正常處 理。從可運行一個或更多個虛擬機的一個或更多個物理處理器接收到 的這些I/O請求可以表示用於在存儲系統中檢索或存儲信息的典型讀 或寫請求。這些正常處理存儲或者檢索被請求的數據，並且通常產生 要返回給發起該請求的請求虛擬機和/或物理處理器的狀態響應。然 後，步驟602用於產生與存儲系統和/或存儲系統的存儲控制器相關 的當前負載係數信息。產生的信息可以附加到通過步驟600表示的對 I/O請求的處理產生的結果/狀態信息或者與其整合。例如，完成的 I/O請求的返回/狀態信息通常包括指示成功完成碼和錯誤完成碼的位 欄位和/或值。可以對這種狀態完成信息中的位或者值進行編碼以向 物理處理器和/或虛擬機表示當前的存儲相關負載係數信息已經被 附加到1/0操作的返回狀態碼或者已與其整合。最後，步驟604用於 將I/O請求狀態信息與附加/整合的負載係數信息一起進行發送，從 而與請求物理處理器關聯的負栽平衡器部件可以將存儲相關負栽係數 信息包括在它的負載平衡確定中。因此，如圖6所示的步驟400可以 用於在處理來自可在附接集群中的多個物理處理器中的任何一個上運 行的多個虛擬機中的任何一個的針對存儲系統的1/0請求時，產生負載係數信息並將其從存儲系統發送到負載平衡器部件。圖7是提供圖4的步驟400的處理的示例性細節的流程圖。通 常，圖7的處理用於在負載係數信息的值落在關聯閾值的範圍之外 時，產生並發送存儲相關負載係數信息。因此，首先，步驟700用於 產生當前的負載係數信息。可以基於對各種特定事件的檢測，周期性 或者間歇性地執行該操作。步驟702然後表示如下的可選處理產生用於與負栽係數信息中的值進行比較的當前更新的閾值。如上所述， 可以在製造存儲系統時或者在存儲系統建立和安裝的配置步驟中靜態 地確定閾值，或者可以基於存儲系統的改變操作動態地確定閾值。然 後，步驟704用於利用當前閾值信息(不管是先前靜態產生的還是通 過步驟702的處理當前更新的)來確定通過步驟700產生的負栽係數 信息中的任何值是否落在由對應的闊值定義的範圍之外。如果沒有， 則步驟400的處理完成。否則，將當前更新的存儲相關負栽係數信息 發送到與附接集群中的多個虛擬機和多個物理處理器關聯的負栽平衡 器部件。響應於接收到這種信息，負載平衡器部件然後可以選擇將多 個虛擬機中的一個或更多個重新分配到多個物理處理器中的其它物理 處理器。因此，圖7中詳述的步驟400響應於檢測到負載係數信息中 的任何值落在由對應閾值定義的值的範圍之外，產生並且發送更新的 負載係數信息。另外，如上所述，可以靜態地確定閾值，或者可以基 於存儲系統內的當前操作動態地更新閾值。示例性闊值可以對應於以上作為負栽係數信息的代表而描述的示例性值。本領域普通技術人員會容易地認識到在全功能實施方式中可以包 括在圖4到圖7的方法中的等效和附加步驟。為了該討論的簡化和簡 短，在這裡省去了這些附加特徵和步驟。另外，本領域普通技術人員它詳細方法。例如，僅當某些值落在定義的閾值範圍之外時可以產生 負載係數信息，並且如果這樣產生，則可以返回完成1/0請求的完成 狀態。本領域普通技術人員將容易地想到大量其它等效步驟和方法。 儘管在以上附圖和說明中例示和描述了本發明，但是這種例示和18說明被認為是示例性的和非限制性的。已經顯示和描述了本發明的一 個實施例及其多個微小變型。期望對本發明的精神範圍內的所有改變 和變型進行保護。本領域技術人員會明白落入本發明的範圍內的上述 實施例的變型。具體地講，本領域普通技術人員將容易地認識到，可器的合適編程的指令實現這些特徵和方面。作為設計選擇，本領域普 通技術人員公知電路和編程設計的這種等效性。結果，本發明不限於 上述討論的特定例子和例示，而僅由權利要求及其等同物限定。
權利要求
1.一種系統，包括物理處理器的集群，其中，每個所述物理處理器與所述集群中的每個其它物理處理器通信地耦合；多個虛擬機，其中每個虛擬機可在所述物理處理器的任何子集上運行，並且其中所述多個虛擬機被分配以在多個所述物理處理器上運行；負載平衡器，與所述多個物理處理器通信地耦合，所述負載平衡器適於基於負載係數信息將虛擬機從所述物理處理器的第一子集重新分配到所述物理處理器的不同子集；以及存儲系統，具有多個存儲控制器，所述存儲系統與所述物理處理器耦合，所述存儲系統包括適於產生與所述存儲系統的存儲控制器相關的存儲系統負載係數信息的存儲負載係數信息產生器，其中，所述負載係數信息產生器與所述負載平衡器通信地耦合從而將所述存儲系統負載係數信息應用於所述負載平衡器，以在所述負載平衡器中用來重新分配虛擬機。
2. 如權利要求1所述的系統，其中，每個物理處理器與所述存儲系統的所述多個存儲控制器的 對應子集耦合。
3. 如權利要求1所述的系統，其中，每個物理處理器可以與所述存儲系統的所述多個存儲控制 器中的任一個耦合。
4. 如權利要求3所述的系統，其中，所述物理處理器通過交換結構與所述存儲控制器耦合。
5. 如權利要求3所述的系統，其中，所述物理處理器通過切換串行連接SCSI ( "SAS")網 絡與所述存儲控制器耦合。
6. 如權利要求1所述的系統，其中，所述多個存儲控制器彼此耦合併且一個存儲控制器被指定 為監督控制器，其中，所述存儲負載係數信息產生器可在所述監督控 制器中運行以產生與所述多個存儲控制器中的每個相關的存儲負載系 數信息。
7. 如權利要求1所述的系統，其中，所述存儲系統還包括多個存儲負栽係數信息產生器，所述 多個存儲負載係數信息產生器中的每個可在所述多個存儲控制器中的 對應控制器中運行以產生用於該對應控制器的存儲負載係數信息。
8. —種用於平衡在與存儲系統耦合的多個物理處理器的集群中運 行的多個虛擬機的負載的方法，該方法包括在所述存儲系統內產生與所述存儲系統中的多個存儲控制器的負 載相關的存儲負載係數信息；將所述存儲負載係數信息傳送到與所述多個物理處理器關聯的負 載平衡器；以及重新分配所述多個虛擬機中的一個或更多個以在所述集群中的不 同物理處理器上運行從而平衡與所述存儲控制器的使用相關聯的物理 處理器的負載。
9. 如權利要求8所述的方法， 其中，產生步驟還包括響應於感測到所述負載係數信息的改變，產生存儲負載係數信息 以更新所述負載平衡器。
10. 如權利要求8所述的方法， 其中，產生步驟還包括產生存儲負栽係數信息作為對I/O請求的處理的返回狀態信息的 一部分，並且其中，傳送步驟還包括響應於完成的1/0請求，將所產生的存儲負載係數信息作為狀態 信息返回。
11. 如權利要求8所述的方法，還包括提供與存儲負載係數信息中的信息相關的一個或更多個閾值，其中，傳送步驟還包括當所述存儲負載係數信息中的值超過對應閾值時，將所述存儲負 載係數信息傳送到所述負載平衡器。
12. 如權利要求11所述的方法， 其中，提供步驟還包括 動態地更新所述一個或更多個閾值。
13. 如權利要求11所述的方法， 其中，提供步驟還包括提供從選自下面的度量所組成的組的一個或更多個度量導出的一 個或更多個閾值當前與所述存儲控制器中的每個進行通信的激活的虛擬機的數目；任一組虛擬機的1/0請求處理速率； 控制器與任一組虛擬機之間的數據吞吐量； 存儲控制器中的未處理I/0請求的數目； 來自一組虛擬才幾的未處理1/0請求的數目； 任一組存儲控制器與任一組虛擬機之間的可能通信路徑的數目； 與任一組虛擬機連接的存儲控制器的總數；以及 物理處理器的數目。
14. 一種用於可在具有刀片中心的系統中運行的多個虛擬機的負 載平衡設備，所述刀片中心通過交換結構連接而耦合到存儲系統，所 述刀片中心包括多個處理器/存儲器聯合體，所述存儲系統包括多個 存儲控制器，所述負載平衡設備包括存儲系統負載係數信息產生器，可在所述存儲系統內運行以產生 與所述多個存儲控制器中的一個或更多個相關的存儲負載係數信息； 以及負栽平衡器，可在所述刀片中心中運行並且與所述存儲系統負載 係數信息產生器通信地耦合，所述負載平衡器適於從所述產生器接收所述存儲負載係數信息，並且所述負載平衡器適於利用所述存儲負載 係數信息以在所述刀片中心的所述多個處理器/存儲器聯合體上分配 所述多個虛擬機中的一個或更多個的操作。
15. 如權利要求14所述的設備，其中，所述產生器適於響應於感測到負載係數信息的改變而產生 所述存儲負栽係數信息。
16. 如權利要求14所述的設備，其中，所述產生器適於產生所述存儲負載係數信息作為由存儲控 制器進行的對I/O請求的處理的返回狀態信息的一部分，並且適於響 應於完成的I/O請求而將所述存儲負栽係數信息作為狀態信息傳送。
17. 如權利要求14所述的設備， 其中，所述產生器還包括與所述存儲負載係數信息中的信息相關的閾值， 其中，所述產生器還適於在所述存儲負載係數信息中的值超過所 述閾值時將所述存儲負載係數信息傳送到所述負載平衡器。
18. 如權利要求17所述的設備，其中，所述產生器還適於動態地更新所述閾值。
19. 如權利要求17所述的設備，其中，從選自下面的度量所組成的組的一個或更多個度量導出所 述閾值當前與所述存儲控制器中的每個進行通信的激活的虛擬機的數目；任一組虛擬機的1/0請求處理速率；控制器與任一組虛擬機之間的數據吞吐量；存儲控制器中的未處理1/0請求的數目；來自一組虛擬機的未處理1/0請求的數目；任一組存儲控制器與任一組虛擬機之間的可能通信路徑的數目；與任一組虛擬機連接的存儲控制器的總數；以及物理處理器的數目。
全文摘要
提供用於產生存儲相關負載係數信息以用於可在多個物理處理器的集群(諸如刀片中心)中運行的多個虛擬機的負載平衡的方法和系統。在存儲系統內產生關於存儲系統的整體操作以及關於存儲系統中的多個存儲控制器中的每個的負載係數信息。在存儲系統內這樣產生的信息被傳送到與多個虛擬機關聯的負載平衡部件。該負載平衡部件然後利用存儲相關負載係數信息(可選地與其它負載係數信息結合地利用)在多個物理處理器上分配或者重新分配多個虛擬機的操作。
文檔編號G06F9/46GK101601014SQ200780036450
公開日2009年12月9日 申請日期2007年9月21日 優先權日2006年12月12日
發明者S·B·約漢遜 申請人:Lsi公司