使用混合群集來構建大規模測試基礎結構的製作方法

2023-06-10 13:24:06 1

使用混合群集來構建大規模測試基礎結構的製作方法
【專利摘要】分布式計算系統。該系統將管理和工作器功能劃分成不同的群集，由此使工作器群集不再有管理開銷。具體地，該系統包括管理群集。該管理群集被配置成執行工作器節點的服務部署、工作器節點的服務維護、工作器節點的服務升級和回滾、工作器節點的服務監視以及工作器節點的服務報告。該系統進一步包括耦合管理群集但與管理群集分開的一個或多個工作器群集。工作器群集中的每一個都包括一個或多個工作器節點，這一個或多個工作器節點被配置成提供處理能力、存儲、和網絡連接性中的一個或多個，但不使用這些管理配置功能中的一個或多個。
【專利說明】使用混合群集來構建大規模測試基礎結構
[0001] 背景
[0002] 背景和相關技術
[0003] 計算機和計算系統已經影響了現代生活的幾乎每個方面。計算機通常涉及工作、 休閒、保健、運輸、娛樂、家政管理等。
[0004] 此外，計算系統功能還可以通過計算系統的經由網絡連接互連到其他計算系統的 能力來增強。網絡連接可包括，但不僅限於，經由有線或無線乙太網的連接，蜂窩式連接，或 者甚至通過串行、並行、USB或其它連接的計算機到計算機的連接。這些連接允許計算系統 訪問其他計算系統處的服務，並快速且有效地從其他計算系統接收應用數據。
[0005] 此外，互連的計算系統可用於實現群集計算系統，在該群集計算系統中，若干分立 系統一起工作以作為整體來完成分配到該群集的計算任務。一些這樣的系統可具有在雲中 部署的群集的全部或部分。雲計算允許將計算資源作為服務而非可遞送產品來提供。具體 地，在網絡（諸如網際網路）上（例如通過租賃協定）提供計算能力、軟體、信息、網絡連接性 等。
[0006] 雲服務（諸如，可從華盛頓州雷蒙德市的微軟?公司獲得的Windows Azure? ) 以低成本提供實際上無限的可縮放性和高可用性。然而，這種可縮放性可受到每一群集上 預配管理功能的能力的限制。具體地，管理功能（諸如，服務部署、維護、升級和回滾、以及 監視功能性）表示在每一群集上完成的大量工作。因此，可在群集處完成的除管理功能以 外的工作可受到也在那個工作器群集處執行的管理功能的限制。
[0007] 此外，雲計算允許測試實驗室基礎結構開發中的新機會。然而，傳統的測試實驗室 依賴於購買和自我維護物理機器，從而給予測試團隊進行硬體安裝、網絡設置、打補丁等負 擔。在這樣的物理實驗室環境下，在進行中添加新硬體以及移除空閒硬體的靈活性也受到 限制。
[0008] 在此要求保護的主題不限於解決任何缺點或僅在諸如上述環境中操作的各個實 施例。相反，提供該背景僅用以示出在其中可實踐在此描述的部分實施例的一個示例性技 術領域。
[0009] 簡要概述
[0010] 一個實施例可包括分布式計算系統。該系統包括管理群集。該管理群集被配置成 執行工作器節點的服務部署、工作器節點的服務維護、工作器節點的服務升級和回滾、工作 器節點的服務監視以及工作器節點的服務報告。該系統進一步包括耦合管理群集但與管 理群集分開的一個或多個工作器群集。工作器群集中的每一個都包括一個或多個工作器 節點，這一個或多個工作器節點被配置成提供處理能力、存儲、和網絡連接性中的一個或多 個，但不使用這些管理配置功能中的一個或多個。
[0011] 另一實施例包括為分布式系統中的客戶機處理作業的方法。該方法包括在分布式 系統中的管理群集處接收來自客戶機的作業。該方法進一步包括在該管理群集處基於作業 特性將該作業分發給與該管理群集分開的工作器群集。
[0012] 提供本概述是為了以簡化的形式介紹將在以下【具體實施方式】中進一步描述的概 念選擇。本
【發明內容】
不旨在標識出所要求保護的主題的關鍵特徵或必要特徵，也不旨在用 於幫助確定所要求保護的主題的範圍。
[0013] 將在以下的描述中闡述另外的特徵和優點，並且部分特徵和優點可從該描述中顯 而易見，或者可從本文教導的實踐中獲知。本發明的特徵和優點可以通過在所附權利要求 中特別指出的手段和組合來實現並獲取。本發明的特徵將從以下描述和所附權利要求書中 變得完全顯而易見，或者可通過如下所述對本發明的實踐而獲知。
[0014] 附圖簡述
[0015] 為了描述可獲得本主題的上述和其它優點和特徵的方式，將通過參考附圖中示出 的本主題的具體實施例來呈現以上簡要描述的本主題的更具體描述。應該理解，這些附圖 僅描繪了各典型實施例，因此其不應被認為是對範圍的限制，各實施例將通過使用附圖用 附加特徵和細節來描述並解釋，在附圖中：
[0016] 圖1解說了包括管理群集和工作器群集的群集系統；以及
[0017] 圖2解說了為客戶機處理作業的方法。
[0018] 詳細描述
[0019] 本文中描述的一些實施例實現用於構建雲計算基礎結構的"混合群集"。具體地， 各實施例可使用小型管理群集來管理其他工作器群集。這允許管理功能性（諸如服務部 署、維護、升級和回滾以及監視）被卸載到管理群集，從而留給工作器群集更多用於執行群 集作業的資源。
[0020] 具體地，各實施例可使用用於提供集中監視的一個小尺寸受管群集以及用於以最 少服務開銷來提供虛擬機環境的若干大尺寸"原始"群集的組合。將解說各個實施例，包括 適用於通用雲計算以及用於測試雲計算基礎結構的實施例。
[0021] 在一個特定示例中，可從華盛頓州雷蒙德市的微軟?公司獲得的"Blackbird" 是成熟的能夠啟用SQL Azure?以在Windows Azure?上運行的群集管理和監視平臺。本 文中解說的一些實施例能夠克服"原始"Windows Azure?群集的監視管道的限制以及 Blackbird管理的Windows Azure?^￥集的服務開銷的限制。各實施例可使用稱作"混合 群集"的基礎結構--其在一個示例中是諸如Blackbird管理的Windows Azure?群集之 類的用於提供集中監視的一個小尺寸管理群集和諸如"原始"Windows Azure?群集之類的 用於以最少的服務開銷來提供虛擬機環境的若干大尺寸工作器群集的組合。
[0022] 現參考圖1，解說了一個示例。圖1解說用戶客戶機102。該用戶客戶機與用戶 104交互，並將各作業保存在作業隊列106中。
[0023] 圖1進一步解說了管理控制臺108。該管理控制臺108包括允許用戶監視多個環 境並顯示多個視圖的用戶界面。在一些實施例中，管理控制臺108可使用Xts來實現。Xts 是可從華盛頓州雷蒙德市的微軟?公司獲得的Autopilot/Blackbird管理控制臺。
[0024] 圖1解說數據中心110。數據中心110包括管理群集112。管理群集112包括作 業管理器115。作業管理器115調度作業並監視作業狀態。管理群集進一步包括群集管理 器114、OpStore管理器116和0pStorell8。0pStorell8存儲操作信息和性能信息。如所 述的，在一些實施例中，管理群集112可以使用Blackbird管理的群集來實現。
[0025] 數據中心110進一步包括多個工作器群集。在所解說的示例中，解說了單個工作 器群集120,但應該領會，可實現實際上任何數量的工作器群集。每個工作器群集可包括多 個工作器節點。在所解說的該示例中，示出了工作器節點122-1和122-2。儘管示出了僅兩 個工作器節點（一般被稱為122)，但應該領會，在工作器群集120中可實現實際上任何數目 的工作器節點122。
[0026] 在所解說的示例中，每一工作器節點122包括工作器角色實例，其在本文中可被 稱為工作器124。工作器124被配置成啟動驅動程序，並使用該驅動程序來執行作業案例。 工作器124還跟蹤作業執行狀態。
[0027] 在所解說的示例中，每一工作器節點122進一步包括運行時信息模塊126。該運行 時信息模塊126包括拓撲信息和通信端點。運行時信息模塊126還向管理群集112發送文 件。
[0028] 在所解說的示例中，每一工作器節點122包括健康上傳器模塊128。該健康上傳器 模塊128是可收集信息（諸如節點狀態、性能計數和其他信息）並將這些收集到的信息發 送給管理群集112的服務上傳器。管理群集可包括在OpStorellS內的健康存儲。從健康 上傳器模塊128發送的信息可被存儲在0pStorell8。
[0029] 現在以下解說在一個實施例中實現的示例情形。在該示例中，數據中心110就緒， 其包括使管理群集112和工作器群集120 (包括工作器節點122)被部署好。一個或多個作 業驅動程序被部署。可以實現其中對於給定作業驅動程序而言，如果不存在對該作業驅動 程序的修改，則該作業驅動程序僅被部署一次的一些實施例。
[0030] 用戶104使用用戶客戶機102來將作業置於作業隊列106中。在所解說的示例中， 作業隊列106是優先級隊列。在優先級隊列中，以優先級為基礎將各元素從該隊列中拉取 出。如所解說的，用戶客戶機102就當前作業處理狀態周期性地檢查作業管理器115。當 客戶機102確定作業管理器114就緒時，它從作業隊列106中檢索作業並將作業數據部署 在團塊130中。作業管理器114檢查該作業並將該作業劃分成作業項，並將這些項保存在 作業項時間表132中。例如，該作業可具有20個作業套件。每個作業項可以是一套件。由 此，作業時間表132具有20個作業項。
[0031] 每一工作器節點122上的工作器124周期性地檢查該作業項隊列。當工作器124 找到作業項時，工作器124取得該項目並更新該狀態。更新狀態可包括如下多個動作。工 作器124將來自團塊130的作業數據134加載到工作器節點122中。工作器124使用作業 驅動程序來運行作業數據134。工作器124將狀態信息報告到OpStore資料庫118中。這 樣的狀態信息可包括作業狀態。例如，在一些實施例中，作業狀態可被分類成以下之一：就 緒、處理中、完成、超時或取消。狀態信息可另外地或替換地包括作業結果。例如，作業結果 可被分類成通過、失敗或超時之一。工作器124在每一作業完成之後將作業日誌信息保存 到團塊130中。工作器124隨後查找下一作業項，以重複如以上所述的各個動作。如果存 在新作業的話，作業管理器115可將新作業項添加到工作項隊列中。
[0032] 一些實施例可實現web API，這些web API使得管理基礎結構可用作用於外部用戶 的服務。
[0033] 如本文中所描述的，所實現的實施例可允許更多效率。例如，假定一實施例實現10 個測試套件，並且這10個套件的最長運行時間為4小時。其他9個測試套件可花費2小時。 如果該實施例具有10個工作器且每一工作器取得一套件，則在大約4個小時之後，完成結 果可從所有這些測試套件處獲得。然而，如果這在單個機器上運行，則結果將花費22個小 時來獲得。
[0034] 各實施例可促成可縮放性。例如，使用剛才解說的示例，各實施例可在有可能的情 況下將這10個套件劃分成更小的組塊，並添加更多的測試工作器。因此，這些實施例可進 一步減少運行時間。例如，如果一實施例將相同的10個套件劃分成100個套件，並添加了 100個測試工作器，其中每一套件花費0. 22小時，則結果可在0. 22小時內獲得。
[0035] 各實施例可進一步促成增加的可靠性和可用性。作為說明，如果一個或多個測試 工作器出故障了，則其他工作器可接手作業項，並完成作業。此外，各實施例可用於減少開 發和管理成本，因為僅不得不管理單個管理群集。各實施例還可允許擴展工作器群集的可 縮放性。
[0036] 如本文中所解說的，各實施例可包括管理群集，諸如管理群集112。管理群集可被 配置成執行各個管理功能，以將工作器節點從這些管理功能中釋放出來。例如，該管理群集 可執行工作器節點的服務部署，由此將各服務部署到工作器節點（諸如，圖1中解說的工作 器節點122)處。該管理群集可執行工作器節點上的對各服務的維護。管理群集可執行工 作器節點上的服務升級和回滾。管理群集可執行工作器節點上的服務監視，諸如監視服務 健康狀態。管理群集可執行工作器節點的服務報告，諸如通過圖1中解說的管理控制臺108 向用戶報告服務功能性。
[0037] 各實施例可包括耦合管理群集的一個或多個工作器群集。圖1解說耦合到管理群 集112的工作器群集120。工作器群集中的每一個都包括一個或多個工作器節點（諸如，節 點122)，其被配置成提供處理能力、存儲和網絡連接性中的一個或多個。如所述的，在一些 實施例中，工作器節點不使用這些管理配置功能中的一個或多個，而使那些功能被卸載到 管理群集112中。
[0038] 管理群集可被配置成基於分布式計算系統要執行的工作量來將節點添加到一個 或多個工作群集中或從其移除節點。
[0039] 分布式系統可被配置成將來自工作器節點的健康信息上傳到管理群集中。例如， 圖1解說了可用於將健康信息上傳到0pStorell8的健康上傳器128。
[0040] 可實現其中分布式系統被耦合到在該分布式系統外部的客戶機以從該客戶機接 收要由該分布式系統來執行的作業的實施例。例如，如圖1所解說的，分布式系統110被耦 合到用戶客戶機102以從用戶104接收作業。
[0041] 管理群集可包括資料庫（諸如，OpStorellS)，以存儲分布式系統中的工作器節點 的操作和性能信息。在一些實施例中，該資料庫被配置成被用戶查詢，以使得該用戶能夠監 視工作器節點的性能信息。如所述的，工作器節點可包括健康上傳器模塊，該模塊被配置成 收集節點狀態並將該節點狀態發送給管理群集以供存儲在存儲操作和性能信息的資料庫 中。健康上傳器模塊可被配置成收集性能計數，並將這些性能計數發送給管理群集以供存 儲在存儲操作和性能信息的資料庫中。
[0042] 以下討論現涉及可以執行的多種方法以及方法動作。雖然用特定次序討論或用以 特定次序發生的流程圖示出了各個方法動作，但除非明確規定或因為一動作依賴於另一動 作在執行該動作之前完成而需要特定次序，否則不需要特定次序。
[0043] 現在參考圖2,示出了方法200。本文中解說的一個實施例涉及一種為分布式系統 中的客戶機處理作業的方法200。該方法包括在分布式系統中的管理群集處接收來自客戶 機的作業（動作202)。例如，管理群集112可接收來自用戶客戶機102的作業。該方法200 進一步包括基於作業特性，在該管理群集處將該作業分發給與該管理群集分開的工作器群 集。例如，如圖1中所解說的，可將作業分發給工作器群集120中的工作器節點122。
[0044] 方法200可進一步包括接收來自工作器群集的健康信息。例如，如圖2中所解說 的，工作器節點122-1可使用健康上傳器120將健康信息上傳到管理群集112。在一些實 施例中，方法200進一步包括將健康信息存儲在用戶可查詢的資料庫（諸如，0pStorell8) 中。
[0045] 方法200可進一步包括該管理群集部署工作器群集中的工作器節點、執行工作器 群集中的工作器節點上的維護、執行工作器群集中的工作器節點上的更新或回滾中的至少 一者、執行工作器群集中的工作器節點的監視、執行工作器群集中的工作器節點的服務報 生 口 〇 〇
[0046] 方法200可進一步包括該管理群集維護向分布式計算系統分派的作業的作業狀 態的作業資料庫。例如，作業資料庫可包括關於傳入作業、傳出作業、哪個群集或節點正在 執行作業、作業結果等的信息。該信息可以是用戶可查詢的。
[0047] 此外，各種方法可由包括一個或多個處理器和諸如計算機存儲器等計算機可讀介 質的計算機系統來實施。具體而言，計算機存儲器可存儲計算機可執行指令，這些指令在由 一個或多個處理器執行時使得諸如各實施例中所述的各個動作等各種功能被執行。
[0048] 本發明的各實施例可以包括或利用包含計算機硬體的專用或通用計算機，這將在 下文中更詳細地討論。本發明範圍內的各實施例還包括用於承載或存儲計算機可執行指令 和/或數據結構的物理和其他計算機可讀介質。這樣的計算機可讀介質可以是可由通用或 專用計算機系統訪問的任何可用介質。存儲計算機可執行指令的計算機可讀介質是物理存 儲介質。承載計算機可執行指令的計算機可讀介質是傳輸介質。由此，作為示例而非限制， 本發明的各實施例可包括至少兩種顯著不同的計算機可讀介質：物理計算機可讀存儲介質 和傳輸計算機可讀介質。
[0049] 物理計算機存儲介質包括RAM、ROM、EEPROM、CD-ROM或其他光碟存儲（如CD、DVD 等）、磁碟存儲或其他磁存儲設備、或可用於存儲計算機可執行指令或數據結構形式的所需 程序代碼裝置且可由通用或專用計算機訪問的任何其他介質。
[0050] "網絡"被定義為使得電子數據能夠在計算機系統和/或模塊和/或其它電子設 備之間傳輸的一個或多個數據鏈路。當信息通過網絡或另一個通信連接（硬連線、無線、 或者硬連線或無線的組合）傳輸或提供給計算機時，該計算機將該連接適當地視為傳輸介 質。傳輸介質可包括可用於攜帶計算機可執行指令或數據結構形式的所需程序代碼裝置且 可由通用或專用計算機訪問的網絡和/或數據鏈路。以上介質的組合也被包括在計算機可 讀介質的範圍內。
[0051] 此外，在到達各種計算機系統組件之後，計算機可執行指令或數據結構形式的程 序代碼裝置可從傳輸計算機可讀介質自動轉移到物理計算機可讀存儲介質（或者相反）。 例如，通過網絡或數據鏈路接收到的計算機可執行指令或數據結構可被緩存在網絡接口模 塊（例如，"NIC"）內的RAM中，然後最終被傳送到計算機系統RAM和/或計算機系統處的 較不易失性的計算機可讀物理存儲介質。因此，計算機可讀物理存儲介質可被包括在同樣 (或甚至主要）利用傳輸介質的計算機系統組件中。
[0052] 計算機可執行指令包括，例如使通用計算機、專用計算機、或專用處理設備執行某 一功能或某組功能的指令和數據。計算機可執行指令例如可以是二進位代碼、諸如彙編語 言之類的中間格式指令或者甚至是原始碼。儘管用結構特徵和/或方法動作專用的語言描 述了本主題，但可以理解，所附權利要求書中定義的主題不必限於上述特徵或動作。更具體 而言，上述特徵和動作是作為實現權利要求的示例形式而公開的。
[0053] 本領域的技術人員將理解，本發明可以在具有許多類型的計算機系統配置的網絡 計算環境中實踐，這些計算機系統配置包括個人計算機、臺式計算機、膝上型計算機、消息 處理器、手持式設備、多處理器系統、基於微處理器的或可編程消費電子設備、網絡PC、小型 計算機、大型計算機、行動電話、PDA、尋呼機、路由器、交換機等等。本發明也可在其中通過 網絡連結（或者通過硬連線數據鏈路、無線數據鏈路，或者通過硬連線和無線數據鏈路的 組合）的本地和遠程計算機系統兩者都執行任務的分布式系統環境中實施。在分布式系統 環境中，程序模塊可以位於本地和遠程存儲器存儲設備二者中。
[0054] 本發明可具體化為其他具體形式而不背離其精神或特徵。所描述的實施例在所有 方面都應被認為僅是說明性而非限制性的。因此，本發明的範圍由所附權利要求書而非前 述描述指示。落入權利要求書的等效方案的含義和範圍內的所有改變應被權利要求書的範 圍所涵蓋。
【權利要求】
1. 一種分布式計算系統，所述計算系統包括： 管理群集，其中所述管理群集被配置成執行工作器節點的服務部署、工作器節點的服 務維護、工作器節點的服務升級和回滾、工作器節點的服務監視以及工作器節點的服務報 告；以及 耦合所述管理群集的一個或多個工作器群集，其中所述工作器群集中的每一個都包括 一個或多個工作器節點，所述一個或多個工作器節點被配置成提供處理能力、存儲和網絡 連接性中的一個或多個，但不使用這些管理配置功能中的一個或多個。
2. 如權利要求1所述的系統，其特徵在於，所述管理群集被配置成基於要由所述分布 式計算系統執行的工作的量來將節點添加到所述一個或多個工作群集中或從所述一個或 多個工作群集移除節點。
3. 如權利要求1所述的系統，其特徵在於，所述分布式系統被配置成將來自工作器節 點的健康信息上傳到所述管理群集。
4. 如權利要求1所述的系統，其特徵在於，所述分布式系統被耦合到所述分布式系統 外部的客戶機，以從所述客戶機接收要由所述分布式系統來執行的作業。
5. 如權利要求1所述的系統，其特徵在於，所述管理群集包括存儲所述分布式系統中 的工作器節點的操作和性能信息的資料庫。
6. 如權利要求5所述的系統，其特徵在於，資料庫被配置成被用戶查詢以使得所述用 戶能夠監視工作器節點的性能信息。
7. 如權利要求5所述的系統，其特徵在於，所述工作器節點中的至少一個包括健康上 傳器模塊，所述健康上傳器模塊被配置成收集節點狀態，並將所述節點狀態發送給所述管 理群集，以供存儲在存儲操作和性能信息的所述資料庫中。
8. 如權利要求6所述的系統，其特徵在於，所述健康上傳器模塊被配置成收集性能計 數，並將所述性能計數發送給所述管理群集以供存儲在存儲操作和性能信息的所述資料庫 中。
9. 一種為分布式系統中的客戶機處理作業的方法，所述方法包括： 在分布式系統中的管理群集處，接收來自客戶機的作業； 在所述管理群集處基於作業特性將所述作業分發給與所述管理群集分開的工作器群 集。
10. 如權利要求9所述的方法，其特徵在於，進一步包括接收來自所述工作器群集的健 康信息。
11. 如權利要求10所述的方法，其特徵在於，進一步包括將所述健康信息存儲在用戶 可查詢的資料庫中。
12. 如權利要求9所述的方法，其特徵在於，進一步包括所述管理群集部署所述工作器 群集中的工作器節點。
13. 如權利要求9所述的方法，其特徵在於，進一步包括所述管理群集執行所述工作器 群集中的工作器節點上的維護。
14. 如權利要求9所述的方法，其特徵在於，所述管理群集執行所述工作器群集中的工 作器節點上的升級或回滾中的至少一個。
15. 如權利要求9所述的方法，其特徵在於，所述管理群集執行所述工作器群集中的工
【文檔編號】G06F9/44GK104067221SQ201380006408
【公開日】2014年9月24日 申請日期:2013年1月18日 優先權日:2012年1月23日
【發明者】M·M·琴恩塔拉帕蒂, C·賈, T·弗雷格, K·薩布拉馬尼安, S·楊 申請人:微軟公司