用於分布式計算機系統測量的系統及方法

2023-08-03 22:45:01 2

專利名稱：用於分布式計算機系統測量的系統及方法
技術領域：
本公開的技術領域是在計算機系統中的參數測量，特別是，在分布式計 算機系統中的參數測量。
背景技術：
分布式計算機系統，如高端對稱多處理(SMP)伺服器系統，需要測量 遍及計算機系統的操作參數，以監控操作並且荻得用於控制操作的數據。一 個被測量的操作參數的示例是功率，對其的測量在減少功率用量(usage)和 控制遍及計算機系統的功率流方面已經變得越來越重要。對於測量的功率數 據的使用範圍從數據到外部程序的簡單傳遞擴展到基於數據的計算機系統功 率性能狀態的複雜改變。在低端計算機系統中，在功率分布系統擴展之前， 增加硬體來測量功率用量，其提供總功率的測量但是要求處於附加花費的額 外的硬體。在高端計算機系統中，總功率不是直接地測量，而是被估算，導 致大的誤差。誤差要求將額外的餘量(margin)嵌入控制計算中，並且功率 系統做得更大以解決該誤差。這兩者都增加了計算機系統的初始成本和操作 期間的費用。
高端SMP伺服器系統典型地包括若干提供功率測量的分布式點。這些分 布式點測量由伺服器實體，如處理器核心、存儲器單元、和/或輸入/輸出設備 所消耗的功率。SMP伺服器系統基於在分布式點的功率測量，決定系統等級。 遺憾的是，目前的SMP伺服器系統在不同的時間進行功率測量，使得不可能 精確地確定在特定時間在特定點上的功率，或在特定時間的總功率。
圖1A和1B圖示在不同時間進行功率測量的問題。圖1A是分布式計算 機系統的實際功率相對時間的圖。將分布式計算機系統內若干從屬點(slave point)處的實際功率(標記為從l、從2、從3)總計以提供實際的系統總功 率(標記為系統)。圖1B是分布式計算機系統的指示功率相對時間的圖。將 分布式計算機系統內若干從屬點處的指示功率(標記為從l、從2、從3)總
計以提供系統指示總功率(標記為系統)，其將由主設備看到。在該圖示中，
對於各從屬指示功率從實際功率偏移，以反映出在主設備和各從屬之間從屬
單元延遲時間的差別。從3沒有偏移，從2向後偏移兩個時間單位，並且從 1向後偏移四個時間單位。沒有出現在圖1A上的、發生在真實時間零點之前 的數據，在圖1B上填充了從2的最初兩個時間單位和從1的最初四個時間單 位。在圖1B中的零到四時間單位之間，相對於圖1A的系統實際總功率，初 期的數據減少了圖1B的系統指示總功率的大小。
從圖1A的系統實際總功率與圖1B的系統指示總功率的比較看來，偏移 的影響是明顯的。例如，從零到四時間單位，系統實際總功率急劇地增加， 然後平穩。系統指示總功率在零和八時間單位之間顯示更加漸進的(gradual) 增加，在八時間單位達到峰值，然後立即下降。由於系統指示總功率沒有反 映系統實際總功率，所以任何基於系統指示總功率以控制系統功率的嘗試導 致操作誤差。
將期望有一種用於分布式計算機系統的測量的系統和方法，其將克服上 述缺點。

發明內容
本發明的用於分布式計算機系統測量的系統和方法提供對系統參數的同 步測量。通過考慮到在主單元和從屬單元之間的從屬單元延遲時間，將從屬 單元中的從屬時鐘同步。精確測量允許對分布式計算機系統的精確控制，並 且減少了過度保守的操作餘量。
本發明的 一個方面提供一種用於分布式計算機系統的參數測量的方法， 其包括選擇主單元；選擇可操作地連接到在總線上的主單元的從屬單元， 該從屬單元具有從屬時鐘；確定在主單元和從屬單元之間的從屬單元延遲時
間；為從屬單元生成從屬單元同步信號，該從屬單元同步信號為從屬單元延 遲時間進行調整；響應於從屬單元同步信號，同步從屬時鐘；並且在同步確 定的時間測量在從屬單元的操作參數。
本發明的另 一個方面提供一種在計算機可用介質中的電腦程式產品， 其用於分布式計算機系統的參數測量，該分布式計算機系統具有主單元和可 操作地連接到在總線上的主單元的從屬單元，該從屬單元具有從屬時鐘，該 電腦程式產品包括用於確定從屬單元在主單元和從屬單元之間延遲時間 的電腦程式編碼；用於為從屬單元生成從屬單元同步信號的電腦程式編碼，該從屬單元同步信號為從屬單元延遲時間進行調整；用於響應於從屬單 元同步信號，同步化從屬時鐘的電腦程式編碼；以及用於在同步確定的時 間測量在從屬單元的操作參數的電腦程式編碼。
本發明的另一個方面提供一個信息處理系統，其包括處理器；主單元； 可操作地連接到在總線上的主單元的從屬單元；耦合到所述處理器以存儲指 令的存儲器，該指令可由數字處理裝置存儲執行，以執行為分布式計算機系 統提供參數測量的操作。該操作包括確定在主單元和從屬單元之間的從屬 單元延遲時間；為從屬單元生成從屬單元同步信號，該從屬單元同步信號為 從屬單元延遲時間進行調整；響應於從屬單元同步信號，同步從屬時鐘；並 且在同步確定的時間測量在從屬單元的操作參數。
本發明的另一個方面提供一種用於分布式計算機系統的功率測量的方 法，其包括選擇主單元；選擇可操作地連接到在總線上的主單元的從屬單 元，該從屬單元具有從屬時鐘；確定在主單元和從屬單元之間的從屬單元延 遲時間；為從屬單元確定從屬單元同步信號，該從屬單元同步信號為從屬單 元延遲時間進行調整；響應於從屬單元同步信號，同步從屬時鐘；並且在同 步確定的時間測量在從屬單元的功率。
本發明前述的和其它的特徵和優點將從連同附圖理解的、對如下目前優 選實施例的詳細描述中變得更明顯。這些詳細描述和附圖只是用來說明本發 明的，而不是限制由權利要求書及其等價物所限定的本發明的範圍。


圖1A是分布式計算機系統的實際功率相對時間的圖； 圖1B是分布式計算機系統的指示功率相對時間的圖； 圖2是應用根據本發明執行的參數測量的方法的分布式計算機系統的方
框圖3是根據本發明執行的、用於分布式計算機系統的參數測量的方法的 流程圖4是根據本發明的用於實現分布式計算機系統的參數測量的信息處理 系統的方框圖。
具體實施例方式
圖2是應用根據本發明執行的參數測量方法的分布式計算機系統的方框
圖。在該示例中，分布式計算機系統20包括主單元30,其由總線50可操作 地連接到多個從屬單元40。單獨的從屬單元40也能夠通過總線50可操作地 互相連接。因為主單元30在單個的總線50上連接到從屬單元40,所以主單 元30每次只能夠與多個從屬單元40的一個通信。主單元30具有執行指令的 主單元處理器34、存儲指令和/或數據的主單元存儲器3、以及主時鐘38。從 屬單元40具有執行指令的從屬單元處理器44;存儲指令和/或數據的從屬單 元存儲器46;以及從屬時鐘48。在一個示例中，分布式計算機系統20包括 要由主單元讀取的42個從屬單元。
在一個實施例中，分布式計算機系統20是高端SMP伺服器系統，並且 主單元30是SMP伺服器。從屬單元40能夠是伺服器實體，如處理器核心、 存儲器單元、和/或輸入/輸出設備，其包括能夠在單獨的從屬單元40測量操 作參數的小的微控制器。操作參數的示例包括功率、溫度、或任何其它能夠 在單獨的從屬單元40確定的操作參數。在一個實施例中，操作參數用可操作 地連接到單獨的從屬單元40的傳感器(未示出)直接測得。在另一個實施例 中，操作參數通過測量指示如數據流的操作參數的活動，在單獨的從屬單元 40內間接測得。總線50能夠是fC (智能接口控制器)總線，在I2C總線上 的信號符合由飛利浦半導體開發的I2C協議。I2C總線使用串行數據線和串行 時鐘線的兩種導線，以在連接到導線的設備之間傳送信息。為主單元30和從 屬單元40提供唯一的地址。主單元30將指令發送到從屬單元40，並且從從 屬單元40接收數據。本領域的技術人員將理解分布式計算機系統20不局 限於所描述的配置，而能夠是具有在總線上通信的分布式單元的任何分布式 計算機系統。例如，總線50能夠是適於所要求的通信協議的任何總線，如標 準串行接口 (RS232)、乙太網(傳輸控制協議/網際網路協議[TCP/IP])、用戶數 據報協議[UDP])、外圍組件互連(PCI)等等。
圖3是根據本發明執行的、用於分布式計算機系統的參數測量方法的流 程圖。方法100包括選擇主單元102;選擇從屬單元104;確定從屬單元延 遲時間106;生成從屬單元同步信號108;同步從屬時鐘110;並且在同步確 定的時間測量操作參數112。測量的操作參數能夠從從屬單元傳輸到主單元， 用於控制或其它需要的用途。
方法IOO解決從屬單元延遲時間，即在從主單元發出信號直到從屬單元
接收信號之間的時間延遲。從屬單元延遲時間依賴於總線速度和從屬單元距 主單元的距離。當各個從屬單元距主單元的距離不同時，從屬單元延遲時間 對每個從屬單元是不同的。方法100解決了允許同步參數測量的從屬單元延 遲時間。
選^奪主單元102包括選擇主單元作為分布式計算機系統的一部分。如此 處所定義的，分布式計算機系統是其中主單元與一個或更多的從屬單元物理 地分離的計算機系統。選擇從屬單元104包括選擇可操作地連接到在總線上 的主單元的從屬單元。從屬單元具有從屬時鐘，並且每個從屬單元中的從屬 時鐘能夠獨立於其它從屬單元中的從屬時鐘而運行。在一個示例中，從屬單 元在^C (智能接口控制器)上可操作地連接到主單元。
確定/人屬單元延遲時間106包括確定在主單元和從屬單元之間的從屬單 元延遲時間。為每個從屬單元確定從屬單元延遲時間，其中對每個從屬單元 要測量操作參數。在一個實施例中，從屬單元延遲時間通過計算確定，例如， 從屬單元的從屬單元延遲時間等於從主單元到從屬單元的距離乘以在總線中 的信號速度。在另一個實施例中，從屬單元延遲時間通過實驗確定，例如， 為從主單元傳遞到從屬單元的信號測量時間。
生成從屬單元同步信號108包括為從屬單元生成從屬單元同步信號， 該從屬單元同步信號為從屬單元延遲時間進行調整。為每個從屬單元生成從 屬單元同步信號，其中對每個從屬單元要測量操作參數。用於特定從屬單元 的從屬單元同步信號能夠是同步時間，所有從屬單元被設為該同步時間加上
對於特定從屬單元的從屬單元延遲時間。同步時間能夠匹配主單元中的主時 鍾，使得主時鐘和從屬時鐘具有相同的時間。同步從屬時鐘110包括響應 於從屬單元同步信號同步從屬時鐘。為每個從屬單元同步從屬時鐘，其中對 每個從屬單元要測量操作參數。因為從屬單元同步信號包括從屬單元延遲時 間，該延遲時間說明從屬單元同步信號從主單元傳遞到從屬單元的時間，所 以將所有的從屬時鐘同步成相同的時間。主單元能夠通過以由從屬單元列表 指定的次序傳送從屬單元同步信號，依次同步從屬單元。
方法100能夠在同步確定的時間結束測量操作參數112。因為對從屬單 元同步了從屬時鐘，所以在相同的時間(即同步確定的時間)在所有的從屬 單元進行測量。被測量的操作參數能夠從從屬單元傳輸到主單元，其中測量 的操作參數能夠按照需要使用。使用的一個示例是將測量的操作參數傳遞到
外部程序。使用的另一個示例是基於測量的操作參數，改變分布式計算機系 統的功率性能狀態，如處理器頻率。當額外的功率可用時，處理器頻率能夠 增加，並且當需要減少功率消耗時，處理器頻率能夠減小。
在同步確定的時間測量操作參數112包括在同步確定時間測量在從屬
單元的操作參數。在一個實施例中，操作參數是在從屬單元的功率。在另一 個實施例中，操作參數是在從屬單元的溫度。在另一個實施例中，操作參數 是幾個操作參數的混合，既有某些從屬單元測量一個參數，如功率，也有其 它從屬單元測量一個或更多的操作參數，如溫度。測量操作參數能夠通過使 用傳感器直接測量，或通過測量在從屬單元內的指示操作參數的活動而間接 測量。
在同步確定的時間測量操作參數112還能夠包括在一系列同步確定的 時間測量操作參數。該系列同步確定的時間能夠是特定的時間、或由測量時 間間隔分開的開始時間和隨後的時間。在一個實施例中，選擇測量時間間隔， 使得在測量時間間隔期間能夠進行多次測量，並且各單獨的測量取平均值以 提供測量的操作參數。
方法100還能夠包括響應於從屬單元同步信號，在預定的時間間隔再 次同步從屬時鐘。在從屬單元的從屬時鐘內的定時晶體(timing crystal)能夠 偏移，使得從屬時鐘的同步性喪失，除非從屬時鐘被周期性地再次同步。本 領域的專業人員將理解預定的時間間隔的長度依賴於定時晶體的偏移量和 測量的操作參數所要求的精確度。在一個示例中，具有定時晶體偏移為100 jus每秒的分布式計算機系統能夠在預定的每10秒的時間間隔被再次同步， 以維持在lms內的同步。在另一個具有兩個或更多從屬單元的分布式計算機 系統的示例中，每個從屬單元具有偏移為100jLlS每秒的定時晶體，系統定時 晶體偏移將會出現的最壞情況是，兩個從屬單元的定時晶體從主時鐘向相反 方向偏移。 一個從屬單元的定時晶體能夠以lOOps每秒正偏移，而另一個從 屬單元的定時晶體能夠以100jus每秒負偏移，導致200ms每秒的系統定時 晶體偏移。為在lms內維持同步，時鐘能夠在預定的每5秒的時間間隔處同 步。
在說明時鐘偏移問題的一個示例中，分布式計算機系統包括42個從屬 單元具有32個電壓調整器模塊(VRM,每個核心一個)的16個雙核心P6 處理器、以及具有10個VRM的10個存儲器DIMM和I/O功率單元的結合
體。來自所有的從屬單元的讀取需要同步，使得控制算法是有效的。在每個
從屬單元的從屬時鐘內的定時晶體具有百萬分之100的精度，具有100jas每 秒的等價偏移。每個從屬單元每64ms讀取一次，以滿足控制回^求，使得 每秒進行大約16次讀取。包括對於最壞情況正負偏移的因子二，每次讀取的 最壞情況的偏移將是12.8 m s (即,64ms*100ppm*2 )。在每秒16次讀取，最 壞情況的每秒偏移將是204.8ms偏移每秒。本領域的技術人員將理解在預 定的時間間隔處的從屬時鐘再次同步能夠用來校正偏移，以確保控制迴路功 能性。
圖4是根據本發明的、用於為分布式計算機系統實現參數測量的信息處 理系統的方框圖。信息處理系統401是能夠執行此處描述的操作的計算機系 統的簡化示例。信息處理系統401包括處理器400,其耦合到主機總線505。 二級(L2)高速緩衝存儲器410也耦合到主機總線505。主機-到-PCI橋415 耦合到主存儲器420，包括高速緩衝存儲器和主存儲器控制功能，並且提供 總線控制以處理在PCI總線425、處理器400、 L2高速緩沖存儲器410、主存 儲器420、以及主機總線505之間的傳輸。PCI總線425為多種設備提供接口 ， 包括例如LAN卡430和/或視頻卡432。視頻卡432可操作地連接到顯示設備 490，如液晶顯示器(LCD)、陰極射線管(CRT)顯示器、投影顯示器等等。 本領域的技術人員將理解視頻卡432能夠附於其它類型的總線，如AGP或 PCI極速總線，如特定的應用所需要的。
PCI-到-ISA橋435提供總線控制，以處理在PCI總線425和ISA總線440、 通用串行總線(USB)功能445、 IDE設備功能450、功率管理功能455之間 的傳輸，並且能夠包括其它未示出的功能性元件，如實時時鐘(RTC)、 DMA 控制、中斷支持、以及系統管理總線支持。外圍設備和輸入/輸出(1/0)設備 能夠附於不同的接口 460 (如，並行接口 462、串行接口 464、紅外(IR)接 口 466 、鍵盤接口 468 、滑鼠接口 470、以及耦合到ISA總線440的固定盤(HDD ) 472)。可替代地，超I/0控制器(未示出)能夠附於ISA總線440,以容納許 多I/0設備。
BIOS480耦合到ISA總線440，並且合併用於多種低級系統功能和系統 引導功能的必要的處理器可執行編碼。能夠將BIOS 480存儲到任何計算機可 讀介質中，包括磁存儲介質、光學存儲介質、快閃記憶體存儲器、隨機存取存儲器、 只讀存儲器、以及傳送編碼指令信號(如，來自網絡的信號)的通信介質。
為了將信息處理系統401連接到另一個計算機系統，以通過網絡複製文件，
將LAN卡430耦合到PCI總線425和PCI-到-ISA橋435。類似地，為將計算 機系統401連接到ISP,以使用電話線連接連接到網際網路，將數據機475 連接到串行埠 464和PCI-到-ISA橋435。
儘管圖4中描述的計算機系統能夠執行此處所描述的本發明，但是該計 算機系統只是計算機系統的一個示例。本領域的技術人員將理解許多其它 的計算機系統設計能夠執行此處所描述的本發明。
本發明優選實施例之一是應用，即，在代碼模塊中的一套指令(程序代 碼)，其可以例如駐留在計算機的隨機存取儲存器中。直到由計算機請求，該 套指令可以存儲到另一個計算機存儲器，例如，硬碟驅動器上，或可移動的
存儲器如光碟(最終在CD ROM中使用)或軟盤(最終在軟盤驅動器中使用)， 或經由英特網或其它計算機網絡下載。因此，本發明可以實現為存儲在計算 機可讀介質上、並且由執行操作以顯示數據的數字處理裝置可執行的計算機 程序。另外，雖然所描述的各種方法在由軟體選擇性地激活或重新配置的通 用計算機中方便地實現，但是本領域的普通技術人員還將認識到這樣的方 法可以在硬體、固件、或為執行所需的方法步驟而構建的更加專門的裝置中 實現。
儘管此處公開的本發明的實施例目前被認為是優選的，但是可以進行各 種變化和修改而不背離本發明的精神和範圍。本發明的範圍在權利要求書中 表明，並且在其等價物的含義和範圍內出現的所有變化都意圖包含在其中。
權利要求
1.一種用於分布式計算機系統的參數測量的方法，該方法包括選擇主單元；選擇可操作地連接到在總線上的主單元的從屬單元，該從屬單元具有從屬時鐘；確定在主單元和從屬單元之間的從屬單元延遲時間；為從屬單元生成從屬單元同步信號，該從屬單元同步信號為從屬單元延遲時間進行調整；響應於從屬單元同步信號同步從屬時鐘；以及在同步確定的時間測量在從屬單元的操作參數。
2. 根據權利要求1所述的方法，還包括將測量的操作參數從從屬單元傳 送到主單元。
3. 根據權利要求2所述的方法，其中測量的操作參數是測量的功率，還 包括響應於測量的功率，在從屬單元控制功率。
4. 根據權利要求1所述的方法，還包括響應於從屬單元同步信號，在預 定的時間間隔處再次同步從屬時鐘。
5. 根據權利要求1所述的方法，其中確定在主單元和從屬單元之間的從 屬單元延遲時間包括通過從由計算和實驗組成的組中選擇的技術來確定從 屬單元延遲時間。
6. 根據權利要求1所述的方法，其中測量操作參數包括 在測量時間間隔期間進行多次操作參數測量；以及將多次操作參數測量取平均值。
7. 根據權利要求1所述的方法，其中主單元是對稱多處理SMP伺服器， 並且從屬單元從組中選擇，該組由處理器核心、存儲器單元、和輸入/輸出系 統組成。
8. 根據權利要求1所述的方法，其中總線是fC智能接口控制器總線。
9. 根據權利要求1所述的方法，其中操作參數從由功率和溫度組成的組 中選擇。
10. —種信息處理系統，其包括 處理器；主單元；可操作地連接到在總線上的主單元的從屬單元，該從屬單元具有從屬時鐘；耦合到所述處理器以存儲指令的存儲器，該指令可由數字處理裝置執行， 以執行為分布式計算機系統提供參數測量的操作；該操作包括確定在主單元和從屬單元之間的從屬單元延遲時間；為從屬單元生成從屬單元同步信號，該從屬單元同步信號為從屬單元延 遲時間進行調整；響應於從屬單元同步信號，同步從屬時鐘；以及在同步確定的時間測量在從屬單元的操作參數。
11. 根據權利要求IO所述的系統，該操作還包括將測量的操作參數從 從屬單元傳送到主單元。
12. 根據權利要求11所述的系統，其中測量的操作參數是測量的功率， 並且操作還包括響應於測量的功率，在從屬單元控制功率。
13. 根據權利要求IO所述的系統，該操作還包括響應於從屬單元同步信 號，在預定的時間間隔處再次同步從屬時鐘。
14. 根據權利要求IO所述的系統，其中測量操作參數包括 在測量時間間隔期間進行多次梯:作參數測量；以及將多次操作參數測量取平均值。
15. —種用於分布式計算機系統的功率測量的方法，該方法包括 選擇主單元；選擇可操作地連接到在總線上的主單元的從屬單元，該從屬單元具有從 屬時鐘；確定在主單元和從屬單元之間的從屬單元延遲時間； 為從屬單元生成從屬單元同步信號，該從屬單元同步信號為從屬單元延 遲時間進行調整；響應於從屬單元同步信號同步從屬時鐘；以及 在同步確定的時間測量在從屬單元的功率。
全文摘要
一種用於分布式計算機系統的參數測量的系統和方法，該方法包括選擇主單元；選擇可操作地連接到在總線上的主單元的從屬單元，該從屬單元具有從屬時鐘；確定在主單元和從屬單元之間的從屬單元延遲時間；為從屬單元生成從屬單元同步信號，該從屬單元同步信號為從屬單元延遲時間進行調整；響應於從屬單元同步信號同步從屬時鐘；以及在同步確定的時間測量在從屬單元的操作參數。
文檔編號G06F11/34GK101174239SQ20071018116
公開日2008年5月7日 申請日期2007年10月12日 優先權日2006年11月2日
發明者安德烈亞斯·比斯萬格, 安德魯·蓋斯勒, 海-揚·麥克裡裡, 馬爾科姆·S·韋爾 申請人:國際商業機器公司