用於多處理環境中的數據聚合的方法和系統的製作方法
2023-05-27 20:45:01
專利名稱：用於多處理環境中的數據聚合的方法和系統的製作方法
技術領域：
本發明通常涉及在分布式處理環境中的數據管理，特別是，涉及用於以容錯方式從分布式處理環境的多個處理單元收集(collection)和聚合(aggregation)數據。
背景技術：
在分布式處理環境(例如，集群環境)中，從環境的多個處理單元收集和聚合(aggregate)數據。該聚合數據能在許多任務中使用，這些任務包括但不限於在處理環境內的工作負荷管理。
在以前，為了收集該數據，由處理單元將數據發送到環境的中央管理器。然後，中央管理器負責將數據聚合。然而，在處理單元與中央管理器之間的通信介質是非可靠的，因此，會丟失數據和/或反覆發送數據。這導致數據聚合的不準確。
發明內容
基於以上描述，需要一種用於從環境的多個處理單元收集和聚合數據的增強型設備。特別是，需要一種用於數據收集和聚合的容錯設備，其中，中央管理器能夠容許數據的丟失和重複。
通過提供一種用於在多處理環境中進行數據聚合的方法，克服現有技術的缺點，並提供額外的優點。該方法包括例如由處理環境的中央管理器對處理環境的多個處理單元的多個處理單元中每個處理單元的本地聚合數據進行跟蹤，其中，處理單元的本地聚合數據是關於該處理單元的數據，且其中，跟蹤確保重複的本地聚合數據和過時的本地聚合數據被丟棄；和由中央管理器聚合該多個處理單元的本地聚合數據，以獲得多處理環境的總聚合數據。
在另一實施例中，提供了一種在多處理環境中聚合數據的方法。該方法包括例如由多處理環境的多個處理單元的多個處理單元中每個處理單元對數據進行本地聚合，本地聚合確保不會丟失要聚合的任何數據，其中，處理單元的本地聚合數據包括與該處理單元有關的數據；由該多處理單元的每個處理單元將其本地聚合數據通過一個或多個非可靠連接轉發到中央管理器，其中，該轉發容許零或更多次失敗的轉發嘗試；由中央管理器對每個處理單元的本地聚合數據進行跟蹤，其中，跟蹤確保重複的本地聚合數據和過時的本地聚合數據被丟棄；和由中央管理器對該多個處理單元的本地聚合數據進行聚合，以獲得多處理環境的可靠總聚合數據。
此外，此處還描述和要求保護對應於上述方法的系統和電腦程式產品。
通過本發明的技術，可實現更多特徵和優點。此處，更詳細地描述本發明的其他實施例和方面，並將其視為所要求保護的發明的一部分。
下面，將具體指出本發明的一個或多個方面，其被明確聲明作為說明書結束後權利要求範圍內的示例。結合附圖，通過下面的詳細描述，會明白本發明的上述及其他目的、特徵和優點，其中圖1表示包含並使用本發明的一個或多個方面的處理環境的一個實施例；圖2根據本發明的方面表示如圖所示處理單元的更多細節；圖3根據本發明的方面表示與按照容錯方式收集和聚合數據相關聯的邏輯的一個實施例；圖4根據本發明的方面表示響應在處理環境內重新啟動，與收集和聚合數據相關聯的邏輯的一個實施例；圖5根據本發明的方面表示中央管理器收集數據、聚合數據和處理丟失數據的一個具體實例；和圖6表示包含本發明的一個或多個方面的電腦程式產品的一個示例。
具體實施例方式
根據本發明的方面，提供一種容錯功能，以便可靠地收集和聚合來自多個處理單元的不同數據。在一處理單元處，對該處理單元的數據進行收集和本地聚合。存儲本地聚合數據，並將其定期轉發到中央管理器。響應於接收數據，中央管理器確定在處理環境的數據總聚合中是否應包括該數據。如果確定應包括該數據，則中央管理器將該數據添加到總聚合中。然後，中央管理器可在若干種情形(包括例如份額調度情形)中使用總聚合。
下面，參照圖1，描述包括和使用本發明的一個或多個方面的處理環境的一個實施例。在一個示例中，處理環境為分布式處理環境，例如，集群環境，在其中，共享環境資源以執行系統任務。儘管此處將集群環境描述成包括和使用本發明的一個或多個方面，不過，其他類型的環境，包括非集群環境，也可從本發明的一個或多個方面受益。
圖1表示包括例如多個處理單元102的集群環境100，該多個處理單元102通過一個或多個連接106與至少一個其他處理單元104相連。連接106例如為非可靠的連接，包括但不限於有線連接、無線連接或任何類型的網絡連接，例如區域網(LAN)、廣域網(WAN)、令牌環、乙太網連接等。或者，也可通過一個或多個連接將處理單元102與一個或多個其他處理單元102相連接。
在一個示例中，處理單元包括例如個人計算機、膝上型計算機、工作站、主機、小型機或任何其他類型的處理單元。作為一個具體示例，每個處理單元為國際商用機器公司(紐約Armonk)提供的pSeries伺服器。「pSeries」為國際商用機器公司(紐約Armonk)的註冊商標。每個處理單元可以是與另一單元類型相同或不同的處理單元。在一個示例中，每個處理單元都執行作業系統，例如，Linux，或國際商用機器公司提供的AIX。「AIX」為國際商用機器公司(紐約Armonk)的註冊商標。一個處理單元的作業系統可以與另一處理單元的作業系統相同或不同。此外，在其他示例中，一個或多個處理單元可以不包括作業系統。
根據本發明的方面，每個處理單元102(或其子集)為數據的收集器，因此，此處將其稱為收集器或收集器機器。例如，當在處理單元上執行的作業終止時，或以定期間隔，收集器收集關於在該處理單元上進行處理的作業的資源利用信息。然後，將收集器收集的信息轉發到處理單元104，此處將處理單元104稱為中央管理器。中央管理器負責對處理環境的各種任務進行全局管理。例如，中央管理器包括用於在環境內進行公平份額調度的作業調度器，並將收集的信息用於公平份額調度。特別是，在該示例中，每個收集器收集數據，該數據對於由中央管理器(例如，作業調度器)用於調度要執行的作業的合成數據聚合形成貢獻。
下面，參照圖2，描述關於收集器和中央管理器的更多細節。在一個實施例中，每個收集器102包括有存儲器200，用於存儲所收集數據的本地聚合202。該數據對收集它的收集器而言是惟一的，這是由於該數據與執行在該收集器上的作業相關聯。在一個示例中，數據包括或具有與其關聯的時間戳，用於表明數據最近何時被聚合。收集器102還包括資料庫204或與資料庫204相連接，在資料庫204中，存儲有本地聚合數據的持久性(persistent)拷貝。資料庫204例如存儲在與收集器102相連的存儲介質(例如，磁碟)上。
每個收集器102將其本地聚合數據發送到中央管理器104，中央管理器104保持有收集器的數據的本地拷貝210。中央管理器104還包括數據結構，例如表212，表212具有列表214，其中具有針對每個收集器的表項。列表中的每個表項存儲有從相應收集器接收的最新聚合值的本地拷貝及其時間戳。表212也包括總聚合值216，總聚合值216為來自列表的所有本地拷貝的聚合。
下面，參照圖3，描述與多個收集器收集和聚合數據相關聯的邏輯的一個實施例。最初，當收集器上處理的作業終止時，或以定期間隔，收集器收集與該作業相關的新數據，並本地聚合該數據。例如，收集器可收集所報告的該作業所用CPU時間的量，並將該時間與已收集的CPU時間聚合。將該本地聚合數據保存在收集器的存儲器中，或保存在資料庫中以進行持久保存。這確保不會丟失任何新數據。
之後，例如以定期間隔(例如，每2分鐘)或當作業終止時，收集器將其本地聚合數據和表明數據何時被聚合的時間戳發送到中央管理器，步驟302。在一個示例中，該信息通過非可靠的通信連接發送。
當中央管理器從收集器接收本地聚合數據時，它確定數據是否過時，質詢304。在一個示例中，通過將與數據一起發送的時間戳與在中央管理器處已存儲的針對該收集器的數據的時間戳或預設值進行比較，來實現該確定。如果在輸入數據上的時間戳早先於表項中的數據，則丟棄輸入數據，步驟306。否則，中央管理器更新該收集器的本地聚合數據，步驟308。在一個示例中，用新數據代替在表中與發送該數據的收集器相關聯的聚合值。此外，例如，通過以新數據代替在舊總聚合數據中的舊數據，或通過將本地拷貝加在一起以得到新總聚合數據，對總聚合數據進行更新，步驟310。
通過以上述方式收集和聚合數據，能夠容許失序(out-of-order)更新和/或丟失數據。此外，如有必要重新啟動收集器和/或中央管理器，則保留該數據。下面，將參照圖4對此進行更詳細的描述。
當重新啟動(或啟動)收集器時，中央管理器104請求收集器向中央管理器發送其本地聚合數據，步驟400。在另一實施例中，收集器在不被提示的條件下發送信息。收集器從其本地資料庫讀取數據，步驟402，並將本地聚合數據及其從本地資料庫恢復的時間戳發送到中央管理器，步驟404。數據通過或許並不可靠的通信介質發送。從而，在收集器重試和發送重複更新的情形中，中央管理器容許多次接收相同數據的情形，這是因為它僅替換列表中合適本地表項中的數據，並重新計算總聚合值。如果中央管理器接收失序更新，它忽略/丟棄時間戳舊於相應本地表項上時間戳的任何更新。由於較遲更新(從收集器角度看，由中央管理器在較早更新之前接收)已包括較舊更新，相應本地聚合是有效的。在因不可靠連接而使來自收集器的一個或多個更新丟失的情形中，由於數據在收集器上是持久的，下一個成功的更新包括丟失更新的所有貢獻。
如果中央管理器失效並重新啟動，步驟406，則用來自被請求的更新的數據填充表中的本地表項，步驟408。由於數據在收集器處是持久的，從而不會丟失任何數據。在另一實施例中，可將中央管理器處的本地數據保持在持久存儲狀態，如果重新啟動中央管理器則可使用該數據。
下面，參照圖5，描述收集器收集和存儲數據，以及通過收集器對中央管理器進行更新的一個具體示例。圖5還表示出處理丟失數據的示例。在該示例中，使用聚合算子「+」，給定數據A和B構成A+B。已知「+」算子是服從結合律的，從而，(A+B)+C等於A+(B+C)。此外，「+」可為時間相關操作。例如，(r1，t1)+(r2，t2)＝(r，t2)，且r＝r1*exp(-k*(t2-t1))+r2，其中，k為延遲常數。
作為具體示例，對於在一組分布式機器上執行的作業，收集的數據為作業資源利用數據，例如，作業CPU數據。數據的聚合將由工作負荷管理系統的調度器使用。也可存在其他示例和變型例。
參照圖5，在步驟500中，在時間t1(例如，時間0-當前時間)收集器1接收新數據片r1(例如，100CPU分鐘)。在步驟502，收集器1更新其本地聚合R1為r1，將T1更新為t1，從而，R1＝100，T1＝0。在步驟504，收集器1使用新R1/T1值更新其本地資料庫DB1。在步驟506，收集器1將其新本地聚合R1＝100/T1＝0發送到中央管理器104。在步驟508處，中央管理器接收更新，並利用R1/T1對收集器1的表項509進行更新，並重新計算總聚合為R＝r1＝100，T＝t1＝0(510)。
在步驟511中，在時間t2(例如，50秒)收集器2接收新數據片r2(例如，200CPU分鐘)。在步驟512，收集器2更新其本地聚合R2為r2，將T2更新為t2，從而，R2＝200，T2＝50。在步驟514，收集器2使用新R2＝200/T2＝50值更新其本地資料庫DB2。然後，在步驟516，收集器2將其新本地聚合R2/T2發送到中央管理器。但在該情形中，事務出現丟失。
在步驟518中，在時間t3(例如，150秒)收集器2接收新數據片r3(例如，120CPU分鐘)。在步驟520，收集器2更新其本地聚合R2為r2+r3，將T2更新為t3。該更新有益地包括在步驟516處丟失的更新。從而，R2＝r2+r3＝320，T2＝r3＝150。在步驟522，收集器2使用新R2/T2值更新其本地資料庫DB2。然後，在步驟524，收集器2將其新本地聚合R2＝320/T2＝150發送到中央管理器。在步驟526處，中央管理器104利用R2/T2對收集器2的表項進行更新，並重新計算總聚合為R＝r1+r2+r3＝420，T＝t3＝150。
以上詳細描述了能夠以容錯方式從多個處理單元收集和聚合數據的收集和聚合功能。
可將本發明的一個或多個方面包括在例如具有計算機可用介質的製造產品(例如，一個或多個電腦程式產品)中。此處，介質例如具有用於提供和實現本發明的一個或多個方面的功能的計算機可讀程序代碼裝置或邏輯(例如，指令、代碼、命令等)。可將製造產品作為計算機系統的一部分包括在內，或單獨將其出售。
下面，參照圖6，描述包括本發明的一個或多個方面的製造產品或電腦程式產品的一個示例。電腦程式產品600例如包括一個或多個計算機可用介質602，以便在其上存儲用於提供和實現本發明的一個或多個方面的計算機可讀程序代碼裝置或邏輯604。該介質可為電子、磁、光、電磁、紅外或半導體系統(或裝置或設備)或傳播介質。計算機可讀介質的示例包括半導體或固態存儲器、磁帶、可移動計算機磁碟、隨機存取存儲器(RAM)、只讀存儲器(ROM)、硬磁碟和光碟。光碟的示例包括只讀光碟(CD-ROM)、可擦寫光碟(CD-R/W)和DVD。
由一個或多個計算機可讀程序代碼裝置或邏輯定義的程序指令序列或一個或多個相關模塊的邏輯組件，控制著本發明的一個或多個方面的執行。
可將此處所述功能的一個或多個方面包括在多個產品中，這些產品包括但不限於工作負荷管理產品，如國際商用機器公司提供的Tivoli Workload Scheduler LoadLeveler。「LoadLeveler」是國際商用機器公司(紐約Armonk)的註冊商標。其他產品包括但不限於其他工作負荷管理產品，能夠包括本發明的一個或多個方面。
有利的是，本發明的一個或多個方面能夠實現自多個處理單元的容錯數據收集和聚合。重複數據、失序數據和丟失數據都能被容許。每個收集器保持有本地聚合數據的資料庫，其在收集器失效的情形中是持久的。此外，中央管理器也保持有收集器的本地聚合數據的存儲器拷貝或者持久性拷貝，並使用時間戳確定是否將接收的本地聚合數據包括在環境的總聚合數據中。
儘管在此提供了一個或多個示例，但它們僅作為示例。在不偏離本發明精神的條件下，可對這些示例進行多種變型。例如，除此處所提供示例之外的處理環境也可包括和/或受益於本發明的一個或多個方面。例如，環境可以不是集群環境和/或其可包括比此處所述或多或少的處理單元。此外，該環境可包括除Linux或AIX之外的作業系統。此外，還可使用除此處所述之外的其他網絡和/或連接。此外，一個或多個處理單元可不同於pSeries伺服器。存在多種其他變型。
例如，適用於存儲和/或執行程序代碼的數據處理系統用於包括通過系統總線與存儲器單元直接或間接相連的至少一個處理器。存儲器單元包括例如在程序代碼實際執行期間採用的本地存儲器、大容量存儲器和為至少某些程序代碼提供臨時存儲以便減少在執行期間必須從大容量存儲器檢索代碼次數的高速緩衝存儲器。
可將輸入/輸出或I/O設備(包括但不限於鍵盤、顯示器、指點設備等)直接或通過中間I/O控制器與系統連接。此外，還可將網絡適配器與系統連接，以便使數據處理系統變為通過中間專用或公用網絡與其他數據處理系統或遠程印表機或存儲設備連接。數據機、電纜數據機和乙太網卡僅是可用類型的網絡適配器中的一些。
作為其他變型例，還可使用多於一個的中央管理器，和/或可收集和聚合除資源利用數據之外的數據。存在多種其他變型。
可將本發明的一個或多個方面的功能實現於軟體、固件、硬體或其組合中。可提供機器可讀取的、包括機器可執行的至少一個指令程序的至少一個程序存儲設備。
此處所示流程圖僅作為示例。在不偏離本發明精神的條件下，此處所述這些圖例和步驟(或操作)存在多種變型。例如，這些步驟可按不同的順序執行，或可對步驟進行添加、刪除或修改。所有這些變型都被考慮作為所要求保護的發明的一部分。
儘管此處詳細表示和描述了優選實施例，但該相關領域的技術人員應該理解，在不偏離本發明的精神的條件下，可進行多種修改、添加、替換等，因此，將其考慮在本發明的範圍內，本發明的範圍由下面的權利要求來定義。
權利要求
1.一種用於在多處理環境中進行數據聚合的方法，所述方法包括由處理環境的中央管理器對處理環境的多個處理單元的多個處理單元中每個處理單元的本地聚合數據進行跟蹤，其中，處理單元的本地聚合數據是關於該處理單元的數據，且其中，該跟蹤確保重複的本地聚合數據和過時的本地聚合數據被丟棄；和由中央管理器聚合該多個處理單元的本地聚合數據，以獲得多處理環境的總聚合數據。
2.根據權利要求1的方法，其中，該跟蹤包括在數據結構中保持多處理環境的一個或多個處理單元的列表，以及針對該一個或多個處理單元中至少一個處理單元的每個處理單元，保持該處理單元的本地聚合數據。
3.根據權利要求1的方法，其中，對處理單元的本地聚合數據的跟蹤包括由中央管理器從該處理單元接收本地聚合數據；將所接收的本地聚合數據的時間戳與中央管理器所保持的該處理單元的本地聚合數據的時間戳以及預設值之一進行比較；和響應於比較表明要跟蹤該本地聚合數據，存儲該本地聚合數據。
4.根據權利要求3的方法，其中聚合包括響應於比較表明要包括該本地聚合數據，重新計算總聚合數據以包括該本地聚合數據。
5.根據權利要求1的方法，還包括由多處理環境的處理單元收集該處理單元的數據；在該處理單元處聚合所收集的數據，以獲得該處理單元的本地聚合數據；以及將本地聚合數據轉發到中央管理器，以用於中央管理器的跟蹤。
6.根據權利要求5的方法，還包括，將該處理單元的本地聚合數據存儲在該處理單元的資料庫中，以提供該本地聚合數據的持久性拷貝。
7.根據權利要求5的方法，其中，該處理單元的本地聚合數據具有與之相關聯的時間戳，所述時間戳被轉發到中央管理器，並且在跟蹤時用於確保忽略過時的數據。
8.根據權利要求1的方法，還包括，重新啟動該多個處理單元的處理單元，並且響應於此，將重新啟動的處理單元的本地聚合數據和與之相關聯的時間戳轉發到中央管理器，用於中央管理器的跟蹤。
9.根據權利要求1的方法，其中，重新啟動中央管理器，並且響應於重新啟動，中央管理器從多處理環境的一個或多個處理單元獲得本地聚合數據，並由獲得的本地聚合數據確定總聚合數據。
10.一種在多處理環境中聚合數據的方法，所述方法包括由多處理環境的多個處理單元的多個處理單元中每個處理單元對數據進行本地聚合，該本地聚合確保不丟失要聚合的任何數據，其中，處理單元的本地聚合數據包括與該處理單元有關的數據；由該多個處理單元的每個處理單元將其本地聚合數據通過一個或多個非可靠連接轉發到中央管理器，其中，該轉發容許零或更多次失敗的轉發嘗試；由中央管理器對每個處理單元的本地聚合數據進行跟蹤，其中，跟蹤確保重複的本地聚合數據和過時的本地聚合數據被丟棄；和由中央管理器對該多個處理單元的本地聚合數據進行聚合，以獲得多處理環境的可靠總聚合數據。
11.一種用於多處理環境中的數據聚合的系統，所述系統包括處理環境的中央管理器，用於跟蹤處理環境的多個處理單元的多個處理單元中每個處理單元的本地聚合數據，其中，處理單元的本地聚合數據為與該處理單元相關的數據，且其中，跟蹤確保重複的本地聚合數據和過時的本地聚合數據被丟棄；以及中央管理器，用於將該多個處理單元的本地聚合數據聚合，以獲得多處理環境的總聚合數據。
12.根據權利要求11的系統，還包括數據結構，所述數據結構包括多處理環境的一個或多個處理單元的列表，以及針對該一個或多個處理單元中至少一個處理單元的每個處理單元，該列表保持該處理單元的本地聚合數據。
13.根據權利要求11的系統，還包括多處理環境的處理單元，用於收集該處理單元的數據，並在該處理單元處將收集的數據聚合，以獲得該處理單元的本地聚合數據；以及該處理單元將本地聚合數據轉發到中央管理器，用於中央管理器的跟蹤。
全文摘要
公開了在多處理環境中用於數據聚合的方法和系統。容錯功能用於可靠地收集和聚合來自多個處理單元的不同數據。在處理單元處，對該處理單元的數據進行收集和本地聚合。將本地聚合數據存儲在本地資料庫中，並將其定期轉發到中央管理器。當接收數據時，中央管理器確定在處理環境的數據總聚合是否應包括該數據。
文檔編號G06F9/46GK101063973SQ20071000542
公開日2007年10月31日 申請日期2007年2月8日 優先權日2006年4月27日
發明者戴維·P.·布裡爾斯福德, 理察·J.·庫彭格, 亞歷山大·杜拉雅恩, 鍾恩慈 申請人:國際商業機器公司