網格中基於歷史數據建模的作業性能預測方法

2023-10-05 13:07:29 1

專利名稱：網格中基於歷史數據建模的作業性能預測方法
技術領域：
本發明涉及高性能網格中作業完成時間建模方法，屬於分布式技術與系統領域。
背景技術：
現代科學研究中人們求解問題的領域在不斷擴大，所遇到的問題也越來越複雜， 而且規模越來越大，解決這些問題所需要的計算能力也在大幅度提高，局部的計算資源已 經無法滿足需求。隨著計算機和網絡技術的迅猛發展，很多組織和科研單位都擁有計算能 力很強的超級計算機，但這些機器往往因為只是孤立的為本單位服務而沒有充分發揮作 用，在大部分時間處於空閒狀態。因此，打破地域的限制，協同使用在網絡上廣泛分布的各 類資源已成為必須的要求。 網格技術的提出和發展正是為了滿足上述這種要求，其目標是實現網格虛擬環境 上異構資源的共享和協同工作，消除信息孤島和資源孤島。與它相關的技術包括網絡技 術、XML技術、Web服務技術(web service)、語義網(semantic web)、高性能計算等。隨著 網格技術的逐漸成熟，結合了面向服務理念的開放式網格服務架構(Open Grid Services Architecture, OGSA)已成為網格界事實上的標準，而Web服務資源框架(WS-Resource Framework, WSRF)是OGSA的最新實現規範。 —個遵從OGSA架構的網格系統(也稱為網格環境)通常包括以下三類實體
參共享資源。真正提供計算能力、能獨立運行的對象，如安裝了作業系統的計算 機，網絡，存儲系統等，是網格系統賴以運行的物質基礎。網格中的共享資源由個人/組織 (稱為"資源所有者"或"管理員")按照自身意願所貢獻，對外表現為自治的單位個體。資 源所有者可以對其貢獻的共享資源加以諸如"只有在機器負載不超過50 %時才能被網格系 統使用"之類的限定，用於限制網格系統對其共享資源的使用。 一般情況下，加入網格系統 的共享資源也稱為網格節點。 參網格服務。基於共享資源的本地運行環境(如作業系統)、為達到一定的功能目 的來編程開發的功能實體。網格服務通常按照特定的網格標準/規範(如WSRF)來實現， 部署在網格節點之上，接收用戶的調用，利用共享資源的能力進行處理之後向用戶返回結 果。將共享資源上配備的軟體、程序等實體具有的功能發布為網格服務的過程稱為服務包 裝。可以將多個網格服務按照一定的流程進行組合，發布為工作流網格服務，向用戶提供更 強大的功能。工作流服務和一般的網格服務對於用戶而言沒有區別，均為符合了特定網格 標準/規範的網格服務。 參用戶。調用網格服務的實體，又稱為用戶節點。用戶可以是網格系統中的某個 網格節點/網格服務，也可以是網格系統之外的對象實體。 雖然網格技術的發展使得資源的共享逐漸成為了一種現實，但是如何使得這些資 源得到高效率的利用仍然是一個具有挑戰性的問題。各種網格技術標準使得在網格中可以 更容易地集成大量的資源。但是，資源數量的增加也使得資源的選擇成為了一個不可迴避 的問題。當用戶提交一個計算請求時，系統需要決定應該將這個請求調度給系統中的哪一
4個資源。雖然已經有不少有關網格中資源調度方面的研究成果。然而，與其它系統中的資 源相比較，網格資源具有異構性、分布式、動態性等特點。在網格中進行資源的合理調度將 具有比其他系統中更大的複雜度。 平衡負載和提高作業執行效率是網格調度系統中普遍遵循的兩個重要目標。平 衡負載主要是從資源提供者的角度出發，用戶作業負載應該相對公平地在各個資源之間平 衡。提高作業執行效率主要是從網格用戶的角度出發，網格系統應該儘可能高質量地完成 用戶提交的作業。無論哪一個目標，網格系統在進行調度之前都需要了解資源的軟硬體配 置、資源動態負載以及作業性能模型等三方面信息。作業性能模型主要是用來描述在特定 的軟/硬體配置和動態負載下，用戶作業的完成質量。作業完成質量可能包括時間開銷、資 源(cpu、內存、帶寬、磁碟)佔用量、結果的準確性等。其中，作業時間開銷往往是用戶最關 心的一個指標。在網格中，前兩個方面信息的取得可以依賴專門的"網格信息中心"和"網 格監控系統"等子系統完成。但沒有一個簡單的途徑可以有效地獲取第三方面的信息。
圖1給出一個網格中在異構資源之間進行作業調度的典型場景。圖中所示橫坐標 為時間軸，縱坐標為一組網格上的可用資源。橫坐標中給出了從T(0)到T(6)共7個不同的 時刻，且當前處於T(l)時刻。縱坐標中的一組資源包括了具有不同容量大小的三個資源。 同時，圖中給出了三個無色方框，分別表示三個資源上正在運行的作業。方框的長度表示作 業執行的時間開銷，方框的寬度表示三個資源上的容量大小。如圖所示，當前T(l)時刻資 源1上有作業1正在運行，資源2上有作業2正在運行，資源3上的作業3剛剛完成。此時， 用戶提交了新的請求作業4，調度系統需要決定選擇三個資源中的一個來完成作業4。
參首先考慮不對作業建模的情況。由於在T(l)時刻，資源3剛剛完成作業3，事實 上處於空閒狀態。所以按照傳統的調度方案，作業4一定會被調度到資源3上來完成。如 圖所示，由於資源3的容量有限，作業4 一直到T(6)才能完成。 參當採用一種足夠準確的方法對作業的性能進行建模的時候，調度系統就會預計
作業1會在T(2)時刻完成，而作業2會在T(3)時刻完成。基於作業1、作業2和作業3的 完成時間，調度系統繼而可以對作業4在三個候選資源上的完成時間進行預測。預測的結 果是作業4被調度到資源1上將會最早完成，調度到資源2上將會有最小的時間開銷。這 樣的話，對於不同的優化目標，調度器可以將作業4調度到不同的資源上。如果以用戶響應 速度為優化目標，作業4應該被調度到資源1 ;如果以時間開銷為優化目標，作業4應該被 調度到資源2 ;如果以平衡負載為優化目標，作業4應該被調度到資源3。
作業性能模型是網格資源調度中非常重要的一個環節。不對作業性能進行足夠準 確的預測，調度器就不能掌握資源負載在未來一段時間的變化。不了解資源負載的變化，調 度器就不能為新的作業選擇合適的資源。另一方面，資源的異構性使得在網格中對作業進 行建模並不是一件容易完成的工作。同一種應用，相同的輸入參數和數據，在不同的資源 上，將會導致不同的作業性能。現有的建模方案具有如下的一些缺陷
1)建立的性能模型時靜態的，不能動態調整。性能模型被固定為某種類型，如線性 模型。 2)需要有關應用計算軟體的內部知識，甚至需要對原始碼進行分析。建立性能模 型需有關程序內部的循環、並行等結構方面的知識，或者使用某種專門的工具對原始碼進 行分析。而這對於大多數軟體來說往往是很難實現的。
5
3)不能同時適應計算密集型和通信密集型的作業類型，只能分別針對計算密集型 和通信密集型進行建模。 4)採用了已經被證明誤差較大的技術手段來預測數據傳輸時間。採用了類似 麗S(NetworkWeather Service)等監控工具來預測網絡帶寬。然而，已有另外的研究證明 麗S對於實際文件傳輸帶寬的預測誤差是相當大的。 5)在模擬環境中進行評價，將資源的負載設定為固定的狀態，沒有體現出資源負 載的動態變化。

發明內容
本發明的目的在於提供一種能夠不依賴於計算軟體內部實現，在資源負載實時變
化情況下，為計算和通信密集型作業進行性能動態建模的方法。同時，在此建模方法的基礎
上，提供一種在網格環境下進行資源調度的算法。 為更好地說明本發明的內容，首先定義如下名詞和術語 1)作業。作業(Job)是指計算機系統中為了完成共同的目標，而被作業系統執行 的一系列CPU指令。本發明中的作業是指在計算機系統中被啟動的一個或幾個進程。這些 進程之間存在一定的通信或數據傳遞。 2)作業性能。作業性能指的是作業從開始執行到執行結束時所佔用的各種資源。 這些資源可能包括CPU、內存、磁碟、時間。對於用戶來說，作業的時間開銷是用戶最關心 的。本專利申請中的作業性能主要是指作業的時間開銷，及作業從開始執行到完成所經歷 的時間。其中也包括了為作業準備輸入數據，以及將作業輸出數據保存所需要的時間。
3)作業性能模型。作業性能模型是指用來描述作業性能變化規律的一個或幾個數 學函數。函數的自變量包括如下全部或部分內容資源軟/硬體配置信息，資源動態負載信 息，作業請求信息。 本發明的特徵在於所述方法是在包括計算機、網絡、存儲系統在內的作為共享資
源的網格節點上按照如下步驟實現的
步驟(1)初始化 在所述網格節點上設置基於Web服務資源框架OGSA的CGSP網格軟體和CGSV網
格軟體，其中CGSP網格軟體是中國網格ChinaGrid中一個為其他專業網格提供公共支撐平
臺的中間件，集成了中國教育科研網絡CERNET上的各種議購的教育和研究資源； CGSV網格軟體是中國網格ChinaGrid中的對分布式資源進行監控的工具，同時收
集和查詢包括硬體、系統、網絡和所述CGSP網格軟體在內的共享資源的動態信息； 歷史作業信息庫HJIR，存儲有當前的N條歷史作業信息，其中每一條歷史作業信
息的記錄格式為資源配置信息、資源負載信息、作業請求信息以及作業實際性能信息，每一
條所述歷史作業信息均由所述CGSP網格軟體和CGSV網格軟體在內構成，其中 資源配置信息至少包括各網格節點中的CPU個數、內存容量、最大帶寬、作業系統
及其版本以及其他軟體及其版本，這些都反映了所述網格資源在執行相應作業的軟體和硬
件的配置信息； 資源負載信息至少包括執行相應作業時網格節點的CPU空閒率、內存空閒率和可 用帶寬，反映了網格節點在執行相應作業時的負載情況；
作業請求信息至少包括作業請求的應用類型、命令行參數及其符值、輸入數據及 其大小，反映了歷史上的同類作業請求的輸入信息； 作業實際性能信息至少包括歷史作業執行時間開銷以及作業數據傳輸時間開銷， 反映了在作業執行完成後，系統收集到的有關作業性能的實際數據； 在所述網格節點上，還設置了利用前N-1個所述歷史作業信息庫中的記錄，建立 下述5個候選回歸函數的集合{線形候選回歸函數f^,、高斯候選回歸函數&自^、倒數 多重二次曲面候選回歸函數& 皿一皿(《。、多重二次曲面候選回歸函數fMultiqua(M。和多項 式候選回歸函數fp。加。miJ ;
步驟(2) 所述網格節點依次按如下步驟執行基於歷史數據建模的作業性能預測
步驟(2. 1) 用戶對所述網格節點輸入作業的輸入數據，所述作業輸入數據是指作業請求信 息，其中至少包括用戶名稱及編號、作業請求的應用類型、命令行參數及其符值，以及輸入 數據及其大小；
步驟(2. 2) 用戶通過所述網格節點的認證後，該網格節點把所述用戶輸入的作業編號為第
N+l個作業； 步驟(2. 3) 把歷史上N個作業中記錄的資源配置信息C,、資源負載信息LN以及作業請求信息 Rw，代入步驟(1)中所述的5個候選回歸函數，得到所述歷史上第N個作業的5個性能估計 借-PP P P 禾D P -
l且"Linear、 1 Gaussian、 1 InverseMultiquadric、 1 Multiquadric 1 1 Polynomial ， 步驟(2. 4) 把步驟(2. 3)中所述的5個性能估計值分別與所述第N給作業的真實的作業性能 值P進行比較，從中選出差值最小的候選回歸函數fw，從而得到了適合該種作業類型應用的 作業性能預測函數；
步驟(2. 5) 把所述第N+l個作業所記錄的資源配置信息CN+1，資源負載信息LN+1以及作業請求 信息RN+1帶入所述候選回歸函數fN計算得到第N+l個作業的性能預測值。
本方法的優點如下 1)針對網格中資源異構性的特點，將資源容量特徵作為性能建模的函數變量。比 如，CPU個數及主頻、內存容量、網絡帶寬。 2)針對網格中資源動態性的特點，將資源的動態負載作為性能建模的函數變量。 比如，CPU空閒率、內存空閒率、可用帶寬。 3)不需要有關程序內部結構和原始碼的相關知識。建模方法完全基於歷史作業的 性能記錄。 4)對於數據傳輸時間的預測，採用了歷史記錄加權平均的方法來得到。 5)每當一個新的作業完成，將性能記錄保存下來。根據新的作業性能記錄，可以動
態更新作業性能模型。


圖1 :網格中作業調度場景示例圖； 圖2 :網格中作業執行過程描述圖； 圖3 :作業性能建模流程圖； 圖4 :性能建模及調度方案實現系統示意圖； 圖5 :作業完成時間預測實驗結果，"&"完成時間預測相對誤差； 圖6 :基於性能建模與Round Robin兩種調度方案中，作業完成時間比較， 一完
成時間(RoundRobin)-完成時間(預測模型);
具體實施例方式
在給出本發明的主要內容之前，需要首先說明在網格環境中作業執行的過程。圖2 所示為網格作業執行的過程示意圖。從圖中可以看出，網格作業的執行過程可以大體分為 三個階段。 1)輸入數據準備階段。作業的輸入數據從用戶傳輸到執行作業的資源。這一階段 主要是對網絡帶寬的佔用，對CPU周期的佔用量不大。 2)數據處理階段。主要是對輸入數據進行分析處理。這一階段佔用的CPU周期相 對比較多，而對網絡帶寬的佔用較少。 3)輸出數據取得階段。作業的輸出數據從計算資源傳輸到用戶。與第一階段類
似，主要是對網絡帶寬的佔用，對CPU周期的佔用量不大。 基於上述特徵，計算網格中作業性能建模方法的發明內容包括 已知一組作業性能的歷史記錄，建立關於該種類型應用的作業性能回歸函數。假
設與當前作業類型相同的歷史作業信息庫中記錄的總數為N，須要預測第N+l個作業的性
能。流程圖如圖3所示。 1)每一個歷史作業的性能信息作為一條記錄，將它們集合起來構成一個歷史作業 信息庫(HJIR)。每一條記錄的格式如下〈[資源配置信息C]，[資源負載信息L]，[作業請求信息R]，[作業實際性能信息 P]>每一條記錄包含四部分內容資源配置信息、資源負載信息、作業信息和作業實際性能信息。 a)資源配置信息主要包括資源在執行該作業時的軟/硬體配置信息。比如，CPU 個數、內存容量、最大帶寬、作業系統及其版本、其他軟體及其版本。 b)資源負載信息主要包括資源在執行該作業時的負載情況。比如，CPU空閒率、內 存空閒率、可用帶寬。 c)作業請求信息主要包括用戶提交作業請求的輸入信息。比如，請求的應用類型、 命令行參數及其賦值、輸入數據及其大小。 d)作業實際性能信息主要包括在作業執行完成後，系統收集到的有關作業性能的
實際數據。比如，作業輸出結果、作業計算時間開銷、作業數據傳輸時間開銷。 2)對於5個候選函數模型，利用前N-1個歷史作業信息庫中的記錄，建立相應的5
個"fl夷選回歸函數集合(f"unear、 fGaussian、 fl読rseMultiquadric、 fMultiquadric禾卩fp。ly謹iaJ 。
5個"f疾選函數
模型為Linear、Gaussian、InverseMultiquadric、Multiquadric禾卩Polynomial。 回歸函數
8的表示為P = f ([資源配置信息C]，[資源負載信息L]，[作業請求信息R])
其中f依次代入5個候選函數模型。 3)對於上一步中5個剛剛建立的候選回歸函數，分別預測第N個記錄中的作業性 能。將第N個作業記錄的資源配置信息C、資源負載信息L和作業請求信息R帶入5個候選 回歸函數，得到第N個作業的5個性能估計值{P
Linear、 PGaussian、 P工nverseMultiquadric、 P]Wultiquadric禾口
P }
1 PolynomialJ 0 4)將5個性能估計值與第N個作業的真實的作業性能P進行比較，從5個候選回
歸函數選出差距最小的候選函數f。選出的函數f就是該種類型應用的作業性能預測函數。 將第N+l個作業記錄的資源配置信息C、資源負載信息L和作業請求信息R帶入候
選回歸函數f，計算第N+l個作業的性能預測值。 算法的實現主要基於兩個網格軟體CGSP和CGSV。 CGSP是ChinaGrid中為其他專業網格提供公共支撐平臺的中間件項目。它可以被 用來集成中國教育科研網(CERNET)上的各種異構的教育和研究資源。CGSP不僅支持對異 構資源的統一管理，而且提供Portal建設、作業定義和應用打包等功能。當前CGSP的執行 管理實現了一個雙層的作業調度模型。調度模型的上層是一個作業元調度器，下層是一組 作業管理器。根據作業的類型，這些作業管理器可分成四類遺留程序作業管理器、服務作 業管理器、工作流作業管理器和GridPPI作業管理器。每一個作業管理器在元調度器中都 對應一個註冊項。當有作業需要調度的時候，元調度器從註冊項中選擇一個合適的管理器， 將作業請求分發給它。 CGSV是ChinaGrid中的對分布式資源進行監控的工具。它可以收集和查詢硬體、 系統、網絡和CGSP等的動態信息。用戶可以通過圖形化的GUI或者Web Services接口訪 問這些性能數據。CGSV的可擴展性和數據自描述使得它非常適合於對網格環境中動態信息 的收集。 系統主要由四個層次組成。圖4給出了它的總體架構。 1)系統的第一層是資源監測層。這一層主要包括四種資源狀態的監測工具 GridFTP日誌監視器、GRS日誌監視器、CGSV主機傳感器和CGSP傳感器。CGSV主機傳感器 主要負責收集網格計算節點的資源利用率，如CPU空閒率和內存使用率等。CGSP傳感器從 三個CGSP組件中取得CGSP的作業運行列表、用戶列表和應用列表等各種信息。GridFTP日 志監視器從各個GridFTP伺服器的日誌數據中獲取文件傳輸的歷史信息。GRS日誌監視器 從各個計算節點的GRS日誌文件中提取已完成的作業的實際時間開銷，包括數據傳輸開銷 和數據處理開銷。 2)資源監測層中的傳感器和監視器產生各種資源狀態和歷史記錄信息。它負責將 這些生成的信息匯總，交給作業調度層進行分析和決策。需要匯總的信息主要包括兩大類 CGSV傳感器和日誌監測器。CGSV中傳感器產生的數據主要通過Target Service進行發布， 由Generic Archiver對其進行統一存檔。只需要將Target Service系統註冊到Registry, 就可以通過Proxy Service來對特定的性能數據進行統一訪問。對於日誌監視器產生的數 據，由信息集線器來負責收集。 3)分析決策層是核心功能層。從信息匯總層得到的各種數據在這一層進行分析處
9理，然後根據分析的結果將作業分配給合適的節點進行計算。這一層進行的數據分析主要 是用來在調度前對作業的性能進行預測。預測的方法主要是基於歷史作業性能數據建立作 業時間開銷模型，包括作業輸出模型、數據傳輸時間模型和數據處理時間模型。為了更準確 的反映作業的性能，這些模型會根據最新的已完成作業信息動態進行調整。作業模型建立 之後，系統將根據資源的當前負載狀態，預測作業在候選節點上的時間開銷。最後，根據預 測結果，選擇最優的調度方案交給執行管理層，以便真正的執行一個作業。
4)執行管理層根據分析決策層給出的調度方案，在被選擇的計算節點上啟動作業 的執行。這一部分的功能主要是通過與CGSP的數據管理和作業管理模塊交互來完成。以 遺留程序作業中的JSDL作業為例。第一步，SSRM作業管理模塊將輸入數據上傳到CGSP數 據空間的特定目錄。第二步，JSDL作業描述文檔被動態生成。這個作業描述文檔主要給出 了應用的名稱、作業的輸入參數、作業輸入數據在CGSP數據空間中的位置和輸出文件將來 在數據空間中存放的位置。最重要的是，這個文檔中給出了為該作業選擇的計算節點。第 三步，JSDL描述文檔被提交給CGSP的作業管理器。作業管理器將該作業分發給JSDL中指 定的計算節點的GRS服務。GRS下載輸入、進行計算、上傳輸出文件。當作業成功完成時，輸 出文件會被系統的作業管理模塊自動下載到本地，方便用戶查看。 為了驗證作業性能建模的準確性，我們設計了如下實驗。100個不同輸入序列的 Tigr作業被按照隨機的時間間隔被分別提交給性能預測建模系統。在對100個作業的依次 調度執行的過程中，由於不斷有作業執行完成，作業歷史記錄的規模不斷加大。由於被作業 建模系統用來建模的作業樣本不斷增加，作業性能模型將會不斷被修整。從圖5可以看出， 剛開始的作業性能模型作業性能的預測準確度是很差的。隨著作業編號的增加，性能模型 的預測準確度整體上不斷提高。第100個作業的時候，性能預測的誤差已經達到了 25%左 右。 為了驗證作業調度的優化效果，我們設計了一個實驗與Round Robin方案進行比 較。RoundRobin方案不考慮計算節點狀態變化，按照作業到達的順序依次分配下一個可用 計算資源。實驗中，100個不同輸入序列的Tigr作業被按照隨機的時間間隔被分別提交給 基於性能建模的調度方案和Round Robin方案。當所有作業都執行完成後，系統可以得到兩 種防按下，這100個作業的分別完成時間開銷。通過計算這100個作業在兩種方案中的執 行時間差，可以對這兩種調度方案的作業性能進行比較。圖6的橫坐標為100個作業的序 列號，縱坐標表示的就是100個作業在兩種方案中的時間差。可以很明顯的看出，對於100 個作業中大部分的作業，在Round Rob in方案中的時間開銷明顯大於在SSRM方案中的時間 開銷。這個結果說明了與Round Robin方案相比較，基於性能建模的方案考慮計算節點的 負載狀態可以更好的在計算節點之間進行負載均衡。因此，基於性能建模的方案可以減少 計算資源負載過大而導致的作業時間開銷急劇增加的情況。 需要的硬體環境CPUlGHz或以上、內存256M或以上。需要的軟體環境支持 JDK5. 0的作業系統、Java5. 0運行時環境。其他軟體工具CGSP2. 0、 CGSV。
10
權利要求
網格中基於歷史數據建模的作業性能預測方法，其特徵在於所述方法是在包括計算機、網絡、存儲系統在內的作為共享資源的網格節點上按照如下步驟實現的步驟(1)初始化在所述網格節點上設置基於Web服務資源框架OGSA的CGSP網格軟體和CGSV網格軟體，其中CGSP網格軟體是中國網格ChinaGrid中一個為其他專業網格提供公共支撐平臺的中間件，集成了中國教育科研網絡CERNET上的各種議購的教育和研究資源；CGSV網格軟體是中國網格ChinaGrid中的對分布式資源進行監控的工具，同時收集和查詢包括硬體、系統、網絡和所述CGSP網格軟體在內的共享資源的動態信息；歷史作業信息庫HJIR，存儲有當前的N條歷史作業信息，其中每一條歷史作業信息的記錄格式為資源配置信息、資源負載信息、作業請求信息以及作業實際性能信息，每一條所述歷史作業信息均由所述CGSP網格軟體和CGSV網格軟體在內構成，其中資源配置信息至少包括各網格節點中的CPU個數、內存容量、最大帶寬、作業系統及其版本以及其他軟體及其版本，這些都反映了所述網格資源在執行相應作業的軟體和硬體的配置信息；資源負載信息至少包括執行相應作業時網格節點的CPU空閒率、內存空閒率和可用帶寬，反映了網格節點在執行相應作業時的負載情況；作業請求信息至少包括作業請求的應用類型、命令行參數及其符值、輸入數據及其大小，反映了歷史上的同類作業請求的輸入信息；作業實際性能信息至少包括歷史作業執行時間開銷以及作業數據傳輸時間開銷，反映了在作業執行完成後，系統收集到的有關作業性能的實際數據；在所述網格節點上，還設置了利用前N-1個所述歷史作業信息庫中的記錄，建立下述5個候選回歸函數的集合{線形候選回歸函數fLinear、高斯候選回歸函數fGaussian、倒數多重二次曲面候選回歸函數fInverseMultiquadric、多重二次曲面候選回歸函數fMultiquadric和多項式候選回歸函數fPolynomial}；步驟(2)所述網格節點依次按如下步驟執行基於歷史數據建模的作業性能預測步驟(2.1)用戶對所述網格節點輸入作業的輸入數據，所述作業輸入數據是指作業請求信息，其中至少包括用戶名稱及編號、作業請求的應用類型、命令行參數及其符值，以及輸入數據及其大小；步驟(2.2)用戶通過所述網格節點的認證後，該網格節點把所述用戶輸入的作業編號為第N+1個作業；步驟(2.3)把歷史上N個作業中記錄的資源配置信息CN、資源負載信息LN以及作業請求信息RN，代入步驟(1)中所述的5個候選回歸函數，得到所述歷史上第N個作業的5個性能估計值PLinear、PGaussian、PInverseMultiquadric、PMultiquadric和PPolynomial；步驟(2.4)把步驟(2.3)中所述的5個性能估計值分別與所述第N給作業的真實的作業性能值P進行比較，從中選出差值最小的候選回歸函數fN，從而得到了適合該種作業類型應用的作業性能預測函數；步驟(2.5)把所述第N+1個作業所記錄的資源配置信息CN+1，資源負載信息LN+1以及作業請求信息RN+1帶入所述候選回歸函數fN計算得到第N+1個作業的性能預測值。
全文摘要
網格中基於歷史數據建模的作業性能預測方法，屬於高性能網格中作業完成時間建模及預測方法，其特徵在於在網格節點中建立基於CGSP網格軟體和CGSV網格軟體的歷史作業信息庫，內有N個歷史作業信息，涉及資源配置、資源負載、作業請求及作業實際性能四個方面，同時建立一個由多個候選回歸函數組成的集合，在預測時用戶所提交的第N+1個作業根據第N個作業的回歸模型得到，而該第N個作業的回歸模型又根據第N個作業的作業實際性能和根據第N-1個作業的各個候選回歸模型的實際性能預測值結果之差值中選擇一個差值最小的候選回歸模型得到，仿真實驗證明本發明可以解決資源負載過大所導致的作業時間開銷急劇上升的問題。
文檔編號H04L29/08GK101697141SQ20091023653
公開日2010年4月21日 申請日期2009年10月30日 優先權日2009年10月30日
發明者楊廣文, 柳佳, 武永衛, 陳剛 申請人:清華大學;