基於近數據計算原則的多衛星數據中心工作流調度算法
2023-06-06 09:17:36
基於近數據計算原則的多衛星數據中心工作流調度算法
【專利摘要】本發明公開了一種基於近數據計算原則的多衛星數據中心工作流調度算法，包括步驟1：構建工作流執行綜合時間最小化的近數據計算模型；步驟2：基於計算資源處理能力與關鍵數據資源傳輸代價的虛擬工作流動態構建方法；步驟3：基於超圖理論的按組劃分任務方式PGH對步驟2中的虛擬工作流調度進行優化；步驟4：對預先設置的多衛星數據中心計算近數據計算模型之間的算法進行自動遷移。本發明的有益效果為：可實現最大程度地降低工作流總執行時間，從而大大提高多衛星數據中心的工作流調度效率，能夠快速構建基於多衛星數據中心架構的一站式遙感數據產品服務模式，並為應對多用戶的複雜需求提供技術支撐。
【專利說明】基於近數據計算原則的多衛星數據中心工作流調度算法
【技術領域】
[0001] 本發明涉及一種面向多衛星數據中心工作流調度算法，具體來說，涉及一種基於 近數據計算原則的多衛星數據中心工作流調度算法。
【背景技術】
[0002] 隨著對地觀測領域內多種傳感器的發展，海量多源遙感數據獲取能力的提高，專 業化的數據獲取與多源數據的綜合應用呈現出精細化分工與協同式綜合處理需求並存的 發展局面。一方面，各類遙感數據獲取與管理方式更為專業化，由此形成了多個不同類型衛 星、不同區域或國家的數據中心；另一方面，遙感領域的大型綜合性應用又需要得到不同衛 星、不同區域或國家數據中心的數據支持，面臨著需要同時面對不同類型傳感器數據的處 理、不同數據中心之間數據類型與覆蓋區域的互補、綜合性信息處理等現實問題。
[0003] 這一系列現實狀況、需求與發展趨勢，一方面催生了各數據中心聯合提供數據共 享的動力與技術解決方案，另一方面，各中心聯合起來，共同為用戶提供綜合性的信息處理 與一站式信息服務，成為未來的發展趨勢之一。為此，構建多衛星數據中心協同處理與一站 式信息服務模式，依託於國內外已有的氣象、陸地、海洋等衛星數據中心，研究在多衛星數 據中心架構下處理多源遙感數據產品所需的若干關鍵技術，建立一個可以統一、協同調度 多衛星數據中心資源的多源遙感數據協同處理平臺成為當下遙感領域的一個迫切問題。
【發明內容】
[0004] 本發明的目的是提供一種基於近數據計算原則的多衛星數據中心工作流調度算 法，通過建立近數據計算的目標約束模型，確定最小化的工作流執行綜合時間確定近數據 計算的具體實現方式。通過超圖理論的按組劃分任務方式將多衛星數據中心計算平臺的工 作流調度方法進行優化，能夠使相同分組內的計算任務其輸入數據的傳輸時間最短。同時， 在輸入數據量較大的情況下，利用多衛星數據中心計算平臺之間的算法自動遷移方法替代 大規模的數據遷移。如此可避免長時間的海量數據傳輸過程中會遇到的網絡中斷、存儲空 間消耗過大等問題，從而提高多衛星數據中心的工作流調度效率和協同處理能力，有效的 克服了現有技術中的上述不足。
[0005] 本發明的目的是通過以下技術方案來實現： 一種基於近數據計算原則的多衛星數據中心工作流調度算法，包括以下步驟： 步驟1 :將預先配置的工作流執行綜合時間簡化為工作流所需數據的傳輸時間和輸入 數據拷貝到計算資源後的實際處理時間，以時間成本為約束條件，計算所述工作流執行綜 合時間的最小值； 步驟2 :根據得到待調度的數據資源與計算資源信息，在預先配置的既定調度原則的 指導下，選擇相匹配的資源進行組合，得到虛擬工作流； 步驟3 :基於超圖理論的按組劃分任務方式PGH對步驟2中的虛擬工作流調度進行優 化； 步驟4 :對預先設置的多衛星數據中心計算近數據計算模型之間的算法進行自動遷 移，包括算法運行環境的解析與封裝方法分析以及算法的跨計算模型自動編譯。
[0006] 進一步的，在步驟3中，優化的方法包括將具有相同輸入數據的工作流劃分為相 同的任務組，在同一任務組內重複利用已經拷貝過的輸入數據。
[0007] 進一步的，在步驟4中，所述算法運行環境的解析與封裝方法分析包括： 步驟4-1-1 :查詢預先配置的算法庫中關於該算法資源的信息，確定算法資源是否具 備原始碼和原始碼的路徑，同時對該路徑下的原始碼與動態連結庫文件進行檢查； 步驟4-1-2 :對算法可執行文件運行用戶的環境變量進行解析，提取出算法運行時動 態連結庫所需的環境變量名稱，並保存為xml文件格式； 步驟4-1-3 :對算法運行所依賴的動態連結庫進行封裝，並使動態連結庫的封裝與預 先配置的算法原始碼的壓縮方法一致。
[0008] 進一步的，在步驟4中，所述算法的跨計算模型自動編譯包括： 步驟4-2-1 :利用預先配置在系統平臺中與原始碼與動態連結庫的壓縮文件格式相匹 配的解壓縮命令對原始碼與動態連結庫進行解壓縮，並且將動態連結庫解壓縮後的路徑保 存在預先配置的臨時文件中； 步驟4-2-2 :算法資源遷移到目標數據中心後，同時還要將遷移過來的動態連結庫文 件所對應的路徑添加到環境變量中，將步驟4-2-1中所記錄的動態連結庫文件路徑添更新 到當前用戶的環境變量中，並判斷配置文件中是否已存在同名環境變量，在不存在同名環 境變量的情況下，新建環境變量並對其賦值； 步驟4-2-3 :對預先配置的自動編譯腳本進行調用，通過預先設置的ssh協議調用目標 數據中心的預先配置的算法編譯MakeFile文件，驅動算法資源編譯過程自動執行； 步驟4-2-4 :編譯成功後的算法資源生成相匹配的可執行文件，通過預先配置的數據 庫操作接口增加目標數據中心算法庫中的新算法記錄。
[0009] 進一步的，在步驟4-2-2中，在存在同名環境變量的情況下，對該環境變量進行追 加。
[0010] 本發明的有益效果為：在多衛星數據中心工作流進行調度中，近數據計算原則實 現計算向數據靠近的目的，最大程度地降低工作流總執行時間，從而大大提高多衛星數據 中心的工作流調度效率，另外，針對海量遙感數據的多中心協同處理過程中涉及的大規模 數據遷移問題，多衛星數據中心環境下近數據工作流調度算法能夠以算法遷移代替大規模 數據遷移，可避免長時間的海量數據傳輸過程中會遇到的網絡中斷、存儲空間消耗過大等 問題，能夠快速構建基於多衛星數據中心架構的一站式遙感數據產品服務模式，並為應對 多用戶的複雜需求提供技術支撐，有利於市場的推廣與應用。
【專利附圖】
【附圖說明】
[0011] 為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例中所 需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施 例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲 得其他的附圖。
[0012] 圖1是根據本發明實施例所述的一種基於近數據計算原則的多衛星數據中心工 作流調度算法的示意圖； 圖2是根據本發明實施例所述的基於計算資源處理能力與關鍵數據資源傳輸代價的 虛擬工作流動態構建示意圖； 圖3是本發明實施例所述的基於超圖理論的按組劃分任務方式的示意圖； 圖4是本發明實施例所述的多衛星數據中心計算平臺之間的算法自動遷移的流程圖。
【具體實施方式】
[0013] 下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完 整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於 本發明中的實施例，本領域普通技術人員所獲得的所有其他實施例，都屬於本發明保護的 範圍。
[0014] 如圖1-4所示，根據本發明實施例所述的一種基於近數據計算原則的多衛星數據 中心工作流調度算法，包括以下步驟： 步驟1 :構建工作流執行綜合時間最小化的近數據計算模型，將所述工作流執行綜合 時間簡化為工作流所需數據的傳輸時間與輸入數據拷貝到計算資源後的實際處理時間兩 部分，以時間成本為約束條件計算所述工作流執行綜合時間的最小值，即為最小化的近數 據計算模型； 步驟2 :基於計算資源處理能力與關鍵數據資源傳輸代價的虛擬工作流動態構建方 法，在構建虛擬工作流之前，根據得到待調度的數據資源與計算資源信息，在預先配置的既 定調度原則的指導下，選擇相匹配的資源進行組合，得到虛擬工作流； 步驟3 :基於超圖理論的按組劃分任務方式PGH對步驟2中的虛擬工作流調度進行優 化； 優化的方法包括將具有相同輸入數據的工作流劃分為相同的任務組，在同一任務組內 重複利用已經拷貝過的輸入數據。
[0015] 步驟4:對預先設置的多衛星數據中心計算近數據計算模型之間的算法進行自動 遷移，包括算法運行環境的解析與封裝方法分析以及算法的跨計算模型自動編譯。
[0016] 其中，在步驟4中，所述算法運行環境的解析與封裝方法分析包括： 步驟4-1-1 :算法資源完備性檢查，查詢預先配置的算法庫中關於該算法資源的信息， 確定算法資源是否具備原始碼和原始碼的路徑，同時對該路徑下的原始碼與動態連結庫文 件進行檢查； 步驟4-1-2 :算法資源環境變量解析，對算法可執行文件運行用戶的環境變量進行解 析，提取出算法運行時動態連結庫所需的環境變量名稱，並保存為xml文件格式； 步驟4-1-3 :對算法運行所依賴的動態連結庫進行封裝，對動態連結庫的封裝與預先 配置的算法原始碼的壓縮方法一致。
[0017] 其中，在步驟4中，所述算法的跨計算模型自動編譯包括： 步驟4-2-1 :原始碼與動態連結庫文件的解壓縮，利用預先配置在系統平臺中與源代 碼與動態連結庫的壓縮文件格式相匹配的解壓縮命令對原始碼與動態連結庫進行解壓縮， 並且將動態連結庫解壓縮後的路徑保存在預先配置的臨時文件中； 步驟4-2-2 :環境變量更新，算法資源遷移到目標數據中心後，同時還要將遷移過來的 動態連結庫文件所對應的路徑添加到環境變量中，將步驟4-2-1中所記錄的動態連結庫文 件路徑添更新到當前用戶的環境變量中，並判斷配置文件中是否已存在同名環境變量， 在不存在同名環境變量的情況下，新建環境變量並對其賦值； 在存在同名環境變量的情況下，對該環境變量進行追加。
[0018] 步驟4-2-3 :對預先配置的自動編譯腳本進行調用，通過預先設置的SSh協議調用 目標數據中心的預先配置的算法編譯MakeFile文件，驅動算法資源編譯過程自動執行； 步驟4-2-4 :算法資源註冊，編譯成功後的算法資源生成相匹配的可執行文件，通過預 先配置的資料庫操作接口增加目標數據中心算法庫中的新算法記錄。
[0019] 對於工作流執行綜合時間最小化的近數據計算模型，近數據計算模型重點考慮工 作流輸入數據源的選擇、衛星數據中心計算資源節點的選擇兩個主要因素，工作流總執行 時間規定為工作流所需數據的傳輸時間、輸入數據拷貝到計算資源後的實際處理時間兩部 分，為了使工作流總執行時間最小化，近數據模型規定實現過程的約束條件為數據資源傳 輸時間最短和計算資源處理時間最短。
[0020] 其中，對於基於計算資源處理能力與關鍵數據資源傳輸代價的虛擬工作流動態構 建方法，多衛星數據中心平臺下進行資源分配、調度的模擬過程需構建虛擬工作流，虛擬工 作流的構建是以計算資源的計算能力與數據資源傳輸代價為主要考慮要素的。近數據計算 原則將數據傳輸代價作為調度的首要因子，再對比計算資源之間差別，從而動態構建虛擬 工作流。
[0021] 其中，在多衛星數據中心架構下，多源遙感數據產品的生產過程中會涉及到多個 衛星數據中心的協同處理時，共享輸入數據的重複拷貝的時間將會大幅增加工作流調度過 程中的時間成本。由此，本發明方法可以利用PGH，將包任務模型引入到多衛星數據中心架 構下的多源遙感數據產品生產過程中，對共享輸入數據的多個工作流的調度方法進行了優 化。
[0022] 對於基於PGH(超圖理論的按組劃分任務方式）的多衛星數據中心計算平臺的工 作流調度優化方法，多源遙感數據產品的生產過程中涉及到的多個衛星數據中心的協同處 理時，每個數據中心在提供多個數據供其他計算資源重複使用，數據拷貝的時間將會大幅 增加工作流調度的時間成本。對多共享輸入文件利用PGH的劃分方式，將具有相同輸入數 據的工作流劃分為相同的任務組，在同一任務組內重複利用已經拷貝過的輸入數據。
[0023] 另外，在多衛星數據中心計算平臺之間輸入數據量較大的情況下，基於近數據計 算的算法自動遷移方法代替大規模數據遷移。由此，本發明方法可以在多衛星數據中心協 同處理過程中能夠避免長時間的海量數據傳輸過程中會遇到的網絡中斷、存儲空間消耗過 大等問題。
[0024] 對於多衛星數據中心計算平臺之間的算法自動遷移方法，近數據計算另一種方法 可由算法資源自動遷移實現，即算法資源的分布式遷移代替多衛星數據中心之間的大規模 數據遷移。首先，在算法所在原數據中心上進行的算法運行環境解析與封裝方法分析。然 後在算法需要遷移到的數據中心上進行自動編譯，將算法信息註冊到目標數據中心的計算 平臺上。
[0025] 具體應用時，1)工作流執行綜合時間最小化的近數據計算模型：工作流的總執行 時間簡化為工作流所需數據的傳輸時間、輸入數據拷貝到計算資源後的實際處理時間兩部 分；其中，近數據計算模型也稱為計算平臺。
【權利要求】
1. 一種基於近數據計算原則的多衛星數據中心工作流調度算法，其特徵在於，包括以 下步驟： 步驟1:將預先配置的工作流執行綜合時間簡化為工作流所需數據的傳輸時間和輸入 數據拷貝到計算資源後的實際處理時間，以時間成本為約束條件，計算所述工作流執行綜 合時間的最小值； 步驟2 :根據得到待調度的數據資源與計算資源信息，在預先配置的既定調度原則的 指導下，選擇相匹配的資源進行組合，得到虛擬工作流； 步驟3 :基於超圖理論的按組劃分任務方式PGH對步驟2中的虛擬工作流調度進行優 化； 步驟4 :對預先設置的多衛星數據中心計算近數據計算模型之間的算法進行自動遷 移，包括算法運行環境的解析與封裝方法分析以及算法的跨計算模型自動編譯。
2. 根據權利要求1所述的基於近數據計算原則的多衛星數據中心工作流調度算法，其 特徵在於，在步驟3中，優化的方法包括將具有相同輸入數據的工作流劃分為相同的任務 組，在同一任務組內重複利用已經拷貝過的輸入數據。
3. 根據權利要求1所述的基於近數據計算原則的多衛星數據中心工作流調度算法，其 特徵在於，在步驟4中，所述算法運行環境的解析與封裝方法分析包括： 步驟4-1-1 :查詢預先配置的算法庫中關於該算法資源的信息，確定算法資源是否具 備原始碼和原始碼的路徑，同時對該路徑下的原始碼與動態連結庫文件進行檢查； 步驟4-1-2 :對算法可執行文件運行用戶的環境變量進行解析，提取出算法運行時動 態連結庫所需的環境變量名稱，並保存為xml文件格式； 步驟4-1-3 :對算法運行所依賴的動態連結庫進行封裝，並使動態連結庫的封裝與預 先配置的算法原始碼的壓縮方法一致。
4. 根據權利要求1所述的基於近數據計算原則的多衛星數據中心工作流調度算法，其 特徵在於，在步驟4中，所述算法的跨計算模型自動編譯包括： 步驟4-2-1 :利用預先配置在系統平臺中與原始碼與動態連結庫的壓縮文件格式相匹 配的解壓縮命令對原始碼與動態連結庫進行解壓縮，並且將動態連結庫解壓縮後的路徑保 存在預先配置的臨時文件中； 步驟4-2-2 :算法資源遷移到目標數據中心後，同時還要將遷移過來的動態連結庫文 件所對應的路徑添加到環境變量中，將步驟4-2-1中所記錄的動態連結庫文件路徑添更新 到當前用戶的環境變量中，並判斷配置文件中是否已存在同名環境變量，在不存在同名環 境變量的情況下，新建環境變量並對其賦值； 步驟4-2-3 :對預先配置的自動編譯腳本進行調用，通過預先設置的ssh協議調用目標 數據中心的預先配置的算法編譯Make File文件，驅動算法資源編譯過程自動執行； 步驟4-2-4:編譯成功後的算法資源生成相匹配的可執行文件，通過預先配置的數據 庫操作接口增加目標數據中心算法庫中的新算法記錄。
5. 根據權利要求4所述的基於近數據計算原則的多衛星數據中心工作流調度算法，其 特徵在於，在步驟4-2-2中，在存在同名環境變量的情況下，對該環境變量進行追加。
【文檔編號】G06F9/48GK104484230SQ201410851865
【公開日】2015年4月1日 申請日期:2014年12月31日 優先權日:2014年12月31日
【發明者】王力哲, 張萬峰, 馬豔, 張 傑 申請人:中國科學院遙感與數字地球研究所