一種多QoS約束的雲存儲任務調度法

2023-10-08 20:22:14

一種多QoS約束的雲存儲任務調度法
【專利摘要】本發明公開了一種多QoS約束的雲存儲任務調度法，該技術方案包括歸一化QoS約束、用戶滿意度、QoS相識度測量、各維QoS約束權重。使用該方法的過程中，用戶使用雲中數據時，保證多個QoS約束需求的服務前提下，解決目前雲存儲中數據的合理調度問題。
【專利說明】—種多QoS約束的雲存儲任務調度法
【技術領域】
[0001]本發明屬於通信【技術領域】，涉及一種多QoS約束的雲存儲任務調度法。
【背景技術】
[0002]當前的雲存儲服務通過網際網路給用戶提供服務，主要有網絡硬碟、在線存儲和在線備份等。隨著移動網際網路和物聯網的快速發展，導致雲中數據量巨大，在面對雲存儲這樣一個具有大規模、複雜體系結構的系統的時候，如何合理的、高效的利用系統中的各種資源，為用戶提供滿足其QoS(服務質量)約束需求的服務，併兼顧考慮系統的資源利用率、負載均衡度等，就成為人們關心的重要問題之一。雲存儲系統中的資源是隸屬於不同的組織與機構的，有著不同的資源管理策略，加之系統的異構性、動態性、分布性、共享性和自治性等特徵，使得跨域的資源管理與任務調度成為一項非常複雜和極具挑戰性的工作，服務質量的好壞，系統效率的高度等都直接關係到系統的整體性能。在任務的調度過程中，不僅要考慮到用戶任務需求的多樣性，還需要考慮系統資源的複雜構成。用戶任務對資源可以有諸如CPU性能、系統安全策略、存儲空間、網絡帶寬、任務執行時間及某些特殊資源等基本需要，而這些需求，其級別是各不相同的，對任務調度的影響也是千差萬別的。其中的一些硬性約束條件是必須達到的，它們會對任務調度起到決定性的作用，系統資源如果達不到約束條件的要求，就不應該將該任務指派到該資源上去執行。而對於非硬性約束條件，其對調度的影響比較弱，只會對調度結果產生影響，對於這類約束條件就只需要儘量滿足。只有滿足所有硬性約束條件的資源，對於用戶任務來講才是有效的資源提供者，才可以將其作為用戶任務的備選資源；而僅僅滿足非硬性約束條件的資源，就只能作為較優資源，作為備選資源的後繼選擇方案。
[0003]雲存儲環境下的任務調度問題已經被證明是一個非常困難的NP問題，即使是在最簡單的假設情況之下。目前關於雲存儲環境下的任務調度問題，國內外都已經有很多研究成果，出現了很多比較經典的任務調度算法。然而，傳統的任務調度算法一般都是以任務的最短完成時間作為算法的目標，而在系統環境中，每個用戶期望達到的目標、利益以及用戶自身的行為都是很複雜的，並不會是一些單一的要求。對於用戶，也不是所有任務都是以最短完成時間為目標的，部分用戶也許會要求自己提交的任務在最短的時間內完成，而有的用戶卻只是希望自己的任務可以在一段時間內完成即可，並給出了一個任務完成的時間期限，任務只要在規定的時間期限內被完成，用戶就會很滿意。如果這些用戶任務的時間完成期限比較長，就可以考慮將該任務分配到性能低一些的資源上去執行，而首先去執行那些用戶完成時間期限短的任務，這樣就可以保證所有系統用戶的利益。
[0004]更加重要的是，雲存儲系統涉及到的實體眾多，如系統用戶、系統資源管理者、虛擬組織管理者等等。對於不同的實體，其在資源管理策略、安全策略、費用、可信度等方面的QoS約束目標都不相同，甚至是相互對抗、牴觸的。單就系統用戶來講，不同用戶所提交的任務的要求也不一致，有的傾向於任務完成時間，有的傾向於任務的完成費用，有的傾向於任務被執行期間的可靠性與安全性等等。可見，在任務調度策略中僅僅考慮任務的最短完成時間是顯然不夠的，需要加入QoS約束，否則，即使得到了最短完成時間也是沒有實際價值的。
[0005]雲存儲系統的核心價值在於，將系統中的所有資源共享以便用戶使用，用戶並不關心系統底層的物理資源的結構、資源的調度與分配策略，資源使用對於用戶來講就是透明的。由於在雲存儲系統中涉及到諸多實體，如:系統用戶、資源擁有者、系統管理者等，他們對於資源的管理機制、服務費用、安全性、響應時間等QoS約束都有著不同的期望值，在某些時候，這些期望值甚至是相互對抗、牴觸的。QoS作為一種綜合性的指標，反映了用戶對於所提供服務的滿意程度，因此，有必要對系統環境中的QoS約束進行分析，以期在任務調度的時候能夠儘量實現不同實體之間對於QoS約束的期望。
[0006]由於QoS約束在不同的層次結構中表現為不同的狀態，我們根據相關參考文獻，把系統QoS大體上可以分為:應用服務層、虛擬組織(Virtual Organization, VO)層和資源設備層二層，如圖1所不。
[0007]圖1中應用服務層處於QoS層次結構模型的最頂層。用戶應用被系統分配到最適合其所提交的任務完成的系統資源上去，以實現應用的預期QoS約束水平。
[0008]虛擬組織層(VO)在整個QoS層級結構模型中，起到了承上啟下的作用，其所具有的QoS約束是應用服務層QoS約束的映射，用戶應用中提出的QoS約束被映射到具體的某一類系統QoS約束上去，並對底層中相似的QoS約束進行歸類。虛擬組織層不僅有效降低了低層QoS約束的複雜性，還起到了屏蔽物理資源異構性的作用。
[0009]資源設備層位於QoS層級結構模型的最底層，用以支持VO層的各種QoS約束。資源設備層獲取各物理資源的QoS特性，以將其映射到VO層。
[0010]系統中的物理資源在被映射到邏輯資源的時候，都需要一個實際存在的物理節點，以及該節點所處的環境。如節點的吞吐量、節點的系統結構、節點的存儲空間、節點的內存大小等等，這些因素雖然不能決定雲存儲系統服務的整體QoS水平，卻會對QoS服務水平產生一定程度的影響。
[0011]用戶只能在應用服務層或者VO層中提出自己的QoS約束需求，因為對於用戶來講，系統中的物理資源都的透明的。在圖1所示的QoS層次結構模型中，被虛線表示的部分就是用戶在層次結構模型中可以根據自己的需求提交QoS約束的地方。在虛擬資源層，用戶只能提交帶有具體參數的QoS約束需求，而在應用服務層，用戶就可以提交一些基於功能方面的粗略的QoS約束請求。
[0012]對於雲存儲系統環境，其中的QoS約束條件複雜多樣，為了更好的對這些QoS約束進行歸納，就需要對各個系統QoS約束進行分類處理。系統QoS約束的屬性會隨著所屬對象所處的系統層次不同而使用不同的描述標準，那麼在系統層次結構模型中從不同的層次對QoS約束進行描述，就會得到不同的QoS約束分類方案。對於應用服務層QoS約束，該層的QoS約束粒度往往都較大，如果用戶從該層對整個應用提出QoS約束的抽象描述，就會很難對QoS約束進行具體的映射、描述，就會失去QoS的服務意義。而對於底層的資源設備層，其QoS粒度又太細化，這樣的分類確實可以較具體的反映出物理資源的QoS屬性，卻使得用戶見到了底層的物理資源結構，變得不透明，違背了雲存儲系統的基本思想一資源虛擬化，並且也增加了對QoS約束的統一難度。
【發明內容】

[0013]為了克服現有技術中的缺陷，本發明提供一種多QoS約束的雲存儲任務調度法，用戶使用雲中數據時，保證多個QoS約束需求的服務前提下，解決目前雲存儲中數據的合理調度問題。
[0014]其技術方案如下:1、一種多QoS約束的雲存儲任務調度法，其特徵在於，包括以下步驟:
[0015]第I步從用戶所提交的任務集合T中提取出所有待執行任務的QoS約束需求，組成任務QoS約束矩陣TQD ；
[0016]第2步從當前可用系統資源集合R中提取出所有資源的QoS服務能力，組成資源QoS服務能力矩陣RQC ；
[0017]第3步計算所有用戶任務的預測執行時間矩陣ETC ；
[0018]第4步初始化MCT矩陣和待調度集合V，MCT = ECT, V=T ;合併矩陣TQD和RQC，組成混合矩陣Qm+n, k;
[0019]第5步對混合矩陣中的積極約束使用式(I)執行標準化處理，對消極約束使用式(2)執行標準化處理，得到標準化矩陣Sm+n,k ；
【權利要求】
1.一種多QoS約束的雲存儲任務調度法，其特徵在於，包括以下步驟:第I步從用戶所提交的任務集合T中提取出所有待執行任務的QoS約束需求，組成任務QoS約束矩陣TQD ；第2步從當前可用系統資源集合R中提取出所有資源的QoS服務能力，組成資源QoS 服務能力矩陣RQC ；第3步計算所有用戶任務的預測執行時間矩陣ETC ；第4步初始化MCT矩陣和待調度集合V，MCT = ECT, V = T ;合併矩陣TQD和RQC，組成混合矩陣Qm+n, k;第5步對混合矩陣中的積極約束使用式(I)執行標準化處理，對消極約束使用式(2) 執行標準化處理，得到標準化矩陣Sm+n,k ； fl,
【文檔編號】H04L29/08GK103561077SQ201310521329
【公開日】2014年2月5日 申請日期:2013年10月29日 優先權日:2013年10月29日
【發明者】李飛, 張路橋, 王娟 申請人:李飛