任務資源調度處理方法和系統的製作方法

2023-12-07 07:24:56

任務資源調度處理方法和系統的製作方法
【專利摘要】本申請公開了一種任務資源調度處理方法和系統，包括：在任務執行硬體節點上安裝至少兩個虛擬機，每個虛擬機上設置一個虛擬任務執行器；將任務執行硬體節點上的硬體資源劃分為資源池和資源隊列，所述資源隊列中包括至少兩個資源塊，每個資源塊對應劃分給本硬體節點上的一個虛擬任務執行器使用，資源池對應劃分給本硬體節點上的至少一個虛擬任務執行器使用；在任務調度器接收到任務請求後，確定該任務所需要的資源量MTN，判斷該MTN是否大於所述資源隊列中最大資源塊的資源量MRN，如果是則調用資源池對應的一虛擬任務執行器處理該任務，否則調用資源隊列中的資源塊對應的一虛擬任務執行器處理該任務。本發明可以提高系統的資源利用率，提高任務處理效率。
【專利說明】任務資源調度處理方法和系統

【技術領域】
[0001] 本申請涉及計算機數據處理【技術領域】，尤其涉及一種任務資源調度處理方法和系 統。

【背景技術】
[0002] Hadoop是一個能夠對大量數據進行分布式處理的計算系統，海量數據業務越來越 多，Hadoop的使用也越來越廣泛。隨著單個集群的規模的日趨擴大（第一代Hadoop集群 大約能夠支持4000臺機器），如何提高集群資源使用率也逐漸成為人們關心的話題。提高 集群資源利用率的關鍵在於集群的調度。
[0003] Hdoop MapReduce任務調度系統，簡稱Hadoop調度器，是hadoop的核心組件之一， 用於將系統中空閒的資源按一定策略分配給任務。在Hadoop中，調度器是一個可插拔的模 塊，用戶可以根據自己的實際應用要求設計調度器。
[0004] 圖1為現有的一種典型的任務資源調度處理系統的示意圖。參見圖1，任務調度器 (JT，JobTracker)和任務執行器（TT，TaskTracker)都分布在硬體的實體節點（計算機、月艮 務器等）上，而且每個硬體節點只能分配一個JT或TT。數據處理任務的任務請求會發送到 任務調度器上，任務調度器根據配置的調度策略，選擇某種調度方法對相應的資源進行調 度，並調度特定的任務執行器（TT，TaskTracker)執行該處理任務，即讀取相應的數據進行 處理。所述的資源包括中央處理器（CPU)資源、內存資源、磁碟資源等。
[0005] 現有技術中所述的調度方法主要包括以下幾種：
[0006] (1)先進先出（FIFO)調度方法：按照任務優先級高低，再按照到達時間的先後選 擇被執行的任務。
[0007] (2)計算能力調度方法（Capacity Scheduler):該調度方法支持多個隊列，每個 隊列可分配一定的資源量，每個隊列採用先進先出調度策略，為了防止同一個用戶的任務 獨佔隊列中的資源，該調度方法會對同一用戶提交的任務所佔用資源量進行限定。調度時， 首先按以下策略選擇一個合適隊列：計算每個隊列中正在運行的任務數與其應該分的計算 資源之間的比值，選擇一個該比值小的隊列；然後按以下策略選擇隊列中一個任務：按照 任務優先級和提交時間順序選擇，同時考慮用戶資源量限制和內存限制。
[0008] (3)公平調度方法（fair Scheduler):該調度方法支持多隊列多用戶，每一個隊 列中的資源量可以分配，同一個隊列中的任務公平共享隊列中所有資源。
[0009] 以上調度方法只列舉了 hadoop調度方法中的幾種，不一一列舉，基本都是把任務 分成隊列和把資源按照大小分成隊列，通過以上的調度方法調度資源。
[0010] 但是，現有技術存在如下缺點：
[0011] 現有技術中的調度系統中的每個處理節點必須是實體機硬體，並且任務調度器所 在節點和任務執行器所在節點都是必須在實體硬體節點上，且每個硬體節點都只能分配一 個任務調度器或任務執行器，在調度任務時，即使任務佔用的資源量很小，也要佔用一個硬 件節點來單獨處理該任務，其它任務需要在任務隊列中排隊等候，這就導致硬體節點中有 大量的資源處於空閒狀態，整個系統的資源利用效率非常低下，任務處理效率低下。


【發明內容】

[0012] 有鑑於此，本發明的主要目的在於提供一種任務資源調度處理方法和系統，以提 高系統的資源利用率，提高任務處理效率。
[0013] 本發明的技術方案是這樣實現的：
[0014] 一種任務資源調度處理方法，包括：
[0015] 在任務執行硬體節點上安裝至少兩個虛擬機，每個虛擬機上設置一個虛擬任務執 行器；
[0016] 將任務執行硬體節點上的硬體資源劃分為資源池和資源隊列，所述資源隊列中包 括至少兩個資源塊，每個資源塊對應劃分給本硬體節點上的一個虛擬任務執行器使用，資 源池對應劃分給本硬體節點上的至少一個虛擬任務執行器使用；
[0017] 在任務調度器接收到任務請求後，確定該任務所需要的資源量MTN，判斷該MTN是 否大於所述資源隊列中最大資源塊的資源量MRN，如果是則調用資源池對應的一虛擬任務 執行器處理該任務，否則調用資源隊列中的資源塊對應的一虛擬任務執行器處理該任務。
[0018] 優選的，所述調用資源隊列中的資源塊對應的一虛擬任務執行器處理該任務，具 體包括：
[0019] 判斷所述資源隊列中的資源塊的被佔用情況，調用未被佔用的、且資源量大於等 於該任務MTN的一資源塊對應的虛擬任務執行器處理該任務，如果本資源隊列中資源量大 於等於該任務MTN的資源塊都被佔用，則該任務等待該資源隊列，直到一資源量大於等於 該任務MTN的資源塊被釋放，則由該資源塊對應的虛擬任務執行器處理該任務。
[0020] 優選的，在調用資源池對應的一虛擬任務執行器處理任務時，如果該任務的MTN 大於該資源池的資源量，則進一步合併與本資源池同硬體節點的資源隊列中空閒的資源， 供該虛擬任務執行器使用，在任務處理完畢後釋放所合併的資源。
[0021] 優選的，監控所述虛擬任務執行器，若虛擬任務執行器故障，判斷該虛擬任務執行 器對應的資源是否不足，若不足則為該虛擬任務執行器劃撥指定數量的資源。
[0022] 優選的，在任務調度硬體節點上安裝虛擬機，所述任務調度器為設置在該虛擬機 上的虛擬任務調度器。
[0023] 優選的，在任務調度硬體節點上安裝兩個虛擬機，每個虛擬機上設置一個虛擬任 務調度器，一個為主虛擬任務調度器，另一個為備虛擬任務調度器；
[0024] 監控所述主虛擬任務調度器，若出現故障，則啟動備虛擬任務調度器，將該備虛擬 任務調度器切換為主虛擬任務調度器。
[0025] 一種任務資源調度處理系統，包括：
[0026] 任務執行硬體節點，該任務執行硬體節點上安裝至少兩個虛擬機，每個虛擬機上 設置一個虛擬任務執行器；所述任務執行硬體節點上的硬體資源劃分為資源池和資源隊 列，所述資源隊列中包括至少兩個資源塊，每個資源塊對應劃分給本硬體節點上的一個虛 擬任務執行器使用，資源池對應劃分給本硬體節點上的至少一個虛擬任務執行器使用；
[0027] 任務調度器，用於接收到任務請求後，確定該任務所需要的資源量MTN，判斷該 MTN是否大於所述資源隊列中最大資源塊的資源量MRN，如果是則調用資源池對應的一虛 擬任務執行器處理該任務，否則調用資源隊列中的資源塊對應的一虛擬任務執行器處理該 任務。
[0028] 優選的，該系統進一步包括任務執行器的監控器，用於監控所述虛擬任務執行器， 若虛擬任務執行器故障，判斷該虛擬任務執行器對應的資源是否不足，若不足則觸發所述 調度器為該虛擬任務執行器劃撥指定數量的資源。
[0029] 優選的，所述任務調度器為設置在任務調度硬體節點的虛擬機上的虛擬任務調度 器。
[0030] 優選的，所述虛擬任務調度器有兩個，一個為主虛擬任務調度器，另一個為備虛擬 任務調度器；該系統進一步包括任務調度器的監控器，用於監控所述主虛擬任務調度器，若 出現故障，則啟動備虛擬任務調度器，將該備虛擬任務調度器切換為主虛擬任務調度器。
[0031] 相對於現有技術，本發明在任務執行硬體節點上安裝至少兩個虛擬機，每個虛擬 機上設置一個虛擬任務執行器；並且將任務執行硬體節點上的硬體資源劃分為資源池和 資源隊列，所述資源隊列中包括至少兩個資源塊，每個資源塊對應劃分給本硬體節點上的 一個虛擬任務執行器使用，資源池對應劃分給本硬體節點上的至少一個虛擬任務執行器使 用；在任務調度器接收到任務請求後，確定該任務所需要的資源量MTN，判斷該MTN是否大 於所述資源隊列中最大資源塊的資源量MRN，如果是則調用資源池對應的一虛擬任務執行 器處理該任務，否則調用資源隊列中的資源塊對應的一虛擬任務執行器處理該任務。這樣 採用虛擬化的方式，將硬體節點的硬體資源進一步劃分為多份資源，並可以根據任務所需 資源量的大小來選擇由哪一份資源對應的虛擬任務執行器來處理任務，這樣一個硬體節點 可以同時處理多個任務，不但提高了任務處理的吞吐量，而且提高了硬體節點中資源的利 用率，提高了任務處理效率。

【專利附圖】

【附圖說明】
[0032] 圖1為現有的一種典型的任務資源調度處理系統的示意圖；
[0033] 圖2為本發明所述任務資源調度方法的一種流程圖；
[0034] 圖3為本發明所述的一種任務調度器進行任務資源調度的一種示意圖；
[0035] 圖4為本發明所述任務資源調度處理系統的一種組成示意圖；
[0036] 圖5為本發明所述任務資源調度處理系統的有一種組成示意圖。

【具體實施方式】
[0037] 下面結合附圖及具體實施例對本發明再作進一步詳細的說明。
[0038] 圖2為本發明所述任務資源調度方法的一種流程圖。參見圖2,該方法主要包括：
[0039] 步驟201、在任務執行硬體節點上安裝至少兩個虛擬機（VM)，每個虛擬機上設置 一個虛擬任務執行器（TT)。
[0040] 所述任務執行硬體節點是指某一具體的數據處理節點，如計算機節點、路由器、或 其它硬體數據處理設備等。在一個Hadoop系統中，該任務執行硬體節點可能不止一個，可 以有多個任務執行硬體節點組成集群。
[0041] 所述虛擬機是指通過軟體模擬的具有完整硬體系統功能的、運行在一個完全隔離 環境中的完整計算機系統。通過虛擬機技術，技術人員可以在一臺物理計算機上模擬出另 一臺或多臺虛擬的計算機，這些虛擬機完全就像真正的計算機那樣進行工作。
[0042] 所述在任務執行硬體節點的每個虛擬機上，都會設置一個任務執行器，其設置方 法同在物理硬體節點上的設置方法，由於該任務執行器設置在虛擬機上，因此又稱為虛擬 任務執行器，該虛擬任務執行器用來處理任務調度器所調度來的任務。
[0043] 步驟202、將任務執行硬體節點上的硬體資源劃分為資源池和資源隊列，所述資源 隊列中包括至少兩個資源塊，每個資源塊對應劃分給本硬體節點上的一個虛擬任務執行器 使用，資源池對應劃分給本硬體節點上的至少一個虛擬任務執行器使用。
[0044] 所述硬體資源包括：CPU資源、內存資源、磁碟資源等。具體劃分時，可以過一定比 例計算資源總和，然後劃分成兩部分利用，一部分劃分成資源隊列，該資源隊列由至少兩個 更小的資源塊組成，每個資源塊對應分配給本硬體節點上的一個虛擬任務執行器使用，該 資源隊列用來執行小任務，大小相當的任務或者同一個任務的多次執行；一部分劃分成資 源池，該資源池不再進一步劃分資源塊，而是分配給至少一個虛擬TT，通常為多個虛擬TT， 共同使用，用來執行消耗資源比較多的任務。這樣的劃分方式可以提高由於任務大小對資 源量需要不同而帶來的機器資源使用率的有效利用，提高了整個集群處理大量任務的性 能。
[0045] 步驟203、在任務調度器接收到任務請求後，確定該任務所需要的資源量MTN，通 常該MTN是該任務所需要的最大資源量，判斷該MTN是否大於所述資源隊列中最大資源塊 的資源量MRN，如果是則調用資源池對應的一虛擬任務執行器處理該任務，否則調用資源隊 列中的資源塊對應的一虛擬任務執行器處理該任務。
[0046] 在執行上述步驟201和202後，在所述任務調度器上需要存儲系統中各個任務執 行硬體節點上的所述資源池信息、資源隊列信息、資源隊列中資源塊的資源量信息、以及資 源池和資源塊對應的虛擬任務執行器信息。例如具體的，需要存儲：所述每個資源池所屬 的任務執行硬體節點ID，該資源池對應的虛擬TT的ID，資源隊列所屬的任務執行硬體節點 ID，該資源隊列包括的資源塊的ID、該資源塊的資源量、以及該資源塊對應的虛擬TT的ID 等信息。
[0047] 圖3為本發明所述的一種任務調度器進行任務資源調度的一種示意圖。參見圖3， 在步驟203中，用戶隊列中的用戶形成的任務組成任務隊列，向任務調度器發起任務請求。 任務調度器在收到任務請求後，會根據該任務的種類、內容等信息確定該任務所需要的資 源量MTN，然後判斷該MTN是否大於所存儲的資源隊列中最大資源塊的資源量MRN，如果是 則說明該任務所需的資源量較大，因此利用預定調度策略從多個任務執行硬體節點中的資 源池中選擇一個資源池（資源池的資源量較大，比較適合處理大任務量的任務），根據任務 調度器上的存儲信息確定該資源池所屬的任務執行硬體節點ID，再調用該資源池對應的一 個虛擬任務執行器（該虛擬任務執行器在同一個任務執行硬體節點上）來處理該任務，通 常一個資源池會對應多個虛擬任務執行器，那麼會根據預設的調度策略從中選擇一個虛擬 任務執行器來處理該任務；該虛擬任務執行器在處理該任務的過程中所使用的資源為該資 源池中的資源。如果MTN小於等於MRN，則說明該任務的任務量較小，則利用預定的調度策 略從多個任務執行硬體節點中的資源隊列中選擇一個資源隊列，確定該資源隊列所屬的任 務執行硬體節點ID，調用該資源隊列中的一個資源塊對應的一個虛擬任務執行器（該虛擬 任務執行器在同一個任務執行硬體節點上）來處理該任務；該虛擬任務執行器在處理該任 務的過程中，所使用的資源僅為該資源塊中的資源，這樣就不會佔用本任務執行硬體節點 中的其它硬體資源，其它資源可以分配給其它任務使用，提高了資源的利用率。通過這種處 理，所述資源池可以用來執行消耗資源比較多的任務，所述資源隊列可以用來執行小任務， 大小相當的任務或者同一個任務的多次執行。鑑於這種資源隊列的使用方式，在大量不同 任務需要處理的情況下，有限的資源塊被不同任務合理的有序使用，一個硬體節點可以同 時處理多個任務，大大增加了任務處理的吞吐量，提高資源利用率和任務的執行效率。
[0048] 在進一步的優選實施例中，所述調用資源隊列中的資源塊對應的一虛擬任務執行 器處理該任務，具體包括：
[0049] 判斷所述資源隊列中的資源塊的被佔用情況，調用未被佔用的、且資源量大於等 於該任務MTN的一資源塊對應的虛擬任務執行器處理該任務，如果本資源隊列中資源量大 於等於該任務MTN的資源塊都被佔用，則該任務等待該資源隊列，直到一資源量大於等於 該任務MTN的資源塊被釋放，則由該資源塊對應的虛擬任務執行器處理該任務。通過這種 處理，可以把等待任務從任務隊列轉移到資源隊列，這樣可以進一步增加任務處理的吞吐 量，提高任務處理效率。
[0050] 在進一步的優選實施例中，在調用資源池對應的一虛擬任務執行器處理任務時， 如果該任務的MTN大於該資源池的資源量，則進一步合併與本資源池同硬體節點的資源隊 列中空閒的資源，供該虛擬任務執行器使用，在任務處理完畢後釋放所合併的資源。這樣可 以臨時處理超大任務，保證對突發超大任務的正常處理。
[0051] 另外，本發明還可以對所述虛擬任務執行器進行監控，來實現容災處理。具體實現 方案是：監控所述虛擬任務執行器，若虛擬任務執行器故障，則判斷該虛擬任務執行器對應 的資源是否不足，若不足則為該虛擬任務執行器劃撥指定數量的資源。所述劃撥可以是管 理員手動劃撥，或者可以是自動劃撥指定數量的資源。
[0052] 本發明中，不但所述任務執行器可以採用虛擬機來設置成虛擬的任務執行器，所 述任務調度器也可以採用虛擬機來設置。具體的方法是：在任務調度硬體節點上安裝虛擬 機，所述任務調度器為設置在該虛擬機上的虛擬任務調度器。
[0053] 為了進一步提高容災性和健壯性，在進一步的優選實施例中，本發明還可以在任 務調度硬體節點上安裝兩個虛擬機，每個虛擬機上設置一個虛擬任務調度器，一個為主虛 擬任務調度器，另一個為備虛擬任務調度器；並實時監控所述主虛擬任務調度器，若出現故 障，則啟動備虛擬任務調度器，將該備虛擬任務調度器切換為主虛擬任務調度器。
[0054] 與上述方法對應，本發明還公開了一種任務資源調度處理系統。圖4為本發明所 述任務資源調度處理系統的一種組成示意圖。參見圖4,該任務資源調度處理系統包括任務 執行硬體節點401和任務調度器402。
[0055] 所述任務執行硬體節點401，即用於執行任務的硬體數據處理設備，如計算機、月艮 務器、路由器等設備。所述任務執行硬體節點的數量可以是一個，也可以是多個組成任務執 行硬體節點集群。所述每個任務執行硬體節點上安裝至少兩個虛擬機，每個虛擬機上設置 一個虛擬任務執行器；所述每個任務執行硬體節點上的硬體資源劃分為兩部分，一部分為 資源池，另一部分為資源隊列。所述資源隊列中包括至少兩個資源塊，每個資源塊對應劃分 給本硬體節點上的一個虛擬任務執行器使用，所述資源池對應劃分給本硬體節點上的至少 一個虛擬任務執行器使用，如圖3所示。
[0056] 所述任務執行硬體節點401會將本節點所劃分的資源池及其對應的虛擬任務執 行器信息、資源隊列及其資源塊對應的虛擬任務執行器的信息通過心跳信令傳輸給任務調 度器402進行存儲。所述任務調度器402存儲系統中各個任務執行硬體節點上的所述資源 池信息、資源隊列信息、資源隊列中資源塊的資源量信息、以及資源池和資源塊對應的虛擬 任務執行器信息。例如具體的，需要存儲：所述每個資源池所屬的任務執行硬體節點ID，該 資源池對應的虛擬TT的ID，資源隊列所屬的任務執行硬體節點ID，該資源隊列包括的資源 塊的ID、該資源塊的資源量、以及該資源塊對應的虛擬TT的ID等信息。
[0057] 所述任務調度器402,用於接收到任務請求後，確定該任務所需要的資源量MTN， 判斷該MTN是否大於所述資源隊列中最大資源塊的資源量MRN，如果是則調度策略調用資 源池對應的一虛擬任務執行器處理該任務，否則調用資源隊列中的資源塊對應的一虛擬任 務執行器處理該任務。
[0058] 具體的，如圖3所示，用戶隊列中的用戶形成的任務組成任務隊列，向任務調度器 發起任務請求。任務調度器在收到任務請求後，會根據該任務的種類、內容等信息確定該任 務所需要的資源量MTN，然後判斷該MTN是否大於所存儲的資源隊列中最大資源塊的資源 量MRN，如果是則說明該任務所需的資源量較大，因此利用預定調度策略從多個任務執行硬 件節點中的資源池中選擇一個資源池（資源池的資源量較大，比較適合處理大任務量的任 務），根據任務調度器上的存儲信息確定該資源池所屬的任務執行硬體節點ID，再調用該 資源池對應的一個虛擬任務執行器（該虛擬任務執行器在同一個任務執行硬體節點上）來 處理該任務，通常一個資源池會對應多個虛擬任務執行器，那麼會根據預設的調度策略從 中選擇一個虛擬任務執行器來處理該任務；該虛擬任務執行器在處理該任務的過程中所使 用的資源為該資源池中的資源。如果MTN小於等於MRN，則說明該任務的任務量較小，則利 用預定的調度策略從多個任務執行硬體節點中的資源隊列中選擇一個資源隊列，確定該資 源隊列所屬的任務執行硬體節點ID，調用該資源隊列中的一個資源塊對應的一個虛擬任務 執行器（該虛擬任務執行器在同一個任務執行硬體節點上）來處理該任務；該虛擬任務執 行器在處理該任務的過程中，所使用的資源僅為該資源塊中的資源，這樣就不會佔用本任 務執行硬體節點中的其它硬體資源，其它資源可以分配給其它任務使用，提高了資源的利 用率。通過這種處理，所述資源池可以用來執行消耗資源比較多的任務，所述資源隊列可以 用來執行小任務，大小相當的任務或者同一個任務的多次執行。鑑於這種資源隊列的使用 方式，在大量不同任務需要處理的情況下，有限的資源塊被不同任務合理的有序使用，一個 硬體節點可以同時處理多個任務，大大增加了任務處理的吞吐量，提高資源利用率和任務 的執行效率。
[0059] 在進一步的優選實施例中，所述調用資源隊列中的資源塊對應的一虛擬任務執行 器處理該任務，具體包括：
[0060] 判斷所述資源隊列中的資源塊的被佔用情況，調用未被佔用的、且資源量大於等 於該任務MTN的一資源塊對應的虛擬任務執行器處理該任務，如果本資源隊列中資源量大 於等於該任務MTN的資源塊都被佔用，則該任務等待該資源隊列，直到一資源量大於等於 該任務MTN的資源塊被釋放，則由該資源塊對應的虛擬任務執行器處理該任務。通過這種 處理，可以把等待任務從任務隊列轉移到資源隊列，這樣可以進一步增加任務處理的吞吐 量，提高任務處理效率。
[0061] 在進一步的優選實施例中，在調用資源池對應的一虛擬任務執行器處理任務時， 如果該任務的MTN大於該資源池的資源量，則進一步合併與本資源池同硬體節點的資源隊 列中空閒的資源，供該虛擬任務執行器使用，在任務處理完畢後釋放所合併的資源。這樣可 以臨時處理超大任務，保證對突發超大任務的正常處理。
[0062] 圖5為本發明所述任務資源調度處理系統的有一種組成示意圖。參見圖5,該任務 資源調度處理系統中，所述任務調度器可以是設置在任務調度硬體節點的虛擬機上的虛擬 任務調度器。所述任務調度硬體節點可以有多個，從而組成任務調度硬體節點集群。
[0063] 進一步的實施例中，所述虛擬任務調度器可以有兩個，一個為主虛擬任務調度器 501，另一個為備虛擬任務調度器502,任務請求被發送到主虛擬任務調度器501進行處理。 但是這兩個虛擬任務調度器需要設置在不同的硬體節點上，以保證其健壯性。
[0064] 在該實施例中，該任務資源調度處理系統還進一步包括任務調度器的監控器503， 用於監控所述主虛擬任務調度器501，若出現故障，則啟動備虛擬任務調度器502,將該備 虛擬任務調度器切換為主虛擬任務調度器。所述任務調度器的監控器也可以是多個，從而 組成任務調度器的監控器集群。
[0065] 在進一步的實施例中，該任務資源調度處理系統還進一步包括任務執行器的監控 器504,用於監控所述虛擬任務執行器，若虛擬任務執行器故障，判斷該虛擬任務執行器對 應的資源是否不足，若不足則觸發所述調度器為該虛擬任務執行器劃撥指定數量的資源。 所述任務執行器監控器的數量也可以是多個，從而組成任務執行器的監控器集群。
[0066] 本發明所述的方法和系統可以應用在Hdoop系統中，當然也可以應用在其它類似 的分布式處理的計算系統。
[〇〇67] 以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精 神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發明保護的範圍之內。
【權利要求】
1. 一種任務資源調度處理方法，其特徵在於，包括： 在任務執行硬體節點上安裝至少兩個虛擬機，每個虛擬機上設置一個虛擬任務執行 器； 將任務執行硬體節點上的硬體資源劃分為資源池和資源隊列，所述資源隊列中包括至 少兩個資源塊，每個資源塊對應劃分給本硬體節點上的一個虛擬任務執行器使用，資源池 對應劃分給本硬體節點上的至少一個虛擬任務執行器使用； 在任務調度器接收到任務請求後，確定該任務所需要的資源量MTN，判斷該MTN是否大 於所述資源隊列中最大資源塊的資源量MRN，如果是則調用資源池對應的一虛擬任務執行 器處理該任務，否則調用資源隊列中的資源塊對應的一虛擬任務執行器處理該任務。
2. 根據權利要求1所述的方法，其特徵在於，所述調用資源隊列中的資源塊對應的一 虛擬任務執行器處理該任務，具體包括： 判斷所述資源隊列中的資源塊的被佔用情況，調用未被佔用的、且資源量大於等於該 任務MTN的一資源塊對應的虛擬任務執行器處理該任務，如果本資源隊列中資源量大於等 於該任務MTN的資源塊都被佔用，則該任務等待該資源隊列，直到一資源量大於等於該任 務MTN的資源塊被釋放，則由該資源塊對應的虛擬任務執行器處理該任務。
3. 根據權利要求1所述的方法，其特徵在於， 在調用資源池對應的一虛擬任務執行器處理任務時，如果該任務的MTN大於該資源池 的資源量，則進一步合併與本資源池同硬體節點的資源隊列中空閒的資源，供該虛擬任務 執行器使用，在任務處理完畢後釋放所合併的資源。
4. 根據權利要求1所述的方法，其特徵在於，監控所述虛擬任務執行器，若虛擬任務執 行器故障，判斷該虛擬任務執行器對應的資源是否不足，若不足則為該虛擬任務執行器劃 撥指定數量的資源。
5. 根據權利要求1所述的方法，其特徵在於，在任務調度硬體節點上安裝虛擬機，所述 任務調度器為設置在該虛擬機上的虛擬任務調度器。
6. 根據權利要求5所述的方法，其特徵在於，在任務調度硬體節點上安裝兩個虛擬機， 每個虛擬機上設置一個虛擬任務調度器，一個為主虛擬任務調度器，另一個為備虛擬任務 調度器； 監控所述主虛擬任務調度器，若出現故障，則啟動備虛擬任務調度器，將該備虛擬任務 調度器切換為主虛擬任務調度器。
7. -種任務資源調度處理系統，其特徵在於，包括： 任務執行硬體節點，該任務執行硬體節點上安裝至少兩個虛擬機，每個虛擬機上設置 一個虛擬任務執行器；所述任務執行硬體節點上的硬體資源劃分為資源池和資源隊列，所 述資源隊列中包括至少兩個資源塊，每個資源塊對應劃分給本硬體節點上的一個虛擬任務 執行器使用，資源池對應劃分給本硬體節點上的至少一個虛擬任務執行器使用； 任務調度器，用於接收到任務請求後，確定該任務所需要的資源量MTN，判斷該MTN是 否大於所述資源隊列中最大資源塊的資源量MRN，如果是則調用資源池對應的一虛擬任務 執行器處理該任務，否則調用資源隊列中的資源塊對應的一虛擬任務執行器處理該任務。
8. 根據權利要求7所述的系統，其特徵在於，該系統進一步包括任務執行器的監控器， 用於監控所述虛擬任務執行器，若虛擬任務執行器故障，判斷該虛擬任務執行器對應的資 源是否不足，若不足則觸發所述調度器為該虛擬任務執行器劃撥指定數量的資源。
9. 根據權利要求7所述的系統，其特徵在於，所述任務調度器為設置在任務調度硬體 節點的虛擬機上的虛擬任務調度器。
10. 根據權利要求9所述的系統，其特徵在於， 所述虛擬任務調度器有兩個，一個為主虛擬任務調度器，另一個為備虛擬任務調度 器； 該系統進一步包括任務調度器的監控器，用於監控所述主虛擬任務調度器，若出現故 障，則啟動備虛擬任務調度器，將該備虛擬任務調度器切換為主虛擬任務調度器。
【文檔編號】G06F9/50GK104102548SQ201410379486
【公開日】2014年10月15日 申請日期:2014年8月4日 優先權日:2014年8月4日
【發明者】陳偉 申請人:北京京東尚科信息技術有限公司