一種批量任務調度分配方法及系統的製作方法

2023-05-07 20:55:36 1

專利名稱：一種批量任務調度分配方法及系統的製作方法
技術領域：
本發明涉及批量任務的數據處理，特別是涉及一種批量任務調度分配方法 及系統。
背景技術：
應用系統中，為了滿足業務應用需求，經常需要並發處理批量任務。但隨 著系統複雜度和任務數據量的增加，處理任務所需要的時間也越來也長，導致 單臺任務處理伺服器不能滿足需要。
針對這種情況，常用的解決方案是升級所述任務處理伺服器，通過提升服 務器的性能來加快處理速度。在批量任務對處理時間要求不高的情況下，這種
方式能改善系統的處理效率；但如果對處理時間要求很高，或者處理的數據量 非常大的情況下，僅僅通過提升伺服器性能已無法達到處理要求。
還有一種方案是增加任務處理伺服器，通過手工分配或者系統配置，將批
量任務分配到各個處理伺服器進行處理。這種方法解決了上述第一種方案的問 題，當依靠提升單臺伺服器性能無法滿足處理需要時，可以配備多臺任務處理 伺服器來分擔單臺伺服器的處理任務，從而在處理能力和處理時間上滿足業務 應用需求。
但是，無論是手工分配還是通過系統配置來分配任務，當應用做變動或任 務數據量做重大變動時，都需要重新分配任務，這樣就需要花費大量的時間和 精力來進行配置調整，從而無法及時處理批量任務。而且，由於每臺伺服器的 處理性能存在差異，導致分配任務時無法做到精確分配而不能充分利用每臺處 理月l務器的資源，這樣將增加任務處理的軟^_件成本。

發明內容
本發明所要解決的技術問題是提供一種批量任務調度分配方法及系統，以 解決在大量並發處理批量任務的過程中，增加多臺伺服器處理不能靈活適應任 務處理變動、無法及時處理批量任務的問題。
為解決上述技術問題，根據本發明提供的具體實施例，本發明公開了以下 技術方案-.
一種批量任務調度分配方法，包括
配置任務分配伺服器和多臺任務處理伺服器；
分配伺服器建立分配列表，動態管理各處理伺服器上的閒置任務數；
分配伺服器定時檢查是否有待處理的任務，若有，則繼續檢查分配列表中 各處理伺服器的閒置任務數；若存在閒置的處理伺服器，則將待處理任務分配 給閒置的處理伺服器。
優選的，所述方法還包括分配伺服器根據預設的任務分割單元，將批量 任務分割成子任務，放入任務隊列等待處理。
優選的，所述分配伺服器根據各處理伺服器上閒置任務數的多少來分散分 配任務，包括將處理伺服器的閒置任務數按照從大到小排序；對應所述排列 順序，依次為每臺處理伺服器分配從大到小個數不等的任務。
優選的，按照以下步驟動態管理各處理伺服器上的閒置任務數處理服務 器啟動時向分配伺服器發送閒置任務數，分配列表中記錄所述閒置任務數；分 配伺服器將待處理任務分配給閒置的處理伺服器後，調整分配列表中的閒置任 務數；處理伺服器執行完任務後向分配伺服器返回閒置任務數，調整分配列表 中的閒置任務數。
所述方法還包括根據批量任務的執行情況，確定增加或減少處理伺服器。 一種批量任務調度分配系統，包括任務分配伺服器和多臺任務處理服務 器，其中，
所述分配伺服器用於建立分配列表，動態管理各處理伺服器上的閒置任務 數；定時檢查是否有待處理的任務，若有，則繼續檢查分配列表中各處理服務 器的閒置任務數；若存在閒置的處理伺服器，則將待處理任務分配給閒置的處 理伺服器；
所述處理伺服器用於並行處理批量任務。
優選的，所述分配伺服器根據預設的任務分割單元，將批量任務分割成子 任務，放入任務隊列等待處理。
優選的，所述分配伺服器根據各處理伺服器上閒置任務數的多少來分散分 配任務，將處理伺服器的閒置任務數按照從大到小排序，然後對應所述排列順 序，依次為每臺處理伺服器分配從大到小個數不等的待處理任務。
優選的，所述處理伺服器在啟動時和執行完任務後，都向分配伺服器發送閒置任務數；所述分配伺服器記錄在分配列表中，並在待處理任務分配給閒置
的處理伺服器後，調整分配列表中的記錄。
其中，所述分配伺服器和處理伺服器之間通過TCP/IP進行通信。 根據本發明提供的具體實施例，本發明公開了以下技術效果 首先，通過配置任務分配伺服器和多臺任務處理伺服器，由所述分配服務 器自動分配批量任務給各臺處理伺服器，達到處理能力和處理時間上的要求。 分配伺服器根據各處理伺服器上閒置任務數的情況，將待處理任務動態分配給 閒置的處理伺服器，若應用做變動或任務數據量做重大變動，並不影響所述任 務分配過程。因此，所述自動分配方式能夠靈活適應任務處理變動，可以在充 分利用處理伺服器資源的^5出上，在大量並行處理的情況下做到及時、快速處 理批量任務。
其次，在現有的處理伺服器不能滿足需求的情況下，可以很便捷地增加處 理伺服器來加快批量任務的處理速度，而無需對原有的伺服器做任何調整。而 且，也可以根據需要實時減少處理伺服器的個數。
再次，任務分配伺服器可根據需要將批量任務分割成更小的單元，從而成 倍地加快批量任務的處理速度。
最後，分配伺服器對處理伺服器上閒置任務數的管理是整個分配過程的基 礎，處理伺服器隨時告知分配伺服器本伺服器的閒置情況，便於分配伺服器分 配新的任務。


圖1是本發明所述一種批量任務調度分配方法實施例的步驟流程圖； 圖2是本發明所述一種批量任務調度分配系統實施例的結構框圖。
具體實施例方式
為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實施方式
對本發明作進一步詳細的說明。
本發明實施例提供了 一種批量任務調度分配方法，主要針對大量並發處理 批量任務的過程中，單臺任務處理伺服器在處理能力和處理時間上不能滿足需 要的情況下，增加一臺任務分配伺服器和多臺任務處理伺服器，將需要處理的 批量任務告知分配伺服器，分配伺服器會根據處理伺服器的閒置情況，自動分
配批量任務給相應的處理伺服器，從而達到處理能力和處理時間上的要求。
參照圖1，是所述一種批量任務調度分配方法實施例的步驟流程圖。其中，
任務分配前的準備步驟包括
步驟IOI,才艮據當前批量任務的具體情況(如任務量大小和對處理時間的 要求等)，配備相應數量的任務處理伺服器和一臺任務分配伺服器。當然，本 發明在此並不對任務分配伺服器的數量作限定，可以根據需要實現多臺聯機工 作。
步驟102,根據每臺處理伺服器的處理需要和機器性能，分別設定能夠並 發處理的最大任務數。
步驟103,啟動處理伺服器，處理伺服器會通過TCP/IP (Transmission Control Protocol/Internet Protocol,傳輸控制協i義/網際網路協議)發送 數據包，告知分配伺服器可以並發執行的總任務數，以便分配伺服器分配批量 4壬務。才艮才居應用需要，也可以通過HTTP (Hyper Text Transfer Protocol, 超文本傳輸協議)或FTP ( (File Transfer Protocol,文件傳輸)等其他協 議發送數據包。分配伺服器會建立一張分配列表，記錄各臺處理伺服器的任務 數情況，通過所述分配列表來管理處理伺服器的任務分配。所述列表主要記錄 了處理伺服器上的閒置任務數，用於分配任務時參考使用，除此還可以記錄正 在執行的任務數以及執行的任務等信息。
完成以上準備工作後，利用所述分配伺服器和處理伺服器實現批量任務自 動調度分配的流程如下
優選步驟104,分配伺服器收到批量任務處理請求後，根據請求的具體參 數將該批量任務分割成若千子任務，然後將分割後的各子任務放入任務隊列， 等待分配給處理伺服器處理。所述請求的具體參數主要是指預先設定的任務分 割單元，將批量任務按照所述分割單元進行切分。通常，分配伺服器會提供 WEB方式的管理頁面，用戶可以通過WEB頁面設置請求參數，包括需要執行的 批量任務以及任務分割單元等參數。
分配伺服器可根據實際需要切分批量任務為更小的單元，加快批量任務的 處理速度。以資料庫遷移舉例說明，通常一個資料庫會存有多個表，其中有些 表的數據量很大，而有些表的數據量比較小。假如有一張大數據量的表A,記
錄了 100000條數據，還有一張小數據量的表B,記錄了 5000條數據，會在分 配伺服器上設置兩個任務來處理這兩張表。針對B表的任務，由於數據量不大， 可以不設置切割參數，分配伺服器會直接分配給處理伺服器處理；針對A表的 任務，可以設置切割單位為5000，這樣分配伺服器會根據切割單位把A表的 任務切割成100000/5000 = 20個子任務，然後分配給處理伺服器同時處理， 這樣處理速度就會比不切割提高10多倍。
步驟105,分配伺服器定時檢查任務隊列，查看是否有等待執行的任務。 如果隊列中有待執行的任務，則繼續步驟106;如果隊列為空，則在下一時刻 繼續檢查任務隊列，直到發現任務。
步驟106,分配伺服器繼續檢查分配列表，查看當前各處理伺服器的閒置 任務數情況。如果閒置任務數大於0,則執行步驟107,進行任務分配；如果 當前各處理伺服器均處於忙碌狀態，則等待處理伺服器。
步驟107,分配伺服器依次取出任務隊列中待處理的任務，通過發送 TCP/IP數據包將任務分配給各閒置的處理伺服器處理，並調整分配列表中處 理伺服器的閒置任務數。
分配伺服器檢查到多個處理伺服器都有閒置任務時，分配方案有多種。本 實施例釆用的方式是，根據各個處理伺服器上閒置任務數的多少來分散分配， 以便充分利用各處理伺服器的資源。例如，當前有6個子任務，A處理伺服器 有閒置任務數5， B處理伺服器有閒置任務數4， C處理伺服器有閒置任務數3; 分配伺服器會分配給A伺服器3個任務，B伺服器2個任務，C伺服器l個任 務。這種分配方案，為閒置任務數多的處理伺服器分配較多的任務，閒置任務 數少的處理伺服器就分配較少的任務或不分配任務，這樣有利於充分發揮所有 的處理伺服器的性能，達到及時處理任務的目的。
上例只作為解釋說明，基於上述分配策略也會有其他的分配形式，需要才艮 據待分配的任務數和各處理伺服器上閒置任務數的多少決定，例如每個處理服 務器可能分配得到相同的任務數。
根據不同的應用需要，還可以實現不同的分配策略。例如，先將批量任務 分配給一臺處理伺服器，當該伺服器沒有閒置任務數後，再將剩餘任務分配給 其他空閒的處理伺服器。優選步驟108，處理伺服器接收到任務後開始並行處理，在處理完後發送
TCP/IP數據包告知分配伺服器目前本伺服器的閒置任務數，便於分配伺服器 分配新的任務。
在整個處理過程中，任務的分配都是才艮據各處理伺服器的閒置情況自動完 成，如果任務數據量或應用發生變動，不會影響到任務的分配，所以上述分配 方法可以靈活適應各種應用業務的處理。而且，如果批量任務的處理速度不能 達到用戶的需要，還可以實時增加處理伺服器來加快批量任務的處理速度，處
者根據批量任務的實際執行情況，在不必要的情況下減少處理伺服器個數，從 而節約系統資源。
分配伺服器對處理伺服器上閒置任務數的管理是整個分配過程的基礎，本 實施例中，處理伺服器會隨時告知分配伺服器本伺服器的閒置情況，在正常處 理情況下，處理伺服器在啟動時會發送閒置任務數，在執行完任務時還會向分 配伺服器發送通知消息。這種策略是處理伺服器主動通知分配伺服器，當然， 也可以採取分配伺服器主動獲知的策略，即分配伺服器定時詢問各處理伺服器 並做記錄，本發明在此不作限定。
針對上述分配方案，本發明還提供了相應的分配系統實施例。參照圖2, 是所述一種批量任務調度分配系統實施例的結構框圖。所述系統包括任務分配 伺服器201和任務處理伺服器202,分配伺服器201和處理伺服器202之間通 過TCP/IP發送數據包進行通信。通常，配置一臺分配伺服器201和多臺任務 處理伺服器202來完成批量任務的處理，但如前所述，本發明並不對分配服務 器201的數量作限定。
所述分配伺服器201用於將批量任務自動分配給各處理伺服器202。在分 配伺服器201執行分配任務前，需要進行系統配置。分配伺服器201提供了 WEB方式的管理頁面，用戶通過所述管理頁面可以配置待處理的批量任務，並 針對任務量大小，配置分割單元來加快處理速度。分配伺服器2G1還建有一張 分配表，用於記錄各處理伺服器的閒置情況，通過所述分配表完成任務分配。
分配伺服器201的工作過程如下每當接收到待處理的批量任務，如果用 戶預先設定了任務分割參數，則分配伺服器201按照最小分割單元將批量任務 分割成若干子任務，並放入任務隊列；然後，定時檢查任務隊列中是否有待處 理的任務，如果有則繼續檢查分配表中各處理伺服器的閒置任務數，如果有閒 置的處理伺服器，則從任務隊列中依次取出待處理任務，分配給各閒置的處理 伺服器，並調整分配表中相應的閒置任務數。分配伺服器201使用的分配策略 是根據各個處理伺服器上閒置任務數的多少來分散分配，以便充分利用各處理
伺服器的資源。關於分配策略的說明可參見圖1中有關分配方法的描述，在此 不再詳述。
所述處理伺服器202用於根據分配伺服器201的調度，並行處理分配的批 量任務。處理伺服器202在啟動服務時，將能夠並發的總任務數(即閒置任務 數)發送給分配伺服器201,並在執行完任務後，也將當前的閒置任務數發送 給分配伺服器201,分配伺服器201每次都記錄在分配表中。這樣，分配服務 器201就可以實時獲知各處理伺服器201的閒置情況，從而充分發揮各處理月l 務器202的性能來快速處理批量任務。
圖2所示系統中未詳述的部分可以參見圖1所示方法的相關部分，為了篇 幅考慮，在此不再詳述。
以上對本發明所提供的一種批量任務調度分配方法及系統，進行了詳細介
例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的 一般技術人員，依據本發明的思想，在具體實施方式
及應用範圍上均會有改變 之處。綜上所述，本說明書內容不應理解為對本發明的限制。
權利要求
1、一種批量任務調度分配方法，其特徵在於，包括配置任務分配伺服器和多臺任務處理伺服器；分配伺服器建立分配列表，動態管理各處理伺服器上的閒置任務數；分配伺服器定時檢查是否有待處理的任務，若有，則繼續檢查分配列表中各處理伺服器的閒置任務數；若存在閒置的處理伺服器，則將待處理任務分配給閒置的處理伺服器。
2、 根據權利要求1所述的方法，其特徵在於，還包括分配伺服器根據 預設的任務分割單元，將批量任務分割成子任務，放入任務隊列等待處理。
3、 根據權利要求1所述的方法，其特徵在於，所述分配伺服器才艮據各處 理伺服器上閒置任務數的多少來分散分配任務，包括將處理伺服器的閒置任務數按照從大到小排序；對應所述排列順序，依次為每臺處理伺服器分配從大到小個數不等的任務。
4、 根據權利要求1所述的方法，其特徵在於，按照以下步驟動態管理各 處理伺服器上的閒置任務數處理伺服器啟動時向分配伺服器發送閒置任務數，分配列表中記錄所述閒 置任務數；分配伺服器將待處理任務分配給閒置的處理伺服器後，調整分配列表中的 閒置任務數；處理伺服器執行完任務後向分配伺服器返回閒置任務數，調整分配列表中 的閒置任務數。
5、 根據權利要求1所述的方法，其特徵在於，還包括根據批量任務的 執行情況，確定增加或減少處理伺服器。
6、 一種批量任務調度分配系統，其特徵在於，包括任務分配伺服器和 多臺任務處理伺服器，其中，所述分配伺服器用於建立分配列表，動態管理各處理伺服器上的閒置任務 數；定時檢查是否有待處理的任務，若有，則繼續檢查分配列表中各處理服務 器的閒置任務數；若存在閒置的處理伺服器，則將待處理任務分配給閒置的處 理伺服器；所述處理伺服器用於並行處理批量任務。
7、 根據權利要求6所述的系統，其特徵在於所述分配伺服器根據預設的任務分割單元，將批量任務分割成子任務，放入任務隊列等待處理。
8、 根據權利要求6所述的系統，其特徵在於所述分配伺服器根據各處 理伺服器上閒置任務數的多少來*分配任務，將處理伺服器的閒置任務數按 照從大到小排序，然後對應所述排列順序，依次為每臺處理伺服器分配從大到 小個數不等的待處理任務。
9、 根據權利要求6所述的系統，其特徵在於所述處理伺服器在啟動時 和執行完任務後，都向分配伺服器發送閒置任務數；所述分配伺服器記錄在分 配列表中，並在待處理任務分配給閒置的處理伺服器後，調整分配列表中的記 錄。
10、 根據權利要求6所述的系統，其特徵在於所述分配伺服器和處理服 務器之間通過TCP/IP進行通信。
全文摘要
本發明公開了一種批量任務調度分配方法及系統，解決在大量並發處理批量任務的過程中，增加多臺伺服器處理不能靈活適應任務處理變動、無法及時處理批量任務的問題。所述方法包括配置任務分配伺服器和多臺任務處理伺服器；分配伺服器建立分配列表，動態管理各處理伺服器上的閒置任務數；分配伺服器定時檢查是否有待處理的任務，若有，則繼續檢查分配列表中各處理伺服器的閒置任務數；若存在閒置的處理伺服器，則將待處理任務分配給閒置的處理伺服器。所述自動分配方式能夠靈活適應任務處理變動，可以在充分利用處理伺服器資源的基礎上，在大量並行處理的情況下做到及時、快速處理批量任務。而且，還可以根據需要增加處理伺服器，加快處理速度。
文檔編號G06F9/46GK101359295SQ20071014349
公開日2009年2月4日 申請日期2007年8月1日 優先權日2007年8月1日
發明者波 陳 申請人:阿里巴巴集團控股有限公司