基於資源描述符號的數據配送方法及配送系統的製作方法
2023-05-10 12:35:11
專利名稱：基於資源描述符號的數據配送方法及配送系統的製作方法
技術領域：
本發明涉及網際網路技術領域，特別涉及一種基於資源描述符號的數據配送方法及配送系統。
背景技術：
隨著網際網路領域的高速發展，網際網路所依賴的任務機(伺服器)的規模也隨之越來越龐大。並且隨著應用領域的不斷擴展，用戶的多個應用往往會在不同的任務機上執行， 跨機器之間服務存在著數據級別的依賴關係。具體而言，部分任務機執行任務生成的數據， 通常被多個其他任務機所執行的任務所需要。因此，需要對多個任務之間的數據依賴關係進行維護，以及實現多機器間的數據更新、數據識別以及數據配送。傳統的多機器間的數據管理及配送方法是由各個任務自己記錄並維護任務之間的數據依賴關係。某個任務機在執行完自身對應的任務後產生更新數據，而這些數據正是該任務機的下一級任務機所執行的任務所需要的。該任務機再將上述數據的地址通知給下一級任務機。下一級任務機根據接收到的地址查詢並下載對應的數據。傳統的多機器間的數據管理及配送方法存在以下問題(1)各個任務自己記錄並維護任務之間的數據依賴關係，缺少統一的集中管理系統。(2)當任務機發生變動或者數據源頭的存放地址存在不確定性時，與該任務機存在依賴關係的其他任務機無法及時掌握這些變動，從而導致不能獲得最新的數據地址，從而降低任務機執行任務的效率。由上可知，傳統的多機器間的數據管理及配送方法靈活性差、效率低，並且需要用戶對數據管理及配送中的每一個環節都要掌握，導致開發和維護的代價均較高，不適於推廣利用。
發明內容
本發明的目的旨在至少解決上述技術缺陷之一，特別是針對任務機發生變動或者數據源頭的存放地址存在不確定性給任務機根據存儲地址獲取對應的數據帶來的效率低的缺陷。為此，本發明的第一個目的在於提供一種基於資源描述符號的數據配送方法，該數據配送方法利用資源描述符號及版本號查找更新數據的地址，提高了任務機查找並下載對應的數據的效率。本發明的第二個目的在於提供一種基於資源描述符號的數據配送系統。本發明的第三個目的在於提供一種任務機。本發明的第四個目的在於提供一種數據管理中心。為達到上述目的，本發明第一方面的實施例提出一種基於資源描述符號的數據配送方法，包括如下步驟任務機接收數據管理中心發送的啟動指令、及所述任務機的一個或多個上一級任
5務機對應的資源描述符號和版本號，其中，每個任務機具有對應的資源描述符號，且每個所述資源描述符號具有版本號；所述任務機根據所述資源描述符號和對應的版本號從文件存儲中心獲得對應的數據，並產生更新的數據；所述任務機在完成任務之後將所述更新的數據發送至所述文件存儲中心，同時所述數據管理中心更新所述任務機對應的資源描述符號的版本號；知所述數據管理中心向所述任務機的下一級任務機發送啟動指令及所述任務機對應的資源描述符號和更新後的版本號以控制所述任務機的下一級任務機執行相應的任務。根據本發明實施例的基於資源描述符號的數據配送方法，可以利用與任務機對應的資源描述符號及版本號查找該任務機完成任務後更新數據的地址，由此更新數據的存儲地址與對應的資源描述符號的版本號是一一對應的，具有確定性，並且不需要知道更新的數據在物理存儲設備上的具體信息。進而，下一級任務機可以準確且高效的獲得更新數據的存儲地址，提高了任務機執行任務的效率。本發明第二方面的實施例提供了一種基於資源描述符號的數據配送系統，包括 多個任務機、與所述多個任務機相連的數據管理中心和文件存儲中心，其中，所述多個任務機，其中，每個任務機具有對應的資源描述符號，且每個所述資源描述符號具有版本號，所述多個任務機用於在所述數據管理中心的控制下執行任務；所述數據管理中心，用於控制所述多個任務機中的一個或多個任務機啟動以執行相應的任務，並在所述一個或多個任務機完成任務之後更新所述一個或多個任務機對應的資源描述符號的版本號，和向所述一個或多個任務機的下一級任務機發送啟動指令及對應的資源描述符號；文件存儲中心，用於存儲所述一個或多個任務機完成任務之後更新的數據，其中，所述下一級任務機根據所述資源描述符號及版本號從所述文件存儲中心獲得所述更新的數據。根據本發明實施例的基於資源描述符號的數據配送系統，可以利用與任務機對應的資源描述符號及版本號查找該任務機完成任務後更新數據的地址，由此更新數據的存儲地址與對應的資源描述符號的版本號是一一對應的，具有確定性，並且不需要知道更新的數據在物理存儲設備上的具體信息。進而，下一級任務機可以準確且高效的獲得更新數據的存儲地址，提高了任務機執行任務的效率。本發明第三方面的實施例提供了一種任務機，其中所述任務機具有唯一的資源描述符號，且每個資源描述符號具有版本號，其中所述任務機包括接收模塊，用於接收來自數據管理中心的啟動指令和對應的上一級任務機的資源描述符號及所述資源描述符號的版本號；執行模塊，用於根據所述資源描述符號及所述資源描述符號的版本號從文件存儲中心獲得所述上一級任務機更新的數據，並生成本次任務的更新數據；發送模塊，用於將所述本次任務的更新數據發送至所述文件存儲中心，同時將所述更新數據的信息發送至數據管理中心以使所述數據管理中心更新所述任務機的資源描述符號的版本號。根據本發明實施例的任務機，任務機與資源描述符號相對應，任務機完成任務後產生的更新數據的存儲地址與對應的資源描述符號的版本號是一一對應。由此任務機在執行任務時，通過調用上一級任務機對應的資源描述符號的版本號即可獲得上一級任務機更新的數據的地址，提高了任務機執行任務的效率。並且，利用資源描述符號和版本號查找更新數據的存儲地址，準確性更高，不需要知道更新的數據在物理存儲設備上的具體信息。
本發明第四方面的實施例提供一種數據管理中心，包括請求接收模塊，用於接收來自用戶的任務請求；控制模塊，與所述請求接收模塊相連，用於根據所述任務請求為所述任務請求對應的任務分配多個任務機，以及控制所述多個任務機中的一個或多個任務機啟動以執行相應的任務，其中，每個任務機具有對應的資源描述符號，且每個所述資源描述符號具有版本號；存儲模塊，用於存儲每個任務機的資源描述符號、資源描述符號的版本號和所述每個任務機對應的數據的信息；更新模塊，用於更新所述存儲模塊中的資源描述符號的版本號；指令發送模塊，分別與所述控制模塊和所述存儲模塊相連，用於根據所述任務請求向所述一個或多個任務機中部分任務機的下一級任務機發送啟動指令和與所述一個或多個任務機對應的資源描述符號及對應的版本號。根據本發明是實施例的數據管理中心，可以根據用戶發出的任務請求對多個任務機進行控制，並對任務機執行完成任務後更新的數據的信息進行維護和更新，從而便於任務機可以準確且高效的獲得上一級任務機的更新數據的存儲地址。本發明附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發明的實踐了解到。
本發明上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中圖1為根據本發明實施例的基於資源描述符號的數據配送方法的示意圖；圖2為根據本發明實施例的基於資源描述符號的數據配送方法的流程圖；圖3為根據本發明的一個實施例的多個任務機的依賴關係示意圖；圖4為根據本發明的另一個實施例的多個任務機的依賴關係示意圖；圖5為根據本發明的實施例的基於資源描述符號的數據配送系統方法的示意圖；圖6為根據本發明的一個實施例的任務機的示意圖；圖7為根據本發明的另一個實施例的任務機的示意圖；圖8為根據本發明的一個實施例的數據管理中心的示意圖；圖9為根據本發明的另一個實施例的數據管理中心的示意圖；和圖10為根據本發明的又一個實施例的數據管理中心的示意圖。
具體實施例方式下面詳細描述本發明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用於解釋本發明，而不能解釋為對本發明的限制。參照下面的描述和附圖，將清楚本發明的實施例的這些和其他方面。在這些描述和附圖中，具體公開了本發明的實施例中的一些特定實施方式，來表示實施本發明的實施例的原理的一些方式，但是應當理解，本發明的實施例的範圍不受此限制。相反，本發明的實施例包括落入所附加權利要求書的精神和內涵範圍內的所有變化、修改和等同物。下面參考圖1描述根據本發明實施例的基於資源描述符號的數據配送方法。如圖1所示，本發明實施例提供的基於資源描述符號的數據配送方法，包括如下步驟SlOl 任務機接收數據管理中心發送的啟動指令、及任務機的一個或多個上一級任務機對應的資源描述符號和版本號。其中，每個任務機具有對應的資源描述符號KEY，且每個資源描述符號具有版本號version。在本發明的一個實施例中，數據管理中心首先接收用戶的任務請求，並根據任務請求為與任務請求對應的任務分配多個任務機。具體地，用戶向數據管理中心發送任務請求以請求執行與任務請求對應的任務。 數據管理中心根據任務請求為任務分配多個任務機，由分配的多個任務機執行用戶請求的任務。多個任務機中的每個任務機具有對應的資源描述符號KEY，其中，資源描述符號 KEY與任務機對應。資源描述符號的版本號version與任務機執行任務所對應的數據的信息一一對應。換言之，某個任務機執行任務所需要的數據的信息可以通過對應的資源描述符號的版本號version查找獲得。在本發明的一個實施例中，每個任務機執行任務所對應的數據的信息包括數據的存儲地址、數據的大小和數據的服務周期。其中，數據的服務周期是指該數據可以供任務機調用的壽命。S102:任務機根據資源描述符號和對應的版本號從文件存儲中心獲得對應的數據，並產生更新的數據。數據管理中心在為任務分配完多個任務機之後，向上述多個任務機中的一個或多個任務機發送啟動指令以及與該一個或對多個任務機對應的資源描述符號KEY和更新後的版本號version。任務機根據接收到的資源描述符號KEY和更新後的版本號version從文件存儲中心下載對應的數據以執行對應的任務。任務機在執行完成任務之後，產生更新的數據。可以理解的是，用戶請求的任務可以需要多個任務機作為起始任務機，則數據管理中心需要向多個任務機發送啟動指令。例如，數據管理中心為任務分配5個任務機。在開始執行該任務時需要5個任務機中的3個作為起始任務機首先啟動，則數據管理中心首先向上述3個任務機發送啟動指令以啟動該任務。S103 任務機在完成任務之後將更新的數據發送至文件存儲中心，同時數據管理中心更新任務機對應的資源描述符號的版本號。在步驟102中，任務機執行完畢任務之後，將每個任務機執行完成任務後產生的更新數據發送至文件存儲中心，然後獲取更新的數據的信息，再將上述數據的信息發送給數據管理中心。數據管理中心根據接收到的上述更新的數據的信息更新任務機的資源描述符號的版本號version。在本發明的一個實施例中，數據管理中心更新版本號是將資源描述符號KEY的當前版本號加1位。例如，如果資源描述符號KEY的當前版本號為1. 0，則更新後的版本號為2.0。更新後的版本號與任務機完成任務後更新的數據的信息對應。更新的數據的信息包括數據的地址、數據的大小和數據服務周期。數據管理中心存儲有資源描述符號_版本號_數據信息表格，如表1所示。
權利要求
1.一種基於資源描述符號的數據配送方法，其特徵在於，包括如下步驟任務機接收數據管理中心發送的啟動指令、及所述任務機的一個或多個上一級任務機對應的資源描述符號和版本號，其中，每個任務機具有對應的資源描述符號，且每個所述資源描述符號具有版本號；所述任務機根據所述資源描述符號和對應的版本號從文件存儲中心獲得對應的數據， 並產生更新的數據；所述任務機在完成任務之後將所述更新的數據發送至所述文件存儲中心，同時所述數據管理中心更新所述任務機對應的資源描述符號的版本號；和所述數據管理中心向所述任務機的下一級任務機發送啟動指令及所述任務機對應的資源描述符號和更新後的版本號以控制所述任務機的下一級任務機執行相應的任務。
2.如權利要求1所述的基於資源描述符號的數據配送方法，其特徵在於，還包括如下步驟所述數據管理中心接收用戶的任務請求，並根據所述任務請求為所述任務請求對應的任務分配多個任務機；所述數據管理中心根據所述任務請求向所述多個任務機中的一個或多個任務機發送啟動指令。
3.如權利要求1所述的基於資源描述符號的數據配送方法，其特徵在於，所述資源描述符號與任務機對應，所述資源描述符號的版本號與所述任務機執行任務所對應的數據的信息對應。
4.如權利要求3所述的基於資源描述符號的數據配送方法，其特徵在於，所述每個任務機執行任務對應的數據的信息包括數據的存儲地址、數據的大小和數據的服務周期。
5.如權利要求1所述的基於資源描述符號的數據配送方法，其特徵在於，在所述任務機在完成任務之後將更新的數據發送至所述文件存儲中心之後，還包括將所述更新的數據的信息發送至所述數據管理中心以使所述數據管理中心更新所述任務機對應的資源描述符號的版本號。
6.如權利要求2所述的基於資源描述符號的數據配送方法，其特徵在於，當對所述任務機對應的資源描述符號的版本號更新後且檢測到所述任務機的下一級任務機到達啟動時間點時，所述數據管理中心根據所述任務請求向所述任務機的下一級任務機發送啟動指令、和所述任務機對應的資源描述符號和更新後的版本號。
7.如權利要求6所述的基於資源描述符號的數據配送方法，其特徵在於，所述下一級任務機根據所述資源描述符號查找所述更新的數據的存儲地址，並通過所述更新的數據的存儲地址從所述文件存儲中心獲取所述更新的數據。
8.如權利要求1-7中任一項所述的基於資源描述符號的數據配送方法，其特徵在於， 還包括所述數據管理中心根據預設清理周期對所述資源描述符號的服務周期超過服務周期上限值的版本號進行清理；或者，所述數據管理中心根據預設清理數量對所述資源描述符號的服務周期超過所述服務周期上限值的版本號進行清理。
9.如權利要求1-8中任一項所述的基於資源描述符號的數據配送方法，其特徵在於，還包括如果所述任務機從所述文件存儲中心獲得對應的數據失敗，則向所述數據管理中心發出報警信號。
10.一種基於資源描述符號的數據配送系統，其特徵在於，包括多個任務機、與所述多個任務機相連的數據管理中心和文件存儲中心，其中，所述多個任務機，其中，每個任務機具有對應的資源描述符號，且每個所述資源描述符號具有版本號，所述多個任務機用於在所述數據管理中心的控制下執行任務；所述數據管理中心，用於控制所述多個任務機中的一個或多個任務機啟動以執行相應的任務，並在所述一個或多個任務機完成任務之後更新所述一個或多個任務機對應的資源描述符號的版本號，和向所述一個或多個任務機的下一級任務機發送啟動指令及對應的資源描述符號；文件存儲中心，用於存儲所述一個或多個任務機完成任務之後更新的數據，其中，所述下一級任務機根據所述資源描述符號及版本號從所述文件存儲中心獲得所述更新的數據。
11.如權利要求10所述的基於資源描述符號的數據配送系統，其特徵在於，所述數據管理中心還用於接收用戶的任務請求，並根據所述任務請求為所述任務請求對應的任務分配多個任務機，以及根據所述任務請求向所述多個任務機中的一個或多個任務機發送啟動指令。
12.如權利要求10所述的基於資源描述符號的數據配送系統，其特徵在於，所述資源描述符號與任務機對應，所述資源描述符號的版本號與所述任務機執行任務所對應的數據的信息對應。
13.如權利要求10所述的基於資源描述符號的數據配送系統，其特徵在於，所述任務機還用於將任務完成之後更新的數據發送至所述文件存儲中心，並將所述更新的數據的信息發送至所述數據管理中心，以使所述數據管理中心更新所述任務機對應的資源描述符號的版本號。
14.如權利要求10所述的基於資源描述符號的數據配送系統，其特徵在於，所述下一級任務機還用於根據所述資源描述符號查找所述更新的數據的存儲地址，並通過所述更新的數據的存儲地址從所述文件存儲中心獲取所述更新的數據。
15.如權利要求1-14中任一項所述的基於資源描述符號的數據配送系統，其特徵在於，所述文件存儲中心為MoIa存儲平臺或Hadoop存儲平臺。
16.一種任務機，其特徵在於，所述任務機具有唯一的資源描述符號，且每個所述資源描述符號具有版本號，所述任務機包括接收模塊，用於接收來自數據管理中心的啟動指令和對應的上一級任務機的資源描述符號及所述資源描述符號的版本號；執行模塊，用於根據所述資源描述符號及所述資源描述符號的版本號從文件存儲中心獲得所述上一級任務機更新的數據，並生成本次任務的更新數據；以及發送模塊，用於將所述本次任務的更新數據發送至所述文件存儲中心，同時將所述更新數據的信息發送至數據管理中心以使所述數據管理中心更新所述任務機的資源描述符號的版本號。
17.如權利要求16所述的任務機，其特徵在於，所述資源描述符號與任務機對應，所述資源描述符號的版本號與所述任務機執行任務所對應的數據的信息對應。
18.如權利要求17所述的任務機，其特徵在於，所述任務機執行任務對應的數據的信息包括數據的存儲地址、數據的大小和數據的服務周期。
19.如權利要求18所述的任務機，其特徵在於，在將所述本次任務的更新數據發送至所述文件存儲中心後，所述發送模塊還用於將所述本次任務的更新數據的信息發送至所述數據管理中心。
20.如權利要求16-19中任一項所述的任務機，其特徵在於，所述執行模塊根據所述上一級任務機的資源描述符號查找所述上一級任務機的更新數據的地址以從所述文件存儲中心獲取所述上一級任務機的更新數據。
21.如權利要求16-20中任一項所述的任務機，其特徵在於，還包括報警模塊，用於在發送模塊檢測到所述執行模塊正在執行任務或者在所述執行模塊從所述文件存儲中心獲得所述更新的數據失敗後，向所述數據管理中心發送報警信號。
22.—種數據管理中心，其特徵在於，包括請求接收模塊，用於接收來自用戶的任務請求；控制模塊，與所述請求接收模塊相連，用於根據所述任務請求為所述任務請求對應的任務分配多個任務機，以及控制所述多個任務機中的一個或多個任務機啟動以執行相應的任務，其中，每個任務機具有對應的資源描述符號，且每個所述資源描述符號具有版本號；存儲模塊，用於存儲每個任務機的資源描述符號、資源描述符號的版本號和所述每個任務機對應的數據的信息；更新模塊，用於更新所述存儲模塊中的資源描述符號的版本號；指令發送模塊，分別與所述控制模塊和所述存儲模塊相連，用於根據所述任務請求向所述一個或多個任務機中部分任務機的下一級任務機發送啟動指令和與所述一個或多個任務機對應的資源描述符號及對應的版本號。
23.如權利要求21所述的數據管理中心，其特徵在於，所述指令發送模塊還用於檢測所述一個或多個任務機的下一級任務機的啟動時間點，當所述一個或多個任務機的部分任務機中的下一級任務機到達所述啟動時間點且所述更新模塊更新完所述一個或多個任務機對應的資源描述符號的版本號時，所述指令發送模塊向所述一個或多個任務機中的部分任務機的下一級任務機發送啟動指令和與所述一個或多個任務機對應的資源描述符號及對應的版本號。
24.如權利要求22所述的數據管理中心，其特徵在於，還包括清理模塊，用於對所述資源描述符號的版本號進行清理。
25.如權利要求24所述的數據管理中心，其特徵在於，所述清理模塊用於根據預設清理周期或預設清理數量對所述資源描述符號的服務周期超過服務周期上限值的版本號進行清理。
全文摘要
本發明公開了一種基於資源描述符號的數據配送方法，包括如下步驟任務機接收數據管理中心發送的啟動指令、及任務機的一個或多個上一級任務機對應的資源描述符號和版本號；任務機根據資源描述符號和對應的版本號從文件存儲中心獲得對應的數據，並產生更新的數據；任務機在完成任務之後將更新的數據發送至文件存儲中心，同時數據管理中心更新任務機對應的資源描述符號的版本號；數據管理中心向任務機的下一級任務機發送啟動指令及任務機對應的資源描述符號和更新後的版本號以控制任務機的下一級任務機執行相應的任務。本發明還公開了一種基於資源描述符號的數據配送系統、用於該數據配送系統的任務機和數據管理中心。
文檔編號H04L29/08GK102347989SQ201110328379
公開日2012年2月8日 申請日期2011年10月25日 優先權日2011年10月25日
發明者餘沛 申請人:百度在線網絡技術(北京)有限公司