傳輸任務調度方法和系統的製作方法
2023-06-15 08:45:06
專利名稱：傳輸任務調度方法和系統的製作方法
技術領域：
本發明涉及數位電視文件的傳輸，尤其涉及一種傳輸任務調度方法和系統。
背景技術：
隨著數位電視的加速推廣，數位電視越發普及，廣電運營商在為新的數字 電視業務準備數字節目時，需要對海量的超大規模的視頻文件進行遷移。廣電 運營商現有系統常用的視頻文件遷移方式是採用單線程、單任務處理方式；或 簡單的增加設備來提高處理能力。這些技術存在不足之處是處理效率過低，不 能充分利用伺服器的性能。現有的處理方式越來越難以滿足廣電運營商發展數 字電視的需要，非常不利於數位電視業務的推廣。
發明內容
為此，本發明提出一種傳輸任務調度方法和系統，針對現有數位電視業務 需要，對海量的超大容量的媒資文件的傳輸進行了優化，並可以根據伺服器的 數量、伺服器的性能進行調優，以達到高速處理、充分利用伺服器性能、消除 傳輸伺服器的單點故障。
本發明提出一種傳輸任務調度方法，用以通過一任務管理模塊、多個任務 調度模塊及多個任務處理模塊管理數位電視的文件傳輸，其中所述的多個任務 調度模塊及多個任務處理模塊配置在一處理伺服器上，該方法包括以下步驟
通過一任務管理模塊管理需要傳輸的任務；
通過多個任務調度模塊從任務管理模塊獲取傳輸任務，其中每一任務調度 模塊具有根據處理伺服器的性能確定的任務數量；
任務調度模塊將獲取的傳輸任務分配給任務處理模塊；以及 任務處理模塊根據任務調度模塊分配的傳輸任務創建相應的處理線程以進行傳輸任務處理。
在本發明的一實施例中，所述任務管理模塊為每個傳輸任務設置優先級， 所述任務調度模塊根據優先級從所述任務管理模塊獲取傳輸任務。
在本發明的一實施例中，在任務調度模塊從任務管理模塊獲取傳輸任務 後，任務管理模塊標記該傳輸任務的狀態為"已分配"。
在本發明的一實施例中，上述方法還包括任務處理模塊將處理結果反饋 給任務調度模塊；以及任務調度模塊將處理結果反饋給任務管理模塊。
在本發明的一實施例中，在任務調度模塊將處理結果反饋給任務管理模塊 後，任務管理模塊標記該傳輸任務的狀態為"己完成"。
在本發明的一實施例中，所述任務數量是預設的。
在本發明的一實施例中，所述任務數量是由任務調度模塊動態地根據處理 伺服器的性能調節。
在本發明的一實施例中，所述處理伺服器的性能包括CPU和內存的使用率。
另一方面，本發明提出一種傳輸任務調度系統，包括 任務管理模塊，管理需要傳輸的文件信息；
處理伺服器，包括多個任務調度模塊和多個任務處理模塊，其中 多個任務調度模塊用以從任務管理模塊獲取傳輸任務並分配給任務處理
模塊，其中每一任務調度模塊具有根據處理伺服器的性能確定的任務數量；
多個任務處理模塊，根據分配的傳輸任務創建相應的處理線程以進行傳輸
任務處理。
在本發明的一實施例中，所述任務數量是預設的。
在本發明的一實施例中，所述任務數量是由任務調度模塊動態地根據處理 伺服器的性能調節。
在本發明的一實施例中，所述處理伺服器的性能包括CPU和內存的使用率。
綜上所述，本發明的傳輸任務調度方法和系統相比目前應用於數位電視文 件傳輸的技術具有以下優點
1、提供系統管理人員配置參數的方式優化傳輸伺服器的處理性能。2、 任務調度模塊可以根據傳輸伺服器CPU和內存使用情況優化處理性能。
3、 安全可靠性，由於數位電視業務對實時性要求高，需7X24小時運行， 基於策略的任務調度算法充分考慮系統的安全可靠性。由於釆用分布式和模塊 化的思想及對各種異常的充分處理，當其中一任務調度及處理模塊由於因硬體 或網路產生異常時，其他的任務調度及處理模塊不受影響，依然正常運行，從 而保證系統穩定、安全可靠。
4、 動態擴展，伴隨數位電視業務的擴展，對海量媒資處理量越來越大， 基於策略的任務調度方法和系統充分考慮系統處理性能的可擴展性，對任務調 度及處理模塊可根據需要，動態增加。
為讓本發明的上述目的、特徵和優點能更明顯易懂，以下結合附圖對本發
明的具體實施方式
作詳細說明，其中
圖1示出根據本發明一實施例的系統架構及其處理流程。
具體實施例方式
數位電視業務要求數字內容傳輸做到高效、實時，同時數字內容存在海量、 超大容量等特點，這就存在隨著業務的擴展、系統負荷也在增加。因此希望在 處理數字內容傳輸時充分考慮根據不同的策略可以隨時調整傳輸目的地，隨時 可以調整各傳輸伺服器的處理性能。
在相同的網絡環節下，數字內容傳輸主要是對超大文件進行傳輸(2G以 上)，傳輸機制採用FTP,傳輸伺服器的CPU、內存是影響處理性能決定因素。
圖1示出根據本發明一實施例的系統架構及其處理流程。此任務調度系統100 是由任務管理模塊110、多個任務調度模塊120-122以及多個任務處理模塊130-132 組成。由於每一任務調度模塊和任務處理模塊所執行的操作大致相同，下面僅以任 務調度模塊120和任務處理模塊130為例進行說明。
任務管理模塊管理110需要傳輸的媒資文件任務，每一傳輸任務可包括媒資 文件傳輸源信息、傳輸目的地信息、媒資文件信息等。任務調度模塊120和任務處 理模塊130部署在處理伺服器140上，任務調度模塊120負責從任務管理模塊110獲取傳輸任務，創建相應的任務處理模塊的線程，並將任務分配給任務處理模塊 130;任務處理模塊130根據任務調度模塊120分配的任務進行任務處理，並將處
理結果通過任務調度模塊120反饋給任務管理模塊110。
下面具體描述任務調度方法的處理流程。
步驟S1，任務管理模塊IIO管理需要傳輸的任務，例如創建傳輸任務，設
定這些傳輸任務的媒資文件傳輸源信息、傳輸目的地信息、媒資文件信息、任務
狀態、優先級等信息；任務狀態例如包括"未分配"，"己分配"，"已完成"等。
步驟S2，多個任務調度模塊120會動態地從任務管理模塊IIO獲取傳輸任 務，其中每一任務調度模塊120具有根據處理伺服器的性能確定的任務數量， 處理伺服器的性能可包括CPU、內存等對文件傳輸影響較大的參數。
在任務調度模塊120從任務管理模塊IIO獲取傳輸任務後，任務管理模塊 IIO標記該傳輸任務的狀態為"已分配"。
步驟S3，任務調度模塊120將獲取的傳輸任務分配給該任務處理模塊。
在步驟S4，任務處理模塊130根據任務調度模塊IIO分配的傳輸任務創建 相應的處理線程進行任務處理。
在本實施例中，任務調度模塊120的任務數和任務處理模塊130的線程數 是相同的，任務調度模塊獲取了多少任務數，就創建多少任務處理線程。
在步驟S5，任務處理模塊130將處理結果反饋給任務調度模塊120;
在步驟S6，任務調度模塊120將處理結果反饋給任務管理模塊110。
在任務調度模塊120將處理結果反饋給任務管理模塊IIO後，任務管理模 塊IIO標記該傳輸任務的狀態為"已完成"。
當任務處理模塊130中的一個任務處理線程完成後，任務調度模塊120實 時從任務管理模塊IIO獲取新的任務，以保持任務處理線程的數量與設置的任 務數量一致。
在本發明的實現中，提供兩種調整任務數量方式 一種預設方式，即系統 管理人員根據伺服器處理性能自行設置各傳輸伺服器的處理參數(例如根據傳 輸伺服器的性能調整任務調度模塊的任務數量及各伺服器任務處理的線程 數)；另一種是動態方式，即任務調度模塊根據運行過程中CPU、內存的使用情況自動調節任務調度模塊120的任務數和任務處理模塊130的線程數。
在動態方式中，可以設置CPU和內存的上下閥值；任務調度模塊120統
計伺服器CPU和內存的使用率，當CPU和內存的使用率均小於下閥值時，任
務調度模塊自動增加任務數(每次加l);當CPU或內存的使用率有一個超過
上閥值，則任務調度模塊自動減少任務數(每次減l)。
綜上所述，本發明的傳輸任務調度方法和系統相比目前應用於數位電視文
件傳輸的技術具有以下優點
1、 提供系統管理人員配置參數的方式優化傳輸伺服器的處理性能。
2、 任務調度模塊可以根據傳輸伺服器CPU和內存使用情況優化處理性能。
3、 安全可靠性，由於數位電視業務對實時性要求高，需7X24小時運行， 基於策略的任務調度算法充分考慮系統的安全可靠性。由於採用分布式和模塊 化的思想及對各種異常的充分處理，當其中一任務調度及處理模塊由於因硬體 ^K網路產生異常時，^ 也的任務調度及處理模塊不受影響，依然正常運行，—從 而保證系統穩定、安全可靠。
4、 動態擴展，伴隨數位電視業務的擴展，對海量媒資處理量越來越大， 基於策略的任務調度方法和系統充分考慮系統處理性能的可擴展性，對任務調 度及處理模塊可根據需要，動態增加。
雖然本發明已以較佳實施例揭示如上，然其並非用以限定本發明，任何本 領域技術人員，在不脫離本發明的精神和範圍內，當可作些許的修改和完善， 因此本發明的保護範圍當以權利要求書所界定的為準。
權利要求
1、一種傳輸任務調度方法，用以通過一任務管理模塊、多個任務調度模塊及多個任務處理模塊管理數位電視的文件傳輸，其中所述的多個任務調度模塊及多個任務處理模塊配置在一處理伺服器上，該方法包括以下步驟通過一任務管理模塊管理需要傳輸的任務；通過多個任務調度模塊從任務管理模塊獲取傳輸任務，其中每一任務調度模塊具有根據處理伺服器的性能確定的任務數量；任務調度模塊將獲取的傳輸任務分配給任務處理模塊；以及任務處理模塊根據任務調度模塊分配的傳輸任務創建相應的處理線程以進行傳輸任務處理。
2、 如權利要求1所述的方法，其特徵在於，所述任務管理模塊為每個傳 輸任務設置優先級，所述任務調度模塊根據優先級從所述任務管理模塊獲取傳 輸任務。
3、 如權利要求1所述的方法，其特徵在於，在任務調度模塊從任務管理 模塊獲取傳輸任務後，任務管理模塊標記該傳輸任務的狀態為"已分配"。
4、 如權利要求l所述的方法，其特徵在於，還包括 任務處理模塊將處理結果反饋給任務調度模塊；以及 任務調度模塊將處理結果反饋給任務管理模塊。
5、 如權利要求4所述的方法，其特徵在於，在任務調度模塊將處理結果 反饋給任務管理模塊後，任務管理模塊標記該傳輸任務的狀態為"已完成"。
6、 如權利要求l所述的方法，其特徵在於，所述任務數量是預設的。
7、 如權利要求1所述的方法，其特徵在於，所述任務數量是由任務調度 模塊動態地根據處理伺服器的性能調節。
8、 如權利要求1或7所述的方法，其特徵在於，所述處理伺服器的性能 包括CPU和內存的使用率。
9、 一種傳輸任務調度系統，包括 任務管理模塊，管理需要傳輸的文件信息；處理伺服器，包括多個任務調度模塊和多個任務處理模塊，其中多個任務調度模塊用以從任務管理模塊獲取傳輸任務並分配給任務處理 模塊，其中每一任務調度模塊具有根據處理伺服器的性能確定的任務數量；多個任務處理模塊，根據分配的傳輸任務創建相應的處理線程以進行傳輸 任務處理。
10、 如權利要求9所述的系統，其特徵在於，所述任務數量是預設的。
11、 如權利要求9所述的系統，其特徵在於，所述任務數量是由任務調度 模塊動態地根據處理伺服器的性能調節。
12、 如權利要求9或11所述的系統，其特徵在於，所述處理伺服器的性 能包括CPU和內存的使用率。
全文摘要
本發明涉及一種傳輸任務調度方法和系統，用以通過一任務管理模塊、多個任務調度模塊及多個任務處理模塊管理數位電視的文件傳輸，其中所述的多個任務調度模塊及多個任務處理模塊配置在一處理伺服器上，該方法包括以下步驟通過一任務管理模塊管理需要傳輸的任務；通過多個任務調度模塊從任務管理模塊獲取傳輸任務，其中每一任務調度模塊具有根據處理伺服器的性能確定的任務數量；任務調度模塊將獲取的傳輸任務分配給任務處理模塊；以及任務處理模塊根據任務調度模塊分配的傳輸任務創建相應的處理線程以進行傳輸任務處理。
文檔編號H04L29/06GK101442534SQ20081020812
公開日2009年5月27日 申請日期2008年12月29日 優先權日2008年12月29日
發明者顧亞平 申請人:上海全景數位技術有限公司