轉碼任務的調度方法和系統的製作方法
2023-12-07 07:21:56
轉碼任務的調度方法和系統的製作方法
【專利摘要】本申請公開了轉碼任務的調度方法和系統，該方法包括：從需要進行轉碼的視頻中獲取對應的視頻屬性信息，並結合預置的分值規則生成具有分值標籤信息的轉碼任務；將所述具有分值標籤信息的轉碼任務，按照預置的分值等級劃分進入對應資源池隊列；對每個資源池隊列中的所述轉碼任務，根據先進先出處理機制進行轉碼處理。本申請通過預先設置視頻的屬性規則對需要轉碼的視頻進行優先級、碼率高低的判定，同時根據轉碼機的性能進行分組，有效解決了目前視頻網站的轉碼機不能根據伺服器狀態和轉碼任務屬性合理進行轉碼任務調度的問題。
【專利說明】轉碼任務的調度方法和系統
【技術領域】
[0001]本申請涉及視頻轉碼領域，更具體地，涉及一種轉碼任務的調度方法和系統。
【背景技術】
[0002]視頻網站將豐富的視頻資源轉換成適合於網絡播放的格式，從而，人們便可以通過計算機終端、移動終端或具有聯網功能的電視終端訪問相應的視頻網站觀看到各類視頻。
[0003]對於不同的視頻資源來說，其具有不同的視頻格式，並不是所有的視頻格式都適合於網絡傳輸播放，通常，視頻網站會將不同的視頻資源轉換為「.flv」和「.mp4」格式的視頻再進行網絡傳輸，其中，「.flv」格式適合於電視終端傳輸及播放，「.mp4」格式適合於計算機及移動終端網絡傳輸及播放。也就是說，視頻網站需要建立轉碼任務，通過其內部的轉碼系統來執行相應的轉碼任務進行視頻轉碼處理。
[0004]現有技術中，由於視頻轉碼處理需要耗費較長的時間，為了保證任務量，視頻網站使用幾十或上百臺轉碼機(如:轉碼伺服器)進行視頻轉碼。由於轉碼機的型號不同，其處理性能並不相同，造成轉碼處理的速度有高低之分。那麼，就需要對不同的轉碼任務進行適當的調度，以充分利用轉碼機的性能完成不同要求的轉碼處理。但是，目前視頻網站對於轉碼任務的調度仍存在以下問題:
[0005]1、不能根據轉碼任務上線的優先級進行調度，如:新聞資訊類的任務必須以最快的速度完成轉碼任務上線播放，需要由高性能的伺服器進行轉碼；而電視劇等長視頻任務可以適當延時轉碼上線，可以由低性能的伺服器進行轉碼。但目前視頻網站的轉碼機只根據任務列表中的任務順序執行，不能靈活調度，造成優先級高的視頻不能及時發布。
[0006]2、不能根據視頻資源的碼率的高低進行調度，如:就同一片源來說，低碼率的轉碼效率比高碼的轉碼效率要高，所以為了儘早的將片源上線播放，低碼率任務轉碼開始時間應早於同片源的高碼率任務，同時，低碼率任務分配的伺服器性能應該優於或等於高碼率任務所分配的伺服器。但目前視頻網站的轉碼機，不能靈活調度，造成視頻轉碼效率低，不能及時發布視頻。
[0007]3、不能保證某些特定任務的快速轉碼，如:在進行春晚直播時，所有的直播任務必須快速完成，需要充足的伺服器為直播任務進行轉碼處理，不能因為其他任務而造成直播任務不能快速完成。同樣，目前視頻網站的轉碼機只根據任務列表中的任務順序執行，難以保證某些特定任務的快速轉碼，造成直播視頻不能及時發布。
[0008]4、不能充分利用伺服器的性能，在正常情況下，轉碼任務應該平均的分配到每臺轉碼機上，讓每臺伺服器的CPU利用率相近。但目前視頻網站的轉碼機的轉碼任務只是隨機分配，不能進行調度，導致每臺伺服器的利用率不均勻，浪費轉碼資源。
[0009]因此，如何解決不能根據伺服器狀態和轉碼任務屬性合理進行轉碼任務調度，便成為亟待解決的技術問題。
【發明內容】
[0010]有鑑於此，本申請所要解決的技術問題是提供了一種轉碼任務的調度方法和系統，以解決不能根據伺服器狀態和轉碼任務屬性合理進行轉碼任務調度的問題。
[0011]為了解決上述技術問題，本申請公開了一種轉碼任務的調度方法，包括:
[0012]從需要進行轉碼的視頻中獲取對應的視頻屬性信息，並結合預置的分值規則生成具有分值標籤信息的轉碼任務；
[0013]將所述具有分值標籤信息的轉碼任務，按照預置的分值等級劃分進入對應資源池隊列；
[0014]對每個資源池隊列中的所述轉碼任務，根據先進先出處理機制進行轉碼處理。
[0015]優選地，對每個資源池隊列中的所述轉碼任務，根據先進先出處理機制進行轉碼處理，包括:
[0016]對每個資源池中具有特殊標籤的所述轉碼任務進行提取，並搶佔正在根據先進先出處理機制進行轉碼處理的轉碼任務，將被搶佔的該轉碼任務暫停處理，同時優先對具有特殊標籤的所述轉碼任務進行處理，將被搶佔的該轉碼任務排到具有特殊標籤的所述轉碼任務之後按照所述先進先出處理機制再進行轉碼處理。
[0017]優選地，從所述視頻中獲取的視頻屬性信息結合預置的分值規則生成具有分值標籤信息的轉碼任務，具體為:
[0018]預置不同的視頻屬性信息所對應的分值，形成所述分值規則；
[0019]從所述視頻中獲取的視頻屬性信息，結合所述分值規則生成具有分值標籤信息的轉碼任務。
[0020]優選地，預置不同的視頻屬性信息所對應的分值，形成所述分值規則，具體為:
[0021]所述視頻屬性信息包括:物理屬性和業務屬性；設置不同的物理屬性和不同的業務屬性所對應的不同的分值；
[0022]對所述視頻的視頻屬性信息所包括的物理屬性和業務屬性分別對應的分值並進行累加求和，得出該視頻的視頻屬性信息對應的分值，形成所述分值規則。
[0023]優選地，所述先進先出處理機制，包括:
[0024]對每個資源池隊列中具有不同的分值標籤信息的轉碼任務，按照創建時間劃分先後進行處理，對創建時間相同的轉碼任務，再根據其所述分值標籤信息的大小進行先後處理。
[0025]為了解決上述技術問題，本申請還公開了一種轉碼任務的調度系統，該系統包括:任務生成單元、隊列劃分單元以及轉碼單元，其中，
[0026]所述任務生成單元，用於從需要進行轉碼的視頻中獲取對應的視頻屬性信息，並結合預置的分值規則生成具有分值標籤信息的轉碼任務發送至所述隊列劃分單元；
[0027]所述隊列劃分單元，用於將所述具有分值標籤信息的轉碼任務，按照預置的分值等級劃分進入對應資源池隊列；
[0028]所述轉碼單元，用於對每個資源池隊列中的所述轉碼任務，根據先進先出處理機制進行轉碼處理。
[0029]優選地，該系統還包括:特殊處理單元，用於對每個資源池中具有特殊標籤的所述轉碼任務進行提取，並搶佔正在根據先進先出處理機制進行轉碼處理的轉碼任務，將被搶佔的該轉碼任務暫停處理，同時優先對具有特殊標籤的所述轉碼任務進行處理，將被搶佔的該轉碼任務排到具有特殊標籤的所述轉碼任務之後按照所述先進先出處理機制再進行轉碼處理。
[0030]優選地，所述任務生成單元，具體用於:
[0031]預置不同的視頻屬性信息所對應的分值，形成所述分值規則；
[0032]從所述視頻中獲取的視頻屬性信息，結合所述分值規則生成具有分值標籤信息的轉碼任務；
[0033]其中，所述視頻屬性信息包括:物理屬性和業務屬性。
[0034]優選地，所述任務生成單元，具體用於:
[0035]設置不同的所述物理屬性和不同的所述業務屬性所對應的不同的分值；
[0036]對所述視頻的視頻屬性信息分析其所包括的物理屬性和業務屬性分別對應的分值並進行累加求和，得出該視頻的視頻屬性信息對應的分值，形成所述分值規則。
[0037]優選地，所述先進先出處理機制，具體為:
[0038]對每個資源池隊列中具有不同的分值標籤信息的轉碼任務，按照創建時間劃分先後進行處理，對創建時間相同的轉碼任務，再根據其所述分值標籤信息的大小進行先後處理。
[0039]與現有技術相比，本申請所述的一種轉碼任務的調度方法和系統，達到了如下效果:
[0040]I)本申請通過預先設置視頻的屬性規則對需要轉碼的視頻進行優先級、碼率高低的判定，同時根據轉碼機的性能進行分組，有效解決了目前視頻網站的轉碼機不能根據伺服器狀態和轉碼任務屬性合理進行轉碼任務調度的問題。
[0041]2)本申請可以對不同的轉碼機進行角色配置，劃定不同的轉碼任務處理對象，尤其對於特定視頻轉碼任務，由劃定的特定轉碼機專門進行處理，從而可以有效保證某些特定任務的快速轉碼，將重要視頻及時發布。
[0042]當然，實施本申請的任一產品必不一定需要同時達到以上所述的所有技術效果。
【專利附圖】
【附圖說明】
[0043]此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用於解釋本申請，並不構成對本申請的不當限定。在附圖中:
[0044]圖1是本申請實施例一所述的轉碼任務的調度方法的流程圖。
[0045]圖2是本申請實施例二和三所述的轉碼任務的調度方法的流程圖。
[0046]圖3是本申請實施例五所述的轉碼任務的調度系統的結構框圖。
[0047]圖4是本申請實施例六所述的轉碼任務的調度系統的結構框圖。
【具體實施方式】
[0048]如在說明書及權利要求當中使用了某些詞彙來指稱特定組件。本領域技術人員應可理解，硬體製造商可能會用不同名詞來稱呼同一個組件。本說明書及權利要求並不以名稱的差異來作為區分組件的方式，而是以組件在功能上的差異來作為區分的準則。如在通篇說明書及權利要求當中所提及的「包含」為一開放式用語，故應解釋成「包含但不限定於」。「大致」是指在可接收的誤差範圍內，本領域技術人員能夠在一定誤差範圍內解決所述技術問題，基本達到所述技術效果。此外，「耦接」一詞在此包含任何直接及間接的電性耦接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表所述第一裝置可直接電性耦接於所述第二裝置，或通過其他裝置或耦接手段間接地電性耦接至所述第二裝置。說明書後續描述為實施本申請的較佳實施方式，然所述描述乃以說明本申請的一般原則為目的，並非用以限定本申請的範圍。本申請的保護範圍當視所附權利要求所界定者為準。
[0049]實施例一
[0050]如圖1所示，為本申請實施例一所述的一種轉碼任務的調度方法，該方法包括:
[0051]步驟101，從需要進行轉碼的視頻中獲取對應的視頻屬性信息，並結合預置的分值規則生成具有分值標籤信息的轉碼任務。
[0052]具體來說，所述視頻屬性信息包括:視頻的物理屬性和業務屬性，其中，所述物理屬性具體為視頻的時長、碼率和/或解析度等基本信息；所述業務屬性具體為視頻所屬的業務類別，如:直播類、廣告類、新聞類和/或影視劇類等。實際應用中，視頻的所述業務類別由視頻上傳者在視頻上傳之前通過相應的選項進行勾選而確定，當然，視頻的所述業務類別的確定方式並不構成對本申請的限定。
[0053]步驟101中，從所述視頻中獲取的視頻屬性信息結合預置的分值規則生成具有分值標籤信息的轉碼任務，具體為:預置不同的視頻屬性信息所對應的分值，形成所述分值規則；從所述視頻中獲取的視頻屬性信息，結合所述分值規則生成具有分值標籤信息的轉碼任務。
[0054]需要說明的是，在本實施例的步驟101中，根據不同轉碼任務中視頻的所述視頻屬性信息，結合預置的分值規則，便可以獲得該轉碼任務的所述物理屬性和業務屬性對應的分值，再進行累加求和，可以得到該視頻的視頻屬性信息對應的分值，再從所述視頻中獲取的視頻屬性信息，結合所述分值規則生成具有分值標籤信息的轉碼任務。從而，通過分值的大小就可以直觀地獲知所述轉碼任務的優先級高低。
[0055]步驟102，將所述具有分值標籤信息的轉碼任務，按照預置的分值等級劃分進入對應資源池隊列。
[0056]在本實施例中，通過所述預置的分值等級，可以將所述轉碼任務劃分成至少兩個高低不同的優先級資源池隊列(也可以是任務集合)，若所述轉碼任務中所述分值標籤信息對應的分值高於該分值等級，就將所述轉碼任務加入高資源池隊列；若所述轉碼任務的所述分值標籤信息對應的分值低於該分值等級，就將所述轉碼任務加入低資源池隊列。在高低兩種資源池隊列中，再按照不同所述轉碼任務的分值標籤信息的高低排列生成所述內部任務隊列。當然，上述方式並不構成對本申請的限定。
[0057]步驟103，對每個資源池隊列中的所述轉碼任務，根據先進先出處理機制進行轉碼處理。
[0058]具體地，所述先進先出處理機制為:對每個資源池隊列中具有不同的分值標籤信息的轉碼任務，按照創建時間劃分先後進行處理，對創建時間相同的轉碼任務，再根據其所述分值標籤信息的大小進行先後處理。
[0059]其中，所述先進先出處理機制，可以將所述分值標籤信息對應的分值高的所述轉碼任務優先進行處理，或也可以將所述分值標籤信息對應的分值低的所述轉碼任務優先進行處理，這裡不作具體限定。
[0060]實施例二
[0061]如圖2所示，為本申請實施例二所述的一種轉碼任務的調度方法，該方法包括:
[0062]步驟201，從需要進行轉碼的視頻中獲取對應的物理屬性和業務屬性，並結合預置的分值規則生成具有分值標籤信息的轉碼任務。其中，需要進行轉碼的所述視頻為上傳後的視頻(具體可以為上傳到相應的轉碼伺服器中的視頻，在此不進行限定)。
[0063]在步驟201中，所述物理屬性具體為視頻的時長、碼率和/或解析度等基本信息；所述業務屬性具體為視頻所屬的業務類別，如:直播類、廣告類、新聞類和/或影視劇類等。
[0064]其中，所述預置的分值規則具體為:預置不同的視頻屬性信息所對應的分值，形成所述分值規則。
[0065]在本實施例中，步驟201中所述預置的分值規則具體例如:
[0066]所述視頻屬性信息包括:
[0067]視頻的物理屬性:350基礎碼率、原畫碼率、時長小於20分鐘、時長小於5分鐘、時長小於I分鐘；
[0068]視頻的業務屬性:直播、廣告以及跟播。
[0069]各所述視頻的物理屬性和業務屬性對應設置的分值分別為下表所示:
[0070]表一，所述視頻屬性信息對應的分值
[0071]
【權利要求】
1.一種轉碼任務的調度方法，其特徵在於，包括: 從需要進行轉碼的視頻中獲取對應的視頻屬性信息，並結合預置的分值規則生成具有分值標籤信息的轉碼任務； 將所述具有分值標籤信息的轉碼任務，按照預置的分值等級劃分進入對應資源池隊列； 對每個資源池隊列中的所述轉碼任務，根據先進先出處理機制進行轉碼處理。
2.如權利要求1所述的轉碼任務的調度方法，其特徵在於，對每個資源池隊列中的所述轉碼任務，根據先進先出處理機制進行轉碼處理，包括: 對每個資源池中具有特殊標籤的所述轉碼任務進行提取，並搶佔正在根據先進先出處理機制進行轉碼處理的轉碼任務，將被搶佔的該轉碼任務暫停處理，同時優先對具有特殊標籤的所述轉碼任務進行處理，將被搶佔的該轉碼任務排到具有特殊標籤的所述轉碼任務之後按照所述先進先出處理機制再進行轉碼處理。
3.如權利要求1所述的轉碼任務的調度方法，其特徵在於，從所述視頻中獲取的視頻屬性信息結合預置的分值規則生成具有分值標籤信息的轉碼任務，進一步為: 預置不同的視頻屬性信息所對應的分值，形成所述分值規則； 從所述視頻中獲取的視頻屬性信息，結合所述分值規則生成具有分值標籤信息的轉碼任務。
4.如權利要求3所述的轉碼任務的調度方法，其特徵在於，預置不同的視頻屬性信息所對應的分值，形成所述分值規則，進一步為:` 所述視頻屬性信息包括:物理屬性和業務屬性；設置不同的物理屬性和不同的業務屬性所對應的不同的分值； 對所述視頻的視頻屬性信息所包括的物理屬性和業務屬性分別對應的分值並進行累加求和，得出該視頻的視頻屬性信息對應的分值，形成所述分值規則。
5.如權利要求4所述的轉碼任務的調度方法，其特徵在於， 所述先進先出處理機制，包括: 對每個資源池隊列中具有不同的分值標籤信息的轉碼任務，按照創建時間劃分先後進行處理，對創建時間相同的轉碼任務，再根據其所述分值標籤信息的大小進行先後處理。
6.一種轉碼任務的調度系統，其特徵在於，該系統包括:任務生成單元、隊列劃分單元以及轉碼單元，其中， 所述任務生成單元，用於從需要進行轉碼的視頻中獲取對應的視頻屬性信息，並結合預置的分值規則生成具有分值標籤信息的轉碼任務發送至所述隊列劃分單元； 所述隊列劃分單元，用於將所述具有分值標籤信息的轉碼任務，按照預置的分值等級劃分進入對應資源池隊列； 所述轉碼單元，用於對每個資源池隊列中的所述轉碼任務，根據先進先出處理機制進行轉碼處理。
7.如權利要求6所述的轉碼任務的調度系統，其特徵在於，該系統還包括:特殊處理單元，用於對每個資源池中具有特殊標籤的所述轉碼任務進行提取，並搶佔正在根據先進先出處理機制進行轉碼處理的轉碼任務，將被搶佔的該轉碼任務暫停處理，同時優先對具有特殊標籤的所述轉碼任務進行處理，將被搶佔的該轉碼任務排到具有特殊標籤的所述轉碼任務之後按照所述先進先出處理機制再進行轉碼處理。
8.如權利要求6所述的轉碼任務的調度系統，其特徵在於，所述任務生成單元，進一步用於: 預置不同的視頻屬性信息所對應的分值，形成所述分值規則； 從所述視頻中獲取的視頻屬性信息，結合所述分值規則生成具有分值標籤信息的轉碼任務； 其中，所述視頻屬性信息包括:物理屬性和業務屬性。
9.如權利要求8所述的轉碼任務的調度系統，其特徵在於，所述任務生成單元，進一步用於: 設置不同的所述物理屬性和不同的所述業務屬性所對應的不同的分值； 對所述視頻的視頻屬性信息分析其所包括的物理屬性和業務屬性分別對應的分值並進行累加求和，得出該視頻的視頻屬性信息對應的分值，形成所述分值規則。
10.如權利要求6所述的轉碼任務的調度系統，其特徵在於，所述先進先出處理機制，進一步為: 對每個資源池隊列中具有不同的分值標籤信息的轉碼任務，按照創建時間劃分先後進行處理，對創建時間相同的轉碼任務，再根據其所述分值標籤信息的大小進行先後處理。
【文檔編號】H04N21/235GK103686207SQ201310646742
【公開日】2014年3月26日 申請日期:2013年12月4日 優先權日:2013年12月4日
【發明者】李超, 邢波, 劉鈞石, 鮑大磊, 王孝慶 申請人:樂視網信息技術（北京）股份有限公司