在允許時域分級的混合視頻壓縮中進行幀預測的方法和裝置的製作方法
2023-06-06 10:14:01
專利名稱：在允許時域分級的混合視頻壓縮中進行幀預測的方法和裝置的製作方法
技術領域：
本發明涉及用於分發以能提供時域分級(temporal scalability)的方式編碼的數字數據的方法、裝置和系統。
背景技術：
由於網際網路和無線通信的飛速發展和巨大成功，以及對於多媒體服務日益增長的需求，通過網際網路和移動/無線信道的流媒體已引起了極大的注意。在不同種類的網際協議(IP)網絡中，視頻可以由伺服器提供，由一個或多個客戶端傳送。有線連接包括撥號上網、綜合服務數字網(ISDN)、電纜、數字用戶線協議(統稱為xDSL)、光纖、區域網(LAN)、廣域網(WAN)等等。傳輸模式既可以是單播也可以是多播。各種單獨的客戶端設備包括個人數字助理(PDA)、膝上型計算機、桌上型計算機、機頂盒、電視、高清晰度電視、行動電話等等，這些設備對於同一內容同時需要不同帶寬的位流。連接帶寬可能隨著時間而快速改變(從9.6kbps到100Mbps，以及100Mbps以上)，並且這種改變可能比伺服器的反應更快。
移動/無線通信與不同種類IP網絡相似。因為移動/無線信道常常由於多徑衰落、陰影效應、碼間串擾和噪聲幹擾而被嚴重損害，因此通過這些信道傳送多媒體內容是極具挑戰性的。另外一些原因，例如移動性和競爭通信，也引起帶寬變化和損失。信道噪聲和被服務用戶數量決定信道環境的時變特性。除了環境條件，由於地理位置以及移動漫遊，目標網絡會從第二代蜂窩網絡到第三代蜂窩網絡到寬帶純數據網絡不斷改變。影響可用帶寬的所有這些變化都要求多媒體內容傳輸的自適應速率調整，即使在運行中。因此，在不同種類的無線/有線網絡上成功傳輸視頻需要高效編碼，以及對變化的網絡條件、設備特性和用戶偏好的適應性，同時對損耗有復原能力。
為了滿足不同的用戶需求並適應信道變化，一個視頻可以產生多個獨立版本的位流，每個版本滿足基於傳輸帶寬、用戶顯示和計算能力的一類約束，但對於伺服器存儲和多播應用來說這不是有效率的。在分級編碼中，在伺服器上構造適合高端用戶的單個宏位流(macro-bitstream)，用於低端應用的位流只作為該宏位流的子集被嵌入。這樣，通過有選擇地傳輸子位流(sub-bitstream)，單個位流就能適應各種應用環境。由分級編碼所提供的另一優點是，用於在易錯信道中進行魯棒性視頻傳輸。錯誤保護和錯誤隱藏也能容易操作。對於包含最重要信息的基本層位，則應使用更可靠的傳輸信道或者更好的錯誤保護。
在諸如MPEG-1、MPEG-2、MPEG-4(統稱為MPEG-x)、H.261、H.262、H.263和H.264(統稱為H.26x)的混合編碼器中，具有空域分級、時域分級和信嗓比(SNR)分級。在混合編碼中，通過運動補償預測(MCP)來消除時域冗餘。通常把視頻分成一系列圖像組(GOP)，其中每一GOP都以幀內編碼幀開始，後接一組排列的前向預測幀(P)和雙向預測幀(B)。P幀和B幀都是幀間編碼幀。在大部分MPEG類編碼器中，B幀是時域分級的關鍵。然而，某些類，例如MPEG-4簡單類和H.264基本規範類不支持B幀。
在MPEG-4中，基於解碼特定位流所需要的解碼器能力，類(profile)和級(level)提供了一種定義語法和語義子集的方式。類是整個位流語法的已定義子集。級是施加於位流中參數上的約束的已定義集合。對於任何給定的類，級通常與解碼器處理負荷和存儲能力相對應。因此類和級對位流進行約束並因而對解碼位流的能力進行了限制。通常，如果解碼器能夠正確解碼在特定級上由特定類規定的所有語法元素的所有允許值，則認為該解碼器在該級上與該類是一致的。
本發明的目標是提供一種方法和裝置，該方法和裝置提供簡單且有效的時域分級，所提供的時域分級也符合MPEG-4簡單類和H.264基本規範類。在ISO/IEC 14496-2中對MPEG-4標準進行了描述，在ISO/IEC 14496-10中對H.264標準進行了描述。
發明內容
描述了一種編碼方案，用於在視頻壓縮和傳輸方案如MPEG-x或H.26x中提供時域分級，並且為符合MPEG-4簡單類和H.264基本規範類的設備提供時域分級。
在一個例子中，編碼器或者代碼轉換器可以創建單個位流，可以使該位流適應於為多個用戶提供不同的數據率和視頻質量。該單個位流可在運行中創建或存儲在存儲器中。可以從視頻流中忽略時域分級幀，例如，以便滿足帶寬要求，滿足諸如環境噪聲的信道條件，或者傳輸可變質量的視頻。
在另一個例子中，為了例如節省電池能量或者解碼時間，解碼器可以選擇忽略解碼時域分級幀。
對附圖的簡要說明
圖1A說明了傳統MPEG-4簡單類數據流；圖1B說明了允許時域分級的傳統編碼數據流；圖2說明了根據本發明的前向預測時域分級方案的實例；圖3說明了根據本發明的後向預測時域分級方案的實例；圖4說明了使用本發明的前向預測單向時域分級幀的用於顯示和編碼處理的幀排序的實例；
圖5是用於編碼和解碼流圖片的一般通信系統的結構方框圖；圖6是代碼轉換器設備的結構方框圖；圖7是說明根據本發明的包括時域分級的編碼處理實例的流程；和圖8是說明根據本發明的包括時域分級的視頻傳輸處理實例的流程圖。
詳細說明在幾個通信系統中，對待傳輸的數據進行壓縮以便能更有效地利用可用的帶寬。例如，運動圖像專家組(MPEG)開發了幾個涉及數字數據傳送系統的標準。MPEG-4標準被開發用於通常經歷高數據損失的低數據率到高數據率信道。相似的標準是H.264，該標準由ITU-T視頻編碼專家組(VCEG)跟ISO/IEC MPEG一同開發。
MPEG-x和H.26x標準描述了數據處理和操作技術，這些技術適合於使用定長或變長信源編碼技術的視頻、音頻和其他信息的壓縮和傳輸。具體而言，上面提到的標準，跟其他混合編碼標準和技術將使用幀內編碼技術(例如，遊程編碼，哈夫曼編碼等)和幀間編碼技術(例如，前向和後向預測編碼，運動補償等)來壓縮視頻信息。尤其是，在視頻壓縮系統中，混合視頻處理系統的特徵在於利用幀內和/或幀間運動補償編碼對視頻幀進行基於預測的壓縮編碼。
本文描述了編碼視頻流的方法、裝置和系統，該視頻流包括幀內編碼幀、前向和後向預測幀以及單向預測時域分級幀。在視頻傳輸過程中，時域分級可在始發設備、中間設備或接收設備中進行。
幀內編碼是指編碼一個圖片(一場或一幀)時不參考任何其他圖片，但幀內編碼幀可以用作其他幀的參考。術語「內幀(intra-frame)」，「幀內編碼幀(intra-coded frame)」和「I幀(I frame)」都是通過在本申請中使用的幀內編碼所形成的視頻對象的實例。
幀間或預測編碼是指參考其他圖片來編碼圖片(一場或者一幀)。與幀內編碼幀相比，幀間編碼幀或預測編碼幀可更高效率地進行編碼。本申請中將使用的幀間編碼幀的例子有預測幀(前向預測或後向預測，也稱為「P幀」)，雙向預測幀(也稱為「B幀」)和單向預測時域分級幀(也稱為「P*幀」)。其他用於幀間編碼的術語包括高通(high-pass)編碼，殘差編碼，運動補償內插和其他為本領域的技術人員所熟知的術語。
在通常的MPEG解碼器中，對照參考幀(幀內編碼幀或另一預測幀可用作參考幀)對預測編碼像素塊(也就是，由一個或多個運動矢量和殘差成分所組成的塊)進行解碼。圖1A說明了傳統的MPEG-4簡單類數據流，描述了GOP的幀相關性。GOP 10由起始的I幀2，後接數個前向預測P幀14構成。P幀對前面的I或P幀的依賴性會限制只支持前向預測幀的系統(諸如與MPEG-4簡單類和H.264基本規範類一致的系統)應用時域分級。刪除P幀14中的任一個都可能導致丟失對解碼其他P幀至關重要的信息。刪除P幀可能導致，例如，視頻抖動或者直到下一個I幀16為止解碼器都不能連續解碼，I幀16標誌下一個GOP的開始。
時域分級問題的一個解決辦案是現有技術中所使用的雙向預測幀。圖1B舉例說明了允許時域分級的傳統編碼數據流，其描述了GOP的幀相關性。GOP 20由I幀22A、前向預測P幀24和雙向預測B幀26組成。每一B幀可以將前向和後向運動矢量與參考I幀22A或前向預測P幀24(也可使用後向預測P幀，但該例中沒有示出)的殘差結合起來。I幀22B標誌下一個GOP的開始。如圖1B所示，在I幀22A和P幀24之間或者在P幀24之間，只包含一個B幀。可以在參考幀之間插入幾個B幀從而允許時域分級更加靈活。由於沒有其他幀依賴B幀作為參考幀，刪除B幀26不會丟失任何與其他幀解碼相關的信息。B幀26的這個特點可允許將其插入位流，根據編碼器、代碼轉換器和解碼器的選擇可把B幀26從位流中刪去，以適應信道條件、帶寬限制、電池能量以及其他考慮。例如，如果在參考幀之間有三個B幀，那麼把三個B幀都刪去可以使幀率降低四分之三，或者保留中間的B幀並刪去其餘兩個B幀，可以使幀率降低二分之一。數據率也會相應降低。
雙向預測，雖然與只進行前向(單向)預測相比，能提供改進的壓縮，但是也有負面影響。雙向預測需要更多的計算需求。因為對於每一目標宏塊不得不進行兩次宏塊匹配(計算量最大的編碼處理)，一次與過去的參考幀匹配，另一次與未來的參考幀匹配，所以雙向預測幀會承受額外的編碼複雜性。引入B幀也會增加解碼器端的計算複雜性並使時序安排變得更加複雜。複雜性增加是MPEG-4簡單類和H.264基本規範類不支持雙向預測的主要原因。這些類的開發用於電池和處理功率需要得到有效利用的設備，例如行動電話、個人數字助理(PDA)等。本發明為這些能量有限的設備提供了一種支持時域分級的有效方式。
本發明包含單向預測時域分級幀，無須改變MPEG-4的簡單類和H.264基本規範類中的任何語法就可提供時域分級。單向預測時域分級幀僅使用前向預測或者後向預測代替傳統B幀所使用的兩種類型的預測。另外，沒有其他的預測幀會參考單向預測時域分級幀。因為沒有其他幀依賴於時域分級幀，可以從位流中刪去時域分級幀而不會影響其餘幀。結果就是，不必要向MPEG-4簡單類或H.264基本規範類中引入任何額外語法。添加單個附加位能用於標識一幀是單向預測時域分級幀，還是通常的預測幀。
圖2說明了根據本發明的前向預測時域分級方案的實例。GOP200包含I幀210A、P幀212和時域分級幀214。如圖2所示，單個前向預測幀可在連續的P幀212之間用作單向預測時域分級P*幀214。應該意識到多個單向時域分級幀可以依賴於單個參考幀。在連續的P幀212之間擁有多個時域分級幀能允許更好的適應性來滿足數據率要求。I幀210B是下一個GOP開始的標誌。
圖3說明了根據本發明的後向預測時域分級方案的實例。GOP300包括I幀310A、P幀312和時域分級幀314。如圖3所示，單個後向預測幀可在連續的P幀312之間用作單向預測時域分級P*幀。I幀310B是下一個GOP開始的標誌。如後向和前向兩種情況所示，沒有其他幀參考時域分級幀214和314。因為沒有幀參考它們，從編碼、傳輸或者解碼中，可以省略時域分級幀，而不影響任何其他幀。依據從傳輸/解碼中排除的單向預測時域分級幀的數量，能夠提供逐步降低的視頻質量和/或數據率。
因為單向預測時域分級幀需要的計算量比B幀少，單向預測時域分級幀更有利於在能量有限或計算能力有限的設備中使用。因為單向預測時域分級幀不會用於預測後面的P幀，所以與只使用P幀相比，P幀的編碼效率會下降。考慮到時域分級所帶來的額外的好處，編碼效率的下降是可容忍的。圖2和圖3中所示的單向預測時域分級幀的例子只參考一幀。然而，應認識到單向預測時域分級幀能參考不止一幀。參考前面或後面的多幀會增加計算的複雜性，但也會減小殘差的大小。
除了計算上的優點，當使用前向預測單向時域分級幀代替雙向幀時，可使延遲時間更短。雙向預測幀在其後向預測時所參考的幀之後編碼。這可能意味著，在顯示B幀之前會有額外的延遲。圖4說明了使用本發明的前向預測單向時域分級幀時，顯示和編碼處理的幀排序的實例。如圖4所示，不像雙向預測幀，本發明的單向預測時域分級幀能以它們在遠程顯示器顯示時的相同順序進行編碼和傳輸。順序編碼和傳輸前向預測單向時域分級幀的能力避免了使用B幀時所遇到的額外的延遲，這對於諸如視頻會議之類的應用來說是一個特別的優點。
圖5是用於編碼和解碼流圖像的一般通信系統的方框圖。系統500包括編碼器設備505和解碼器設備510。編碼器設備505還包括幀內編碼部件515、預測編碼部件520、時域分級部件525和存儲部件530。編碼器設備505能夠從外部源535存取數據。外部源535可以是，例如，外部存儲器、網際網路或者實況視頻和/或音頻傳輸。外部源535所包含的數據可以是原始狀態(未編碼)也可以是編碼狀態。幀內編碼部件515用於編碼幀內編碼幀。預測編碼部件520用於編碼各種預測幀，包括單向預測時域分級幀。除了包含用於編碼預測幀的邏輯，預測編碼部件520也包括用於選擇參考幀的邏輯和用於排除時域分級幀被其他幀參考的邏輯。預測編碼部件520可以存取原始或者已編碼數據來進行編碼。可以存取已編碼數據，以用單向預測時域分級幀代替通常的P幀或I幀。當存取編碼數據(幀內編碼或者幀間編碼數據)時，包含在幀內編碼部件515和預測編碼部件520中的邏輯解碼該編碼數據，產生重構的原始數據。重構的原始數據然後可以被編碼成單向預測時域分級幀(或者任何其他類型的幀)。
在編碼後，已編碼幀被存儲在存儲部件530或外部存儲器中。外部存儲器可以就是外部源535，也可以是獨立的存儲器部件(沒有示出)。編碼幀通過網絡540傳輸(Tx)。網絡540可以是有線網絡也可以是無線網絡。時域分級部件525包括在傳輸之前決定是否需要時域分級的邏輯。時域分級部件525也包括識別時域分級幀以及如果確定需要時域分級則省略它們不予傳輸的邏輯。在下文對編碼器設備所執行的編碼處理進行了更充分地描述。
解碼器510包含與編碼器505相似的部件，包括，幀內解碼部件545，預測解碼部件550，時域分級部件555和存儲部件560。解碼器設備510能接收經過網絡540傳輸來的或者從外部存儲565來的編碼數據。幀內解碼部件545用於解碼幀內編碼數據。預測解碼部件550用於解碼預測數據，包括單向預測時域分級幀。時域分級部件555包含在解碼之前確定是否需要時域分級的邏輯。在該例中，時域分級部件555也包含識別時域分級幀和如果確定需要時域分級則忽略他們不予解碼的邏輯。解碼後，解碼幀可以顯示在顯示部件570上或者存儲在內部存儲器560或外部存儲器565中。顯示部件570可以是解碼器設備上的集成組件，例如電話或者PDA上的顯示屏。顯示部件570也可以是外部的外圍設備。在下面將對解碼器設備所執行的解碼處理進行更詳細的描述。
為使解碼器支持單向預測時域分級幀而對編碼器做的修改是很小的。因為H.264支持多參考編碼，所以如果基本規範解碼器能支持至少兩個參考幀，那就不必修改解碼器以支持單向預測時域分級編碼幀。與MPEG-4簡單類一致的解碼器可能僅允許在緩衝器中有一個參考幀，因此在解碼單向前向預測時域分級幀後，將為後面的P幀保留參考幀緩衝器中的參考幀，而不是使用剛剛解碼的時域分級幀代替緩衝器中的參考幀。
除了編碼和解碼設備之外，在稱為代碼轉換器的中間設備中也可進行時域分級。參考圖6，示出了代碼轉換設備的方框圖。代碼轉換設備600位於第一網絡605和第二網絡620之間。代碼轉換設備600通過第一網絡605從例如圖5所描述的編碼器設備505的設備接收編碼數據。代碼轉換設備600把所接收的數據存儲在存儲部件615中。代碼轉換設備600還包括時域分級部件610。時域分級部件610包括在把數據傳輸到第二網絡620之前確定是否需要時域分級的邏輯。時域分級部件610也包括識別時域分級幀和如果確定需要時域分級則忽略時域分級幀不予傳輸的邏輯。在下面將對代碼轉換設備600所執行的轉換處理進行更充分地描述。
圖7是說明根據本發明包括時域分級的編碼處理實例的流程圖。編碼處理在諸如圖5所描述的設備505之類的編碼器中進行。把數字視頻數據710編碼成由多幀組成的GOP。一個GOP以在720編碼的幀內編碼幀開始。幀內編碼幀為後面(或者前面——在具有開放的GOP的後向預測中，其中開放的GOP能參考其他GOP的幀)的至少一部分幀間編碼幀充當參考點。編碼處理700還包括預測幀的編碼730，其可以包括前向預測幀編碼或後向預測幀編碼。預測幀包含可以參考前面的幀內編碼幀或預測編碼幀的諸如運動矢量和殘差等運動補償數據。預測幀也可充當其他預測幀(普通幀和時域分級幀)的參考幀。單向預測時域分級幀的編碼740允許時域分級。由於這些幀包含參考幀內編碼幀或預測幀的運動補償，所以可以使用跟預測幀730相似的方式來計算這些幀。然而，時域分級幀本身不能被其他幀參考(也就是不能使用時域分級幀預測任何其他幀)。時域分級幀數據也可以包含用來識別該幀為時域分級幀的附加信息。因為其他幀不依賴於時域分級幀的存在，所以可以刪除時域分級幀而不會反過來影響其他幀。可以把編碼幀存入存儲器750以待以後進行傳輸。也可以無須存儲步驟750，編碼幀在編碼後立即傳輸。
編碼處理700可以持續編碼GOP直到視頻數據710耗盡為止。為了適應不同目的，GOP可以由不同數量的不同幀類型的幀組成。在GOP中編碼較多數量的時域分級幀740能在調整該GOP傳輸或解碼的質量或複雜性時提供更多的靈活性。
圖8是根據本發明包括時域分級的視頻傳輸處理實例的流程圖。圖8左邊與例如圖5描述的編碼器設備505的視頻源中的處理相對應，右邊與例如圖5描述的解碼器設備510的目標設備內的處理相對應。無線/有線網絡把左右兩部分連接起來，該網絡可以是無線或有線網絡的組合。到新網絡的過渡可能包括代碼轉換器設備，例如圖6描述的代碼轉換器設備600。圖8中的處理800首先從存儲器810中取回視頻幀數據。該存儲器可以是先前已創建的永久性存儲器，也可以是只在傳輸時間保持正在計算的幀數據的動態存儲器。
判定是否對視頻數據820進行時域分級。該判定中需要考慮的因素可能是，例如，提供比最好質量低級別的質量，把數據率降到網絡之一的最大通信能力以下，控制流量，節省源或目標設備的電池能量，或者限制編碼和/或解碼時間。如果要執行時域分級，那麼識別時域分級幀並有選擇性地從數據流中刪除830。因為沒有幀會參考時域分級幀，所以刪除任何單向預測時域分級幀不會影響任何其他幀。識別可採用的多種形式，包括例如單個附加位或者標誌，當被設定為1時，識別該幀為時域分級幀。該附加位或者標誌可以使用符合標準的語法也可使用專有方式來編碼。如果位流符合標準(和類)，則可以通過相互先驗的編碼器-伺服器通信(網絡自適應的情況下)或者相互先驗的編碼器-解碼器標識符(設備的複雜性/功率自適應的情況下)來識別時域分級幀。相互先驗的標識符可能是，例如，幀位置(例如，奇數或偶數幀號)，解碼或顯示時間戳或者幀排序。另一種形式的識別可包括解碼器使用位流中關於一幀是否被另一幀參考的信息。沒有刪除的視頻幀通過有線/無線網絡840傳輸到目標設備。如果是多播傳輸則可能有多個目標設備，或者如果是單播傳送則只有一個目標設備。
在目標設備、如圖5中解碼器設備510的解碼器處，或者在中間網絡設備、路由器或者如圖6所示設備600的代碼轉換器處，從網絡850獲取編碼視頻數據。在獲取數據之後，目標設備或者中間網絡設備可以分別判定是否提供時域分級860。時域分級的原因與視頻源處的時域分級的原因相似，特別是對於中間網絡路由器，其時域分級與網絡容量或網絡負載有關。時域分級的原因也可能包括，例如，節省電池能量，特別是對於資源有限的設備，如PDA、行動電話等等。如果選擇了時域分級，那麼就把時域分級幀識別出來並忽略它們以滿足目標參數，例如，數據率或解碼時間。在忽略時域分級幀之後，根據剩餘幀類型所決定的方式來解碼(880)剩餘幀(例如幀內編碼解碼，前向預測解碼等等)。
以上討論的時域分級決策和刪除處理可以在諸如編碼器設備505(圖5)的編碼器、諸如代碼轉換器設備600(圖6)的代碼轉換器、或諸如解碼器設備510(圖5)的解碼器中執行。在同一位流中，可使用這三種設備的一個或者多個來判決是否刪除時域分級幀。
然而，為了解釋起來簡單，把圖7到圖8所示的方法顯示和描述成一系列動作，但應該理解和意識到本發明不限於動作的次序，因為按照本發明，某些動作可以按不同順序發生和/或跟其他動作一起發生，本文沒有對這些情況進行顯示和描述。
雖然結合利用幀內編碼幀和前向預測幀作為單向預測時域分級幀的參考幀的例子，對本發明進行了充分地描述，但應清楚其他幀，例如後向預測幀也能作為參考幀。
雖然結合MPEG-x和H.26x類型的壓縮方案對本發明進行了充分描述，但應該清楚其他視頻壓縮方案也可以實現本發明的方法。
本發明的方面包括，但不限於下面的描述。
編碼多媒體幀的方法，包括通過單向預測可刪除的時域分級幀來編碼可刪除的時域分級幀，其中可刪除的時域分級幀不用於預測任何其他幀。
用於編碼多媒體幀的裝置，包括用於通過單向預測可刪除的時域分級幀來對可刪除的時域分級幀進行編碼的模塊，其中可刪除的時域分級幀不用於預測任何其他幀。
用於編碼多媒體幀的電子設備，該電子設備配置為通過單向預測可刪除的時域分級幀來對可刪除的時域分級幀進行編碼，其中可刪除的時域分級幀不用於預測任何其他幀。
具有使計算機執行編碼多媒體幀的方法的指令的計算機可讀介質，所述方法包括編碼未從其他幀預測的幀內編碼幀，編碼預測幀，其中預測幀從至少一個幀內編碼幀或預測幀進行預測，以及通過單向預測可刪除的時域分級幀來編碼可刪除的時域分級幀，其中可刪除的時域分級幀不用於預測任何其他幀。
解碼多媒體幀的方法，包括接收編碼幀數據，識別經過單向預測的任何可刪除時域分級幀，其中可刪除時域分級幀不用於預測任何其他幀，以及解碼所接收到的編碼幀數據，以忽略至少一個可刪除時域分級幀不予解碼。
用於解碼多媒體幀的裝置，包括用於接收編碼幀數據的模塊，用於識別經過單向預測的任何可刪除時域分級幀的模塊，其中可刪除時域分級幀不用於預測任何其他幀，以及用於解碼所接收的編碼幀數據以忽略至少一個可刪除時域分級幀不予解碼的模塊。
用於解碼多媒體幀的電子設備，該電子設備配置為接收編碼幀數據，識別經過單向預測的任何可刪除時域分級幀，其中可刪除時域分級幀不用於預測任何其他幀，以及解碼所接收的編碼幀數據，以忽略至少一個可刪除時域分級幀不予解碼。
具有使計算機執行解碼多媒體幀的方法的指令的計算機可讀介質，所述方法包括接收編碼幀數據，識別經過單向預測的任何可刪除時域分級幀，其中可刪除時域分級幀不用於預測任何其他幀，以及解碼所接收的編碼幀數據，以忽略至少一個可刪除時域分級幀不予解碼。
對多媒體幀進行時域分級的方法，包括通過第一網絡接收編碼幀，通過第一網絡接收可刪除時域分級幀，其中可刪除時域分級幀從至少一個編碼幀單向預測，並且可刪除時域分級幀不用於預測任何其他幀，通過第二網絡傳輸所接收的編碼幀，並忽略可刪除時域分級幀而不予傳輸。
用於對多媒體幀進行時域分級的裝置，包括通過第一網絡接收編碼幀的模塊，通過第一網絡接收可刪除時域分級幀的模塊，其中可刪除時域分級幀從至少一個編碼幀單向預測，並且可刪除時域分級幀不用於預測任何其他幀，用於通過第二網絡傳送所獲得的編碼幀的模塊，以及忽略可刪除時域分級幀不予傳輸的模塊。
本領域中的普通技術人員應該理解，信息和信號可以使用多種不同的工藝和技術來表示。例如，以上描述中提到的數據、指令、命令、信息、信號、位、符號和碼片，可以通過電壓、電流、電磁波、磁場或磁粒子、光場或光粒子、或者任何它們的組合來表示。
本領域的普通技術人員應該進一步意識到，結合本文示出的例子描述的各種說明性的邏輯塊、模塊以及算法步驟，可以做為電子硬體、計算機軟體或者兩者的組合來實現。為了清楚地說明硬體和軟體的這種可交換性，各種說明性的部件、塊、模塊、電路和步驟一般根據它們的功能在上面進行了描述。這樣的功能是否作為硬體或軟體來實現取決於具體應用和對整個系統所施加的設計約束。熟練的技工可以用不同方式為每一種具體應用實現上面所述的功能，但不應該認為這樣的實現決策導致超出本發明的範圍。
結合本文公開的例子說明的各種說明性的邏輯塊、模塊和電路，可以使用通用處理器、數位訊號處理器(DSP)、專用集成電路(ASIC)、現場可編程門陣列(FPGA)或者其他可編程邏輯器件、分立門或者電晶體邏輯、分立硬體部件、或者任何設計用於執行本文所述功能的它們的組合來實現或實施。通用處理器可以是微處理器，但是，處理器也可以選擇是任何傳統處理器、控制器、微控制器或者狀態機。處理器也可以實現為計算器件的組合，例如，DSP和微處理器的組合、多個微處理器的組合、一個或多個微處理器與DSP核的組合、或者任何其他這樣的配置。
結合本文公開的例子說明的方法或者算法的步驟，可以直接實施在硬體、處理器執行的軟體模塊或者這兩者的組合中。軟體模塊可以駐存在RAM存儲器、快閃記憶體、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬碟、可移動磁碟、CD-ROM或者任何其他形式的本領域中已知的存儲介質。把示例性存儲介質與處理器耦合，以便處理器能從其中讀取信息，並向其中寫入信息。存儲介質也可以選擇集成到處理器中。處理器和存儲介質可以存在於專用集成電路(ASIC)中。該ASIC可以存在於無線調製調解器中。或者，處理器和存儲介質也可以作為分立部件存在於無線調製調解器中。
所公開實例的前面描述用於使本領域的任何普通技術人員能夠製造或使用本發明。在不偏離本發明的精神或範圍的情況下，本領域中的技術人員可以對這些例子進行各種修改，並且可以在其他例子中應用本申請所定義的原理。
公開了用於對包括幀內編碼幀、前向和後向預測幀和單向預測時域分級幀的視頻流進行編碼、代碼轉換和解碼的方法、裝置和系統。
權利要求
1.一種編碼多媒體幀的方法，包括通過單向預測可刪除時域分級幀來編碼該可刪除時域分級幀，其中該可刪除時域分級幀不用於預測任何其他幀。
2.如權利要求1所述的方法，還包括編碼幀內編碼幀，該幀內編碼幀不從其他幀預測。
3.如權利要求2所述的方法，還包括編碼預測幀，其中該預測幀從至少一個幀內編碼幀或者預測幀預測。
4.如權利要求3所述的方法，其中，所述編碼該預測幀包括前向預測該預測幀。
5.如權利要求1所述的方法，還包括將已編碼幀存儲在存儲器中。
6.如權利要求1所述的方法，還包括使用用於標識該可刪除時域分級幀的附加數據來編碼該可刪除時域分級幀。
7.如權利要求3所述的方法，還包括通過網絡傳輸已編碼幀。
8.如權利要求3所述的方法，還包括通過網絡傳輸已編碼的幀內編碼幀和已編碼的預測幀，而忽略已編碼的可刪除時域分級幀而不予傳輸。
9.如權利要求3所述的方法，還包括使用運動矢量和殘差數據來編碼該預測幀；和使用運動矢量和殘差數據來編碼該可刪除時域分級幀。
10.如權利要求7所述的方法，還包括接收所傳輸的幀；和解碼所接收的幀。
11.如權利要求7所述的方法，還包括接收所傳輸的幀；解碼所接收的幀內編碼幀和所接收的預測幀，而忽略所接收的可刪除時域分級幀。
12.如權利要求7所述的方法，還包括接收所傳輸的幀；和使用先驗標識符識別所接收的可刪除時域分級幀。
13.如權利要求1所述的方法，其中，該編碼可刪除時域分級幀的步驟包括前向預測該可刪除時域分級幀。
14.如權利要求1所述的方法，其中，該編碼可刪除時域分級幀的步驟包括後向預測該可刪除時域分級幀。
15.一種用於編碼多媒體幀的裝置，包括用於通過單向預測可刪除時域分級幀來編碼該可刪除時域分級幀的模塊，其中，該可刪除時域分級幀不用於預測任何其他幀。
16.如權利要求15所述的裝置，還包括用於編碼幀內編碼幀的模塊，該幀內編碼幀不是從其他幀預測的。
17.如權利要求16所述的裝置，還包括用於編碼預測幀的模塊，其中，該預測幀是從至少一個幀內編碼幀或者預測幀預測的。
18.如權利要求17所述的裝置，其中，該用於編碼預測幀的模塊包括用於前向預測的模塊。
19.如權利要求15所述的裝置，還包括用於將已編碼幀存儲在存儲器中的模塊。
20.如權利要求15所述的裝置，還包括使用用於標識該可刪除時域分級幀的附加數據來編碼該可刪除時域分級幀的模塊。
21.如權利要求所述17的裝置，還包括用於通過網絡傳輸已編碼幀的模塊。
22.如權利要求17所述的裝置，還包括用於通過網絡傳輸已編碼的幀內編碼幀和已編碼的預測幀的模塊；和用於忽略已編碼的可刪除時域分級幀而不予傳輸的模塊。
23.如權利要求17所述的裝置，還包括用於使用運動矢量和殘差數據來編碼該預測幀的模塊；和用於使用運動矢量和殘差數據來編碼該可刪除時域分級幀的模塊。
24.如權利要求15所述的裝置，其中，該用於編碼可刪除時域分級幀的模塊包括用於前向預測該可刪除時域分級幀的模塊。
25.如權利要求15所述的裝置，其中，該用於編碼可刪除時域分級幀的模塊包括用於後向預測該可刪除時域分級幀的模塊。
26.一種用於編碼多媒體幀的電子設備，該電子設備配置為通過單向預測可刪除時域分級幀來編碼該可刪除時域分級幀，其中，該可刪除時域分級幀不用於預測任何其他幀。
27.如權利要求26所述的電子設備，還配置為編碼幀內編碼幀，該幀內編碼幀不是從其他幀預測的。
28.如權利要求27所述的電子設備，還配置為編碼預測幀，其中，該預測幀是從至少一個幀內編碼幀或預測幀預測的。
29.如權利要求28所述的電子設備，還配置為通過使用前向預測來編碼該預測幀。
30.如權利要求26所述的電子設備，還配置為將已編碼幀存儲在存儲器中。
31.如權利要求26所述的電子設備，還配置為使用用於標識該可刪除時域分級幀的附加數據來編碼該可刪除時域分級幀。
32.如權利要求28所述的電子設備，還配置為通過網絡傳輸已編碼幀。
33.如權利要求28所述的電子設備，還配置為通過網絡傳輸已編碼的幀內編碼幀和已編碼的預測幀，以及忽略已編碼的可刪除時域分級幀而不予傳輸。
34.如權利要求28所述的電子設備，還配置為使用運動矢量和殘差數據來編碼該預測幀，以及使用運動矢量和殘差數據來編碼該可刪除時域分級幀。
35.如權利要求26所述的電子設備，還配置為使用前向預測來編碼該可刪除時域分級幀。
36.如權利要求26所述的電子設備，還配置為使用後向預測來編碼該可刪除時域分級幀。
37.一種具有使計算機執行編碼多媒體幀的方法的指令的計算機可讀介質，包括編碼幀內編碼幀，該幀內編碼幀不是從其他幀預測的；編碼預測幀，其中，該預測幀是從至少一個幀內編碼幀或預測幀預測的；和通過單向預測可刪除時域分級幀來編碼該可刪除時域分級幀，其中，該可刪除時域分級幀不用於預測任何其他幀。
38.一種解碼多媒體幀的方法，包括接收已編碼幀數據；識別被單向預測的任何可刪除時域分級幀，其中，該可刪除時域分級幀不用於預測任何其他幀；和解碼所接收的已編碼幀數據，以忽略至少一個可刪除時域分級幀而不予解碼。
39.如權利要求38所述的方法，還包括接收幀內編碼幀，該幀內編碼幀不是從其他幀預測的；和解碼該幀內編碼幀。
40.如權利要求39所述的方法，還包括接收預測幀，其中，該預測幀是從至少一個已編碼幀預測的；和解碼該預測幀。
41.如權利要求38所述的方法，還包括接收被前向預測的該可刪除時域分級幀。
42.如權利要求38所述的方法，還包括接收被後向預測的該可刪除時域分級幀。
43.如權利要求38所述的方法，其中，該接收步驟包括通過無線網絡接收。
44.如權利要求40所述的方法，還包括接收被前向預測的該預測幀。
45.如權利要求38所述的方法，還包括使用先驗標識符識別所接收的可刪除時域分級幀。
46.一種用於解碼多媒體幀的裝置，包括用於接收已編碼幀數據的模塊；用於識別被單向預測的任何可刪除時域分級幀的模塊，其中，該可刪除時域分級幀不用於預測任何其他幀；和用於解碼所接收的已編碼幀數據以忽略至少一個可刪除時域分級幀而不予解碼的模塊。
47.如權利要求46所述的裝置，還包括用於接收幀內編碼幀的模塊，該幀內編碼幀不是從其他幀預測的；和用於解碼該幀內編碼幀的模塊。
48.如權利要求47所述的裝置，還包括用於接收預測幀的模塊，其中，該預測幀是從至少一個已編碼幀預測的；和用於解碼該預測幀的模塊。
49.如權利要求46所述的裝置，還包括用於接收被前向預測的該可刪除時域分級幀的模塊。
50.如權利要求46所述的裝置，還包括用於接收被後向預測的該可刪除時域分級幀的模塊。
51.如權利要求46所述的裝置，其中，該用於接收的模塊包括用於通過無線網絡進行接收的模塊。
52.如權利要求48所述的裝置，還包括用於接收被前向預測的該預測幀的模塊。
53.如權利要求46所述的裝置，還包括用於使用先驗標識符識別所接收的可刪除時域分級幀的模塊。
54.一種用於解碼多媒體幀的電子設備，該電子設備配置為接收已編碼幀數據，識別被單向預測的任何可刪除時域分級幀，其中該可刪除時域分級幀不用於預測任何其他幀，以及解碼所接收的已編碼幀數據以忽略至少一個可刪除時域分級幀而不予解碼。
55.如權利要求54所述的電子設備，還配置為接收不是從其他幀預測的幀內編碼幀，以及解碼該幀內編碼幀。
56.如權利要求55所述的電子設備，還配置為接收從至少一個已編碼幀預測的預測幀，以及解碼該預測幀。
57.如權利要求54所述的電子設備，還配置為接收被前向預測的該可刪除時域分級幀。
58.如權利要求54所述的電子設備，還配置為接收被後向預測的該可刪除時域分級幀。
59.如權利要求54所述的電子設備，還配置為通過無線網絡接收已編碼幀數據。
60.如權利要求56所述的電子設備，還配置為接收被前向預測的該預測幀。
61.如權利要求56所述的電子設備，還配置為使用先驗標識符識別所接收的可刪除時域分級幀。
62.一種具有使計算機執行解碼多媒體幀的方法的指令的計算機可讀介質，包括接收已編碼幀數據；識別被單向預測的任何可刪除時域分級幀，其中，該可刪除時域分級幀不用於預測任何其他幀；和解碼所接收的已編碼幀數據，以忽略至少一個可刪除時域分級幀而不予解碼。
63.一種對多媒體幀進行時域分級的方法，包括通過第一網絡接收已編碼幀；通過該第一網絡接收可刪除時域分級幀，其中，該可刪除時域分級幀是從至少一個已編碼幀單向預測的，並且該可刪除時域分級幀不用於預測任何其他幀；通過第二網絡傳輸所接收的已編碼幀；和忽略該可刪除時域分級幀而不予傳輸。
64.如權利要求63所述的方法，其中，該接收步驟包括通過無線網絡接收。
65.如權利要求63所述的方法，其中該傳輸步驟包括通過無線網絡傳輸。
66.一種用於對多媒體幀進行時域分級的裝置，包括用於通過第一網絡接收已編碼幀的模塊；用於通過該第一網絡接收可刪除時域分級幀的模塊，其中，該可刪除時域分級幀是從至少一個已編碼幀單向預測的，並且該可刪除時域分級幀不用於預測任何其他幀；用於通過第二網絡傳輸所獲得的已編碼幀的模塊；和用於忽略該可刪除時域分級幀而不予傳輸的模塊。
67.如權利要求69所述的裝置，其中，該用於接收的模塊包括用於通過無線網絡進行接收的模塊。
68.如權利要求69所述的裝置，其中，該用於傳輸的模塊包括用於通過無線網絡進行傳輸的模塊。
全文摘要
本發明涉及用於提供應用在數字多媒體中的時域分級幀的方法和裝置。該方法包含使用可刪除的單向預測時域分級幀與幀內編碼幀和/或幀間編碼幀一起通信。該方法包含有選擇性地刪除時域分級幀而不予傳輸或不予解碼的能力，以滿足例如能量限制、數據率限制、計算限制或信道條件。所提出的實例包括編碼器、代碼轉換器和解碼器，其中可以做出丟棄可刪除時域分級幀的判決。
文檔編號H04N7/36GK1965587SQ200580018470
公開日2007年5月16日 申請日期2005年4月7日 優先權日2004年4月7日
發明者陳裴松, 維賈亞拉克施密·R·拉維德朗 申請人:高通股份有限公司