編碼器輔助式自適應視頻幀內插的製作方法

2023-12-07 03:55:21 2

專利名稱：編碼器輔助式自適應視頻幀內插的製作方法
技術領域：
本發明涉及數字視頻編碼和解碼，且更特定來說，涉及用於為例如幀速率轉換的 應用內插跳過的幀的技術。
背景技術：
已建立許多不同的視頻編碼標準來用於對數字視頻序列進行編碼。例如，運動圖 像專家組(Moving Picture Experts Group,MPEG)已開發出包括MPEG_1、MPEG_2和MPEG-4 的許多標準。其它實例包括國際電信聯盟(International TelecommunicationUnion, ITU) H. 263標準，和新興的ITU H. 264標準。這些視頻編碼標準一般通過以壓縮的方式對數據進 行編碼來支持視頻序列的改進的傳輸效率。壓縮減少了需傳輸的數據的總量，以用於有效 地傳輸視頻幀。例如，MPEG-4、ITU H. 263和ITU H. 264標準支持利用連續視頻幀之間的類似性 (被稱作時間或幀間相關性)來提供幀間壓縮的視頻編碼技術。幀間壓縮技術通過將視頻 幀的基於像素的表示形式轉換為運動表示形式來利用幀上的數據冗餘。使用幀間技術來編 碼的幀被稱作P( 「預測」)幀或B( 「雙向」)幀。使用非預測性的空間壓縮來對稱作1( 「內 部」)幀的某些幀進行編碼。為了滿足低帶寬要求，例如視頻電話或視頻流的某些視頻應用通過使用跳幀以較 低的幀速率對視頻進行編碼來降低位速率。有意跳過的幀可被稱作「S」 ( 「跳過的」)幀。 遺憾的是，低幀速率視頻可能會產生運動急動(jerkiness)形式的假象。因此，通常在解碼 器處使用幀內插(也稱作幀速率上轉換(FRUC))來內插有意跳過的幀的內容。已開發出多種FRUC技術，且所述FRUC技術可分為兩類。第一類FRUC包括幀重複 (FR)和幀平均化(FA)，其兩者均使用視頻幀的組合而不考慮運動。這些算法在沒有運動的 情況下提供可接受的結果。然而，當存在明顯的幀間運動時，FR傾向於產生運動急動，而FA 會產生模糊的物體。第二類FRUC依賴使用運動的高級轉換技術。在這類FRUC中，內插幀的質量取決 於估計運動與真實物體運動之間的差值。在典型的FRUC應用中，解碼器根據用於相鄰幀的 運動信息獲得用於內插幀的運動信息。然而，從相鄰幀的運動向量直接獲得的S幀的運動 向量並不足夠準確，且可導致內插幀中有各種假象。同樣，對於幀內編碼塊，不存在可用於 內插S幀的運動信息，進而在解碼器處一般需要額外的估計或處理額外開銷以用於獲得可靠的內插。

發明內容
本發明針對用於視頻幀的解碼器輔助式自適應內插的技術。根據所揭示的技術， 編碼器產生輔助解碼器來內插跳過的視頻幀(即S幀)的信息。所述信息允許解碼器減少 內插幀中的視覺假象，且進而實現改進的視覺質量。所述信息可包括內插方程標號，其針對S幀中的個別視頻塊來識別將由解碼器使 用的內插方程，以實現更好的結果。所述信息還包括用於S幀的前向運動向量和差值信息。視情況而定，為節省帶寬，可僅針對符合用於編碼器輔助式內插的差值標準的選 定的視頻塊傳輸方程標號。可在解碼器處根據默認內插技術來內插不具有方程標號的其它 視頻塊。在一個實施例中，本發明提供一種視頻編碼方法，其包含產生輔助視頻解碼器來 內插跳過的視頻幀的信息；和對視頻幀中的信息進行編碼以用於傳輸到視頻解碼器。在另一實施例中，本發明提供一種視頻解碼方法，其包含接收輔助內插跳過的視 頻幀的信息，其中將所述信息編碼在視頻幀中；和應用所述信息以內插所述跳過的視頻幀。在又一實施例中，本發明提供一種視頻編碼器，其包含分析單元，其分析跳過的 視頻幀，且產生輔助視頻解碼器來內插所述跳過的視頻幀的信息；和彙編單元，其將所述信 息編碼在視頻幀中以用於傳輸到所述視頻解碼器。在額外的實施例中，本發明提供一種視頻解碼器，其包含內插單元，其接收輔助內 插跳過的視頻幀的信息，其中將所述信息編碼在視頻幀中，且應用所述信息以內插所述跳 過的視頻幀。本發明還涵蓋計算機可讀媒體，其包含促使形成視頻編碼器或解碼器的一個或一 個以上處理器執行本文所述的技術中的任一種技術的指令。在附圖和下文描述中陳述一個或一個以上實施例的細節。根據描述和圖式，且根 據權利要求書，將易於了解其它特徵、目的和優勢。


圖1是說明視頻編碼和解碼系統的方框圖，其使用根據本發明的編碼器輔助式自 適應內插技術。圖2是使用所傳輸的運動向量在解碼器處應用運動補償FRUC技術的圖。圖3是用於如圖1中所示的視頻編碼器中的幀處理單元的方框圖。圖4A-4C是說明產生方程旗標以及絕對差值和(SAD)旗標以輔助自適應內插的 圖。圖5是說明承載用於編碼器輔助式自適應內插的嵌入的S幀信息的P幀的圖。圖6是說明用於跳過的視頻幀的內插方程標號圖的圖。圖7是說明用於如圖1中所示的視頻解碼器中的輔助式內插解碼器的方框圖。圖8是說明用於產生輔助解碼器內插跳過的幀的技術的流程圖。圖9是說明應用編碼器提供的信息來內插跳過的幀的流程圖。圖10是說明用於產生輔助解碼器內插跳過的幀的信息的帶寬節省技術的流程圖。
具體實施例方式圖1是說明經配置以使用編碼器輔助式自適應內插技術的視頻編碼和解碼系統 10的方框圖。如圖1中所示，圖10包括由傳輸通道15連接的視頻編碼器12和視頻解碼器 14。傳輸通道15可以是有線的或無線的媒體。系統10可支持雙向視頻傳輸，以(例如) 用於視頻電話。因此，可在通道15的相對端上提供交互(reciprocal)編碼、解碼、多路復 用(MUX)和解多路復用(DEMUX)組件。在某些實施例中，編碼器系統12和解碼器系統14 可實施在預備用於視頻流、視頻電話或其兩者的例如無線移動終端的視頻通信裝置中。系統10可支持根據會話起始協議(SIP)、ITU H. 323標準、ITU H. 324標準或其它 標準的視頻電話。視頻編碼器12根據視頻壓縮標準(例如，MPEG-2、MPEG-4、ITU H. 263或 ITU H.264)產生經編碼的視頻數據。儘管圖1中未展示，視頻編碼器12和視頻解碼器14 可分別與音頻編碼器和解碼器集成在一起，且包括適當的MUX-DEMUX單元來處理數據流的 音頻和視頻部分。MUX-DEMUX單元可遵循ITU H. 223多路復用器協議，或其它協議，例如用 戶數據報協議(UDP)。編碼器12編碼P幀16和S幀信息18。P幀16是預測性幀，其包括足夠的信息以 允許視頻解碼器14解碼並呈現視頻信息幀。以良好的保真度對P幀進行編碼。特定來說， 針對P幀對運動向量和量化的預測誤差兩者進行編碼。S幀是必須被解碼器14內插以產生 視頻信息幀的跳過的幀。根據本發明，編碼器12實際上並不編碼和傳輸S幀。作為替代，編碼器12產生低 額外開銷的S幀信息18以輔助視頻解碼器14內插S幀，且將所述信息編碼在視頻幀中以 供傳輸到視頻解碼器。S幀信息可包括在專用的幀中，或添加到所傳輸的P幀。S幀的內插 可在視頻解碼器14處支持FRUC技術。在圖1的實例中，視頻編碼器12可包括幀處理單元20，其經配置以處理視頻信息 的引入幀Fi、F2、F3，並決定是編碼P幀16還是編碼輔助內插S幀的信息。F2表示要跳過的 幀，而幀&和F3分別表示先前的和後續的P幀。基於對幀FpF2、F3的分析，幀處理單元20決定是對P幀進行編碼還是對S幀信息 18進行編碼。在S幀的情況下，幀處理單元20產生輔助視頻解碼器14內插S幀的信息。 所述信息允許解碼器14減少所內插的S幀中的視覺假象，且進而實現改進的視覺質量。盡 管S幀被跳過，即未傳輸到解碼器14，但S幀信息支持對S幀的內容的內插。為處理P幀和S幀兩者，視頻解碼器14包括標準的解碼器22和輔助式內插解碼 器24。標準的解碼器22應用標準的解碼技術來解碼每一 P幀16。然而，輔助式內插解碼 器24依賴來自視頻編碼器12的輔助來內插S幀。特定來說，輔助式內插解碼器24接收S 幀信息18，並應用S幀信息以內插跳過的視頻幀。S幀信息可包括經選擇以支持更準確的 S幀內插的信息，以便可減少所內插的視頻信息中的視覺假象。S幀信息18可包括(例如)指定將由視頻解碼器14用來內插S幀的特定內插方 程的信息，或指定將用於S幀中的選定的視頻塊(例如宏塊(MB)或較小的塊)的特定內插 方程的信息。在獲得兩組運動向量，即用於S幀的後向(BW)運動向量mv12和用於下一 P幀 的前向(PW)運動向量mv23後，對一組內插技術進行測試以在編碼器12處預測S幀。在某
6些實施例中，根據給定應用的複雜度和帶寬要求，可計算並傳輸兩組以上的運動向量。隨後，編碼器12拾取對應於方程的標號，且發送用於個別視頻塊m(例如，S幀中 的4X4、8X8或16X16像素塊)的方程。指定的內插方程可以是可使用的若干不同內插 方程中的一者。然而，視頻編碼器12的幀處理單元20選擇特定的內插方程，所述內插方程 期望產生滿足S幀或S幀中的特定視頻塊的所需質量水平的內插結果。對於特定的幀或視頻塊，特定類型的內插方程可能比其它類型的內插方程更有 效。相反，某些幀或視頻塊可能會具有要求應用不同的內插方程以實現可接受的結果的特 徵。因此，幀處理單元20可針對給定的S幀中的不同的視頻塊指定不同的內插方程。S幀 信息18向輔助式內插解碼器24提供足夠的信息來應用適當的內插方程內插S幀中的視頻 塊。以這種方式，視頻編碼器12輔助解碼器14內插S幀。除了內插方程之外，S幀信息18可包括可用於改進視頻解碼器18的內插質量的 其它信息。舉例來說，S幀信息18可進一步包括運動向量和差值信息。運動向量表示跳過 的幀、先前的幀與(可選的)後續幀之間的運動。差值信息指示跳過的幀、先前的幀與後續 的幀，或跳過的幀、先前的幀與後續的幀中相應的視頻塊之間的差值。差值信息還可包括絕 對差值和(SAD)旗標。為減少由S幀信息18提出的帶寬要求，幀處理單元20可經配置以僅發送用於S 幀中選定的視頻塊的信息。特定來說，幀處理單元20可識別似乎要求特定內插方程以便提 供可接受的視頻質量的視頻塊。其它視頻塊無需特定的內插方程即可準確地內插。在某些 實施例中，幀處理單元20可確定S視頻幀中的視頻塊與先前的視頻幀、後續的視頻幀或其 兩者中相應的視頻塊之間的差值，並識別產生超過閾值的差值的視頻塊。幀處理單元20接 著產生指定將由視頻解碼器14用來內插S幀中的所識別視頻塊的特定內插方程的信息。可將S幀信息18編碼在專用於S幀信息的視頻幀中，並獨立於P幀16而傳輸。或 者，S幀信息18可嵌入在S幀之前或在S幀之後的P幀16中，以供傳輸到解碼器14。在任 一情況下，S幀信息18所需要的帶寬均明顯小於S幀的實際內容所需的帶寬。因此，系統 10能利用由跳幀提供的帶寬節省，而且通過編碼器輔助式內插提供改進的視頻質量。視頻解碼器14可經特別配置以辨識並利用S幀信息18。對於S幀來說，宏塊(MB) 模式被強制為幀間(Inter)。因為解碼器14將具有用於S幀的宏塊模式(幀間)決策，所 以宏塊決策單元可用於發送與內插方程和SAD旗標相關的S幀信息18。然而，如果視頻解 碼器14不預備使用S幀信息18，那麼可忽略所述信息，且可根據另外由視頻解碼器應用的 默認內插技術進行內插。圖2是說明使用由編碼器12提供作為S幀信息18的一部分的運動向量在解碼器 14處應用運動補償FRUC技術的圖。一般來說，視頻解碼器14應用由視頻編碼器12提供的 S幀信息18來內插S幀並支持FRUC。在某些常規的解碼器側FRUC技術中，解碼器12依賴 在幀&中的塊30與幀F3中相應的塊32之間延伸的向量V13。幀&和F3分別是在需要內 插的S幀F2 = Ft之前(t-1)和之後(t+1)的幀。Fp F2和F3的命名法可概括為Ft_i、Ft和 Ft+1而不會喪失專指性。向量V13—般被除以二(對於1:2的幀速率轉換來說)，以產生運 動向量V13/2和-V13/2，並識別3幀&中相應的塊34。對於1:N轉換來說，可相應地縮放運 動向量。然而，如圖2中所示，所得的塊34可能實質上不同於3幀&中實際的相應塊36。在沒有實際的運動向量信息(即，V12、V23)的情況下，難以斷定用於解碼器側FRUC實施的實 際塊36。因此，所內插幀的質量很大程度取決於估計的運動向量V13/2、-V13/2相對於實際 的運動向量V12和V23的準確度。因此，如果僅使用前向運動補償幀，那麼解碼器側FRUC實 施可能會引入例如中斷等的不良的視覺假象，或如果使用前向和後向運動補償幀時，會引 入例如模糊等的不良的視覺假象。相比而言，根據本發明，S幀信息18允許視頻解碼器14應用編碼器輔助式內插技 術。S幀信息18可包括在編碼器側確定的實際的運動向量和其它信息，以提供解碼器14對 S幀&的改進的內插。編碼器12通過發送通過編碼器處理獲得的的有效輔助信息(即S 幀信息18)而允許在解碼器14處實現改進的幀內插。以這種方式，視頻解碼器14減少原 本會由於FRUC中不正確的運動估計而引入的各種假象。另外，通過S幀信息18，可在視頻 解碼器14中免除FRUC運動估計通常所需的額外的處理，從而導致實施複雜度降低。圖3是說明用於如圖1中所示的視頻編碼器12中的幀處理單元20的方框圖。如 圖3中所示，幀處理單元20包括幀類型決策單元36、S幀分析單元38、差值閾值單元40 和幀彙編單元42。S幀分析單元38進一步包括運動計算單元44、差值單元46和內插選擇 單元48。如將所述，S幀分析單元38產生S幀信息18以輔助解碼器14以改進的準確度內 插S幀。一般來說，S幀分析單元38分析S幀以產生運動向量、差值信息和內插方程選擇 以用於有效地內插S幀中的視頻塊。幀類型決策單元36確定引入的視頻信息是應被編碼為P幀還是S幀。可部分地 基於經設計以減少編碼信息的總量以用於傳輸通道15(圖1)上的帶寬節省的統一或非統 一跳幀功能來決定跳幀。舉例來說，幀類型決策單元36可跳過每第n個幀，或基於動態跳 過標準來跳幀。在某些實例中，幀類型決策單元36可跳過偶數幀。在任一情況下，幀類型決策單 元36均將幀決策傳送到幀彙編單元42。跳幀決策還可基於峰值信噪比(PSNR)或其它客觀 視覺質量量度，例如與先前重新構造的幀的均方誤差，以及與用於編碼P幀的字節數相關 的運動向量長度。如圖3中進一步所示，S幀分析單元38產生運動向量、絕對差值和(SAD)旗標和方 程標號圖，其每一者可形成由編碼器12提供的用以輔助解碼器14進行內插的S幀信息18 的一部分。運動計算單元44產生表示跳過的(S)幀&中的視頻塊與之前的幀&和後續幀 F3中的相應塊之間的運動的運動向量。因此，跳過的幀中的每一視頻塊的特徵在於一對運 動向量，即後向(BW)運動向量和前向(FW)運動向量。這些運動向量輔助內插選擇單元48 為S幀中的視頻塊選擇適當的內插方程。差值單元46分析跳過的幀中的視頻塊與後續幀中的相應視頻塊之間的差值。盡 管可在跳過的幀塊與實質上類似的先前或後續的幀塊之間確定運動向量，但所識別的塊在 內容上仍可展示出明顯的差值。差值單元46可基於絕對差值和(SAD)量度來確定所述差 值。可針對整個宏塊、宏塊的四邊(例如2到3像素寬)和相鄰宏塊之間的邊界來確定SAD 量度。如果SAD量度值非常大，那麼由於對象可能會出現在所內插的S幀中，所以可從未來 幀而不是先前幀中取得參考。差值單元46將差值表達為差值旗標(例如SAD旗標)，其輔 助解碼器14進行內插。內插選擇單元48將一組不同的內插方程應用於跳過的幀中的視頻塊，以識別在內插準確度方面最有效的內插方程。特定來說，內插選擇單元48評估不同的內插方程用於 視頻幀中的特定的視頻塊的結果。基於所述結果，內插選擇單元48指定將由視頻解碼器14 用以內插跳過的視頻幀中的選定視頻塊的特定內插方程。通過此過程，可為S幀中不同的 視頻塊選擇不同的內插方程。在操作中，內插選擇單元48從運動計算單元44接收用於S幀中的特定視頻塊的 BW和FW運動向量。內插選擇單元48還接收S幀F2中的實際的視頻塊。通過使用運動向 量，內插選擇單元48應用一系列不同的內插方程，並將所述結果與S幀F2中實際的視頻塊 進行比較。以這種方式，在編碼器12處測試一組不同的內插技術以預測S幀。在選擇了產生最佳結果的內插方程後，內插選擇單元48產生用於可應用的視頻 塊的方程標號。方程標號識別將由解碼器14用於相關視頻塊的特定內插方程。內插選擇 單元48產生含有用於S幀中所有視頻塊的方程標號的方程標號圖作為輸出。所述圖將方 程標號配置在對應於S幀中的視頻塊的位置處，以有助於解碼器14進行處理。解碼器14處的用於幀內插的一般方程可表達為F2(x, y) = a (x+mvl2x, y+mv12y) + a 2Fi (x+mv23x, y+mv23y)+ a 3F3 (x-mv23x, y-mv23y) + a 4F3 (x-mv12x, y-mv12y) (1)在上述方程(1)中，以高保真度(即使用運動向量和預測誤差兩者)對奇數的P 幀&和F3進行編碼，而僅為偶數的S幀發送運動向量和其它輔助信息。值x、y表示二維坐 標軸，而a工、a 2、a 3禾口 a 4表示力口權係數。通過使用在之前的幀&與S幀F2之間估計的FW運動向量(mv12)，並使用在S幀 F2與後續的幀F3之間估計的BW運動向量(mv23)來恢復跳過的S幀。加權係數(a )服從 E i a i = 1以保持像素的強度值標準化。如上所述，某些內插方程對於S幀中特定的視頻塊可更有效。因此，對於編碼器 輔助式自適應內插，內插選擇單元48測試不同的方程來識別在解碼器側用於內插特定的S 幀，或S幀中的視頻塊的最有效的方程。舉例而言，可從一般方程(1)中得到以下方程，並 由內插選擇單元48進行評估以用於解碼器14處的編碼器輔助式自適應內插1. F2(x, y) = F1 (x+mv12x, y+mv12y)2. F2 (x, y) = F3 (x-mv23x, y-mv23y)3. F2(x, y) = 1/2 F1 (x+mv12x, y+mv12y)+l/2 F3(x-mv23x, y-mv23y)4. F2 (x, y) = 1/3 (x+mv12x, y+mv12y) +1/3 Fi (x+mv23x, y+mv23y) +1/3 F3(x_mv23x, y-mv23y)5. F2 (x, y) = 1/4 (x+mvi2x, y+mvi2y) +1/4 (x+mv23x, y+mv23y) +1/4 F3(x_mv23x, y-mv23y) +1/4 F3(x-mv12x, y-mv12y)可用mvab'(即，經處理的運動向量)而不是mvab(即，所傳輸的運動向量)來應 用上述方程。另外，基於所接收的決策旗標，可對幀、對宏塊或基於更小的塊(例如，8X8或 4X4)應用方程。儘管上文已描述從一般內插方程(1)得到的五個內插方程實例，但內插方程的數 目可更多或更少。舉例來說，可通過改變加權係數或通過使用上文提到的經處理的運動向 量，根據一般內插方程(1)產生額外的方程。也可通過使用更多的參考或未來的幀(例如， 在時間t-3或t+3處)來產生額外的方程。
可將由內插選擇單元48產生的方程標號圖的全部內容發送到解碼器14。特定來 說，幀彙編單元42可組合由運動計算單元44產生的運動向量、由差值單元46產生的SAD 旗標和由內插選擇單元48產生的整個方程標號圖。在這種情況下，運動向量、SAD旗標和 方程標號圖形成由解碼器14使用的S幀信息18。如將描述，S幀信息18可被作為特殊類型的P幀發送，或作為欄位嵌入P幀中。舉 例來說，每一 S幀可被編碼為沒有誤差剩餘編碼的特定類型P幀，或被編碼為沒有任何視頻 對象平面(V0P)標頭的輔助信息。在任一情況下，方程標號圖均可能會在必須被編碼的信 息的字節數方面要求大量的額外開銷。出於此原因，可減小方程標號圖的大小，如將進一步 詳細描述。圖4A-4C是說明產生方程旗標和絕對差值和(SAD)旗標以輔助自適應內插的圖。 特定來說，圖4A說明內插方程旗標，圖4B說明為S幀塊量化差值的SAD旗標，且圖4C說明 識別具有最大差值的相鄰塊的SAD旗標。在圖4A中，旗標1、2、3等識別將由解碼器14用以內插與所述旗標相關聯的視頻 塊的特定內插方程。在圖4B中，旗標L、M、S指示用於給定視頻塊的SAD量度是較大、中等 還是較小。在圖4C中，旗標N、E、SE等指示指向SAD量度在其中導致較大的誤差的相鄰塊 的北、東和東南方向。圖4B中的旗標對SAD量度進行分類，而圖4C中的旗標用作指示相鄰 塊中的相對SAD值的方向性旗標。解碼器14可將圖4A-4C中的旗標用作S幀信息18以輔 助內插S幀。S幀的不同組成部分所需的字節數在帶寬方面可能是大量的。因此，可能需要努力 減少經編碼的信息的數量。下文的表1示範在S幀被編碼為P幀的特殊情況(即沒有發送 誤差剩餘)時，對於標準的視頻測試序列(以數字視頻技術領域中的技術人員已知的四分 之一通用中間格式(QCIF)大小)用在標頭和宏塊數據上的字節數。所述視頻測試序列用 名稱進行識別，且對於視頻編碼技術領域中的技術人員是熟悉的。在表1中，使用具有速率控制機制的基於MPEG-4的CODEC以每秒48千比特(kbps) 對所有視頻測試序列進行編碼。總的幀速率是每秒10幀(fps)，其中使用本發明所描述的 方法對每秒中的幀的一半進行編碼。為每一 S幀發送方程標號圖的額外開銷並未包括在所 消耗的總字節中，但稍後將在此說明內容中描述。表 1 如表1中所示，作為特殊P幀中的輔助信息發送的前向運動向量的總成本會增加 3到25%的需要被傳輸的額外開銷。在S幀信息之後，用後續的P幀來發送後向運動向量(即，_mv23)。在表1的最後一列中表示出組合的額外開銷(即，運動向量、標頭和宏塊數 據)。每一標準測試視頻序列的額外開銷增加如下Akiyo 3. 4%Salesman 3. 6%Coastguard 15%Carphone 18. 5%Foreman 25%Stefan 20. 6% .在例如Akiyo的低運動視頻測試序列中，運動向量數據佔據整個S幀包的小部分。 與運動向量不同，沒有必要發送例如量化參數(QP)、宏塊類型等的其它數據。因此，在這種 情況下，包括運動向量和方程標號圖的S幀信息應被作為輔助信息附加到下一P幀，以避免 來自宏塊模式、宏塊水平QP和幀水平QP的多餘額外開銷。如上所述，將S幀作為個別的幀傳輸可導致消耗大量字節(包括S幀內插不必須 的字節)。個別的S幀中一半以上的字節可能是多餘的。舉例來說，通過表1中的第二列與 第三列中的值之間的差值來計算多餘信息的量。因此，可能需要減少多餘的S幀信息的數 量。一種用於減少多餘信息的數量的有用技術是如上所述將S幀信息嵌入P幀中，而不是 發送專用的S幀。作為發送不必要的信息的替代方法，可將需要內插並進而重新構造的S幀信息作 為輔助信息附加在跟隨S幀的P幀的末尾處。以這種方式可減少額外開銷，因為s幀將一 直使用幀間宏塊模式，所以將不需要發送模式決策。另外，因為不需要發送預測誤差，所以 也不需要發送QP或任何額外的信息。因此，可將s幀信息作為下一 P幀的嵌入的附件來發送。圖5是說明承載用於編碼器輔助式自適應內插的嵌入的S幀信息18的P幀的圖。 S幀信息18可被編碼為不具有任何V0P標頭的輔助信息。或者，如圖5中所示，S幀信息18 可嵌入特殊的P幀50中。在圖5的實例中，P幀50包括P幀標頭52、P幀末尾54、P幀信 息56，和S幀信息18，所述S幀信息18包括運動向量58、SAD旗標60和方程標號圖62。S 幀信息18跟隨P幀信息56之後，且可被預備處理S幀信息的解碼器14利用，或被未如此 預備的解碼器14丟棄。對S幀信息18進行編碼可導致大量的額外開銷節省。除了與運動向量相關聯的額外開銷之外，S幀信息18中的方程標號圖62也可呈 現大量的額外開銷。舉例而言，對於標準的Carphone視頻測試序列(以48kbps)中的S幀 來說，如果僅執行運動補償預測，即僅使用運動向量而沒有預測誤差剩餘，那麼將獲得以下 結果幀編號12幀編碼成本=127位元組運動補償的預測PSNR = 30. 103dB運動向量大小=561位(70. 125位元組)V0P 標頭=54 位宏塊跳過模式=14位V0P 末尾=3 位
其它旗標和QP = 384位出於說明目的，假設僅為4 X 4的塊發送運動向量和方程標號圖，且方程標號圖由 1到3的數字組成，其確定為各個4X4塊選擇的用於S幀內插的特定方程的數目。圖6是說明用於上文所述的視頻幀(即，Carphone視頻幀12)的內插方程標號圖。 圖6的方程標號圖可與運動向量一起使用以執行S幀的運動補償內插。在此實例中，具有 三個不同的內插方程，由數字1到3如下識別1.標號 1 :F2 (x，y) = Fi (x+mv12x，y+mv12y)2.標號 2:F2(x,y) = F3(x-mv23x, y-mv23y)3.標號 3:F2(x，y) = 1/2 Fi (x+mv12x, y+mv12y)+l/2 F3(x-mv23x, y-mv23y)在圖6的方程標號圖中，指派有方程標號1的4X4參考塊的總數為689，指派有方 程標號2的塊的總數為528，且指派有方程標號3的塊的數目為367。可用「0」(1位)表示 方程標號1，用「10」(2位)表示方程標號2，且用「11」(2位)表示方程標號3。如果圖6中所示的方程標號圖按照原樣發送而沒有任何壓縮或處理，那麼所得的 額外開銷為689X1+528X2+367X2 = 2479 310 字節對於沒有對方程標號圖執行最優化的情況，上文的額外開銷數字是最差的情形。 這個最差情況數字對於經受過分的帶寬限制的某些實際應用來說可能是不可接受的。然而，更仔細地檢查方程圖後，會容易發現在緊密相鄰的4X4塊中的某些塊具有 相同的方程標號。因此，可對共用相同的方程標號的塊進行分組，且針對組合的(較大)塊 指派共同的方程標號。在圖6中，由參考數字64、66、68識別可經分組的塊的實例。如果圖 6的方程標號圖中的4X4的塊被分組為8X8和16X16的塊，那麼獲得以下統計數字。1.具有相同標號的16 X 16塊的數目=10 (5個塊具有方程標號1，3個塊具有方程 標號2，2個塊具有方程標號3)。2.具有相同的標號圖的8X8塊的數目=175(僅135個塊不同於16X16，且包括 具有方程標號1的60個塊、具有方程標號2的44個塊和具有方程標號3的31個塊)。3.不能與相鄰塊分組的未分組的4X4塊的數目=884 (295個塊具有方程標號1、 246個塊具有方程標號2，43個塊具有方程標號3)。在對共用共同的方程標號的塊進行分組後，圖6的用於方程圖的字節的總數可近 似計算為16X16|fe (5+3X2+2X2)8X8 塊(60X1+44X2+31X2)4 X 4 塊(295 X 1+246 X 2+43 X 2)總數137個字節如上文所示範，對共用方程標號的塊進行分組可導致實質的額外開銷節省(137 個字節對310個字節)。雖然在S幀信息18中使用塊分組是可行的，但需要一種機制向解 碼器14發送如下內容的信號某些塊被分組為16X16，且某些塊被分組為8X8。舉例來 說，可將旗標插入S幀信息18的方程標號圖中，以發送如下內容的信號一組群組塊的開始 和群組的類型，即16X16或8X8。儘管這種方法可能是有用的，但所述分組旗標將向上述 137個字節的額外開銷添加其它額外開銷。
12
為避免塊分組和關聯的信號發送的需要，另一種用於減少由方程標號圖產生的額 外開銷的技術可能會涉及降低圖的大小。特定來說，在某些實施例中，可僅針對滿足差值標 準的選定的塊對方程標號進行編碼。例如，參考圖3，可提供差值閾值單元40來降低方程標 號圖的大小。以這種方式，可針對包含實質上少於跳過的視頻幀中的所有視頻塊的選定視 頻塊發送方程標號，從而減少發送到解碼器14的經編碼信息的數量。差值閾值單元40利用前向與後向運動補償預測之間的相關性來定位需要發送方 程標號以用於有效內插的特定塊。其結果為包括僅用於超過差值閾值的選定視頻塊的方程 標號的差值閾值圖。因此，可用不包括用於S幀中所有視頻塊而是用於視頻塊的子集的方 程標號的圖來代替圖6的方程標號圖。在編碼器12和解碼器14處都有前向和後向預測可 用。因此，在發送差值圖的過程中不涉及額外的成本。在操作中，差值閾值單元40獲得FW和BW運動向量，其用於參考幀的前向運動補 償和未來P幀的後向運動補償。差值閾值單元40計算FW與BW運動補償幀之間的差值，且 獲得差值圖，Dmap = ABS (Fff-BW)，其中ABS代表絕對值。接著，差值閾值單元40對差值圖 應用閾值設定以產生其中差值超過可應用的閾值的區域。差值閾值區域可能是非相鄰的。作為一個實例，閾值在0到255的像素比例上可為值10。差值閾值單元40將此閾 值應用到S幀中的視頻塊，以識別特別易於發生內插誤差的視頻塊。可將閾值應用於由內 插單元48針對S幀中的所有塊而輸出的整個方程標號圖。或者，可預先應用差值閾值，使 得內插選擇單元48僅針對滿足差值閾值的塊產生方程標號圖。在任一情況下，實際經編碼 以用於傳輸到解碼器14的方程標號圖的大小實質上被減小了。特定來說，僅選擇產生大於 閾值的差值的塊以用於方程標號，從而節省了帶寬。一旦應用閾值來識別S幀中的視頻塊的子集，差值閾值單元40便縮小了經過閾值 設定的差值圖以獲得更小的圖。根據此實例，在較小的圖中，每個像素值被原始差值圖中的 4X4相應的像素值的和取代。可執行此縮小步驟，使得差值圖的大小與方程標號圖的大小 匹配。假設針對S幀中的4X4塊發送方程標號，此實例中的縮放因數被選擇為4。如果方 程標號圖的塊大小發生改變，那麼可相應地調節縮小因數。對於經過縮小的經閾值設定的差值圖中的每個點，差值閾值單元40選擇適當的 方程標號。特定來說，在縮小之前，差值閾值單元40選擇由內插選擇單元48針對可應用的 視頻塊識別的方程標號。在某些實施例中，閾值設定的過程可為迭代過程。舉例來說，可能 有產生超過應用閾值的多餘數目的視頻塊的幀。在這些情況下，閾值設定起初可能會導致 不充分的帶寬節省。為此原因，差值閾值單元40可經配置以在縮小的經閾值設定的差值圖 過大時調節閾值。舉例而言，差值閾值單元40可經配置以在差值閾值設定過程的第一次迭代之後 計算在方程標號上花費的字節總數。如果字節總數超過預定的速率約束R，那麼差值閾值單 元40便增加第一次迭代中使用的閾值，且使用新計算出的閾值來重複閾值設定過程。需要時，可在迭代的基礎上繼續進行閾值設定過程(這一過程會受到迭代限制)， 直到在方程標號上花費的字節總數小於或等於速率約束R為止。在完成閾值設定過程後， 差值閾值單元40停止，並將方程標號圖傳遞到幀彙編單元42。幀彙編單元42以光柵掃描 次序將方程標號打包以用於包括在嵌入P幀50中的S幀信息18 (圖5)中。通過將差值閾值技術應用於標準的Carphone視頻序列中的第12個幀，可獲得大小為81個字節的方程標號圖包。舉例來說，使用方程標號圖在解碼器側獲得的內插幀展示 出31. 72dB的PSNR，這比300位元組方程圖的情況小0. 2dB，但看起來不會呈現出明顯的視覺差異。儘管使用標準的視頻codec ( S卩，沒有跳幀)以lOfps對整個Carphone序列進行 編碼會提供略高的PSNR(32. ldB)，但個別的幀仍傾向於顯示出某些假象。在沒有跳幀的情 況下，在lOfps下的Carphone序列中的第12個幀上花費的總字節為538位元組。相比而言， 在使用本文所述的編碼器輔助式自適應內插的情況下，在相同的幀上花費的總字節為150 字節，其包括用於運動向量的70個字節和用於經閾值設定的差值方程標號圖的80個字節。圖7是說明用於圖1中所示的視頻解碼器14中的輔助式內插解碼器24的方框圖。 如圖7中所示，輔助式內插解碼器24包括經操作以產生經內插的S幀72的內插單元68和 內插方程選擇單元70。內插單元68接收運動向量和SAD旗標形式的S幀信息。內插選擇 單元70接收方程標號圖形式的S幀信息。通過使用方程標號圖，內插選擇單元70識別將 由內插單元68使用以用於內插幀或幀中的個別視頻塊的特定內插方程。如上所述，方程標號圖可能經過差值閾值設定。在這種情況下，內插選擇單元70 可僅針對幀中的視頻塊的子集識別內插方程。內插單元68應用運動向量、SAD旗標和由內 插選擇單元70識別的內插方程來產生經內插的視頻塊。對於未在方程標號圖中識別的視 頻塊，內插單元68應用標準的內插方程，而不是特別選定的內插方程。在任一情況下，結果 均為經內插的S幀72。圖8是說明用於產生用於輔助解碼器14內插跳過的幀的信息的技術的流程圖。一 般來說，由編碼器12執行圖8中說明的技術來產生S幀信息以用於通過解碼器14對S幀進 行編碼器輔助式自適應內插。如圖8中所示，如果將處理的下一幀不是S幀(74)，那麼編碼 器12對P幀進行編碼(76)。然而，當將編碼的下一幀是S幀時(74)，編碼器12產生S幀 信息。特定來說，S幀分析單元38的運動計算單元44獲得前一 P幀的)與S幀(F2)中相 應的視頻塊之間的前向(FW)運動向量mv12(78)，且使用FW運動向量形成臨時的S幀(79)。 通過使用臨時的S幀和下一 P幀(F3)，運動計算單元44產生後向(BW)運動向量m23 (80)。 通過BW運動向量m23並加上預測誤差，預測下一 P幀。接著，使用mv12內插S幀、使用mv23 內插前一 P幀F1，和後續的P幀F3。內插選擇單元48接著使用FW和BW運動向量為幀中的個別視頻塊測試多個不同 的內插方程(81)。基於內插方程的結果，內插選擇單元48選擇最佳的內插方程(82)，並將 方程標號指派給各個視頻塊(84)。「最佳的」內插方程是在所測試的若干內插方程中產生 最準確的內插結果的特定方程。方程標號用於識別應由解碼器14用以內插關聯的視頻塊 的特定內插方程。繼續針對S幀中的所有塊用迭代的方式執行所述過程(86、88)，直到到達塊的末 尾為止。或者，在某些實施例中，可在方程測試之前應用差值閾值設定以將塊的子集識別為 用於編碼器輔助式內插的候選者。一旦已處理完所有塊，內插選擇單元48便傳遞方程標號圖以對S幀進行編碼 (90)，例如作為專用的S幀或作為與之前的或後續的P幀嵌入在一起的S幀信息。FW運動 向量以及SAD旗標也包括在S幀信息中。然而，BW運動向量通常不包括在S幀信息中，因 為可從跟隨S幀之後的下一 P幀在解碼器側獲得BW運動向量。同樣，方程標號圖可由差值閾值單元40處理，以減小方程標號圖所需的字節總數。在彙編完S幀信息後，過程進行到 下一幀(92)。圖9是說明應用由編碼器12提供的信息以用於在解碼器14處內插跳過的幀的流 程圖。如圖9中所示，如果將被解碼的引入幀不是S幀(94)，那麼使用普通的解碼過程將其 解碼為P幀(96)。然而，如果引入的幀是S幀(94)，那麼解碼器14從經編碼的視頻信息中 提供的S幀信息中獲得FW運動向量(98)，且使用下一 P幀獲得BW運動向量(99)。特定來 說，根據對跟隨S幀之後的P幀估計的運動向量來獲得BW運動向量。儘管可通過改變參考 幀來對S幀估計BW運動向量，但發送BW運動向量的成本較高。出於此原因，需要使用從下 一 P幀獲得的BW運動向量mv23的負版本。解碼器14接著確定S幀信息是否包括用於每一視頻塊的方程標號(100)。如果 沒有用於視頻塊的方程標號(100)，那麼解碼器14應用默認的內插方程(102)來內插視頻 塊。然而，如果S幀信息包括用於視頻幀的方程標號，那麼解碼器14便選擇由方程標號識 別的內插方程(104)。解碼器14接著通過使用FW和BW運動向量和選定的內插方程來進行 內插以產生塊(106)。所示過程以迭代的方式繼續下去(108、110)，直到到達3幀中的塊的 末尾為止。基於經解碼的塊，解碼器14產生經解碼的S幀(112)，且前進到下一幀(114)。圖10是說明用於如上文所述產生輔助解碼器12內插跳過的幀的信息的帶寬節省 技術的流程圖。如圖10中所示，不同的閾值單元40接收用於S幀中的塊的BW和FW運動 向量。同樣，BW運動向量用於針對跟隨S幀之後的幀的後向運動補償，而FW運動向量用於 針對在S幀之前的幀的前向運動補償。差值閾值單元40向BW與FW運動補償幀之間的差 值應用差值閾值(122)，以產生經閾值設定的差值圖，Dmp。在有些實施例中，經閾值設定的 差值圖DMP可以視頻塊大小為因數來縮小(124)，以產生縮小的圖Dmp DS。一旦獲得縮小的經閾值設定的差值圖0_，，差值閾值單元40便起始迭代過程以 將方程標號消耗的字節數減少到可接受的水平。如圖10中所示，差值閾值單元40首先計 算用於方程標號的字節總數(126)。如果字節總數小於速率限制R(128)，那麼指派方程標 號(130)，並將所得的方程標號圖連同例如運動向量和SAD旗標等的其它S幀信息一起傳遞 到幀彙編單元42。然而，如果方程標號消耗的字節總數大於速率限制R(128)，且迭代的數目尚未超 過可應用的迭代限制(132)，那麼差值閾值單元40便增加差值閾值(134)，且重複差值閾值 設定過程。迭代繼續下去，直到字節總數小於或等於速率限制R(128)，或已超過所允許的迭 代數目(132)為止。在任一情況下，差值閾值單元40接著將方程標號指派給選定的塊，且 將結果傳遞到幀彙編單元42以用於編碼。在本發明描述的技術中，針對S幀中的塊執行運動估計，且基於內插結果的誤差 為每一塊選擇最佳的內插方程。根據此技術，不需要例如雙向運動估計的更複雜的運動估 計算法。另外，不需要發送多組運動向量或剩餘誤差。在差值閾值設定方面，所揭示的技術 可允許低達2X2像素的較小的塊大小，而不需要附加的額外開銷，因為即使可針對16X 16 塊執行運動估計，也可在需要時針對2X2塊發送方程標號。一般來說，本發明中描述的編碼器輔助式自適應內插技術針對S幀提供例如方程 標號圖、運動向量和SAD旗標等的有效輔助信息，以輔助在解碼器處的內插。在有些實施例 中，所述技術允許以減少與方程信息相關聯的額外開銷成本的方式來設定方程標號圖。為發送方程標號圖，提出一種減少此附加信息的額外開銷成本的方法。可以想像的是，本文描 述的技術可支持用於新興ITU H. 264標準的B幀模式。此外，所述技術可不僅用於統一取 樣的跳幀，而且可用於非統一的跳幀。另外，所述技術不僅可用於幀速率上轉換應用，而且 可用於速率控制用的跳幀。本文所描述的技術可以硬體、軟體、固件或其任何組合來實施。如果是以軟體實 施，那麼所述技術可部分地通過包含程序代碼的計算機可讀媒體來實現，所述程序代碼含 有在執行時執行上文所述的方法中的一種或一種以上方法的指令。在這種情況下，計算機 可讀媒體可包含例如同步動態隨機存取存儲器(SDRAM)的隨機存取存儲器(RAM)、只讀存 儲器(ROM)、非易失性隨機存取存儲器(NVRAM)、電可擦除可編程只讀存儲器(EEPR0M)、快 快閃記憶體儲器、磁性或光學數據存儲媒體等類似物。可通過一個或一個以上處理器來執行所述程序代碼，所述處理器例如為一個或一 個以上數位訊號處理器(DSP)、通用微處理器、特殊應用集成電路(ASIC)、場可編程邏輯陣 列(FPGA)、或其它等效的集成或離散的邏輯電路。在有些實施例中，本文所述的功能性可 提供在經配置以用於編碼和解碼的專用軟體模塊或硬體單元中，或合併在組合的視頻編碼 器-解碼器(CODEC)中。已描述多種實施例。這些和其它實施例均在所附權利要求書的範疇內。
權利要求
一種視頻編碼器，包含選擇構件，用於選擇將為跳過的視頻幀而不是經編碼的視頻幀的視頻幀；生成構件，用於產生指定了一種或多種內插方程的信息，以輔助視頻解碼器內插所述跳過的視頻幀中的一個或多個視頻塊；和編碼構件，用於對所述信息進行編碼以供傳輸到所述視頻解碼器。
2.根據權利要求1所述的視頻解碼器，其中所述信息指定將由所述視頻解碼器用以內 插所述跳過的視頻幀中的所有視頻塊的單個內插方程。
3.根據權利要求1所述的視頻解碼器，其中所述信息指定將由所述視頻解碼器用以內 插所述跳過的視頻幀中的選定視頻塊的不同的內插方程。
4.根據權利要求3所述的視頻解碼器，其中所述選定視頻塊包含實質上少於所述跳過 的視頻幀中的所有視頻塊的視頻塊，從而減少經編碼信息的數量。
5.根據權利要求1所述的視頻解碼器，其中所述信息包括方程標號圖，所述方程標號 圖指定將由所述視頻解碼器用以內插所述跳過的視頻幀中的選定視頻塊的不同的內插方 程。
6.根據權利要求1所述的視頻解碼器，其進一步包含評估構件，用於評估不同內插方程用於所述視頻幀中的視頻塊的結果，其中所述用於 產生信息的構件基於所述結果產生以下信息其指定將由所述視頻解碼器用以內插所述跳 過的視頻幀中的選定視頻塊的特定內插方程。
7.根據權利要求1所述的視頻解碼器，其進一步包含確定構件，用於確定所述跳過的視頻幀中的視頻塊與另一個視頻幀中的相應視頻塊之 間的差值；和識別構件，用於識別產生超過閾值的差值的視頻塊，其中用於產生信息的構件產生以下信息其指定將由所述視頻解碼器用以內插所述跳 過的視頻幀中的經識別視頻塊的特定內插方程。
8.根據權利要求7所述的視頻解碼器，其進一步包含調節構件，用於根據與指定了所述內插方程的信息相關聯的字節總數同速率約束之間 的比較，對所述閾值用迭代的方式進行調節。
9.根據權利要求1所述的視頻解碼器，其中所述信息包括表示所述跳過的幀與先前的 幀之間的運動的運動向量。
10.根據權利要求1所述的視頻解碼器，其中所述信息包括差值旗標，所述差值旗標指 示所述跳過的幀、先前的幀以及後續的幀之間的差值。
11.根據權利要求10所述的視頻解碼器，其中所述差值旗標包括絕對差值和(SAD)旗 標以及指示相鄰塊中的相對SAD值的方向性旗標。
12.根據權利要求1所述的視頻解碼器，其進一步包含將所述信息編碼在未跳過的視 頻幀中。
13.—種視頻解碼器，其包含接收構件，用於接收指定了一種或多種內插方程的信息，以輔助內插有意跳過的視頻 幀中的一個或多個視頻塊，其中所述信息被編碼在視頻幀中；和內插構件，用於應用所述信息來內插所述跳過的視頻幀。
14.根據權利要求13所述的視頻解碼器，其中所述信息指定將用以內插所述有意跳過 的視頻幀中的所有視頻塊的單個內插方程，所述視頻解碼器進一步包含用於應用所述指定 的內插方程來內插所述有意跳過的視頻幀中的所有視頻塊的構件。
15.根據權利要求13所述的視頻解碼器，其中所述信息指定將用以內插所述有意跳過 的視頻幀中的選定視頻塊的不同的內插方程，所述視頻解碼器進一步包含用於應用所述指 定的不同的內插方程來內插所述有意跳過的視頻幀中的所述選定視頻塊的構件。
16.根據權利要求15所述的視頻解碼器，其中所述選定視頻塊包含實質上少於所述有 意跳過的視頻幀中的所有視頻塊的視頻塊，從而減少所述信息的數量。
17.根據權利要求13所述的視頻解碼器，其中所述信息包括方程標號圖，所述方程標 號圖指定將用以內插所述有意跳過的視頻幀中的選定視頻塊的不同的內插方程，所述視頻 解碼器進一步包含用於應用所述指定的內插方程來內插所述有意跳過的視頻幀中的所述 選定視頻塊的構件。
18.根據權利要求13所述的視頻解碼器，其中所述信息指定將用以內插所述有意跳過 的視頻幀中的選定視頻塊的內插方程，且其中所述有意跳過的視頻幀中的所述選定視頻塊 與另一個視頻幀中的相應視頻塊之間的差值超過閾值。
19.根據權利要求13所述的視頻解碼器，其中所述信息包括表示所述有意跳過的視頻 幀、先前的幀與後續的幀之間的運動的運動向量，所述視頻解碼器進一步包含用於應用所 述運動向量來內插所述有意跳過的視頻幀的構件。
20.根據權利要求13所述的視頻解碼器，其中所述信息包括指示所述有意跳過的視頻 幀、先前的幀與後續的幀之間的差值的差值旗標，所述視頻解碼器進一步包含用於應用所 述差值旗標來內插所述有意跳過的視頻幀的構件。
21.根據權利要求20所述的視頻解碼器，其中所述差值旗標包括絕對差值和(SAD)旗 標以及指示相鄰塊中的相對SAD值的方向性旗標。
全文摘要
本發明針對用於對視頻幀進行編碼器輔助式自適應內插的技術。根據所揭示的技術，編碼器產生輔助解碼器內插跳過的視頻幀(即S幀)的信息。所述信息允許所述解碼器減少內插幀中的視覺假象，且進而實現改進的視覺質量。所述信息可包括內插方程標號，所述內插方程標號針對個別視頻塊識別將由解碼器使用的選定的內插方程。視情況而定，為節省帶寬，可僅針對符合用於編碼器輔助式內插的標準的選定視頻塊傳輸所述方程標號。可根據默認內插技術來內插不具有方程標號的其它視頻塊。
文檔編號H04N7/46GK101877789SQ20101011150
公開日2010年11月3日 申請日期2005年8月18日 優先權日2004年8月18日
發明者哈立德·希勒米·厄勒-馬列, 李彥輯, 格克切·戴恩 申請人:高通股份有限公司