解碼單元的局部運動向量推導的方法與相應裝置的製作方法

2023-10-08 12:01:19 2

專利名稱：解碼單元的局部運動向量推導的方法與相應裝置的製作方法
技術領域：
本發明是與視頻處理的運動補償相關，更準確地，本發明是與解碼單元(coding unit)的視頻解碼中執行局部運動向量推導的方法以及執行上述方法的裝置有關。
背景技術：
運動向量補償是視頻壓縮中對視頻數據進行編碼與解碼所使用的技術。通過運動補償的幫助，當前圖像能夠以一或多個參考圖像的某些部分來描繪，其中上述參考圖像可為時間上提前或者延後。典型地，圖像可通過運動補償而由先前所傳輸/存儲的圖像來準確地合成，並且可提升壓縮效率。隨著編碼技術的進步，關於新標準的設計被引進以更增進壓縮效率。

發明內容
因此，本發明目的之一是提供一種在解碼單元的視頻解碼過程中執行局部運動向量推導的方法，並且提供執行上述方法的相關裝置，以提高視頻處理的壓縮效率。本發明的一個實施方式提供了一種在解碼單元的視頻解碼過程中執行局部運動向量推導的方法，上述方法包含將解碼單元分割為多個子解碼單元進行處理；對每一子解碼單元執行運動向量預測。更具體來說，其中對每一子解碼單元執行運動向量預測的步驟包含通過利用至少一其他子解碼/解碼單元的至少一運動向量，獲得特定子解碼單元的運動向量；以及通過利用不同於獲得特定子解碼單元的運動向量所使用的運動向量的至少一運動向量，獲得解碼單元的另一子解碼單元的運動向量。此外，上述方法包含依據特定子解碼單元的運動向量，對特定子解碼單元執行運動補償。本發明的另一實施方式提供了一種對解碼單元的視頻解碼過程中執行局部運動向量推導的裝置，上述裝置包含處理電路，執行上述解碼單元的視頻解碼。處理電路包含 預處理模塊與至少一個解碼模塊。其中上述預處理模塊將解碼單元分割為多個子解碼單元進行處理，並且對每一子解碼單元執行運動向量預測，其中預處理模塊通過利用至少一其他子解碼/解碼單元的至少一運動向量，獲得特定子解碼單元的運動向量，以及依據特定子解碼單元的運動向量對特定子解碼單元執行運動補償，其中預處理模塊通過利用不同於獲得特定子解碼單元的運動向量所使用的運動向量的至少一運動向量，獲得解碼單元中另一子解碼單元的運動向量。並且上述至少一解碼模塊依據預處理模塊執行的運動補償來對解碼單元執行視頻解碼本發明的又一實施方式提供了一種在解碼單元的視頻解碼中執行局部運動向量推導的方法，上述方法包含接收解碼單元，其中解碼單元包含多個子解碼單元；解析解碼單元的數據；以及依據預定準則指定解碼單元的特定子解碼單元的參考運動向量，其中上述參考運動向量是用來供給至少一其他子解碼/解碼單元參考，並且並非使用上述參考運動向量來進行特定子解碼單元的運動向量預測。本發明的優勢在於編碼器與解碼器可適當地執行局部運動向量推導。通過利用本發明的方法與相應裝置，運動向量預測操作與運動補償操作可提高編碼效率。


圖IA舉例說明了依據本發明第一實施方式的在解碼單元的視頻解碼過程中執行局部運動向量推導的裝置100的簡單示意圖。圖IB舉例說明了本發明的圖IA所示的實施方式中的幀間/幀內預測模塊110的預測操作。圖2為依據本發明實施方式的在解碼單元的視頻解碼過程中執行局部運動向量推導的方法910的流程圖。圖3-6是依據本發明的圖2所示的實施方式的方法910的不同實施方式的相關細節圖。
具體實施例方式在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的組件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同樣的組件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分組件的方式，而是以組件在功能上的差異來作為區分的基準。在通篇說明書及後續的請求項當中所提及的「包含」是為一開放式的用語，故應解釋成「包含但不限定於」。另外，「耦接」一詞在此是包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接於第二裝置，則代表第一裝置可直接電氣連接於第二裝置，或透過其他裝置或連接手段間接地電氣連接至第二裝置。請參考圖1A，圖IA舉例說明了依據本發明第一實施方式的在解碼單元的視頻解碼中執行局部運動向量推導的裝置100的簡單示意圖。裝置100包含幀間/幀內預測模塊(inter/intra prediction module) 110，計算單元 120，轉換以及量化模塊(transform and quantization module) 130，j；商譯石馬電各(entropy coding circuit) 140，反轉換以及反量化模塊(inversed transform and inversed quantization module) 150，重建電各 (reconstruction circuit) 160，解塊濾波器(deblocking filter) 170，巾貞緩衝器(frame buffer) 180。裝置100能夠對初始信號109執行視頻解碼，以產生一個攜帶編碼結果的輸出信號，例如攜帶熵解碼電路140的輸出的輸出信號。舉例來說，初始信號109可代表具有解碼單元數據的輸入視頻，並且熵解碼電路140的輸出可為一比特流(bitstream)輸出。依據第一實施方式，幀間/幀內預測模塊110是用來執行幀間/幀內預測，以產生預測信號119。如圖IA所示，計算單元120是用來執行初始信號109與幀間/幀內預測模塊110所產生的預測信號119之間的算術計算，例如減法計算。此外，轉換與量化模塊130、 熵解碼電路、反轉換以及反量化模塊150、重建電路160是用來分別執行轉換與量化，熵編碼，反轉化與反量化以及重建操作。因此，重建電路160產生一個攜帶重建操作的重建結果的重建信號169。另外，解塊濾波器170是用來對重建信號169執行解塊操作，以獲得一個攜帶了解塊視頻數據的解塊信號179，以暫時存儲在幀緩衝器180中，並且幀間/幀內預測模塊110能夠通過恢復信號(restored signal) 189自幀緩衝器180中存取解塊視頻數據。 上述說明僅僅用來舉例，而並非為本發明的限制。依據第一實施方式的一些變型，可省略解塊濾波器170以及其解塊操作，重建信號169所攜帶的重建結果可暫時存儲在幀緩衝器180中，並且幀間/幀內預測模塊110能夠通過恢復信號189存取上述重建結果。具體來說，至少一部分(例如一部分或者全部)裝置100可由硬體電路(hardware circuit)來實現。舉例來說，裝置100可由針對解碼單元執行視頻解碼的處理電路 (processing circuit)來實現，其中上述處理電路可包含預處理模塊(preprocessing module)與至少解碼模塊(coding module)，上述預處理模塊包含幀間/幀內預測模塊110， 上述解碼模塊包含計算單元120，轉換以及量化模塊130，熵解碼電路140，反轉換以及反量化模塊150，重建電路160，解塊濾波器170。具體來說，裝置100的一或多個組件可由數位訊號處理技術來實現。上述說明僅僅用來舉例說明，而並非為本發明的限制。依據第一實施方式的一些變型，裝置100的至少一部分可通過程序模塊(program module)來實現。舉例來說，處理電路可為執行多個程序模塊的處理器，其中執行第一部分程序模塊的處理器可執行上述預處理模塊相同或者相似的操作，並且執行第二部分程序模塊的處理器可執行上述解碼模塊的相同或者相似的操作。無論裝置100的至少一部分(例如一部分或者全部)是由硬體電路還是程序模塊來實現，裝置100皆可執行解碼單元的視頻解碼。舉例來說，解碼單元可為16x16的宏區塊 (MBs, macroblocks)。在另外的例子中，解碼單元可具有特定的尺寸，其中上述特定尺寸可提前設定，並且不需要與宏區塊一致。在處理至少一個圖像的解碼單元(例如上述解碼單元)的過程中，需要預測一或者多個運動向量。依據本發明的實施方式，上述預處理模塊能夠分割上述解碼單元為多個子解碼單元(sub-coding unit)，例如，上述解碼單元的多種分區(例如正方或非正方分區)，並且能夠針對每一子解碼單元執行運動向量預測。更準確地說，預處理模塊可利用至少一其他已編碼的子解碼/解碼單元的至少一運動向量來獲得多個子解碼單元中的特定子解碼單元(specific sub-coding unit)的運動向量，並且依據上述特定子解碼單元的運動向量來對上述特定子解碼單元執行運動補償。此外，上述解碼模塊可依據上述預處理模塊所執行的運動補償來對上述解碼單元執行視頻解碼。圖IB舉例說明了本發明的圖IA所示的實施方式中的幀間/幀內預測模塊110 的預測操作。在此實施方式中，記號F(tQ-3)、Fac^hF(Vl)、以及F(tQ)可用來代表多個後續幀{F(t)}中的一部分，其中Fatl)為當前幀。當前幀Fatl)可包含多個解碼單元 IcuatlM,並且解碼單元⑶(、)可包含多個子解碼單元{S⑶(、)}，其中記號V可代表特定子解碼單元的運動向量，例如圖IB所示的子解碼單元Sraatl)的運動向量。因此，上述預處理模塊可利用如上所述的至少一運動向量來獲得運動向量V，例如利用當前幀F(tQ) 中的其他解碼單元的子解碼單元A與B的運動向量vA與Vb以及先前幀Fatl-I)的解碼單元⑶(、-1)的子解碼單元T的運動向量Vt來獲得運動向量V。具體來說，上述其他解碼單元(或子解碼單元)為已編碼的解碼單元(或子解碼單元)。舉例來說，在上述解碼單元為區塊(bi0Ck)的情況下，解碼單元Cuatl-D可配置為解碼單元Cuatl)的同位置塊 (collocated block)。通常來說，子解碼單元S⑶(t0)的運動向量ν可表示如下ν=Σ keK(wk(i)vk)；其中指數k在集合K中變化，記號Vk與Wk⑴分別代表其他子解碼/解碼單元(更具體來說，一些已編碼的子解碼/解碼單元)的運動向量與其相關的加權參數。舉例來說， 當變量k等於1時，則僅僅使用一個其他子解碼/解碼單元的一個運動向量Vk來獲得運動向量V，更準確地說，上述加權參數Wk (i)簡單地等於1。在其他例子中，當變量k大於1時，上述至少一其他子解碼單元/解碼單元包含多個其他子解碼/解碼單元，並且上述至少一運動向量包含多個其他子解碼/解碼單元(更具體來說，一些已編碼的子解碼/解碼單元) 的多個運動向量lvk}，特別地，上述加權參數lwk(i)}的總和等於1。上述操作的細節請參考圖2。圖2為依據本發明的實施方式的在解碼單元的視頻解碼中執行局部運動向量推導的方法910的流程圖。方法910可應用於圖IA所示的裝置100，特別地，可應用在上述處理電路上。上述方法詳述如下在步驟912中，上述預處理模塊處理解碼單元OTUci)(例如，當前解碼單元)為多個子解碼單元，例如多個子解碼單元{scuaj}，並且對多個子解碼單元{scuaj}中的每一個執行運動向量預測。舉例來說，上述預處理單元可接收包含多個子解碼{scuaj}的解碼單元⑶(、)，並且解析(parse)上述解碼單元⑶(、)的數據。特別地，預處理模塊利用上述至少一子解碼/解碼單元的至少一運動向量(例如上述運動向量IvJ)來獲得多個子解碼單元{s⑶(、)}中的特定子解碼單元Sraatl)的運動向量ν。預處理模塊可進一步使用至少一與獲得特定子解碼單元Scuatl)的運動向量所使用的運動向量不同的運動向量來獲得解碼單元Cuatl)中的另一子解碼單元的運動向量。當僅使用一個運動向量來獲得另一子解碼單元(即，上述提及的解碼單元Cuatl)中的另一子解碼單元)的運動向量時，獲得上述另一子解碼單元的運動向量所使用的運動向量與獲得特定子解碼單元Sraatl)的運動向量所使用的任何運動向量不同。當使用多個運動向量來獲得上述另一子解碼單元的運動向量時，獲得上述另一子解碼單元的運動向量所使用的運動向量與獲得特定子解碼單元 Scuatl)的運動向量所使用的運動向量不完全相同。舉例來說，獲得上述另一子解碼單元的運動向量所使用的運動向量可為第一運動向量集合lva，Vb, V。}，而獲得上述特定子解碼單元的運動向量所使用的運動向量可為第二運動向量集合lva，vb，vd}。上述特定子解碼單元與上述另一子解碼單元為同一解碼單元中的任意兩個子解碼單元。依據本發明的實施方式，例如圖3所示，解碼單元⑶(、)可為一當前處理區塊，並且子解碼單元Sraatl)可為子區塊(sub-block) SB，其中圖3所示的陰影部分可代表至少一部分已編碼區塊集合{CB}。參見圖3，上述已編碼區塊集合{CB}可包含已編碼左區塊CBy 已編碼左上區塊CBm已編碼上區塊CBu,以及已編碼右上區塊CBm。並且運動向量集合{vk} 可包含至少一部分(例如，部分或者全部)已編碼區塊{CB}的運動向量，例如一或多個已編碼區塊CBp CBul, CBu與CBuk的運動向量。在步驟914，上述預處理模塊依據特定子解碼單元S⑶(t0)的運動向量ν對特定子解碼單元S⑶(to)進行運動補償。舉例來說，每一解碼單元(例如，解碼單元⑶Utl))可為一區塊，更具體來說，可為包含像素數組的區塊，例如擴展宏區塊、宏區塊、或者一部分宏區塊。因此，子解碼單元可為子區塊。依據本發明的實施方式，如圖3所示，上述預處理模塊可如上所述般依據運動向量ν對處理中區塊進行運動補償，其中上述運動向量ν可為多個已編碼區塊{CB}的至少一部分(例如一或多個已編碼區塊CBlWBpCBu以及CBrai)的運動向量的加權總和。在本實施方式中，上述多個已編碼區塊{CB}可為運動補償區塊。圖4是依據本發明的圖2所示的實施方式的方法910的相關細節圖。依據本實施方式，上述預處理模塊利用多個運動向量的加權總和(例如Σ keK(wk(i)vk))作為上述特定子解碼單元的運動向量V。為了獲得更好的補償效果，已編碼區塊CBpCB皿、CBu以及08^可與圖3所示相同。舉例來說，上述多個其他子解碼/解碼單元可包含已編碼區塊CBp CBul, CBu以及CBuk中的一或多個，並且上述多個運動向量可包含已編碼區塊CBp CBul, CBu以及 CBue所對應的運動向量^、vUL, Vu以及νυκ中的一或多個。更具體來說，對於上述圖4所示的每一子區塊，例如第i個子區塊bi;可依據已編碼區塊{CB}的多個運動向量來獲得子區塊、的運動向量v(i)，或稱為運動向量預測子 (motion vector predictor)，如下式所不v(i) =Σ keK(wk(i)vk)；其中參數k在集合K中變化，並且記號Vk與Wk⑴分別代表第k個參考運動向量以及相關的加權參數。舉例來說，h e Bm，並且記號Bm代表處理中區塊的子區塊集合。如圖4所示，運動向量集合{vk}中的運動向量vk在已編碼區塊CBu中，說明在此情況下，運動向量集合Iv1J包含已編碼區塊CBu的運動向量集合{%}。在實施方式中，例如圖4所示的實施方式的變型中，上述預處理模塊可利用多個運動向量{vk}的最佳維納濾波(optimum Wiener filtering)來決定運動向量集合 IvJ中的每一個對應的加權參數的集合lwk(i)}，以產生上述加權總和(在此變型中即為 Σ keK(wk(i)vk))0舉例來說，上述預處理模塊可利用最佳維納濾波來依據下式獲得加權參數集合Iwk (i)}(w0*, . . . , wK*) = arg min v*(i)- Σ keK(wk(i)vk) | ；上述算式表示加權參數集合Iwk (i)}可通過搜尋在上述預處理模塊所執行的最佳維納濾波中V*(i)- Σ keK(wk(i)vk) I的最小值所對應集合(W0*, · · ·，Wk*)。上述說明僅僅用來舉例，而並非為本發明的限制。依據本發明的圖4所示的實施方式的變型，上述預處理模塊可依據至少一臨近(neighboring)解碼單元的內容來決定運動向量集合{vk}中的每一個所分別對應的加權參數的集合Iwk⑴}，例如依據已編碼區塊CBpCB皿、CBu與CBra中的一或多個的內容(content)來產生加權總和(此變型中為Σ ke K(wk(i) vk)) 0依據本發明的圖4所示的實施方式的另一變型，上述預處理模塊可依據多個其他子解碼/解碼單元的內容來決定運動向量集合Iv1J中的每一個所分別對應的加權參數的集合lwk(i)}，以產生加權總和(此變型中為Σ keK(wk(i)vk))0在其他實施方式中，例如本發明的圖4所示的實施方式的一些變型中，上述預處理模塊可利用離線訓練(offline training)或者線上訓練(online training)來決定上述運動向量集合lvk}中的每一個所對應加權參數的集合lwk(i)}，以產生加權總和(此變型中即為Σ keK(wk(i)vk))。依據本發明的圖4所示的實施方式的另一些變型中，上述預處理模塊可利用多個運動向量lvk}的平均值為上述特定子解碼單元的運動向量v，這也代表了上述加權參數中集合lwk(i)}中的任意兩個相等。更確切地說，在此變型中，上述加權參數Iwk (i)}中每一個等於l/n(K)，其中n(K)代表集合K中的變量k的可能值。圖5A-5D是依據本發明的圖2所示的方法910的不同實施方式的相關細節圖。在這些實施方式中，在k的可能值的數量大於1的情況下，上述至少一其他子解碼單元/解碼單元依然包含多個其他子解碼/解碼單元，並且上述至少一運動向量依然包含上述多個其他子解碼/解碼單元的運動向量Ivk}。然而，上述預處理模塊並不需要利用如上所述的加權總和(例如Σ keK(wk(i)vk))來作為特定子解碼單元的運動向量。依據上述實施方式，上述預處理模塊可預處理多個運動向量lvk}來獲得特定子解碼單元的運動向量ν。舉例來說，上述預處理模塊可計算多個運動向量的中值(median)，濾波多個運動向量，計算上述多個運動向量的加權總和，或者執行計算多個運動向量的中值，濾波多個運動向量，計算上述多個運動向量的加權總和的任意組合。具體來說，運動向量集合{vk}可包含至少一子解碼單元的至少一運動向量。舉例來說，運動向量集合ivk}可包含同一解碼單元Cuatl)中的至少一其他子解碼單元(即為處理中的子解碼單元Sraatl)之外的子解碼單元)的至少一運動向量，例如圖5D所示的子解碼單元A、B、C以及D的運動向量vA、vB、Vc以及vD中的一或多個。在另一舉例說明中， 運動向量集合Iv1J可包含其他解碼單元中的至少一子解碼單元的至少一運動向量，例如圖 5A-5C所示的子解碼單元A、B、C以及D的運動向量vA、vB、vc以及vD中的一或多個。在另一舉例說明中，運動向量集合{vk}可包含至少一自時序(temporal direction)所獲得的運動向量，例如自時序上前一幀所包含的子解碼單元獲得。具體來說，當解碼單元為區塊時， 圖5A-5D所示的子解碼單元A、B、C以及D可視為子區塊。依據圖5A所示的實施方式，子解碼單元A、B、C以及D分別屬於已編碼區塊CBp CBuXBue以及CBp此外，已編碼區塊CBpCB1^CBuk以及CB皿分別為當前處理區塊的已編碼左區塊，已編碼上區塊，已編碼右上區塊，以及已編碼左上區塊。更具體來說，針對圖5A所示的第i個子區塊h來說，在已編碼左區塊CB^中選擇子解碼單元A，在已編碼上區塊CBu 中選擇子解碼單元B，在已編碼右上區塊CBuk中選擇子解碼單元C，在已編碼左上區塊CB皿中選擇子解碼單元D。此外，上述預處理模塊預處理圖5A所示的子解碼單元A、B以及C的運動向量vA、vB以及來計算特定子解碼單元(例如第i個子區塊b》的運動向量ν。本實施方式中的運動向量ν可通過計算運動向量A、vB以及的中值(median)來獲得，表示如下ν = Median (vA, vB, vc)；其中記號Median代表括號中的向量/值的中值。如果無法獲得運動向量Vc，可用運動向量vD代替運動向量以計算運動向量ν。在其他實施方式中，可向子解碼單元A、B 以及C的運動向量VA、Vb以及V。指定不同的加權參數。舉例來說，加權參數可依據特定子解碼單元(例如bi)與子解碼單元A、B以及C之間的距離來決定。較短的距離可對應較大的加權參數。在另一實施方式中，預處理模塊可過濾預先決定的已編碼子解碼單元的運動向量來獲得運動向量V。上述預處理模塊可決定上述特定子解碼單元(例如第i個子解碼區塊b》的尺寸為解碼單元的視頻解碼的變換尺寸(transform size)，並且用來獲得特定子解碼單元(例如第i個子解碼區塊h)的運動向量ν的子解碼單元的尺寸可與變換尺寸相同(例如，4乘 4，8乘8，16乘16等等)。依據圖5B所示的實施方式，子解碼單元A屬於已編碼左區塊CBy並且子解碼單元 B、C以及D屬於已編碼上區塊CB 。更具體來說，針對圖5B所示的第i個子區塊h來說， 在已編碼左區塊CB^中選擇子解碼單元A，在已編碼上區塊CBu中選擇子解碼單元B。此外， 針對子解碼單元B而言，子解碼單元C為已編碼上區塊CBu中右臨近子解碼單元(如果存在)，並且子解碼單元D為已編碼上區塊CBu中左臨近子解碼單元(如果存在)。因此，針對圖5B所示的第i個子區塊、來說，在已編碼上區塊CBu中選擇三個子解碼單元B、C以及 D。在其他實施方式中，當預處理模塊處理當前區塊的第一列(column)子解碼單元時，子解碼單元D可屬於已編碼左上區塊CB1^子解碼單元C可屬於已編碼右上區塊CBm。此外，上述預處理模塊可利用圖5B所示的子解碼單元A、B、C以及D的運動向量vA、vB、vc以及vD中的一或多個來計算運動向量ν。舉例來說，計算上述預先決定的四個子解碼單元的運動向量的中值，來作為特定子解碼單元(例如第i個子區塊b》的運動向量V。表示如下ν = Median (vA, vB，vc，vD).上述預處理模塊可決定上述特定子解碼單元的尺寸為解碼單元的視頻解碼的變換尺寸，並且圖5B所示的子解碼單元的尺寸可與變換尺寸相同(例如，4乘4，8乘8，16乘 16等等)。依據其他實施方式，例如圖5B所示的實施方式以及一些變型，當利用中值函數 Median (·)來計算運動向量ν時所使用的運動向量(例如圖5Β所示的實施方式中的運動向量vA、vB、vc以及vD)數目為偶數時，中值函數的定義可變化。利用中值函數來計算運動向量ν所使用的運動向量存儲結果可依照順序寫成如下形式Vl，v2，...，v2N。即，假設vn與 v(n+1)代表所存儲結果Vl，V2, ... , V2n中的兩個臨近運動向量，則運動向量Vn小於運動向量 v(n+1)(即IvnI < |v(n+1)l)。在一些實施方式中，中值函數Median(·)可定義為vN、V(N+1)或 (vn+V(n+1))/2。舉例來說，上述多個運動向量的數目為4(即2N = 4)，並且上述多個運動向量可寫為力^、％與、則中值可為(v2+v3)/2，即代表了運動向量ν等於(V2+V3)/20在其他實施方式中，上述多個運動向量的數目等於4，並且上述多個運動向量可寫為V1、v2、V3與 V4，並且中值可為V2，即代表了運動向量ν等於v2。在另一實施方式中，上述多個運動向量的數目等於4，並且上述多個運動向量可寫為Vl、v2、V3與v4，並且中值可為v3，即代表了運動向量ν等於v3。 依據圖5C所示的實施方式，子解碼單元A屬於已編碼左區塊CBy子解碼單元B以及C屬於已編碼上區塊CBu,子解碼單元D屬於已編碼左上區塊CBp更具體來說，針對圖 5C所示的第i個子區塊h來說，在已編碼左區塊CB^中選擇子解碼單元A，在已編碼上區塊 CBu中選擇子解碼單元B，在已編碼左上區塊CBul中選擇子解碼單元D。此外，針對子解碼單元B而言，子解碼單元C為已編碼上區塊CBu中右臨近子解碼單元(如果存在)。此外，上述預處理模塊可利用圖5C所示的子解碼單元A、B、C以及D的運動向量vA、vB、vc以及vD中的一或多個來計算運動向量ν。舉例來說，計算運動向量vA、vB、ve以及vD的中值，來作為特定子解碼單元(例如第i個子區塊h)的運動向量V，或者如果無法獲得運動向量\，則計算運動向量vA、vB以及vD的中值，來作為特定子解碼單元(例如第i個子區塊b》的運動向量v。表示如下ν = Median (vA, vB, vc).上述預處理模塊可決定上述特定子解碼單元的尺寸為解碼單元的視頻解碼的變換尺寸，並且圖5C所示的子解碼單元的尺寸可與變換尺寸相同(例如，4乘4，8乘8，16乘 16等等)。依據圖5B-5C所示的實施方式的變型，上述預處理模塊可利用或多或少的子解碼單元的運動向量來獲得運動向量V。屬於一或多個子解碼單元的運動向量的多種組合可用來推導特定子解碼單元的運動向量V。其精神在於特定子解碼單元的運動向量是從一組運動向量來局部導出，並且該組運動向量可與獲得當前處理區塊中的另一子解碼單元的運動向量所使用的一組運動向量不同，依據圖5D所示的實施方式，上述預處理模塊可利用步驟912中提及的多個子解碼
12單元的一部分運動向量來獲得相同解碼單元中另一子解碼單元的運動向量。參見圖5D，子解碼單元A、B、C以及D屬於當前處理區塊，其中子解碼單元A、B、C以及D為步驟912中提及的多個子解碼單元的一部分。更具體來說，針對圖5D所示的第i個子區塊、來說，子解碼單元A為左臨近子解碼單元，子解碼單元B為上臨近子解碼單元，子解碼單元C為右上臨近子解碼單元，子解碼單元D為左上臨近子解碼單元。在本實施方式中，上述預處理模塊可利用圖5D所示的子解碼單元A、B以及C的運動向量vA、vB以及ν。的中值來作為特定子解碼單元(例如第i個子區塊h)的運動向量V。表示如下ν = Median (vA, vB, vc).如果無法獲得子解碼單元C，上述預處理模塊則利用圖5D所示的子解碼單元A、B 以及D的運動向量VA、Vb以及Vd的中值，來作為特定子解碼單元的運動向量V。上述預處理模塊可決定上述特定子解碼單元的尺寸為解碼單元的視頻解碼的變換尺寸，並且圖5D所示的子解碼單元的尺寸可與變換尺寸相同(例如，4乘4，8乘8，16乘 16等等)。依據另一實施方式，例如圖5D所示的實施方式的變型，上述預處理模塊可利用圖 5D所示的子解碼單元A、B、C以及D的運動向量vA、vB、vc以及vD的中值來作為特定子解碼單元(例如第i個子區塊h)的運動向量V，並且表示如下ν = Median (vA, vB，vc，vD).本實施方式的細節在此不再贅述。依據本發明的一些實施方式以及其變型，當利用中值函數Median ( ·)來計算運動向量ν時所使用的運動向量數目為偶數時，中值函數的定義可變化。相似地，利用中值函數Mediant)來計算運動向量ν所使用的運動向量存儲
結果可依照順序寫成如下形式Vl、V2.....v2N，中值函數Median ( ·)可定義為vN、v(N+1)或
(vn+V(n+1))/2。相似的細節在此不再贅述。依據圖5A-5D所示的實施方式的變型，上述預處理模塊可在不同的模式下(例如模式1、2、3與4)選擇性操作，其中模式1、2、3與4的操作分別與圖5A-5D所示的實施方式相同或的相似。舉例來說，在模式1中，上述預處理模塊可依據圖5A所示的實施方式的相同方法來操作，而在其他模式中，例如模式2、3與4中，上述預處理模塊可分別依據圖5B-5D 所示的實施方式的相同方法來操作。依據圖5A-5D所示的任意實施方式的變型，在步驟912中，上述預處理模塊可依據至少一臨近解碼單元的至少一模式來分割解碼單元為多個子解碼單元，例如依據已解碼單元CBpCBuWBuk以及CBul中的一或多個的模式1、2、3以及/或者4來分割解碼單元為多個子解碼單元。依據第5A-5D圖所示的任意實施方式的另一變型，在步驟912中，上述預處理模塊可依據至少一個臨近解碼單元的內容來分割解碼單元為多個子解碼單元，例如依據已解碼單元CBp CBu, CBue以及CB皿中一或多個的內容來分割解碼單元為多個子解碼單元。依據上述任意實施方式的變型，無論上述預處理單元是否利用加權總和(例如 Σ keK(wk(i)vk))或者利用中值(例如 Median (vA，vB, vc)或 Median (vA，vB, vc, vD))作為上述特定子解碼單元的運動向量V，上述提及的至少一其他子解碼/解碼單元為已編碼的子解碼/解碼單元。舉例來說，在一部分實施方式變型中，上述提及的至少一其他子解碼/解碼單元包含至少一空間(spatially)已編碼的子解碼/解碼單元，以及/或者至少一時間 (temporally)已編碼的子解碼/解碼單元。在另一實施方式中，上述提及的至少一其他子解碼單元可為運動補償子解碼/解碼單元。圖6是本發明的圖2所示的實施方式的方法910所涉及的細節圖。依據本實施方式，上述預處理模塊依然分割解碼單元Cuatl)(例如當前處理解碼單元)為多個子解碼單元(例如子解碼單元{SCU(、)})，並且在步驟912中對每一子解碼單元{scuaj}執行運動向量預測。然而，當上述預處理模塊利用多個運動向量，例如如上所述的運動向量lvk}，來獲得特定子解碼單元Scuatl)的運動向量ν時，對每一子解碼單元需指定一個運動向量(例如一個參考運動向量)，從而可提供給其他子解碼/解碼單元後續參考。在編碼器與解碼器相互匹配的條件下，上述指定運動向量的準則可任意運用。在一些制定運動向量的預定規則中，包含H. 264中定義的運動向量預測子，H. 264中定義的運動向量預測具有運動向量縮放(scaling)，自左區塊填充(padding)，自上區塊填充以及自左上區塊填充。依據一種自左區塊與上區塊填充的實施方式，上述預處理模塊獲得上述特定子解碼單元SCUaci)的運動向量v，並且利用另一解碼單元(當前處理解碼單元Cuatl)之外的解碼單元)的子解碼單元的運動向量來指定運動向量，舉例來說，利用解碼單元Cuatl)的臨近解碼單元CU.aj 的一個已編碼的子解碼單元。更具體來說，對於特定子解碼單元Scuatl)而言，其他解碼單元(例如解碼單元CUawUci))的一個子解碼單元為上述其他解碼單元中最接近的子解碼單元，並且上述預處理模塊可利用其他解碼單元(例如解碼單元CUawUci))中的最接近子解碼單元的運動向量來作為特定子解碼單元SCUaci)的指定的運動向量。上述指定一個解碼單元或者一個子解碼單元的運動向量主要用來作為其他解碼單元或者子解碼單元的一個參考運動向量，而並非一定用來運動預測。如圖6所示，對於解碼單元CUatl)(例如當前處理區塊)而言，本實施方式中的臨近解碼單元{CU.aj}可包含至少一部分的已編碼左區塊CBp已編碼上區塊CBu、已編碼右上區塊CBra、以及已編碼左上區塊CBm其中上述已編碼區塊CBp CBu, CBue以及CBul中的子解碼單元可視為子區塊。為了獲得更好的補償效果，已編碼左區塊CB^中的最右列的子解碼單元的運動向量yi、y2、y3、y4、y5、y6、y7以及y8分別標示在最右列的子解碼單元中。相似地，已編碼上區塊CBu中的最低行的子解碼單元的運動向量乂」&「卩乂^乂卩乂^乂，以及X8 分別標示在最低行的子解碼單元中。此外，已編碼右上區塊CBuk的右底子解碼單元的運動向量d以及已編碼左上區塊CB皿的左底子解碼單元的運動向量X9分別標示其中。依據本實施方式，上述預處理模塊接收包含多個子解碼單元{S⑶(、)}的解碼單元Cuatl)， 並且解析解碼單元Cuatl)的數據，以及依據預先決定準則指定多個子解碼單元 Iscua0) ι中的特定子解碼單元Scuatl)的參考運動向量，其中上述參考運動量是用來被至少一其他子解碼單元參考，而並非用於特定子解碼單元Scuatl)的運動向量預測。利用參考運動向量，上述預處理模塊可快速操作，而不需要等待特定子解碼單元Scuatl)的實際運動向量的複雜的計算。具體來說，上述預處理模塊可指定上述參考運動向量為臨近解碼單元的至少一部分的運動向量。更確切地說，上述臨近解碼單元的至少一部分可為上述臨近解碼單元中的最接近特定子解碼單元的一部分。舉例來說，假設上述特定子解碼單元Sraatl)代表當前處理區塊中某一行(row) 子解碼區塊的第j個子解碼區塊，其中j在1至8之間變化。在第一指定準則(例如垂直指定)中，上述預處理模塊可利用已編碼上區塊CBu中的最接近子解碼單元的運動向量Xj 來作為特定子解碼單元SCUaci)的參考運動向量。
在另一實施方式中，假設上述特定子解碼單元Sraatl)代表當前處理區塊中某一列子解碼區塊的第j個子解碼區塊，其中j在1至8之間變化。在第二指定準則(例如水平指定)中，上述預處理模塊可利用已編碼左區塊CB^中的最接近子解碼單元的運動向量 yj來作為特定子解碼單元SCuatl)的參考運動向量。
在另一實施方式中，可選擇混合指定(hybrid designation)準則來決定上述參考運動向量。假設上述特定子解碼單元SCUaci)代表當前處理區塊中第4/8行子解碼區塊的第j個子解碼區塊，其中j在1至8之間變化。參見圖6中箭頭所指向的第4/8行子解碼區塊的第j個子解碼區塊，上述預處理模塊可利用已編碼上區塊CBu中的最接近子解碼單元的運動向量Xj來作為特定子解碼單元Sraatl)的參考運動向量。此外，假設上述特定子解碼單元SCU (t0)代表當前處理區塊中第4/8列子解碼區塊的第j個子解碼區塊，其中j在 1至7之間變化。參見圖6中箭頭所指向的第4/8列子解碼區塊的第j個子解碼區塊，上述預處理模塊可利用已編碼左區塊CB^中的最接近子解碼單元的運動向量y」來作為特定子解碼單元SCUaci)的參考運動向量。在此實施方式中，解碼單元Cuatl)中的剩餘子解碼單元的參考運動向量可利用上述任意實施方式的相同或者相似方法來獲得。在此不再贅述。需注意的是，在上述實施方式的一些變型中，上述預處理模塊可利用旗標(flag) 來控制上述操作，更準確地說，可利用明確地發出一個旗標來控制上述操作。舉例來說，依據一或多個實施方式所實施的編碼器可發出指示上述指定準則為「垂直指定」還是「水平指定」(甚至為「混合指定」)的旗標，從而通過接收攜帶上述旗標的比特流，相應地解碼器可了解所應用的指定準則。此外，在一些實施方式中，上述多種運動向量指定方法(例如「垂直指定」、「水平指定」以及「混合指定」)可用來執行局部運動向量推導。舉例來說，當應用「垂直指定」時，每一行子解碼單元的運動向量可由已編碼上解碼單元CBu的相應位置(例如已編碼上解碼單元CBu中的最接近子解碼單元)來分別獲得。本發明的優勢在於編碼器與解碼器可適當地執行局部運動向量推導，更準確地說，本發明可通過預先決定準則自多個子解碼單元的多個運動向量中選擇一個運動向量來獲得較好的壓縮性能。通過利用本發明的方法與相應裝置，運動向量預測操作與運動補償操作可不引入相關的困擾(例如較低的編碼效率)。以上所述僅為本發明的較佳實施方式，凡依本發明權利要求所做的均等變化與修飾，都應屬本發明的涵蓋範圍。
權利要求
1.一種在解碼單元的視頻解碼中執行局部運動向量推導的方法，上述方法包含將上述解碼單元分割為多個子解碼單元進行處理；對每一上述子解碼單元執行運動向量預測，其中上述對每一上述子解碼單元執行運動向量預測的步驟包含通過利用至少一其他子解碼/解碼單元的至少一運動向量，獲得特定子解碼單元的一運動向量；以及通過利用不同於獲得上述特定子解碼單元的運動向量所使用的運動向量的至少一運動向量，獲得上述解碼單元的另一子解碼單元的運動向量；以及依據上述特定子解碼單元的上述運動向量，對上述特定子解碼單元執行運動補償。
2.根據權利要求1所述的方法，其特徵在於，上述至少一其他子解碼/解碼單元包含多個其他子解碼/解碼單元，並且上述至少一其他子解碼/解碼單元的上述至少一運動向量包含上述多個其他子解碼/解碼單元的多個運動向量；並且上述對每一子解碼單元執行運動向量預測的步驟更包含計算上述多個運動向量的加權總和，以獲得上述特定子解碼單元的上述運動向量。
3.根據權利要求2所述的方法，其特徵在於，上述對每一子解碼單元執行運動向量預測的步驟更包含對上述多個運動向量執行最佳維納濾波，以決定上述多個運動向量所分別對應的多個加權參數，以獲得上述加權總和。
4.根據權利要求2所述的方法，其特徵在於，上述對每一子解碼單元執行運動向量預測的步驟更包含依據至少一臨近解碼單元的內容來決定上述多個運動向量所分別對應的多個加權參數，以獲得上述加權總和。
5.根據權利要求2所述的方法，其特徵在於，上述對每一子解碼單元執行運動向量預測的步驟更包含依據上述多個其他子解碼/解碼單元的內容來決定上述多個運動向量所分別對應的多個加權參數，以獲得上述加權總和。
6.根據權利要求2所述的方法，其特徵在於，上述對每一子解碼單元執行運動向量預測的步驟更包含利用離線訓練來決定上述多個運動向量所分別對應的多個加權參數，以獲得上述加權總禾口。
7.根據權利要求2所述的方法，其特徵在於，上述對每一子解碼單元執行運動向量預測的步驟更包含利用即時線上訓練來決定上述多個運動向量所分別對應的多個加權參數，以獲得上述加權總和。
8.根據權利要求1所述的方法，其特徵在於，上述至少一其他子解碼/解碼單元包含多個其他子解碼/解碼單元，並且上述至少一其他子解碼/解碼單元的上述至少一運動向量包含上述多個其他子解碼/解碼單元的多個運動向量；並且上述對每一子解碼單元執行運動向量預測的步驟更包含計算上述多個運動向量的平均值，以獲得上述特定子解碼單元的運動向量。
9.根據權利要求1所述的方法，其特徵在於，上述至少一其他子解碼/解碼單元包含多個其他子解碼/解碼單元，並且上述至少一其他子解碼/解碼單元的上述至少一運動向量包含上述多個其他子解碼/解碼單元的多個運動向量；並且上述對每一子解碼單元執行運動向量預測的步驟更包含計算上述多個運動向量的中值，以獲得上述特定子解碼單元的運動向量。
10.根據權利要求1所述的方法，其特徵在於，上述不同於獲得上述特定子解碼單元的上述運動向量所使用的運動向量的至少一運動向量包含上述多個子解碼單元中的一部分子解碼單元的多個運動向量，並且上述對每一子解碼單元執行運動向量預測的步驟更包含計算上述多個運動向量的中值，以獲得上述另一子解碼單元的運動向量。
11.根據權利要求1所述的方法，其特徵在於，上述將該解碼單元處理為多個子解碼單元的步驟更包含決定上述特定子解碼單元的尺寸，作為上述解碼單元的視頻解碼的變換尺寸。
12.根據權利要求1所述的方法，其特徵在於，上述將該解碼單元處理為多個子解碼單元的步驟更包含依據至少一臨近解碼單元的至少一模式，分割上述解碼單元為上述多個子解碼單元。
13.根據權利要求1所述的方法，其特徵在於，上述將該解碼單元處理為多個子解碼單元的步驟更包含依據至少一臨近解碼單元的內容，分割上述解碼單元為上述多個子解碼單元。
14.根據權利要求1所述的方法，其特徵在於，上述至少一其他子解碼/解碼單元中的每一個是已編碼的子解碼/解碼單元。
15.根據權利要求14所述的方法，其特徵在於，上述至少一其他子解碼/解碼單元包含至少一空間編碼的子解碼/解碼單元以及/或者至少一時間編碼的子解碼/解碼單元。
16.根據權利要求14所述的方法，其特徵在於，上述至少一其他子解碼/解碼單元中的每一個是運動補償子解碼/解碼單元。
17.一種對解碼單元的視頻解碼過程中執行局部運動向量推導的裝置，上述裝置包含處理電路，執行上述解碼單元的視頻解碼，其中上述處理電路包含預處理模塊，將上述解碼單元分割為多個子解碼單元進行處理，並且對每一上述子解碼單元執行運動向量預測，其中上述預處理模塊通過利用至少一其他子解碼/解碼單元的至少一運動向量，獲得特定子解碼單元的運動向量，以及依據上述特定子解碼單元的上述運動向量對上述特定子解碼單元執行運動補償，其中上述預處理模塊通過利用不同於獲得上述特定子解碼單元的運動向量所使用的運動向量的至少一運動向量，獲得上述解碼單元中另一子解碼單元的運動向量；以及至少解碼模塊，依據上述預處理模塊執行的上述運動補償來對上述解碼單元執行視頻解碼。
18.根據權利要求17所述的裝置，其特徵在於，上述至少其他子解碼/解碼單元包含多個其他子解碼/解碼單元，並且上述至少一其他子解碼/解碼單元的上述至少一運動向量包含上述多個其他子解碼/解碼單元的多個運動向量；並且上述預處理模塊計算上述多個運動向量的加權總和，以獲得上述特定子解碼單元的上述運動向量。
19.根據權利要求18所述的裝置，其特徵在於，上述預處理模塊對上述多個運動向量執行最佳維納濾波，以決定上述多個運動向量所分別對應的多個加權參數，以獲得上述加權總和。
20.根據權利要求18所述的裝置，其特徵在於，上述預處理模塊依據至少一臨近解碼單元的內容來決定上述多個運動向量所分別對應的多個加權參數，以獲得上述加權總和。
21.根據權利要求18所述的裝置，其特徵在於，上述預處理模塊依據上述多個其他子解碼/解碼單元的內容來決定上述多個運動向量所分別對應的多個加權參數，以獲得上述加權總和。
22.根據權利要求18所述的裝置，其特徵在於，上述預處理模塊利用離線訓練來決定上述多個運動向量所分別對應的多個加權參數，以獲得上述加權總和。
23.根據權利要求18所述的裝置，其特徵在於，上述預處理模塊利用線上訓練來決定上述多個運動向量所分別對應的多個加權參數，以獲得上述加權總和。
24.根據權利要求17所述的裝置，其特徵在於，上述至少一其他子解碼/解碼單元包含多個其他子解碼/解碼單元，並且上述至少一其他子解碼/解碼單元的上述至少一運動向量包含上述多個其他子解碼/解碼單元的多個運動向量；並且上述預處理模塊計算上述多個運動向量的平均值，以獲得上述特定子解碼單元的上述運動向量。
25.根據權利要求17所述的裝置，其特徵在於，上述至少一其他子解碼/解碼單元包含多個其他子解碼/解碼單元，並且上述至少一其他子解碼/解碼單元的上述至少一運動向量包含上述多個其他子解碼/解碼單元的多個運動向量；並且上述預處理模塊計算上述多個運動向量的中值，以獲得上述特定子解碼單元的上述運動向量。
26.根據權利要求17所述的裝置，其特徵在於，上述不同於獲得上述特定子解碼單元的上述運動向量所使用的運動向量的至少一運動向量包含上述多個子解碼單元中的一部分子解碼單元的多個運動向量，並且上述預處理模塊計算上述多個運動向量的中值，以獲得上述另一子解碼單元的運動向量。
27.根據權利要求17所述的裝置，其特徵在於，上述預處理模塊決定上述特定子解碼單元的尺寸，作為上述解碼單元的視頻解碼的變換尺寸。
28.根據權利要求17所述的裝置，其特徵在於，上述預處理模塊依據至少一臨近解碼單元的至少一模式，分割上述解碼單元為上述多個子解碼單元。
29.根據權利要求17所述的裝置，其特徵在於，上述預處理模塊依據至少一臨近解碼單元的內容，分割上述解碼單元為上述多個子解碼單元。
30.根據權利要求17所述的裝置，其特徵在於，上述至少一其他子解碼/解碼單元中的每一個是已編碼的子解碼/解碼單元。
31.根據權利要求30所述的裝置，其特徵在於，上述至少一其他子解碼/解碼單元包含至少一空間編碼的子解碼/解碼單元以及/或者至少一時間編碼的子解碼/解碼單元。
32.根據權利要求30所述的裝置，其特徵在於，上述至少一其他子解碼/解碼單元中的每一個是運動補償子解碼/解碼單元。
33.一種在解碼單元的視頻解碼過程中執行局部運動向量推導的方法，上述方法包含接收上述解碼單元，其中上述解碼單元包含多個子解碼單元； 解析上述解碼單元的數據；以及依據預定準則指定上述解碼單元的特定子解碼單元的參考運動向量，其中上述參考運動向量是用來供給至少一其他子解碼/解碼單元參考，並且並非使用上述參考運動向量來進行上述特定子解碼單元的運動向量預測。
34.根據權利要求33的方法，其特徵在於，上述依據預定準則指定上述解碼單元的特定子解碼單元的參考運動向量的步驟更包含指定上述參考運動向量為臨近解碼單元的至少一部分的運動向量。
35.根據權利要求34的方法，其特徵在於，上述臨近解碼單元的上述至少一部分是在上述臨近解碼單元中最接近上述特定子解碼單元的部分。
36.根據權利要求33的方法，其特徵在於，上述依據預定準則指定上述解碼單元的特定子解碼單元的參考運動向量的步驟更包含指定上述參考運動向量為定義在H. 264標準中的運動向量預測子。
全文摘要
本發明揭露一種在解碼單元的視頻解碼過程中執行局部運動向量推導的方法與相應的裝置，上述方法包含將解碼單元分割為多個子解碼單元進行處理，並且對每一子解碼單元執行運動向量預測。其中對每一子解碼單元執行運動向量預測的步驟包含通過利用至少一其他子解碼/解碼單元的至少一運動向量，獲得特定子解碼單元的運動向量，從而上述方法依據特定子解碼單元的運動向量，對特定子解碼單元執行運動補償。本發明的優勢在於編碼器與解碼器可適當地執行局部運動向量推導。通過利用本發明的方法與相應裝置，運動向量預測操作與運動補償操作可提高編碼效率。
文檔編號H04N7/32GK102223542SQ20111008938
公開日2011年10月19日 申請日期2011年4月11日 優先權日2010年4月14日
發明者林建良, 蔡玉寶, 雷少民 申請人:聯發科技股份有限公司