以合併模式對圖像編碼的方法與流程

2023-09-20 21:36:05

本申請是申請日為2012年01月20日、申請號為201280042121.1、發明名稱為「以amvp模式產生預測區塊的方法」的中國專利申請的分案申請。

本發明涉及用於產生以高級運動矢量預測(amvp)模式被編碼的圖像的預測區塊的方法，更具體地，涉及用於將以amvp模式編碼的運動信息解碼以及基於運動信息來產生預測區塊的方法。

背景技術：

已經提出了很多技術用於在保持視頻質量的情況下有效地壓縮視頻信號。特別地，中間預測編碼(inter-predictioncoding)是最有效的視頻壓縮技術之一，其中，從之前的圖片中提取與當前區塊相似的區塊，並且將當前區塊與提取的區塊之間的差異編碼。

然而，在中間預測編碼方案中應當利用被編碼的殘差區塊(residualblock)來額外地傳送與每個區塊有關的運動信息。因此，對運動信息的減小數據量的有效編碼是另一種視頻壓縮技術。

在運動估算編碼中，利用預定的估算函數在參考圖片的預定搜索範圍內搜索與當前區塊最匹配的區塊。一旦在參考圖片中搜索到最匹配區塊，則僅傳送當前區塊和最匹配區塊之間的殘差(residue)，由此提高數據壓縮率。

為了將經由運動估算而編碼的當前區塊解碼，需要與運動矢量有關的信息，所述運動矢量表示當前區塊的位置和最匹配區塊的位置之間的差異。因而，運動矢量信息被編碼，並且在編碼期間被插入比特流中。如果簡單地將運動矢量信息編碼並且插入，會增大開銷，由此降低視頻數據的壓縮率。

因此，利用相鄰的區塊來預測當前區塊的運動矢量，並且僅將從預測得出的運動矢量預測者與原始運動矢量之間的差異進行編碼並傳送，由此以中間預測編碼方案來壓縮運動矢量信息。

在h.264中，當前區塊的運動矢量預測者被確定成中值(mva，mvb，mvc)。由於相鄰的區塊可能彼此相似，所以相鄰的區塊的運動矢量的中值被確定成當前區塊的運動矢量。

然而，如果相鄰區塊的一個或更多個運動矢量與當前區塊的運動矢量不同，則中值不能有效地預測當前區塊的運動矢量。

另外，隨著預測區塊在尺寸上更大並且多樣化，參考圖片的數目增多。因而，殘差區塊的數據量減小，但是要傳送的運動信息(運動矢量和參考圖片索引)的量增多。

因此，需要更有效地減小要傳送的運動信息的量的技術。另外，需要用於有效地重構以上述技術編碼的運動信息的技術。

技術實現要素：

技術問題

本發明意圖解決上述問題的目的在於提供一種通過有效地重構以amvp模式被編碼的運動信息來產生預測區塊的方法。

技術方案

本發明的目的可以通過提供一種用於以amvp模式產生預測區塊的方法來實現，包括：重構當前預測單元(pu)的參考圖片索引和差分運動矢量，搜索用於當前pu的有效空間amvp候選者，搜索用於當前pu的有效時間amvp候選者，利用有效空間amvp候選者和時間amvp候選者來產生amvp候選者列表，將具有預定值的運動矢量作為候選者添加至amvp候選者列表，當有效amvp候選者的數目小於預定數目時，將amvp候選者列表中包括的運動矢量之中的與當前pu的amvp索引相對應的運動矢量確定為當前pu的運動矢量預測者，利用差分運動矢量和運動矢量預測者來重構當前pu的運動矢量，以及在由參考圖片索引指示的參考圖片內產生與重構的運動矢量指示的位置相對應的預測區塊。

有益效果

在根據本發明的以amvp模式產生預測區塊的方法中，重構當前預測單元的參考圖片索引和差分運動矢量，並且利用當前預測單元的有效空間amvp候選者和時間amvp候選者來形成amvp候選者列表。如果有效amvp候選者的數目小於預定數目，則將具有預定值的運動矢量添加至amvp候選者列表。然後，從amvp候選者列表所包括的運動矢量之中將與當前預測單元的amvp索引相對應的運動矢量選擇為當前預測單元的運動矢量預測者。利用差分運動矢量和運動矢量預測者來重構當前預測單元的運動矢量，並且在由參考圖片索引指示的參考圖片內產生與由重構的運動矢量指示的位置相對應的預測區塊。

由於利用空間運動矢量候選者和時間運動矢量候選者更好地預測當前預測單元的運動信息，所以減小了編碼信息的量。此外，通過將以amvp模式編碼的運動信息更有效地解碼，可以快速地產生準確的預測區塊。

附圖說明

圖1是說明根據本發明的一個實施例的視頻編碼器的框圖；

圖2是說明根據本發明的一個實施例的中間預測編碼操作的流程圖；

圖3是說明根據本發明的一個實施例的合併編碼操作的流程圖；

圖4說明根據本發明的一個實施例的合併候選者的位置；

圖5說明根據本發明的另一個實施例的合併候選者的位置；

圖6是根據本發明的一個實施例的amvp編碼操作的流程圖；

圖7是說明根據本發明的一個實施例的視頻解碼器的框圖；

圖8是說明根據本發明的一個實施例的中間預測解碼操作的流程圖；

圖9是說明根據本發明的一個實施例的合併模式運動矢量解碼操作的流程圖；

圖10是說明根據本發明的另一個實施例的合併模式運動矢量解碼操作的流程圖；

圖11是說明根據本發明的一個實施例的amvp模式運動矢量解碼操作的流程圖；以及

圖12是說明根據本發明的另一個實施例的amvp模式運動矢量解碼操作的流程圖。

具體實施方式

圖1是根據本發明的一個實施例的視頻編碼器的框圖。

參見圖1，根據本發明的視頻編碼器100包括：圖片分割器110、轉換器120、量化器130、掃描器131、熵編碼器140、內預測器150，中間預測器160、反相量化器135、反相轉換器125，後處理器170、圖片儲存器180、減法器190和加法器195。

圖片分割器110通過分析輸入視頻信號來將圖片的每個最大編碼單元(lcu，largestcodingunit)分割成每個具有預定尺寸的cu、確定預測模式、以及確定用於每個cu的預測單元(pu)的尺寸。圖片分割器110根據預測模式(或預測方法)而將要被編碼的pu提供至內預測器150或中間預測器160。

轉換器120將指示輸入pu的原始區塊與從內預測器150或中間預測器160產生的預測區塊之間的殘差信號的殘差區塊進行轉換。殘差區塊由cu或pu組成。將殘差區塊劃分成最佳轉換單元，然後進行轉換。轉換矩陣可以基於預測模式(即，中間預測模式或內預測模式)來不同地確定。因為內預測殘差信號包括與內預測模式相對應的方向性，所以轉換矩陣可以根據內預測模式而針對內預測殘差信號自適應性地確定。轉換單元可以通過兩個(水平和垂直)一維轉換矩陣來進行轉換。例如，針對中間預測來確定預定的信號轉換矩陣。另一方面，在內預測的情況下，如果內預測模式是水平方向的，則殘差區塊可能是水平方向的，且因而基於離散餘弦轉換(dct)的整數矩陣與基於離散正弦轉換(dst)或基於卡洛(karhunen-loeve)轉換(klt)的整數矩陣分別垂直地和水平地應用。如果內預測模式是垂直的，則基於dst或基於klt的整數矩陣與基於dct的整數矩陣分別垂直地和水平地應用。在dc模式下，基於dct的整數矩陣在兩個方向上都應用。另外，在內預測的情況下，可以根據轉換單元的尺寸而自適應性地確定轉換矩陣。

量化器130確定量化步長以將利用轉換矩陣轉換的殘差區塊的係數量化。針對具有預定尺寸或更大尺寸的每個cu(在下文中，被稱作為量化單元)來確定量化步長。預定的尺寸可以是8×8或16×16。轉換區塊的係數利用確定的量化步長和根據預測模式而確定的量化矩陣來進行量化。量化器130使用與當前量化單元相鄰的量化單元的量化步長作為當前量化單元的量化步長預測者。

量化器130可以利用依次搜索與當前量化單元相鄰的左側、上側和左上側量化單元所得的一個或兩個有效量化步長來產生當前量化單元的量化步長預測者。例如，通過以左側、上側和左上側量化單元的順序搜索而檢測出的第一個有效量化步長可以被確定成量化步長預測者。另外，兩個有效量化步長的平均值可以被確定成量化步長預測者。如果僅一個量化步長有效，則其可以被確定成量化步長預測者。一旦確定了量化步長預測者，則當前cu的量化步長和量化步長預測者之間的差異就被傳送至熵編碼器140。

與當前cu相鄰的左側、上側和左上側cu可能都不存在。然而，根據編碼順序可以在lcu中存在前一個cu。因此，當前cu的相鄰量化單元的量化步長和在lcu內根據編碼順序在之前被編碼的量化單元的量化步長可以成為候選者。在這種情況下，1)當前cu的左側量化單元，2)當前cu的上側量化單元，3)當前cu的左上側量化單元，以及4)在之前被編碼的量化單元可以按降序排優先級。優先級的順序可以改變，並且可以省略左上側量化單元。

量化的轉換區塊被提供至反相量化器135和掃描器131。

掃描器131通過掃描量化的轉換區塊的係數來將量化的轉換區塊的係數轉換成一維量化係數。由於轉換區塊的係數分布可依賴於量化之後的內預測模式，所以根據內預測模式來確定掃描方案。另外，係數掃描方案可以隨著轉換單元的尺寸而變化。掃描模式可以根據方向性的內預測模式而不同。以相反的順序來掃描量化係數。

在將量化係數分成多個子組的情況下，將相同的掃描模式應用至每個子組的量化係數。將鋸齒形或對角線掃描模式應用於子組之間。儘管優選沿著正向方向從包括dc的主子組至其餘的子組掃描，但是沿著相反方向掃描也是可以的。可以將中間子組掃描模式設定成與內子組的掃描模式相同。在這種情況下，中間子組掃描模式根據內預測模式來確定。此外，視頻編碼器將指示轉換單元中的最後一個非零量化係數的位置的信息傳送至視頻解碼器。視頻編碼器還可以將指示每個子組中的最後一個非零量化係數的位置的信息傳送至解碼器。

反相量化器135對量化係數解量化。反相轉換器125從反相量化的轉換的係數中重構空間域殘差區塊。加法器通過將由反相轉換器125重構的殘差區塊與從內預測器150或中間預測器160接收的預測區塊相加來產生重構區塊。

後處理器170執行去區塊化濾波(deblockingfiltering)以消除來自重構圖片的區塊化偽影(blockingartifact)、執行自適應偏移施加以補償與原始圖片基於像素的差異、以及執行自適應迴路濾波以補償與原始圖片基於cu的差異。

去區塊化濾波優選地應用於具有預定尺寸或更大尺寸的pu和轉換單元之間的邊界。所述尺寸可以為8×8。去區塊化濾波過程包括：確定要被濾波的邊界、確定邊界濾波強度以應用至邊界、確定是否應用去區塊化濾波器、以及當確定出應用去區塊化濾波器時選擇濾波器以應用至邊界。

根據如下來確定是否應用去區塊化濾波器：i)邊界濾波強度是否大於0，和ii)與要濾波的邊界相鄰的兩個區塊(p區塊和q區塊)之間的邊界處的像素變化是否小於基於量化參數而確定的第一參考值。

對於去區塊化濾波，兩個或更多個濾波器是優選的。如果區塊邊界處的兩個像素之間的差的絕對值等於或大於第二參考值，則選擇執行較弱濾波的濾波器。第二參考值通過量化參數和邊界濾波強度來確定。

自適應偏移施加意在減小去區塊化濾波的圖片中的像素和原始像素之間的差異(即，變形)。可以確定是基於圖片還是基於片段(slice)來執行自適應偏移施加過程。圖片或片段可以被劃分成多個偏移區，並且可以針對每個偏移區來確定偏移類型。可存在預定數目(例如，4)的邊緣偏移類型和兩個帶偏移類型。在邊緣偏移類型的情況下，確定每個像素的邊緣類型，並且將與邊緣類型相對應的偏移施加至像素。邊緣類型基於與當前像素相鄰的兩個像素值的分布來確定。

自適應迴路濾波可以基於原始圖片與經受去區塊化濾波或自適應偏移施加的重構圖片之間的比較值來執行。自適應迴路濾波可以應用於4×4或8×8區塊中包括的所有像素上。可以針對每個cu確定是否應用自適應迴路濾波。迴路濾波器的尺寸和係數針對每個cu可以不同。指示是否針對每個cu而使用自適應迴路濾波器的信息可以被包括在每個片段標頭(header)中。在色度信號的情況下，可以基於圖片進行確定。不同於亮度，迴路濾波器可以是矩形。

可以基於片段來進行關於是否使用自適應迴路濾波的判斷。因此，指示是否針對當前片段使用自適應迴路濾波的信息被包括在片段標頭或圖片標頭中。如果信息指示針對當前片段使用自適應迴路濾波，則片段標頭或圖片標頭還可以包括指示用在自適應迴路濾波中的亮度成分的水平和/或垂直濾波長度的信息。

片段標頭或圖片標頭可以包括指示濾波器組的數目的信息。如果濾波組的數目為2或更大，則可以用預測方案來編碼濾波器係數。因此，片段標頭或圖片標頭可以包括指示是否用預測方案來編碼濾波器係數的信息。如果使用預測方案，則將預測的濾波器係數包括在片段標頭或圖片標頭中。

此外，色度成分和亮度成分可以被自適應地濾波。因此，指示每個色度成分是否被濾波的信息可以被包括在片段標頭或圖片標頭中。在此情況下，指示色度成分cr或cb是否被濾波的信息可以被共同地編碼(即，多路編碼)，以由此減小比特數目。在多數情況下，色度成分cr和cb都未被濾波以由此降低複雜性。因而，如果色素成分cr和cb都未被濾波，則最低索引被指定並且被熵編碼。如果色素成分cr和cb都被濾波，則最高索引被指定並且被熵編碼。

圖片儲存器180從後處理器170接收後處理的圖像數據、基於圖片來重構並儲存圖像。圖片可以是以幀或場的形式的圖像。圖片儲存器180包括用於儲存多個圖片的緩衝器(未示出)。

中間預測器160利用儲存在圖片儲存器180中的至少一個參考圖片來估算運動，並且確定識別參考圖片的參考圖片索引以及運動矢量。中間預測器160根據確定的參考圖像索引和運動矢量來提取並輸出與要從儲存在圖片儲存器180中的多個參考圖片之中的用於運動估算的參考圖片而被編碼的pu相對應的預測區塊。

內預測器150利用包括當前pu的圖片的重新配置的像素值來執行內預測編碼。內預測器150接收要被預測編碼的當前pu、根據當前區塊的尺寸來選擇預定數目的內預測模式之一、以及在選中的內預測模式下執行內預測。內預測器150自適應地將參考像素濾波以產生內預測區塊。如果參考像素不可用，則內預測器150可以利用可用的參考像素來產生參考像素。

熵編碼器140對從量化器130接收的量化係數、從內預測器150接收的內預測信息、以及從中間預測器160接收的運動信息進行熵編碼。

圖2是說明根據本發明的一個實施例的中間預測編碼操作的流程圖。

中間預測編碼操作包括：確定當前pu的運動信息，產生預測區塊、產生殘差區塊、對殘差區塊編碼、以及對運動信息編碼。在下文中，pu和區塊可交換地使用。

(1)確定當前pu的運動信息(s110)

當前pu的運動信息包括運動矢量和當前pu要參考的參考圖片索引。

為了確定當前pu的預測區塊，將一個或更多個重構參考圖片之一確定成當前pu的參考圖片，並且確定指示預測區塊在參考圖片中的位置的運動信息。

當前區塊的參考圖片索引可以根據當前區塊的中間預測模式而不同。例如，如果當前區塊在單向預測模式中，則參考圖片索引指示列表0(l0)所列的參考圖片之一。另一方面，如果當前區塊在雙向預測模式中，則運動信息可以包括指示l0所列的參考圖片之一和列表1(l1)所列的參考圖片之一的參考圖片索引。另外，如果當前區塊在雙向預測模式中，則運動信息可以包括指示作為l0和l1的組合的列表組合(lc)所包括的參考圖片中的一個或兩個的參考圖片索引。

運動矢量指示預測區塊在參考圖片索引所指示的圖片中的位置。運動矢量可以具有整像素解析度或1/8或1/16像素解析度。如果運動矢量不具有整像素解析度，則從整像素產生預測區塊。

(2)產生預測區塊(s120)

如果運動矢量具有整像素解析度，則通過複製參考圖片索引所指示的圖片中的由運動矢量指示的位置處的相應區塊來產生當前pu的預測區塊。

另一方面，如果運動矢量不具有整像素解析度，則利用參考圖片索引所指示的圖片中的整像素來產生預測區塊的像素。在亮度像素的情況下，可以利用8抽頭內插濾波器來產生預測像素。在色度像素的情況下，可以利用4-抽頭內插濾波器來產生預測像素。

(3)產生殘差區塊(s130)和對殘差區塊編碼(s140)

當產生了當前pu的預測區塊時，基於當前pu和預測區塊之間的差異來產生殘差區塊。殘差區塊的尺寸可以與當前pu的尺寸不同。例如，如果當前pu是2n×2n尺寸，則當前pu和殘差區塊尺寸相同。然而，如果當前pu是2n×n或n×2n尺寸，則殘差區塊可以是2n×2n區塊。即，在當前pu是2n×n區塊時，可以通過組合兩個2n×n殘差區塊來配置殘差區塊。在這種情況下，為了克服兩個2n×n預測區塊之間的邊界的不連續性，通過平滑覆蓋邊界像素來產生2n×2n預測區塊，然後利用2n×2n原始區塊(兩個當前區塊)和2n×2n預測區塊之間的差異來產生殘差區塊。

當產生了殘差區塊時，以轉換編碼尺寸為單位來對殘差區塊編碼。即，以轉換編碼尺寸為單位使殘差區塊經受轉換編碼、量化、和熵編碼。轉換編碼尺寸可以根據殘差區塊的尺寸而以四叉樹方案來確定。即，轉換編碼使用基於整數的dct。

被轉換編碼的區塊使用量化矩陣來量化。量化的矩陣通過上下文自適應二進位算術編碼(cabac)或上下文自適應可變長度編碼(cavlc)來進行熵編碼。

(4)對運動信息編碼(s150)

利用與當前pu相鄰的pu的運動信息來對當前pu的運動信息編碼。當前pu的運動信息經受合併編碼或amvp編碼。因此，確定是通過合併編碼還是amvp編碼來對當前pu的運動信息編碼，並且根據確定的編碼方案來對當前pu的運動信息編碼。

以下將參照圖3給出合併編碼方案的描述。

參見圖3，獲得空間合併候選者和時間合併候選者(s210和s220)。

為了方便起見，將以首先獲得空間合併候選者然後獲得時間合併候選者作為實例。然而，本發明不局限於這種獲得空間合併候選者和時間合併候選者的順序。例如，可以首先獲得時間合併候選者，然後可以獲得空間合併候選者，或者可以並行地獲得空間合併候選者和時間合併候選者。

1)空間合併候選者

空間合併候選者可以以下列實施例之一來配置。空間合併候選者配置信息可以被傳送至視頻解碼器。在此情況下，空間合併候選者配置信息可以指示下列實施例之一或指示下列實施例之一中的合併候選者的數目的信息。

(a)實施例1(空間合併候選者配置1)

如圖4中所示，多個空間合併候選者可以是與當前pu相鄰的左側pu(區塊a)、上側pu(區塊b)、右上側pu(區塊c)和左下側pu(區塊d)。在此情況下，所有的有效pu都可以是候選者，或者可以通過以a、b、c和d的順序來掃描區塊a至d而選擇兩個有效pu作為候選者。如果在當前pu的左側存在多個pu，則可以從多個左側pu之中將有效的最上側pu或最大的有效pu確定為與當前pu相鄰的左側pu。類似地，如果在當前pu之上存在多個pu，則可以在多個上側pu之中將有效的最左側pu或最大的有效pu確定為與當前pu相鄰的上側pu。

(b)實施例2(空間合併候選者配置2)

如圖5中所示，通過以a、b、c、d和e的順序來掃描區塊a至e，多個空間合併候選者可以是選自與當前pu相鄰的左側pu(區塊a)、上側pu(區塊b)、右上側pu(區塊c)、左下側pu(區塊d)和左上側pu(區塊e)之中的兩個有效pu。在本文中，左側pu可以與區塊e而不與區塊d相鄰。類似地，上側pu可以與區塊e而不與區塊c相鄰。

(c)實施例3(空間合併候選者配置3)

如圖5中所示，與當前pu相鄰的左側區塊(區塊a)、上側區塊(區塊b)、右上側區塊(區塊c)、左下側區塊(區塊d)和左上側區塊(區塊e)可以以此順序成為候選者，如果它們是有效的。在此情況下，如果區塊a至d中的一個或更多個無效，則區塊e可用。

(d)實施例4(空間合併候選者配置4)

如圖5中所示，多個空間合併候選者可以包括與當前pu相鄰的左側pu(區塊a)、上側pu(區塊b)、以及拐角pu(區塊c、d和e中的一個)。通過以c、d和e的順序來掃描右上側pu(區塊c)、左下側pu(區塊d)和左上側pu(區塊e)，拐角pu是它們之中第一有效的一個。

在以上實施例中，在當前pu之上的空間合併候選者的運動信息可以根據當前pu的位置而不同地設定。例如，如果當前pu處於lcu的上邊界，則與當前pu相鄰的上側pu(區塊b、c或e)的運動信息可以是當前pu自身的運動信息或者是相鄰pu的運動信息。上側pu的運動信息可以根據當前pu的尺寸和位置而被確定為其自身的運動信息或相鄰pu的運動信息(參考圖片索引和運動矢量)之一。

2)時間合併候選者

時間合併候選者的參考圖片索引和運動矢量在額外的過程中獲得。時間合併候選者的參考圖片索引可以利用與當前pu空間相鄰的pu之一的參考圖片索引來獲得。

當前pu的時間合併候選者的參考圖片索引可以利用與當前pu相鄰的左側pu(區塊a)、上側pu(區塊b)、右上側pu(區塊c)、左下側pu(區塊d)和左上側pu(區塊e)的參考圖片索引中的全部或一部分來獲得。例如，可以使用與當前pu相鄰的左側pu(區塊a)、上側pu(區塊b)和拐角區塊(區塊c、d和e中的一個)的參考圖片索引。另外，通過以a、b、c、d和e的順序來掃描與當前pu相鄰的左側pu(區塊a)、上側pu(區塊b)、右上側pu(區塊c)、左下側pu(區塊d)和左上側pu(區塊e)，可以從它們的參考圖片索引之中使用奇數個(例如，3個)有效pu的參考圖片索引。

以下將描述使用與當前pu相鄰的左側pu、上側pu和拐角pu的參考圖片索引來獲得當前pu的時間合併候選者的參考索引的情況。

獲得與當前pu相鄰的左側pu的參考圖片索引(在下文中，被稱作為左側參考圖片索引)、上側pu的參考圖片索引(在下文中，被稱作為上側參考圖片索引)、和拐角pu的參考圖片索引(在下文中，被稱作為拐角參考圖片索引)。儘管拐角puc、d和e中僅一個被作為候選者，但是本發明不局限於此，還可以設想在可替選的實施例中，puc和d被設定為候選者(因而，四個候選者)、或者puc、d和e都被設定為候選者(因而，五個候選者)。

儘管本文使用了三個或更多個有效參考圖片索引，但是也可以使用所有的有效參考圖片索引、或者僅使用預定位置處的參考圖片索引。在不存在任何有效參考圖片索引的情況下，參考圖片索引0可以被設定為時間合併候選者的參考圖片索引。

如果使用多個參考圖片索引，則這些參考圖片索引之中的最頻繁使用的參考圖片索引可以被設定為時間合併候選者的參考圖片索引。當多個參考圖片索引被最頻繁地使用時，所述多個參考圖片索引之中的具有最小值的參考圖片索引、或左側區塊或上側區塊的參考圖片索引可以被設定為時間合併候選者的參考圖片索引。

然後，將描述用於獲得時間合併候選者的運動矢量的操作。

確定包括時間合併候選者區塊的圖片(在下文中，被稱作為時間合併候選者圖片)。時間合併候選者圖片可以被設定成具有參考圖片索引0的圖片。在此情況下，如果片段類型是p，則列表0中的第一圖片(即，具有索引0的圖片)被設定為時間合併候選者圖片。如果片段類型是b，則由片段標頭中的指示時間合併候選者列表的標誌所指示的參考圖片列表中的第一圖片被設定為時間合併候選者圖片。例如，如果標誌為1，則時間合併候選者圖片可以選自列表0，而如果標誌為0，則時間合併候選者圖片可以選自列表1。

隨後，從時間合併候選者圖片獲得時間合併候選者區塊。可以將時間合併候選者圖片中的對應於當前pu的多個區塊中的一個確定為時間合併候選者區塊。在此情況下，對應於當前pu的多個區塊被排列優先級，並且根據優先級來將第一個有效的對應區塊選擇為時間合併候選者區塊。

例如，可以將時間合併候選者圖片中的與對應於當前pu的區塊相鄰的左下拐角區塊、或者時間合併候選者圖片中的對應於當前pu的區塊所包括的左下側區塊設定為第一候選者區塊。另外，可以將時間合併候選者圖片中的位於對應於當前pu的區塊的中心處的包括左上側像素的區塊或者包括右下側像素的區塊設定為第二候選者區塊。

如果第一候選者區塊有效，則第一候選者區塊被設定為時間合併候選者區塊。另一方面，如果不是第一候選者區塊有效，而是第二候選者區塊有效，則第二候選者區塊被設定為時間合併候選者區塊。或者可以根據當前pu的位置僅使用第二候選者區塊。當前pu可以位於片段中或lcu中。

當確定出時間合併候選者預測區塊時，時間合併候選者預測區塊的運動矢量被設定為時間合併候選者運動矢量。

同時，可以根據當前pu的尺寸而自適應地去掉時間合併候選者。例如，如果當前pu是4×4區塊，則時間合併候選者可以被去掉以降低複雜性。

然後，產生合併候選者列表(s230)

以預定順序利用有效合併候選者來產生合併候選者列表。如果多個合併候選者具有相同的運動信息(即，相同的運動矢量和相同的參考圖片索引)，則從合併候選者列表中刪除排位最後的合併候選者。

例如，預定順序在實施例1(空間合併候選者配置1)中可以是a、b、col、c和d。在這裡，col表示時間合併候選者。

在實施例2(空間合併候選者配置2)中，可以以兩個有效pu和col的順序來產生合併候選者列表，通過以區塊a、b、c、d和e的順序來掃描這些區塊而確定所述兩個有效pu。

在實施例3(空間合併候選者配置3)中，預定順序可以是a、b、col、c和d。如果區塊a、b、c和d中的至少一個無效，則可以添加區塊e。在此情況下，區塊e可以被添加在最後的排位。另外，可以以(a和d之一)、(c、b和e之一)和col的順序來產生合併候選者列表。

在實施例4(空間合併候選者配置4)中，預定順序可以是a、b、col、拐角，或者a、b、拐角、col。

合併候選者的數目可以基於片段或lcu來確定。在此情況下，以上述實施例中的預定順序來產生合併候選者列表。

確定是否要產生合併候選者(s240)。在合併候選者的數目被設定成固定值的情況下，如果有效合併候選者的數目小於固定值，則產生合併候選者(s250)。產生的合併候選者被添加至合併候選者列表。在此情況下，產生的合併候選者被添加至合併候選者列表中的排位最後的合併候選者之下。如果添加多個合併候選者，則以預定順序來添加所述多個合併候選者。

添加的合併候選者可以是具有運動矢量0和參考圖片索引0的候選者(第一添加合併候選者)。另外，添加的合併候選者可以是通過將有效合併候選者的運動信息組合而產生的候選者(第二添加合併候選者)。例如，可以通過將時間合併候選者的運動信息(參考圖片索引)與有效空間合併候選者的運動信息(運動矢量)組合而產生候選者，然後將其添加至合併候選者列表。可以以第一添加合併候選者和第二添加合併候選者的順序或者相反的順序來添加合併候選者。

相反，如果合併候選者的數目可變，並且僅使用有效合併候選者，則可以省略步驟s240和s250。

從產生的合併候選者列表中將合併候選者確定為當前pu的合併預測者(s260)

然後，對合併預測者的索引(即，合併索引)編碼(s270)。在單個合併候選者的情況下，省略合併索引。另一方面，在兩個或更多個合併候選者的情況下，對合併索引編碼。

合併索引可以通過固定長度編碼或cavlc來編碼。如果以cavlc，則用於碼字映射的合併索引可以根據pu形狀和pu索引來調整。

合併候選者的數目可以是變化的。在此情況下，利用根據有效合併候選者的數目而確定的表來選擇與合併索引相對應的碼字。

合併候選者的數目可以是固定的。在此情況下，利用與合併候選者的數目相對應的單個表來選擇與合併索引相對應的碼字。

將參照圖6描述amvp編碼方案。

參見圖6，獲得空間amvp候選者和時間amvp候選者(s310和s320)。

1)空間amvp候選者

(a)空間amvp候選者配置1

如圖5中所示，空間amvp候選者可以包括：與當前pu相鄰的左側pu(區塊a)和左下側pu(區塊d)中的一個(左側候選者)，以及與當前pu相鄰的右側pu(區塊b)、右上側pu(區塊c)和左上側pu(區塊e)中的一個(上側候選者)。通過以預定順序來掃描pu而將第一有效pu的運動矢量選擇為左側候選者或上側候選者。左側pu可以以a和d的順序或者以d和a的順序來掃描。上側pu可以以b、c和e的順序或者以c、b和e的順序來掃描。

(b)空間amvp候選者配置2

如圖4中所示，通過以a、b、c和d的順序來掃描與當前pu相鄰的左側pu(區塊a)、上側pu(區塊b)、右上側pu(區塊c)和左下側pu(區塊d)，空間amvp候選者可以是選自它們之中的兩個有效pu。在此情況下，所有的有效pu都可以是候選者，或者通過以a、b、c和d的順序來掃描區塊a、b、c和d所獲得的兩個有效pu可以是候選者。如果在當前pu的左側存在多個pu，則可以將有效的最上側pu或具有最大面積的有效pu設定為左側pu。類似地，如果在當前pu之上存在多個pu，則可以將有效的最左側pu或者具有最大面積的有效pu設定為上側pu。

(c)空間amvp候選者配置3

如圖5中所示，空間amvp候選者可以包括通過以a、b、c、d和e的順序來掃描與當前pu相鄰的左側pu(區塊a)、右側pu(區塊b)、右上側pu(區塊c)、左下側pu(區塊d)和左上側pu(區塊e)而獲得的兩個有效pu。左側pu可以與區塊e而不與區塊d相鄰。同樣地，上側pu可以與區塊e而不與區塊c相鄰。

(d)空間amvp候選者配置4

如圖5中所示，空間amvp候選者可以是選自與當前pu相鄰的左側pu(區塊a)、上側pu(區塊b)、右上側pu(區塊c)、左下側pu(區塊d)和左上側pu(區塊e)中的四個區塊。在此情況下，當區塊a至d中的一個或更多個無效時，區塊e可以是可用的。

(e)空間amvp候選者配置5

如圖5中所示，空間amvp候選者可以包括與當前pu相鄰的左側pu(區塊a)、上側pu(區塊b)和拐角pu(區塊c、d和e中的一個)。通過以c、d和e的順序來掃描右上側pu(區塊c)、左下側pu(區塊d)和左上側pu(區塊e)，拐角pu是它們之中的第一有效pu。

在以上實施例中，在當前pu之上的amvp候選者的運動信息可以根據當前pu的位置而不同地設定。例如，如果當前pu處於lcu的上邊界，則與當前pu相鄰的上側pu(區塊b、c或e)的運動矢量可以是當前pu自身的運動矢量或者是相鄰pu的運動矢量。上側pu的運動矢量可以根據當前pu的尺寸和位置而被確定為其自身的運動矢量或相鄰pu的運動矢量。

2)時間amvp候選者

因為時間amvp候選者僅需要運動信息，所以與合併候選者相比不需要獲得參考圖片索引。將首先描述用於獲得時間amvp候選者的運動矢量的操作。

確定包括時間amvp候選者區塊的圖片(在下文中，被稱作為時間amvp候選者圖片)。時間amvp候選者圖片可以被設定成具有參考圖片索引0的圖片。在此情況下，如果片段類型是p，則列表0中的第一圖片(即，具有索引0的圖片)被設定為時間amvp候選者圖片。如果片段類型是b，則由片段標頭中的指示時間amvp候選者列表的標誌所指示的參考圖片列表的第一圖片被設定為時間amvp候選者圖片。

然後，從時間amvp候選者圖片獲得時間amvp候選者區塊。這以與用於獲得時間合併候選者區塊的操作相同的方式來執行，因而本文不再贅述。

同時，可以根據當前pu的尺寸而自適應地去掉時間amvp候選者。例如，如果當前pu是4×4區塊，則時間amvp候選者可以被去掉以降低複雜性。

然後，產生amvp候選者列表(s330)。

以預定順序利用有效amvp候選者來產生amvp候選者列表。如果多個amvp候選者具有相同的運動信息(即，參考圖片不必是相同的)，則可以從amvp候選者列表中刪除排位最後的amvp候選者。

在空間amvp候選者配置1中，預定順序是a和d之一(a和d的順序或d和a的順序)、b、c和e之一(b、c和e的順序、或者c、b和e的順序)、col，或者預定順序是col、a和d之一、b、c和e之一。在這裡，col表示時間amvp候選者。

在空間amvp候選者配置2中，預定順序為a、b、col、c、d，或者預定順序為c、d、col、a、b。

在空間amvp候選者配置3中，預定順序為(a、b、c、d和e以此順序中的兩個有效區塊)、col，或者預定順序為col、(a、b、c、d和e以此順序中的兩個有效區塊)。

在空間amvp候選者配置4中，預定順序是a、b、col、c和d。如果區塊a、b、c和d中的至少一個無效，則可以將區塊e添加至最後的排位。

在空間amvp候選者配置5中，預定順序是a、b、col和拐角。

確定是否要產生amvp候選者(s340)。在amvp候選者的數目被設定成固定值的情況下，如果有效amvp候選者的數目小於該固定值，則產生amvp候選者(s350)。固定值可以為2或3。產生的amvp候選者被添加至amvp候選者列表中的排位最後的amvp候選者之下。添加的amvp候選者可以是具有運動矢量0的候選者。

相反，如果amvp候選者的數目可變，並且僅使用有效amvp候選者，則可以省略步驟s340和s350。

從amvp候選者列表中選擇當前pu的運動矢量預測者(s360)。產生指示預測者的amvp索引。

然後，產生當前pu的運動矢量與運動矢量預測者之間的差分運動矢量(s370)。

對當前pu的參考圖片索引、差分運動矢量、和amvp索引編碼(s380)。在單個amvp候選者的情況下，可以省略amvp索引。

amvp索引可以通過固定長度編碼或cavlc來編碼。如果採用cavlc，則可以根據pu形狀或pu索引來調整用於碼字映射的amvp索引。

amvp候選者的數目可以是變化的。在此情況下，利用根據有效amvp候選者的數目而確定的表來選擇與amvp索引相對應的碼字。

同時，合併候選者區塊可以與amvp候選者區塊相同。例如，在amvp候選者配置與合併候選者配置相同的情況下。因而，可以降低編碼器的複雜性。

圖7是根據本發明的一個實施例的視頻解碼器的框圖。

參見圖7，本發明的視頻解碼器包括：熵解碼器210、反相量化器/反相轉換器220、加法器270、去區塊化濾波器250、圖片儲存器260、內預測器230、運動補償預測器240和內/中間開關280。

熵解碼器210通過對從視頻編碼器接收的編碼的比特流解碼而從該編碼的比特流分離出內預測模式索引、運動信息、以及量化係數序列。熵解碼器210將解碼的運動信息提供至運動補償預測器240，將內預測模式索引提供至內預測器230和反相量化器/反相轉換器220，以及將量化係數序列提供至反相量化器/反相轉換器220。

反相量化器/反相轉換器220將量化係數序列轉換成二維陣列的去量化係數。對於轉換，可以基於當前區塊的預測模式(即，內預測和中間預測之一)和內預測模式中的至少一種來選擇多個掃描模式之一。從內預測器230或熵解碼器210接收內預測模式。

反相量化器/反相轉換器220利用選自多個量化矩陣的量化矩陣來從二維陣列的去量化係數中重構量化係數。即使對於具有相同尺寸的區塊，反相量化器/反相轉換器220也基於當前區塊的預測模式和內預測模式中的至少一種來選擇量化矩陣。然後通過反相轉換重構的量化係數來重構殘差區塊。

加法器270將從反相量化器/反相轉換器220接收的重構殘差區塊與從內預測器230或運動補償預測器240產生的預測區塊相加，由此重構圖像區塊。

去區塊化濾波器250對加法器270產生的重構圖像執行去區塊化濾波。因而，可以減小在量化期間由圖像損失引起的去區塊化偽影。

圖片儲存器260包括幀存儲器，所述幀存儲器保存由去區塊化濾波器250去區塊化濾波的局部解碼圖像。

內預測器230基於從熵解碼器210接收的內預測模式索引來確定當前區塊的內預測模式，並且根據確定的內預測模式來產生預測區塊。

運動補償預測器240基於運動矢量信息而從儲存在圖片儲存器260中的圖片產生當前區塊的預測區塊。如果施加具有分像素精度的運動補償，則利用選中的內插濾波器來產生預測區塊。

內/中間開關280將從內預測器230產生的預測區塊和從運動補償預測器240產生的預測區塊之一提供至加法器270。

圖8是說明根據本發明的一個實施例的中間預測解碼操作的流程圖。

參見圖8，視頻解碼器可以檢查要解碼的當前pu是否以skip模式被編碼(s405)。可以基於cu的skip_flag來進行檢查。

如果當前pu以skip模式被編碼，則根據與skip模式相對應的運動信息解碼過程來對當前pu的運動信息解碼(s410)。與skip模式相對應的運動信息解碼過程與合併模式相對應的運動信息解碼過程相同。

複製當前pu的被解碼的運動信息所指示的參考圖片中的相應區塊，由此產生當前pu的重構區塊(s415)。

另一方面，如果當前pu未以skip模式編碼，則確定當前pu的運動信息是否以合併模式被編碼(s420)。

如果當前pu的運動信息以合併模式被編碼，則在與合併模式相對應的運動信息解碼過程中將當前pu的運動信息解碼(s425)。

利用當前pu的被解碼的運動信息來產生預測區塊(s430)。

如果當前pu的運動信息以合併模式被編碼，則對殘差區塊解碼(s435)。

然後，利用預測區塊和殘差區塊來產生當前pu的重構區塊(s440)。

另一方面，如果當前pu的運動信息未以合併模式編碼，則在與amvp模式相對應的運動信息解碼過程中將當前pu的運動信息編碼(s445)。

然後，利用當前pu的被解碼的運動信息來產生預測區塊(s450)，並且對殘差區塊解碼(s455)。利用預測區塊和殘差區塊來產生重構區塊(s460)。

運動信息解碼過程根據當前pu的運動信息的編碼模式而不同。當前pu的運動信息的編碼模式可以是合併模式和amvp模式中的一種。在skip模式中，執行與合併模式中相同的運動信息解碼過程。

首先，將給出在當前pu的運動信息的編碼模式是合併模式時的運動信息解碼操作的描述。

圖9是說明在合併候選者的數目可變時的運動矢量解碼操作的流程圖。

參見圖9，確定是否存在任何合併碼字(s510)。

在不存在合併碼字時，搜索有效合併候選者，確定是否存在當前pu的單個合併候選者(s520)。之前已經參照圖3描述了合併候選者配置和合併候選者搜索順序(即，列出的順序)。

根據有效合併候選者的搜索，利用合併候選者的運動信息來產生當前pu的運動信息(s530)。即，合併候選者的參考圖片索引和運動矢量被設定為當前pu的參考圖片索引和運動矢量。

在存在合併碼字時，搜索有效合併候選者，並且合併候選者列表由有效合併候選者組成(s540)。之前已經參照圖3描述了用於配置合併候選者和產生合併候選者列表的方法。

選擇與合併候選者的數目相對應的vlc表(s550)。

重構與合併碼字相對應的合併索引(s560)。

從合併候選者列表選擇與合併索引相對應的合併候選者，並且將合併候選者的運動信息設定為當前pu的運動信息(s570)。

圖10是說明在合併候選者的數目固定時的運動矢量解碼操作的流程圖。合併候選者的數目可以基於圖片或片段來固定。

參見圖10，搜索有效合併候選者(s610)。合併候選者包括空間合併候選者和時間合併候選者。之前已經參照圖3描述了空間合併候選者的位置、用於獲得空間合併候選者的方法、時間合併候選者的位置、以及用於獲得時間合併候選者的方法。如果當前pu小於預定的尺寸，則可以不使用時間合併候選者。例如，針對4×4pu可以省略合併候選者。

根據有效合併候選者的搜索，確定是否產生合併候選者(s620)。如果有效合併候選者的數目小於預定的值，則產生合併候選者(s630)。可以通過組合有效合併候選者的運動信息來產生合併候選者。可以添加具有運動矢量0和參考圖片索引0的合併候選者。以預定順序來添加合併候選者。

利用合併候選者來形成合併列表(s640)。這個步驟可以通過組合步驟s620和s630來執行。之前已經參照圖3描述了合併候選者配置和合併候選者搜索順序(即，列出的順序)。

重構與接收的比特流中的合併碼字相對應的合併索引(s650)。由於合併候選者的數目是固定的，所以與合併碼字相對應的合併索引可以從與合併候選者的數目相對應的一個解碼表中獲得。然而，可以根據是否使用時間合併候選者來使用不同的解碼表。

從合併列表中搜索與合併索引相對應的候選者(s660)。搜索的合併候選者被確定成合併預測者。

一旦確定出合併預測者，就利用合併預測者的運動信息來產生當前pu的運動信息(s670)。具體地，將合併預測者的運動信息、即合併預測者的參考圖片索引和運動矢量確定成當前pu的參考圖片索引和運動矢量。

現在將給出在當前pu的運動信息編碼模式是amvp時的運動信息解碼操作的描述。

圖11是說明在amvp候選者的數目可變時的運動矢量解碼操作的流程圖。

參見圖11，解析當前pu的參考圖片索引和差分運動矢量(s710)。

確定是否存在amvp碼字(s720)。

在不存在amvp碼字時，搜索有效amvp候選者、確定當前pu的amvp候選者的數目為1(s730)。之前已經參照圖6詳細地描述了amvp候選者配置和amvp候選者搜索順序(即，列出的順序)。

根據有效amvp候選者的搜索，將amvp候選者的運動矢量設定為當前pu的運動矢量預測者(s740)。

在不存在amvp碼字時，通過搜索有效amvp候選者來產生amvp候選者列表(s750)。之前已經參照圖6詳細地描述了amvp候選者配置和amvp候選者搜索順序(即，列出的順序)。

選擇與amvp候選者的數目相對應的vlc表(s760)。

重構與amvp碼字相對應的amvp索引(s770)。

從amvp候選者列表中搜索與amvp索引相對應的amvp，並且將amvp候選者的運動矢量設定為當前pu的運動矢量預測者(s780)。

將在步驟s740或s780中獲得的運動矢量預測者和在步驟s710中獲得的差分運動矢量之和設定為當前區塊的最終運動矢量(s790)。

圖12是說明在amvp候選者的數目固定時的運動矢量解碼操作的流程圖。

參見圖12，解析當前pu的參考圖片索引和差分運動矢量(s810)。

搜索有效amvp候選者(s820)。amvp候選者包括空間amvp候選者和時間amvp候選者。之前已經參照圖6描述了空間amvp候選者的位置、用於獲得空間amvp候選者的方法、時間amvp候選者的位置、以及用於獲得時間amvp候選者的方法。如果當前pu小於預定尺寸，則可以不使用時間amvp候選者。例如，可以針對4×4pu省略amvp候選者。

基於有效amvp候選者的數目來確定是否產生amvp候選者(s830)。如果有效amvp候選者的數目小於預定值，則產生amvp候選者(s840)。預定值可以是2或3。

例如，在存在空間上側amvp候選者、而不存在空間左側amvp候選者的情況下，如果存在除了空間上側amvp候選者之外的有效pu，則可以添加有效pu的運動矢量。相反，在存在空間左側amvp候選者、而不存在空間上側amvp候選者的情況下，如果存在除了空間左側amvp候選者之外的有效pu，則可以添加有效pu的運動矢量。或者可以添加具有運動矢量0的amvp候選者。

利用有效amvp候選者和/或產生的amvp候選者來產生amvp候選者列表(s850)。步驟s850可以在步驟s820之後執行。在此情況下，步驟s850在步驟s840之後。之前已經參照圖6描述了如何產生候選者列表。

恢復與amvp碼字相對應的amvp索引(s860)。amvp索引可以通過固定長度編碼來編碼。

然後，從amvp候選者列表中搜索與amvp索引相對應的amvp候選者(s870)。搜索到的amvp候選者被確定為amvp預測者。

將amvp預測者的運動矢量確定為當前pu的運動矢量(s880)。

將在步驟s810中獲得的差分運動矢量和在步驟s880中獲得的運動矢量預測者之和設定為當前pu的最終運動矢量，並且將在步驟s810中獲得的參考圖片索引設定為當前pu的參考圖片索引(s880)。

對於本領域的技術人員顯然的是，在不脫離本發明的精神或範圍的情況下可以對本發明進行各種修改和變型。因而，本發明意在覆蓋本發明的修改和變型，假如這些修改和變型落入所附權利要求及其等同物的範圍內。