對幀內預測模式進行解碼的方法與流程

2023-09-20 21:14:55

本申請是申請號為201280047215.8(國際申請號為pct/kr2012/003081，國際申請日為2012年04月20日，發明名稱為「用於對幀內預測模式進行解碼的方法和設備」)的發明專利申請的分案申請。

本發明涉及一種幀內預測模式解碼方法和幀內預測模式解碼設備，並且更具體地，涉及使用當前塊的左側塊和上部塊的幀內預測模式生成mpm組並且使用該mpm組、幀內預測模式組指示符和預測模式索引對幀內預測模式進行解碼的方法和設備。

背景技術：

圖像數據必須被編碼以有效地存儲或發送圖像數據。已知mpeg-1、mpeg-2、mpeg-4、h.264/mpeg-4avc(高級視頻編碼)等被對圖像數據進行編碼的技術。在這些技術中，圖片被劃分成多個宏塊，以宏塊為單元來確定應當執行幀內編碼或或幀間編碼中的哪一種，並且使用確定的編碼方法對宏塊進行編碼。

在作為最新的圖像壓縮技術的h.264中，執行幀內預測以增強幀內編碼的效率。即，使用在空間上與待編碼的當前塊相鄰的像素值來產生預測塊，而不是參照參考圖片來編碼當前塊。具體地，通過與使用相鄰像素值原始宏塊相比較來選擇具有很小失真的幀內預測模式，並且使用所選擇的幀內預測模式和相鄰的像素值來創建待編碼的當前塊到的預測塊。創建包括當前塊與預測塊之間的差異信號的殘留塊，並且對殘留塊進行變換、量化和熵編碼。還對用於創建預測塊的幀內預測模式進行編碼。

然而，在h.264中，不管當前塊的左側塊和上部塊的幀內預測模式的方向性，均對當前塊的幀內預測模式進行編碼，因此存在編碼效率低的問題。當幀內預測模式的數量增加以增強殘留塊的編碼效率時，需要一種具有比h.264的幀內預測模式編碼方法效率高的幀內預測編碼方法和幀內預測模式解碼方法。

技術實現要素：

技術問題

本發明的目的在於提供一種方法和設備，其能夠通過使用當前塊的左側塊和上部塊的幀內預測模式創建mpm組並且使用該mpm組並使用該mpm組對當前塊的幀內預測模式進行編碼來增強圖像的壓縮效率和解壓縮效率。

技術方案

根據本發明的一個方面，提供了一種幀內預測模式解碼方法，該方法包括如下步驟：重構幀內預測模式組指示符和預測模式索引；使用當前塊的左側塊和上部塊的有效幀內預測模式來構造mpm組，所述mpm組包括三個幀內預測模式；當所述幀內預測模式組指示符指示所述mpm組時，確定與所述mpm組中的所述預測模式索引相對應的幀內預測模式作為所述當前塊的幀內預測模式；以及當所述幀內預測模式組指示符不指示所述mpm組時，使用所述預測模式索引和所述mpm組的幀內預測模式來確定所述當前塊的所述幀內預測模式。非方向性模式的模式編號比所述方向性模式的模式編號低。

在所述幀內預測模式解碼方法中，當僅所述當前塊的所述左側塊和所述上部塊的所述幀內預測模式中的一個幀內預測模式有效時，所述mpm組中包括兩個附加幀內預測模式，並且所述兩個附加的幀內預測模式根據所述幀內預測模式來確定。模式0被指派給平面模式並且模式1被指派給dc模式。

在所述幀內預測模式解碼方法中，當所述當前塊的所述左側塊和所述上部塊的所述幀內預測模式全部有效、彼此不相同並且所述幀內預測模式中的至少一個是非方向性模式時，向所述mpm組添加方向性模式；並且當所述當前塊的所述左側塊和所述上部塊的所述幀內預測模式全部有效、彼此相同並且是方向性模式時，向所述mpm組添加兩個方向性模式。

有益效果

在根據本發明的圖像編碼方法中，重構了幀內預測模式組指示符和預測模式索引，使用當前塊的左側塊和上部塊的有效幀內預測模式來構造包括三個幀內預測模式的mpm組，當幀內預測模式組指示符指示mpm組時確定與mpm組中的預測模式索引相對應的幀內預測模式作為當前塊的幀內預測模式，並且當幀內預測模式組指示符不指示mpm組時使用預測模式索引和mpm組的幀內預測模式來確定當前塊的幀內預測模式。非方向性模式的模式編號比方向性模式的模式編號低。

因此，通過向第一組添加具有與當前塊的幀內預測模式相同的較高可能性的幀內預測模式，可以減少用於對當前塊的幀內預測模式進行編碼的信息量。此外，通過向非方向性模式指派最低模式編，可以減少信息量。

附圖說明

圖1是例示根據本發明實施方式的運動圖像編碼設備的框圖。

圖2是例示根據本發明另一實施方式的運動圖像解碼設備的框圖。

圖3是例示在根據本發明實施方式運動圖像解碼設備中創建幀內預測塊的方法的圖。

圖4是例示根據本發明實施方式的幀內預測模式的概念圖。

圖5是例示根據本發明實施方式的幀內預測模式編碼順序的圖。

具體實施方式

在下文中，將參照附圖詳細描述本發明的各種實施方式。本發明可以按照各種形式來修改並且可以具有各種實施方式。這些實施方式不旨在限制本發明，而應當被理解為本發明包括屬於本發明的精神和技術範圍內的所有的變型、等同物和替換。在參照附圖來描述本發明時，相同的元件由相同的附圖標記表示。

根據本發明的運動圖像編碼設備和運動圖像解碼設備可以是用戶終端，諸如個人計算機、筆記本式個人計算機、個人數字助理、可攜式多媒體播放器、智慧型電話、無線通信終端以及電視機或提供服務的伺服器。運動圖像編碼設備和運動圖像解碼設備可以是這樣一種設備，該設備具有：諸如通信數據機的用於與各種裝置或無線或有線通信網絡通信的通信設備；存儲用於對圖像進行編碼或解碼的各種程序和數據的存儲器；以及執行所述程序以執行操作和控制的微處理器。

圖1是例示根據本發明實施方式的運動圖像編碼設備的框圖。

根據本發明實施方式的運動圖像編碼設備100包括：幀內預測模塊110、幀間預測模塊120、變換與量化模塊130、熵編碼模塊140、逆量化與逆變換模塊150、後處理模塊160、圖片緩衝器170、減法模塊190和加法模塊195。

幀內預測模塊110使用當前塊所屬的圖片或片段的重構像素來創建幀內預測塊。幀內預測模塊110根據要被預測編碼的當前塊的大小來選擇預定數量個幀內預測模式中的一個，並且利用所選擇的幀內預測模式來創建預測塊。

幀間預測模塊120使用存儲在圖片緩衝器170中的參考圖片來執行運動估計運算，並且確定用於運動估計運算的參考圖片索引和運動向量。然後，幀間預測模塊120使用參考圖片索引和運動向量來創建當前塊的幀間預測塊。

變換與量化模塊130對由幀內預測模塊110或幀間預測模塊120創建的預測塊的殘留塊進行變換和量化。使用在水平和垂直方向上的一維變換矩陣來執行該變換。使用根據變換塊的大小(即，殘留塊的大小)和幀內預測模塊而確定的變換矩陣來變換用於幀內預測的殘留塊。使用預定的變換矩陣來變換用於幀間預測的殘留塊。

變換與量化模塊130使用量化步長對變換塊進行量化。量化步長可以按照等於或大於預定大小的編碼單元來改變。

量化的變換塊被提供給逆量化與逆變換模塊150和熵編碼模塊140。

逆量化與逆變換模塊150對量化的變換塊進行逆量化並且對逆量化的變換塊進行逆變換以重構殘留塊。加法模塊將逆量化與逆變換模塊150重構的殘留塊和來自幀內預測模塊110或幀間預測模塊120的預測塊相加以創建重構塊。

後處理模塊160用於重構的圖片的圖像質量，並且包括去塊濾波器模塊161、補償(offset)模塊162以及環路濾波器模塊163。

去塊濾波器模塊161將去塊濾波器自適應地應用於預測塊和變換塊的邊界。可以將邊界限制為8×8網格的邊界。去塊濾波器模塊161確定待濾波的邊界，確定其邊界強度，並且在邊界強度大於0時確定是否應將去塊濾波器應用於邊界。當確定了應對邊界濾波時，去塊濾波器模塊161選擇要應用於邊界的濾波器並且利用所選擇的濾波器對邊界濾波。

補償模塊162按圖片或片段來確定是否應施加補償以減少經歷去塊濾波器模塊的圖像中的像素與相應的原始像素之間的失真。另選地，將片段劃分成多個補償區並且可以強度各個補償區的補償類型。補償類型可以包括預定數量個邊緣補償類型和帶補償類型。當補償類型是邊緣補償類型時，確定各個像素所屬的邊緣類型並向其應用對應的補償。邊緣類型是基於與當前像素相鄰的兩個像素值的分布而確定的。

環路濾波器模塊163在對經歷了補償模塊162的重構圖像與原始圖像相比較的結果的基礎上對重構圖像自適應地環路濾波。按照編碼單元來確定是否應對重構圖像進行環路濾波。可以按照編碼單元來改變要應用的環路濾波器的大小和係數。可以在每個片段的頭部中包括指示是否應當按照編碼單元施加自適應環路濾波器的信息。在色度信號的情況下，可以確定是否應當按圖片來應用自適應環路濾波器。因此，可以在片段頭部或圖片頭部中包括指示是否對色度分量進行濾波的信息。

圖片緩衝器170從後處理模塊160中接收經後處理的圖像數據並且以圖片為單元來重構並存儲圖像。圖片可以是以幀為單元的圖像或者以欄位為單元的圖像。

熵編碼模塊140對由變換與量化模塊130量化的量化係數信息、從幀內預測模塊140接收到的幀內預測信息、從幀間預測單元150接收到的運動信息進行熵編碼。熵編碼模塊140包括掃描模塊145，掃描模塊145用於將經量化的變換塊的係數變換成一維量化係數。

掃描模塊145確定用於將經量化的變換塊的係數變換成一維量化係數的掃描類型。掃描類型可以根據方向性幀內預測模式和變換塊的大小而變化。在向後的方向上掃描量化係數。

當經量化的變換塊大於預定大小時，變換係數被劃分成多個子塊並且被掃描。應用於子塊的變換係數的掃描類型是相同的。應用於子塊的掃描類型可以是z字形掃描，或者可以是與應用於子塊的變換係數相同的掃描類型。

圖2是例示根據本發明另一實施方式的運動圖像解碼設備200的框圖。

根據本發明實施方式的運動圖像解碼設備200包括：熵解碼模塊210、逆量化模塊220、逆變換模塊230、幀內預測模塊240、幀間預測模塊250、後處理模塊260、圖片緩衝器270和加法模塊280。

熵解碼模塊210對接收到的比特流進行解碼並且將所述比特流分離成幀內預測信息、幀間預測信息、量化係數信息等。熵解碼模塊210將解碼的幀內預測信息提供給幀內預測模塊240，並且將解碼的幀間預測信息提供給幀間預測模塊250。熵解碼模塊210包括逆掃描模塊215，逆掃描模塊215對解碼的量化係數信息進行逆掃描。

逆掃描模塊215將量化係數信息轉換成二維量化塊。為了轉換，選擇多個掃描類型中的一個。掃描類型可以根據方向性幀內預測模式和變換塊的大小而變化。在向後的方向上掃描量化係數。當量化變換塊大於預定大小時，變換係數被劃分成多個子塊並且被掃描。應用於子塊的變換係數的掃描類型是相同的。應用於子塊的掃描類型可以是z字形掃描，或者可以是與施加到子塊的變換係數相同的掃描類型。

逆量化模塊220確定當前編碼單元的量化步長預報值，並且將所確定的量化步長預報值與接收到的殘留量化步長相加以重構當前編碼單元的量化步長。逆量化模塊220使用所述量化步長和逆量化矩陣對量化塊進行逆量化。量化矩陣是根據量化塊的大小和預測模式而確定的。即，量化矩陣是在當前塊的預測模式和針對具有預定大小的量化塊的幀內預測模式中的至少一個的基礎上選擇的。

逆變換模塊230對逆量化的變換塊進行逆變換以重構殘留塊。要應用於逆量化的塊的逆變換矩陣可以根據預測模式和幀內預測模式來確定。

加法模塊280將由幀內預測模塊240或幀間預測模塊250創建的預測塊與由逆變換模塊230重構的殘留塊相加以創建重構塊。

幀內預測模塊240在從熵解碼模塊210接收到的幀內預測信息的基礎上重構當前塊的幀內預測模式。然後，幀內預測模塊240根據重構的幀內預測模式來創建預測塊。

幀間預測模塊250在從熵解碼模塊210接收到的幀間預測信息的基礎上重構參考圖片索引和運動向量。然後，幀間預測模塊250使用所述參考圖片索引和運動向量來創建當前塊的預測塊。當應用具有十進位預測的運動補償時，應用選擇的內插濾波器以創建預測塊。

後處理模塊260的操作與圖1所示的後處理模塊160的操作相同，並且因此將不再描述。

圖片緩衝器270以圖片為單元存儲經過後處理模塊260後處理的解碼圖像。

圖3是例示根據本發明實施方式的在運動圖像解碼設備200中創建幀內預測塊的方法的圖。

首先，熵解碼模塊210對來自接收到的比特流的幀內預測信息進行熵解碼(s110)。

幀內預測信息包括幀內預測模式組指示符和預測模式索引。幀內預測模式組指示符指示當前塊的幀內預測模式是屬於mpm組還是mpm組以外的組。預測模式索引是指示由幀內預測模式組指示符所指示的幀內預測模式組中的特定幀內預測模式的信息。

然後，幀內預測模塊240使用與當前塊相鄰的塊的幀內預測模式來創建mpm組並接著重構當前塊的幀內預測模式(s120)。mpm組包括三個幀內預測模式。這將參照圖4來描述。圖4是例示根據本發明實施方式的幀內預測模式的圖。

(1)在當前塊的上部塊或左側塊的幀內預測模式都存在並且彼此不同時，mpm組包括兩個幀內預測模式和一個附加幀內預測模式。

當兩個幀內預測模式中的一個是dc模式並且另一個不是平面模式時，附加幀內預測模式可以是平面模式。類似地，當兩個幀內預測模式中的一個是平面模式並且另一個不是dc模式時，附加幀內預測模式可以是dc模式。

當兩個幀內預測模式是dc模式和平面模式時，附加幀內預測模式可以是垂直模式或水平模式。

當兩個幀內預測模式既不是dc模式又不是平面模式時，附加幀內預測模式可以是在兩個幀內預測模式之間具有方向性的幀內預測模式，或者是dc模式或平面模式。

(2)在當前塊的上部塊或左側塊的幀內預測模式都存在且彼此相同時，mpm組包括幀內預測模式和兩個附加幀內預測模式。

當幀內預測模式既不是dc模式又不是平面模式時，兩個附加幀內預測模式被設置為與幀內預測模式相鄰的兩個幀內預測模式。當幀內預測模式是dc模式時，兩個附加幀內預測模式可以是平面模式和垂直模式。

(3)當只存在當前塊的上部塊或左側塊的幀內預測模式中的一個時，mpm組包括幀內預測模式和兩個附加幀內預測模式。兩個附加幀內預測模式根據幀內預測模式而確定。

(4)在當前塊的上部塊或左側塊的幀內預測模式根本不存在時，mpm組包括dc模式、平面模式和垂直模式。

當幀內預測模式組指示符指示mpm組時，幀內預測模塊240從該mpm組中選擇由預測模式索引指示的幀內預測模式，並且將所選擇的幀內預測模式確定為當前塊的幀內預測模式。幀內預測模式組指示符可以是表示當前塊的幀內預測模式是屬於mpm組還是mpm組以外的組的標記信息。

當幀內預測模式組指示符不指示mpm組時，幀內預測模塊240將屬於mpm組的幀內預測模式以外的幀內預測模式(在下文中被稱作殘留幀內預測模式)中的預測模式索引所指示的幀內預測模式確定為當前塊的幀內預測模式。指派給殘留幀內預測模式的預測模式索引可以根據mpm組的配置來改變。也就是說，解碼的預測模式索引指示根據mpm組的配置而重新排列的殘留幀內預測模式的索引。因此，幀內預測模塊240根據解碼的預測模式索引和屬於mpm組的幀內預測模式從殘留幀內預測模式中選擇當前塊的幀內預測模式。

具體地說，按照模式編號次序重新排列當前塊的殘留幀內爾預測模式，並且將與接收到的預測模式索引相對應的幀內預測模式選擇為當前塊的幀內預測模式。在這種情況下，可以重新排列殘留幀內預測模式，但是當前塊的幀內預測模式可以通過將屬於mpm組的幀內預測模式編號與當前塊的幀內預測模式索引進行比較來確定。

這種方法可應用於模式編號2被指派給非方向性模式的dc模式，模式編號34被指派給平面模式，並且方向性模式編號被指派給其它模式的情況。然而，由於選擇平面模式和dc模式作為當前塊的幀內預測模式的概率高於其它方向性模式，因此將小的模式編號(例如，模式編號0)指派給平面模式並且可以應用上述方法。在這種情況下，其它排序較低的模式的模式編號增加1。

另選地，可以將最低的索引指派給非方向性模式。例如，在當前塊的幀內預測模式是平面模式並且殘留幀內預測模式包括平面模式時，幀內預測模式索引可以包括0。例如，當殘留幀內預測模式包括平面模式和dc模式時，在按照平面模式、dc模式和方向性模式的次序來排列這些模式的狀態下，可以將預測模式索引相對應的幀內預測模式設置為當前塊的幀內預測模式。例如，模式編號0和模式編碼1可以分別指派給平面模式和dc模式，或者模式編號0和模式編碼1可以分別指派給dc模式和平面模式。在這種情況下，可以將當前塊的幀內預測模式索引屬於mpm組的幀內預測模式編號進行比較以確定當前塊的幀內預測模式。

幀內預測模塊240使用指示當前塊的變換大小的信息來確定預測塊的大小(s130)。

當預測塊的大小等於當前塊的大小時，使用當前塊的幀內預測模式和當前塊的參考像素來創建預測塊。參考像素是在當前塊之前被重構或創建的像素。

當預測塊的大小小於當前塊的大小時(即，在當前塊可以被劃分成多個子塊並且可以對這些子塊執行幀內預測時)，使用同一幀內預測模式(即，當前塊的幀內預測模式)來創建每個子塊的預測塊。解碼次序中的第二子塊或隨後子塊的預測塊使用之前子塊的重構像素來創建。因此，在以子塊為單元創建預測塊、殘留塊和重構塊之後，下一個子塊的預測塊被創建。

幀內預測模塊240確定與預測塊的大小相對應的塊的參考像素是否全部有效(s140)。參考像素是之前解碼或重構的像素。當確定參考像素中的至少一個無效時，創建該參考像素(s150)。

具體地說，當確定參考像素根本無效時，使用值2l-1替換參考像素值。這裡，l表示代表亮度分量的灰度的比特的數量。

當僅在無效參考像素的位置的一個方向上存在有效的參考像素時，複製有效參考像素中的最靠近參考像素以創建參考像素。

當在針對無效參考像素的位置的兩個方向上存在有效的參考像素時，可以複製位於預定方向上的最靠近位置的參考像素可以，或者可以取在兩個方向上的兩個最靠近的參考像素的平均值以創建參考像素。

幀內預測模塊240確定是否應當對參考像素進行過濾(s160)。根據重構的幀內預測模式和預測塊的大小對參考像素進行自適應過濾(s170)。

當幀內預測模式是dc模式時，幀內預測模塊240不對參考像素進行過濾。當幀內預測模式是垂直模式和水平模式時，幀內預測模塊240也不過濾參考像素。然而，當幀內預測模式是垂直模式和水平模式以外的方向性模式時，根據幀內預測模式和預測塊的大小對參考像素進行自適應過濾。當預測塊的大小是4×4時，不管幀內預測模式如何，出於降低複雜性的目的，不對參考像素進行過濾。過濾用於使參考像素之間的像素值的變化平滑並使用低通濾波器。低通濾波器可以是作為3-tap濾波器的[1,2,1]或者作為5-tap濾波器的[1,2,4,2,1]。當預測塊的大小的範圍從8×8到32×32時，隨著預測塊的大小的增加，在更多幀內預測模式中對參考像素進行過濾。

幀內預測模塊240根據幀內預測模式來創建預測塊(s180)。用於預測塊的參考像素可以是根據預測塊的大小和幀內預測模式而被自適應過濾的像素。

在dc模式中，位於(x＝0,…,n-1,y＝-1)的位置處的n個上部參考像素、位於(x＝1-,y＝0,…,m-1)的位置處的m個左側參考像素、以及位於(x＝-1,y＝-1)的位置處的角部像素的平均值可以確定為預測塊的預測像素。然而，可以使用該平均值的加權平均和與預測像素相鄰的參考像素來創建與參考像素相鄰的預測像素。在平面模式中，可以按照與dc模式中相同的方式來創建預測像素。

在垂直模式中，位於垂直方向上的參考像素被設置為預測像素。然而，可以使用位於垂直方向上的參考像素以及左側參考像素之間的變化來創建與左側參考像素相鄰的預測像素。所述變化表示角部參考像素和與預測像素相鄰的參考像素之間的變化。在水平模式中，除了方向之外，可以按照與垂直模式相同的方式來創建預測像素。

圖5是例示根據本發明實施方式的幀內預測模式編碼順序的圖。下面將描述在圖1所示的運動圖像編碼設備中對當前塊的幀內預測模式進行編碼的方法。這種方法可以由圖1所示的幀內預測模塊110和熵編碼模塊140來執行。

首先，確定當前塊的幀內預測模式(s210)。

然後，創建當前塊的mpm組(s220)。創建mpm組的方法與在圖2所示的幀內預測模式240中創建mpm組的方法相同，並且因此將不再描述。

隨後，確定當前塊的幀內預測模式是否屬於mpm組(s230)。

當幀內預測模式屬於mpm組時，確定指示mpm組的標記(即，幀內預測模式組指示符)和指示mpm組中的特定幀內預測模式的預測模式索引(s240)。

當幀內預測模式不屬於mpm組時，確定未指示mpm組的標記和指示mpm組的幀內預測模式以外的幀內預測模式(下文中被稱作殘留幀內預測模式)中的特定幀內預測模式的預測模式索引(s250)。

指示殘留幀內預測模式中的當前塊的幀內預測模式的預測模式索引根據mpm組的配置而改變。也就是說，預測模式索引表示根據mpm組的配置而重新排列的殘留幀內預測模式的索引。因此，預測模式索引根據當前塊的幀內預測模式和屬於mpm組的幀內預測模式而確定。

具體地說，可以按照模式編號次序來重新排列當前塊的殘留的幀內預測模式，並且當前塊的幀內預測模式的次序可以確定為預測模式索引。另選地，殘留的幀內預測模式可以重新排列，但是當前塊的幀內預測模式可以通過將屬於mpm組的幀內預測模式編號與當前塊的幀內預測模式索引進行比較來確定。

這種方法可應用於模式編號2被指派給非方向性模式的dc模式，模式編號34被指派給平面模式，並且方向性模式編號被指派給其它模式的情況。然而，由於選擇平面模式和dc模式作為當前的幀內預測模式的概率高於其它方向性模式，因此將小的模式編號(例如，模式編號0)指派給平面模式並且可以應用上述方法。在這種情況下，其它排序較低的模式的模式編號增加1。另選地，可以將最低索引指派給非方向性模式。例如，在當前塊的幀內預測模式是平面模式並且殘留幀內預測模式包括平面模式時，幀內預測模式索引可以包括0。例如，當殘留幀內預測模式包括平面模式和dc模式時，在按照平面模式、dc模式和方向性模式的次序對這些模式進行排列的情況下，可以將與預測模式索引相對應的幀內預測模式設置為當前塊的幀內預測模式。例如，模式編號0和模式編碼1可以分別指派給平面模式和dc模式，或者模式編號0和模式編碼1可以分別指派給dc模式和平面模式。在這種情況下，當前塊的幀內預測模式索引可以與屬於mpm組的幀內預測模式編號進行比較以確定當前塊的幀內預測模式。

儘管參照上述實施方式對本發明進行了描述，但是本領域普通技術人員能夠理解的是，在不脫離所附的權利要求所描述到的本發明的精神和範圍的情況下，可以以各種形式對本發明做出修改和改變。