幀內編碼模式的製作方法
2023-05-15 01:44:16 2
本發明通常涉及對視頻圖像進行編碼的方法、對經編碼的視頻圖像進行解碼的方法、用於對視頻圖像進行編碼的裝置以及用於對經編碼的視頻圖像進行解碼的裝置。
背景技術：
在h.264(參見「mpeg-4avc/h.264文獻iso/iec14496-10」)和hevc(參見「b.bross,w.j.han,g.j.sullivan,j.r.ohm,t.wiegandjctvc-k1003，「高效率視頻編碼(hevc)文本規範草案9」，2012年10月」和「g.sulivan,j.ohm,w.jhan,t.wiegand「高效率視頻編碼(hevc)標準概述」，tcsvt2012(http://iphome.hhi.de/wiegand/assets/pdfs/2012_12_ieee-hevc-overview.pdf」)標準中，可以使用相應的9個和35個幀內預測模式。該模式下的編碼基於根據在當前塊被編碼之前選擇的模式所確定的最可能模式(mpm)的先前計算。
在h.264標準中，幀內4×4和幀內8×8預測與基於相鄰重構像素的要編碼的當前塊(圖1中的「blc」)的像素的空間估計相對應。h.264標準規定了不同的方向性預測模式，以便詳述像素預測。在宏塊(mb)的4×4和8×8塊大小上定義了九個幀內預測模式。如圖2所描述的，這些模式中的八個模式由基於要預測的當前塊周圍的像素(左列和頂行)的1d方向性外插組成。幀內預測模式2(dc模式)將預測的塊像素定義為可用周圍像素的平均值。
在h264的幀內4×4模式預測中，預測取決於重構的相鄰像素，如圖1所示。
要注意，在圖1中，「blc」表示要編碼的當前塊，陰影區域對應於重構像素或因果區域，圖片(圖像)的剩餘部分尚未編碼，並且因果部分中的左列和頂行的像素用於執行空間預測。
關於幀內4×4預測，圖2中示出了不同的模式。
這些4×4預測如下執行，例如：
在模式1(水平)中，利用重構像素「j」(左列)預測像素「e」、「f」、「g」和「h」。
在模式5中，例如，通過(q+a+1)/2預測「a」，並且通過(a+2b+c+2)/4預測「g」和「p」。
類似地，圖3圖示了幀內8×8預測的原理。
這些8×8預測如下執行，例如：
要注意，下面示出的「prd(i,j)」表示當前塊的要預測的像素，坐標為行和列(i,j)。索引(0,0)的第一像素是當前塊中的左上角像素。
在模式1(水平)中，例如，利用重構的「q」像素預測像素prd(0,0)，prd(0,1)，...和prd(0,7)。
在模式5中，例如，通過(m+a+1)/2預測prd(0,0)，並且同樣，通過(a+2b+c+2)/4)預測prd(1,2)和prd(3,3)。
然後使用不同的預測方向執行幀內預測。在殘差(即當前塊與預測塊之間的差)被頻率變換(dct)、量化和最終編碼之後，將其發送出。在編碼處理之前，從可用的九個預測模式中，選擇最佳預測模式。對於方向預測，例如，可以使用在要編碼的當前塊與預測塊之間計算的sad(絕對差之和)度量。顯然，針對每個子分區對預測模式進行編碼。
在h.264標準中，mpm對應於「左」和「上」塊(參見圖1)的幀內編碼模式的索引的最小值。如果相鄰塊的幀內編碼模式不可用，則默認將dc模式(索引＝2)分配給當前塊。
關於hevc標準中的mpm，從上述參考文獻中提取以下：g.sulivan,j.ohm,w.jhan,t.wiegand「高效率視頻編碼(hevc)標準概述」，tcsvt2012
(http://iphome.hhi.de/wiegand/assets/pdfs/
2012_12_ieee-hevc-overview.pdf，第1658頁第1列和第2列，
「7)模式編碼：
hevc支持總共33個角度幀內預測模式以及用於所有塊大小的亮度預測的平面幀內預測模式和dc幀內預測模式(參見圖4)。由於方向數量的增加，hevc在對亮度圖片內預測模式預測地進行編碼時，考慮三個最可能模式(mpm)，而不是h.264/mpeg-4avc中考慮的一個最可能模式。
在三個最可能模式之中，通過上和左pb的亮度圖片內預測模式對前兩個模式進行初始化，如果這些pb可用並且使用圖片內預測模式進行編碼。任何不可用的預測模式被認為是dc幀內。始終將亮度編碼樹塊(ctb)之上的預測塊(pb)認為不可用，以避免需要存儲相鄰亮度預測模式的行緩衝器。
當前兩個最可能模式不相等時，將第三個最可能模式設置為等於平面幀內、dc幀內或角度幀內(索引的)[26](垂直)，根據這些模式中的哪個按照該順序不是前兩個模式之一的副本。當前兩個最可能模式相同時，如果該第一個模式具有平面幀內或dc幀內值，則將第二個和第三個最可能模式分配為平面幀內、dc幀內或角度幀內[26]，根據這些模式中的哪個按照該順序不是副本。當前兩個最可能模式相同並且第一個模式具有角度幀內值時，將第二個和第三個最可能模式選擇為最接近第一個模式的角度(即，k的值)的兩個角度預測模式。
在當前亮度預測模式是三個mpm之一的情況下，僅將mpm索引傳送到解碼器。否則，通過使用5-b固定長度碼將不包括三個mpm的當前亮度預測模式的索引傳送到解碼器。
對於色度圖片內預測，hevc允許編碼器選擇五個模式之一：平面幀內，角度幀內[26](垂直)，角度幀內[10](水平)，dc幀內和衍生幀內。衍生幀內模式指定色度預測使用與亮度預測相同的角度方向。利用該方案，原則上也可以在色度預測中使用為hevc中的亮度指定的所有角度模式，並且在預測精度與信令開銷之間實現良好的折衷。對所選擇的色度預測模式直接進行編碼(不使用mpm預測機制)。
根據國際公開號wo2010/102935a1，mpm估計部分地基於使用卷積濾波器從因果鄰域獲取的梯度。
技術實現要素：
根據本發明的一個方面，一種對視頻圖像進行編碼的方法包括：對於視頻圖像的每一個塊，根據在塊的因果鄰域中計算的相鄰梯度值來計算塊中的虛擬梯度值，並且基於虛擬梯度值來獲取一個預測方向或非方向性幀內預測模式；以及通過比較塊的不同預測來確定編碼模式，通過應用所確定的「編碼模式」來獲取預測塊，獲取預測塊與當前塊之間的殘差，並且對殘差以及所確定的編碼模式與預測方向或非方向性幀內預測模式之間的差進行編碼。該計算包括，對於每個預測方向，沿預測方向傳播鄰域梯度值以估計塊中的虛擬梯度值。
附圖說明
圖1圖示了空間預測；
圖2圖示了幀內4×4預測；
圖3圖示了幀內8×8預測；
圖4圖示了根據hevc標準的幀內預測模式；
圖5圖示了2d卷積窗口；
圖6圖示了因果鄰域；
圖7圖示了給定方向d的因果鄰域的梯度；
圖8圖示了虛擬8×8預測(或外推)塊grd(gr0，gr1，gr2，gr3，gr4，gr5，gr6，gr7和gr8)；
圖9圖示了當前塊的預測；
圖10a是圖示根據本實施例的編碼器側的處理的流程圖；
圖10b是圖示根據本實施例的解碼器側的處理的流程圖；
圖11是圖示圖10中所示的步驟s100的處理的流程圖；
圖12是圖示在應用h.264標準的方式的情況下的圖11所示的步驟s130的處理的流程圖；
圖13是圖示根據第一解決方案在應用h.264標準的方式的情況下的圖11所示的步驟s130的處理的流程圖；
圖14是圖示根據第二解決方案在應用h.264標準的方式的情況下的圖11所示的步驟s130的處理的流程圖；
圖15是圖示根據實施例的編碼器的框圖；以及
圖16是圖示根據實施例的解碼器的框圖。
具體實施方式
將參照附圖描述本發明的優選實施例。
本實施例的目的是為了通過針對較低比特率保持相同質量來改進視頻編碼性能。目的是為了實現要在提供這樣的編碼優點的編碼器和解碼器中使用的工具。
這裡提出的是在圖像和視頻編碼的背景下針對幀內(或空間)模式估計預測模式的問題。
在h.264和hevc標準中，如上所述，可以使用相應的9個和35個幀內預測模式。該模式下的編碼基於根據當前塊在被編碼之前選擇的模式所確定的最可能模式(mpm)的計算。
根據本實施例，通過對mpm的更好的估計，可以降低當前模式(專用於當前塊)的編碼成本。
因此，根據本實施例，可以改進當前塊的幀內編碼模式的估計，然後改進mpm的效率。
根據h264和hevc標準的mpm的計算非常簡單(計算成本低)，但可以改進。在上述參考文獻(即國際公開號wo2010/102935a1)中提出了改進，其中使用方向梯度濾波器分析當前塊的鄰域。在該技術中，使用當前塊周圍的限制區域(因果部分)，其中不考慮大量重構像素(參見參考文獻的圖3中的l區)，即使它們可以在預測中使用，例如，在h.264的情況下的模式3和7以及在hevc的情況下的模式27至34。
此外，在該技術中，在當前塊的區域中不分析可能外推輪廓的影響。
根據本實施例，可以改進mpm估計，以便以合理的複雜度降低編碼成本(或比特率)。
本實施例包括通過以下使用方向梯度濾波器基於周圍因果像素計算mpm：
a)計算取決於在塊的因果(或解碼)鄰域中計算的方向梯度值的(要編碼的)當前塊值；以及
b)對當前塊進行編碼。
步驟b包括根據給定的空間預測模式對塊的紋理進行編碼；以及
將預測模式的索引有差別地編碼為稱為最可能模式(mpm)的預測器。
步驟a包括，對於當前塊：
a1)對於預測方向，計算因果鄰域中的梯度值；
a2)通過沿著預測方向傳播梯度值來確定虛擬梯度預測塊；
a3)從虛擬梯度預測塊的傳播梯度值中確定能量值；
a4)對於每個預測方向重複步驟a1至a3，即在hvc4的情況下的8個方向以及在hevc的情況下的33個方向；
a5)確定最高能量值，最高能量值給出專用於當前塊的預測器或mpm作為其編碼模式。
要注意，步驟a(於是步驟a1至a5)也在解碼器側實現。
步驟a2至a5表示實施例的目的，步驟a1部分地包括在上述參考文獻，即國際公開號wo2010/102935a1中。對於根據每個幀內預測模式的幀內預測，編碼器使用具有標誌的mpm的條件來用信號發送幀內預測模式。如果mpm與幀內預測模式相同，則將標誌設置為「1」，並且僅需要一位來用信號發送幀內預測模式。當mpm和幀內預測模式不同時，將標誌設置為「0」，並且需要附加的3位來用信號發送幀內預測模式。編碼器必須花費1位或4位來表示幀內預測模式。
用於預測當前塊的預測模式由編碼器利用例如基於rdo(速率失真優化)的給定模式決策算法來選擇。rdo算法在視頻壓縮領域是眾所周知的。
然後，用於預測當前塊的預測模式通常與mpm不同。
本實施例的目的是找到實際用於預測塊的編碼模式的最接近可能的mpm。
對塊進行編碼和解碼的處理可以如下。
在編碼器側，編碼器
1.根據實施例確定mpm；
2.通過比較要編碼的塊的不同預測塊，確定(利用rdo算法，例如在視頻壓縮界中眾所周知的)塊的最佳編碼模式；
3.參考mpm對「編碼模式」進行編碼(例如，對所確定的最佳編碼模式與mpm之間的差進行編碼)；以及
4.對要編碼的當前塊與預測塊(對應於編碼模式，例如參見圖2)之間的殘差預測塊進行編碼。
在解碼器側，解碼器
1.根據實施例確定mpm；
2.藉助於mpm對「編碼模式」進行解碼(例如，通過對要獲取的編碼模式與mpm之間的差進行解碼來獲取「編碼模式」，以預測要解碼的塊)；以及
3.對殘差預測塊進行解碼，並將這樣獲取的殘差預測塊添加到預測塊(例如，通過應用編碼模式獲取，參見圖2)以獲取要解碼的塊。
(1)原理
根據本實施例的確定mpm的處理在於對位於當前塊的鄰域上的虛擬梯度預測塊的分析，針對每個預測方向模式實現該處理。
要注意，預測塊與關於像素域的預測相關，並且與專用於要編碼的當前塊的預測相對應。與之相反，虛擬梯度預測塊不用於預測，而僅用於估計在當前塊內外推的梯度的能量值。
該分析包括在給出最高梯度能量值的方向的能量值方面的檢測和量化(或求和)。
該方法的優點如下：
考慮到對預測塊構建有貢獻的所有重構像素的影響，在塊內分析該影響。
在(梯度的)虛擬預測塊中工作給出梯度能量值和輪廓密度(諸如對於每個預測方向的可能的輪廓的梯度幅度，以及該塊內的那些輪廓的空間貢獻，即，輪廓的大小)的良好折衷。
下面將詳細描述處理。
根據上述參考文獻(即國際公開號wo2010/102935a1)中所討論的技術，考慮索引3的預測模式8×8「對角左下」，其中僅使用重構像素a至h而不使用其他像素(i至p)。
根據本實施例，對於每個預測方向，確定虛擬梯度預測塊，其中在因果鄰域中計算梯度，並且使用與在處理預測塊中使用的相同的外推方程來執行虛擬梯形預測塊。
之後，對於每個虛擬梯度預測塊，計算能量值(例如，梯度的絕對值之和)，最後選擇給出最高能量值的虛擬梯度預測塊作為對應於根據本實施例的mpm的方向。
(2)梯度處理
如前所述，第一步是計算當前塊的鄰域中的梯度，對其將2d窗口卷積(或濾波器)應用於因果區域中的像素。通常，對於當前塊(在h.264的情況下參見圖2和圖3)，對於不同的空間d(其中d＝0,1,...,8且d≠2)方向的fd是例如圖5中所示的那些。
在該示例中，使用8個卷積濾波器。索引「d」對應於不同的取向。藉助於具有(2n+1)×(2n+1)個係數的大小的濾波器來計算梯度。目的是為了將梯度值分配給圖6中所示的相鄰像素x至p。
在圖6的相鄰像素的情況下，重構像素i(x,y)的梯度gd(y,x)如下計算：
在那裡，「y」和「x」表示梯度gd(y,x)的行和列的坐標。
此外，「y」和「x」表示像素i(y,x)的行和列的坐標。
「n+i」和「n+j」表示具有(2n+1)×(2n+1)的大小的濾波器fd的係數的行和列的坐標，其中「n」是正整數。
要注意，為了對最後一行應用濾波器，實現n行填充(例如，副本)。該填充由圖6示出，其中在3×3的fd大小(n＝1)的該示例中，像素p0、p1和p2例如是以上相應像素的簡單副本。
因此，在圖7的示例中，梯度如下計算：
對於從a到p的像素，
對於從q到x的像素，
對於像素m，
在圖6中所示的過濾器的示例中，對於從3到8(f3到f8)的預測方向，應用這些公式(6)至(8)。
對於垂直和水平預測，可以優化濾波(f0和f1濾波器)。這些濾波器相應地具有零係數的列和行。在這種情況下，梯度如下計算：
對於從a到p的像素，
對於從q到x的像素，
這裡，在垂直和水平預測中不使用像素m(參見圖2和圖3中的模式0和模式1)。
(3)梯度外推
在先前的步驟中，對於每個預測方向d(其中d＝0,1,...,7且d≠2)，藉助於相應的fd濾波器，在邊界上計算梯度，如圖7所示。
一旦這樣計算出梯度，則將通過使用在預測塊中使用的相同的外推技術(參見圖2和圖3中的像素域)，使用「簡單」空間傳播來計算虛擬梯度預測塊(對於每個方向)，如圖8所示。
這些預測如下實現。
對於當前塊，對坐標行和列(i,j)的梯度grd(i,j)進行外推。索引(0,0)的第一梯度是當前塊中的左上。
例如，在模式1(水平)中，利用梯度gq1預測梯度gr1(0,0),gr1(0,1),…,gr1(0,7)。
在模式5中，例如，gr5(0,0)通過(ga5+gq5+1)/2外推，並且同樣，gr5(1,2)和gr5(3,3)通過(ga5+2gb5+gc5+2)/4預測。
外推的另一可能性在於梯度的絕對值的傳播。
在這種情況下，在模式1(水平)中，利用梯度|gq1|預測梯度gr1(0,0),gr1(0,1),…,gr1(0,7)，其中符號||是絕對值的運算符。
在模式5中，gr5(0,0)通過(|ga5|+|gq5|+1)/2外推，並且同樣，gr5(1,2)和gr5(3,3)通過(|ga5|+2|gb5|+|gc5|+2)/4預測。
(4)梯度能量塊
(虛擬預測)塊中的外推梯度的能量值通過虛擬梯度預測塊內包含的梯度之和獲取。對於給定d取向的梯度塊grd(h×w的大小)，該塊的能量值ed如下計算：
梯度之和如下計算，
或者，如果大於給定閾值(固定閾值)，則梯度之和如下計算，
如果|grd(i,j)|＞thr(13)
例如，thr＝10，
或者，利用使用量化器步長值(qp)的閾值函數，如下
如果|grd(i,j)|＞f(qp)(14)
例如，如果qp>0，
(注意：量化器步長值(qp)例如與應用於(預測的)殘差變換(例如dct)係數的h.264和hevc中使用的眾所周知的量化器步長相對應。)
或者，使用最大梯度，如下，
對於當前塊b，通過下式獲得在因果鄰域中可用的預測方向之中具有最大能量值eb的最佳方向：
在h.264的8個方向性模式的示例中(參見圖2和圖3)
其中d＝0,…,8且d≠2(17)
(5)mpm標準選擇
公式(17)給出當前塊上的可能輪廓的(eb能量值的)最可能方向。另外，在視頻編碼標準中使用的空間模式預測的背景下，考慮諸如h264標準的dc模式和hevc標準的dc和平面模式之類的非方向性預測模式。
(5.1)h264
對於索引號2的dc模式，估計另外的虛擬梯度(由於dc模式)，如下：
在那裡，λ表示預定的係數，諸如要分配給dc模式的估計值。噹噹前塊周圍的信號接近平坦時，則(從其他d方向)選擇該值。例如，λ可以等於1.2。
在這種情況下，公式(17)現在是：
其中d＝0,...,8(19)
然後，mpm對應於給出最大能量值的索引的模式。
(5.2)hevc
在hevc標準中，考慮包括非方向性模式(即dc和平面模式)的35個模式。在這種情況下，可以應用以下兩個解決方案之一。
類似於上述h.264標準的情況，估計分別專用於dc和平面模式的能量值edc和eplanar，如下：
現在將描述第一個解決方案。
首先，以相同的方式，從所有方向性和非方向性模式計算能量值，如下：
其中d＝0,1,…34
然後，如果等於方向性模式d(索引2至34)中的任何一個，則，
如果不是方向性模式d(索引2到34)之一，也就是說，如果mpm等於非方向性模式(索引0和1，即dc和平面模式)兩者之一，則應用在hevc標準中使用的規則來確定mpm。
現在將描述第二個解決方案。
首先，以相同的方式，從所有方向性和非方向性模式計算能量值，如下：
其中d＝0,1,…,34
然後，如果等於方向性模式d(索引2到34)中的任何一個，則
如果不是方向性模式d(索引2到34)之一，也就是說，如果mpm等於非方向性模式(索引0和1，即dc和平面模式)兩者之一，則基於相鄰的重構像素，選擇dc和平面模式兩者之一。
考慮圖9中所示的當前塊的預測的上下文。
計算重構的相鄰像素(圖9中的「x」)的兩個估計誤差，即dc模式的erdc和平面模式的erplanar。
下面，i、j表示塊的像素的行和列的坐標(以預測h×w的大小)。索引(0,0)的第一像素是當前塊中的左上的像素，並且計算與模式dc相關聯的值，如下：
相鄰像素(x)從dc模式的估計誤差erdc如下計算：
對於平面模式，計算相鄰像素的行和列中的相應斜率，之後估計鄰近像素(x)上的誤差erplanar，如下：
分別在左列(垂直)和頂行(水平)上估計的表示變化的斜率αv和αh如下計算：
αv＝(i(h,-1)-i(-1,-1))/(h+1)如果i(h,-1)可用
αh＝(i(-1,w)-i(-1,-1))/(w+1)
然後，估計誤差erplanar如下計算：
另一方面，如果i(h,-1)不可用，則使用像素i(h-1,-1)，如下：
αv＝(i(h-1,-1)-i(-1,-1))/(h)其中i(h,-1)不可用
αh＝(i(-1,w)-i(-1,-1))/(w+1)
然後，估計誤差erplanar如下計算：
如果i(h,-1)和i(-1,w)不可用，則，
αv＝(i(h-1,-1)-i(-1,-1))/(h)
αh＝(i(-1,w-1)-i(-1,-1))/(w)
然後，mpm對應於來自erdc和erplanar的估計誤差的最小值，如下：
如果erdc≤erplanar，則，
mpm＝dc模式
如果erdc＞erplanar，則，
mpm＝平面模式
接下來，使用圖10a-圖14，將描述本實施例中的處理流程。
如圖10a所示，對於要編碼的視頻圖像的每個塊，執行圖10a的處理，使得從而可以對視頻圖像進行編碼。
在步驟s100中，計算取決於塊的因果鄰域中的相鄰梯度值的虛擬梯度值。然後，獲取(選擇)一個預測方向或非方向性幀內預測模式。
在上述項「(2)梯度處理」中獲取「相鄰梯度值」，如圖6中所示的相鄰像素x至p的gd(y,x)。
從「(3)梯度外推」獲取「虛擬梯度值」grd，然後從「(4)梯度能量塊」和「(5)mpm標準選擇」獲取「一個預測方向或非方向性幀內預測模式」。
稍後將使用圖11-14來描述細節。
在步驟s200e中，通過比較要編碼的塊的不同預測來確定「編碼模式」，獲取所確定的「編碼模式」與所獲取的「預測方向或非方向性幀內預測模式」(mpm)之間的「差」，並通過應用「編碼模式」來獲取預測塊。然後，獲取要編碼的當前塊與預測塊之間的殘差，並對所獲取的殘差和「差」進行編碼以將其發送出。
如圖10b中所示，對於要解碼的視頻圖像的每個塊，執行圖10b的處理，使得從而可以對視頻圖像進行解碼。
在圖10b的步驟s100中，計算取決於塊的因果鄰域中的相鄰梯度值的虛擬梯度值。然後，獲取(選擇)一個預測方向或非方向性幀內預測模式。
在上述項「(2)梯度處理」中獲取「相鄰梯度值」，如圖6中所示的相鄰像素x至p的gd(y,x)。
從「(3)梯度外推」獲取「虛擬梯度值」grd，然後從「(4)梯度能量塊」和「(5)mpm標準選擇」獲取「一個預測方向或非方向性幀內預測模式」。
稍後將使用圖11-14來描述細節。
在圖10b的步驟s200d中，對從編碼器側發送出的「差」進行解碼以藉助於所獲取的「預測方向或非方向性幀內預測模式」(mpm)來獲取「編碼模式」。例如，通過將經解碼的「差」應用於mpm來獲取「編碼模式」。然後，通過應用這樣獲取的「編碼模式」來獲取預測塊。然後，對從編碼器側發送出的殘差進行解碼，並且將經解碼的殘差添加到所獲取的預測塊，以獲取當前解碼塊。
圖11圖示了圖10中所示的步驟s100的細節的一個示例。
在步驟s110中，對於每個預測方向「d」，計算因果鄰域中的相鄰梯度值(「gd(y,x)」)。如上所述，例如，在應用h.264標準中的方式的情況下，預測方向「d」包括d＝0,1,...,8且d≠2(參見圖2和圖3)。
在步驟s120中，沿著當前預測方向傳播在步驟s110中計算出的相鄰梯度值，以估計當前塊中的虛擬梯度值「grd」(「(3)梯度外推」)。然後，將這樣估計的當前塊中的虛擬梯度值相加以獲取能量值「ed」(「(4)塊梯度能量」)。
在步驟s130中，基於從步驟s110-s120的重複循環處理針對相應預測方向獲取的能量值來確定一個預測方向或非方向性幀內預測模式。
更具體而言，在應用h.264標準中的方式的情況下，如圖12所示，在步驟s131中，基於從步驟s110-s120的重複循環處理針對相應預測方向獲取的能量值，獲取dc模式的能量值「e2」，如公式(18)中所示。
在圖12的步驟s132中，確定具有最高能量值(mpm)的一個預測方向或非方向性幀內預測模式，如公式(19)中所示。
另一方面，在應用hevc標準中的方式的情況下的上述第一個解決方案中，如圖13所示，在步驟s133中，基於從步驟s110-s120的重複循環處理針對相應預測方向獲取的能量值，獲取dc和平面模式的相應能量值「edc」和「eplanar」，如公式(20)中所示。
在步驟s134中，確定預測方向中的任何一個是否具有最高能量值(即，)。
如果預測方向中的任何一個具有最高能量值(即，)，則將對應的預測方向確定為一個預測方向或非方向性幀內預測模式)(步驟s135)。
如果非方向性幀內預測模式(dc模式和平面模式)兩者之一具有最高能量值(即，)，則根據相關技術中的hevc標準的規則確定一個預測方向或非方向性幀內預測模式(mpm)(步驟s136)。在本申請的「背景技術」中描述了hevc標準的規則(第2頁第31行至第4頁第3行)。
另一方面，在應用hevc標準中的方式的情況下的上述第二個解決方案中，如圖14中所示，步驟s133-s135與圖13的那些步驟相同。
如果非方向性幀內預測模式(dc模式和平面模式)兩者之一具有最高能量值(即，)，則將具有重構的相鄰像素(圖9中的「x」)的最小估計誤差(「edc」或「eplanar」)的dc模式或平面模式兩者之一確定為一個預測方向或非方向性幀內預測模式(mpm)(步驟s137)。
接下來，使用圖15和圖16，將描述本實施例的示例中的編碼器和解碼器。
圖15和圖16分別示出了最可能模式(mpm)確定集中處(即，「mpm」框14和34)的編碼器和解碼器。要注意，編碼器和解碼器中包括的相同的框(即，「mpm」框14和34；「q-1t-1」框17和32；「參考幀」框21和33；以及「空間預測」框13和35)分別具有相同的功能。
在編碼器和解碼器側，僅描述使用幀內模式(m)的幀內圖像預測模式。然而，眾所周知的是，「模式決策」框15(使用給定的rdo標準)的功能在於從幀內和幀間圖像預測模式中確定最佳預測模式。
如圖15中所示，編碼器包括「運動估計」框11、「時間預測」框12、「空間預測」框13、「mpm」框14、「模式決策」框15、加法器(「+」)框16、「t,q」框17、「熵編碼器」框18、「q-1t-1」框19、加法器(「+」)框20和「參考幀」框21。
當要對原始圖像塊b進行編碼時，在圖15的編碼器中執行以下處理。
1)利用在用作存儲參考幀的緩衝器的「參考幀」框21中存儲的原始塊b和(先前解碼的)圖像，「運動估計」框11找到具有給定運動向量的最佳幀間圖像預測塊(利用「時間預測「框12)。從可用的幀內預測模式(參見圖2，例如，在h264的情況下)和相鄰的重構(或解碼)像素中，「空間預測」框13給出幀內預測塊。
2)由「mpm」框14確定mpm，根據上述實施例，mpm取決於來自當前圖像的先前塊的塊的因果(或解碼)鄰域中計算的方向梯度值。
3)如果「模式決策」框15選擇(例如，基於速率失真優化標準，即稍後描述的rdo)幀內圖像預測模式(「m」索引，來自d幀內可用模式)，殘差預測rb通過加法器16獲取作為原始塊b與預測塊之間的差。參考所確定的mpm，對空間(幀內)編碼模式m進行編碼。例如，獲取mpm與所選空間(幀內)編碼模式m之間的差，並在由「熵編碼器」框18對其編碼之後將其發送到解碼器。
4)之後，通過「t,q」框17對殘差預測rb進行變換和量化(rbq)，最後由「熵編碼器」框18進行熵編碼，並在比特流中發送出。
5)通過加法器20將逆變換和去量化(通過「q-1t-1」框19)的預測誤差塊rbdq添加到預測塊對解碼塊brec進行本地重建。從而獲取重構塊brec。
6)將這樣獲取的重構(或解碼)幀存儲在「參考幀」框21中。
現在將描述上述「速率失真優化」(rdo)。
可以使用rdo標準來選擇具有最小速率失真成本的最佳編碼模式。該方法可以由下式表示。
其中k＝0,d-1
以及
其中
「v」和「u」表示塊的垂直和水平維度
並且
「i」和「j」表示塊中像素的垂直和水平坐標，
其中λ是(眾所周知的)拉格朗日乘數，ssdk是經由k索引模式的幀內預測的重建塊的失真，其通過當前塊b中的原始樣本與重構(或解碼)塊之間的平方差之和來計算。術語cstk是可變長度編碼之後的比特率的成本。
最後，m索引的最佳編碼模式對應於來自d個可能模式的最小的速率失真rd，例如，在幀內預測h.264的情況下，其總數可以等於9(參見圖2)。
在這方面，參見thomaswiegand、berndgirod的「lagrangemultiplierselectioninhybridvideocodercontrol」，圖像處理ieee2001。
如圖16中所示，解碼器包括「熵解碼器」框31、「q-1t-1」框32、加法器(「+」)38、「參考幀」框33、「mpm」框34、「空間預測」框35、「運動補償」框36、「預測」框37和加法器(「+」)38。
在圖16的解碼器中執行以下處理。
1)根據從編碼器發出的比特流，對於給定塊，「熵解碼器」框31對量化誤差預測rbq進行解碼。
2)由「t-1q-1」框32將這樣獲取的殘差預測rbq去量化和逆變換為去量化和逆變換的殘差預測rbdq。
3)由「mpm」框34確定mpm，根據上述實施例，mpm取決於來自當前圖像的先前塊的塊的因果(或解碼)鄰域中計算的方向梯度值。
4)藉助於所確定的mpm，對空間(幀內)編碼模式m進行解碼。例如，對mpm與空間(幀內)編碼模式「m」之間的差進行解碼以獲取「編碼模式」來預測要解碼的塊。
5)通過應用這樣獲取的「m」幀內模式，「空間預測」框35和「預測」框37利用經解碼的相鄰像素獲取幀內圖像預測塊
6)通過加法器38將經解碼和去量化的預測誤差塊rbdq添加到預測塊對解碼塊brec進行本地重建。從而獲取重構塊brec。
7)將這樣獲取的重構(或解碼)幀存儲在「參考幀」框33中。解碼幀將用於下一幀/幀內圖像預測。
本實施例在於使用方向性梯度濾波器基於周圍因果像素並且通過分析對於每個預測方向的可能輪廓的當前塊(虛擬梯度預測塊)的影響來計算mpm。通過該方法，與上述相關技術相比，可以特別接近當前塊周圍的重構信號的內容。當本實施例在編碼器中實現時，優點在於降低給定質量的比特率或者提高給定比特率的質量。
本實施例可以應用於圖像和視頻壓縮。特別地，存在於本實施例中的概念可以作為開發專用於存檔和分發視頻內容的新一代編碼器的一部分而提交給itu-t或mpeg標準化組。
因此，在具體實施例中已經描述了對視頻圖像進行編碼的方法、對經編碼的視頻圖像進行解碼的方法以及編碼器。然而，本發明不限於實施例，並且可以在所要求保護的發明的範圍內做出變化和替換。
應當理解，可以對說明性實施例做出許多修改，並且可以設計出由所附權利要求限定的其他布置。
在此描述的實現方式可以實現在例如方法或處理、裝置、軟體程序、數據流或信號中。即使僅在單一形式的實現方式的背景下進行了討論(例如僅作為方法或設備進行了討論)，但是所討論的特徵的實現方式也可以以其他形式(例如程序)來實現。裝置可以在例如適當的硬體、軟體和固件中實現。方法例如可以實現在諸如處理器(其一般被稱為處理設備，例如包括計算機、微處理器、集成電路或可編程邏輯設備)這樣的裝置中。處理器還包括諸如例如計算機、蜂窩電話、便攜/個人數字助理(「pda」)這樣的通信設備以及便於在最終用戶之間進行信息通信的其他設備。
在此描述的各種處理和特徵的實現方式可以在各種不同的裝備或應用中實施，特別是例如裝備或應用。這樣的裝備的示例包括網絡伺服器、機頂盒、膝上型計算機、個人計算機、蜂窩電話、pda以及其他通信設備。應當清楚的是，裝備可以是可移動的，並且甚至可以安裝在移動車輛中。
此外，可以通過由處理器執行的指令來實現該方法，並且這樣的指令(和/或由實現方式所產生的數據值)可以存儲在處理器可讀介質中，諸如例如集成電路、軟體載體或者諸如例如硬碟、壓縮磁碟(「cd」)、光碟(諸如例如通常被稱為數字多功能盤或數字視頻盤的dvd)、隨機存取存儲器(「ram」)或只讀存儲器(「rom」)這樣的其他存儲設備。指令可以形成有形地實施在處理器可讀介質上的應用程式。指令可以例如在硬體、固件、軟體或其組合中。指令可以存在於例如作業系統、單獨的應用或二者的組合中。因此，處理器可以被表徵為例如被配置為執行處理的設備以及包括具有用於執行處理的指令的處理器可讀介質(諸如存儲設備)的設備二者。此外，除了指令或者代替指令，處理器可讀介質可以存儲由實現方式所產生的數據值。
已描述了多個實現方式。然而，應當理解的是，可以做出各種修改。例如，可以對不同實現方式的元件進行組合、補充、修改或移除，以產生其他實現方式。此外，本領域普通技術人員將理解的是，其他結構和處理可以替代所公開的結構和處理，並且所得到的實現方式將以與所公開的實現方式至少基本相同的方式來執行與所公開的實現方式至少基本相同的功能，以獲得與公開的實現方式至少基本相同的結果。因此，本申請想到這些以及其他實現方式。