H.264/avc幀內預測模式的快速選擇方法
2023-07-13 00:51:11 2
專利名稱：H.264/avc幀內預測模式的快速選擇方法
技術領域：
本發明涉及一種信息處理的視頻編碼的方法，特別是一種H.264/AVC幀內預測模式的快速選擇方法。
背景技術：
自從ITU-T頒布了H.261後，基於塊的混合編碼方法作為框架被普遍採用並不斷發展。國際標準H.261、H.263、MPEG-1、MPEG-2、MPEG-4等的制定極大推動了多媒體技術的應用。然而，隨著新服務的大量增加和高畫質電視的即將普及，以及現有傳輸媒體如Cable Modem、Xdsl、UMTS較低的傳輸碼率，迫切需要提高編碼效率；同時還要求視頻編碼標準能夠適應現存或未來的網絡。這些問題為新視頻編碼標準H.264/AVC的產生提供了切實的依據。
這些視頻編碼標準採用混合編碼框架，即將輸入視頻圖象分割成宏塊，對其進行預測、變換、量化、熵編碼。預測包括幀內預測和幀間預測，幀內預測可去除空間冗餘，而幀間預測可去除時間上的冗餘。
H.264/AVC仍遵從這種基於塊的混合編碼方案，但包含了許多新特徵VCL層和NAL層分離、空間域的幀內估計、1/4像素精度運動估計、自適應塊尺寸運動補償、多參考幀運動補償預測、通用B幀的概念、低複雜16bit的整數變換和量化、環內去塊濾波器和高效的熵編碼。這些新特徵一方面能夠顯著提高編碼效率；另一方面具有網絡友好性，可有效用於各種網絡和應用環境。
其中H.264/AVC為提高幀內圖象的編碼效率，採用幀內預測去除空間冗餘性。這種幀內預測技術依然以宏塊為處理單元，即通常將一幀圖象分割成16×16的圖象塊進行編碼。然而基本處理塊單元相對於其它標準由8×8降為4×4，即變換採用4×4的變換矩陣。因此亮度宏塊支持兩種幀內預測塊尺寸4×4和16×16，而色度僅支持8×8。每個進行幀內預測的當前塊利用鄰塊的相鄰像素值來預測當前塊像素值，然後計算殘差、變換、熵編碼。H.264/AVC標準中每個4×4塊的幀內預測包括9種預測模式(如附圖1)。而亮度16×16和色度8×8僅支持4種預測模式，分別為垂直(V)、水平(H)、直流(D)和平坦模式(P)，分別簡稱為V、H、D和P模式。
同時這項技術也被應用到幀間編碼之中，即對當前宏塊進行完幀間預測後，接著對它進行幀內預測，以率失真優化為最終判決依據，率失真小的模式被確定為最終模式。這樣既可以提高幀間編碼宏塊的編碼效率，又可以提高容錯能力。
例如對某幀(I幀、P幀或B幀皆可)中當前宏塊M進行幀內預測編碼，利用相鄰塊與當前塊的緊挨的像素值來預測當前塊的像素值，然後用當前塊的像素值減去預測值得到殘差矩陣，將此殘差矩陣經過變換、量化、熵編碼得到該宏塊的編碼碼流。
但利用鄰塊像素值的預測方式是不同的，因此產生了多種預測模式(如附圖1)。在判斷這些模式中的最優模式，需要一個衡量的準則，目前採用了率失真優化(RDO-rate distortion optimization)，其定義如下JMODE(Sk，Ik|Q，λMODE)＝DREC(Sk，Ik|Q)+λMODERREC(Sk，Ik|Q)公式(1)式中DREC表示編碼後總的失真，RREC表示總的碼率。λMODE≥0為拉格朗日參數，通過確定編碼選擇項Ik，使編碼後的失真和碼率總和最小。
本發明在色度宏塊和亮度16×16塊的模式判決中採用了一種簡化的判決準則為SAD(Sum of Absolute Difference)，其定義如下SAD=i=0N-1j=0N-1abs-(f(i,j)-f(i,j))]]>公式(2)式中f(i，j)為原始信號，f′(i，j)是幀內預測後的預測信號，N等於8(色度塊)或16(亮度塊)。
H.264/AVC校驗模型對於當前宏塊幀內預測模式的確定給出了一種全搜索方法，以色度宏塊的幀內預測模式為外循環，以亮度宏塊的兩種塊模式為內循環，即對應每一種色度宏塊的幀內預測模式，都要分別比較亮度宏塊I4和I16的所有模式。故這種方法能夠掃描到所有的模式，因此編碼質量最高，運算量也是最大的。搜索的模式總數為4×(16×9+4)，共592個，這意味著為了得到一個宏塊的最佳模式，需要計算592個不同的JMODE。這使H.264/AVC在現有的硬體條件下實現編碼是不可能的。
發明內容
本發明的目的是提供一種H.264/AVC實時編碼器的幀內預測模式的快速選擇方法，對比於全搜索方法，它可以在信噪比和碼率變化很小的同時，可使編碼速度平均提高6倍以上。
為達到上述目的，本發明採用下述技術方案一種H.264/AVC實時編碼器幀內預測模式的快速選擇方法，在H.264/AVC編碼器中，幀內編碼採用幀內預測方法，其特徵在於利用當前宏塊的色度塊和亮度塊幀內預測模式間的相關性、4×4亮度塊(I4)和16×16亮度塊(I16)的模式選擇之間的相關性以及亮度塊預測模式內部的相關性，以簡化的率失真優化(RDO)為判決依據，快速進行幀內預測模式選擇。
快速選擇的步驟如下a)確定色度塊的模式選擇具有獨立性，即亮度宏塊無論選擇I16還是I4，色度宏塊模式都是一致的，從而首先對色度預測模式以SAD為準則進行獨立判決，確定色度的最佳預測模式。
b)確定了色度的最佳預測模式後，為亮度快模式判決提供如下依據對於亮度I16而言，當色度塊選擇D模式，亮度可以選擇D、H、V、P模式；當色度塊選擇H模式，亮度可以選擇D、H、P模式；當色度塊選擇V模式，亮度可以選擇D、V、P模式；當色度塊選擇P模式，亮度可以選擇D、P模式。而對於亮度I4，I8選擇的模式是亮度I4下絕大多數4×4塊可能選擇的模式。
c)對於宏塊，I4的選擇概率遠遠大於I16，因此我們首先進行I4下4×4塊的模式判決；根據鄰塊的模式判斷得到當前塊的可能模式，並和由步驟b確定的可能模式，分別計算這兩種模式下的RDO，並與閾值T0比較，小於T0，則可確定為當前4×4的最佳模式，否則較小值RDO的為可能最佳模式。
d)比較步驟c中得到的可能最佳模式的預測方向鄰近的模式的RDO，進一步確定可能的最佳模式。如果它是V、H或D，則比較這三種模式中未曾比較的模式；如果它為其它模式，則比較所有其它未曾比較的模式。
e)在完成當前宏塊的16個4×4塊的模式判決後，計算宏塊紋理複雜度，以MSE來衡量，並與閾值T1比較，如果大於T1，提前終止判決，上述得到的結果為宏塊最佳模式；如果小於T1，則進行亮度16×16塊的模式判決。
f)根據步驟b中色度塊的最佳模式與亮度塊的關係，確定當前宏塊I16的可能模式；統計步驟e中I4情況下16個子塊的模式，得到概率最大的兩種模式；綜合考慮這些可能模式，最終確定I16的可能模式。並以SAD為準則，確定I16的最佳預測模式。
g)自適應確定步驟e所述的閾值T1來判斷是否提前終止I16判決和自適應確定步驟c所述的T0來判斷是否提前終止I4的判決。
本發明綜合利用上述方法進行幀內預測模式選擇。實驗結果顯示，可以提高編碼速度數倍，且能夠保證編碼的碼率和PSNR與全搜索方法相比變化不大。
圖1是本發明的一個實施例的信息處理視頻編碼框圖。
圖2是本發明的一個實施例的處理流程3是4×4塊幀內預測方向4是當前塊的鄰塊位置5是I16和I4的率失真變化圖具體實施方式
以下結合附圖描述本發明的H.264/AVC實時編碼器的幀內預測模式的快速選擇方法的一個優選實施例在校驗模型Jm72編碼器上，具體工作環境為2.4GHz CPU的PC機，針對I幀序列，編碼序列為IIII，熵編碼採用了CABAC，量化參數分別為14、28，亮度I4的RDO閾值T0和宏塊複雜度的閾值T1可自適應計算得到，採用下述方法在我們實驗過程中，發現校驗模型提供的全搜索方法忽略了模式選擇間的相關性。在實際中，宏塊的色度塊和亮度塊幀內預測模式間、4×4亮度塊(I4)和16×16亮度塊(I16)的模式選擇之間以及亮度塊預測模式內部都具有較強的相關性。如果能充分利用這些相關性，就可以快速有效的確定幀內預測的最佳模式。
(1)參見圖1和圖2，首先，可以觀察到亮度宏塊無論選擇I16還是I4，色度宏塊模式都是一致的，因此可以確定在整個模式選擇過程中色度塊的模式選擇具有獨立性，故色度預測模式可以在亮度判決之前進行獨立判決色度塊的最佳預測模式可以為亮度宏塊模式判決提供依據。儘管對於亮度I16與色度I8模式選擇不能達到完全一致，但存在著聯繫當色度塊選擇D模式，亮度可以選擇D、H、V、P模式；當色度塊選擇H模式，亮度可以選擇D、H、P模式；當色度塊選擇V模式，亮度可以選擇D、V、P模式；當色度塊選擇P模式，亮度可以選擇D、P模式；而對於亮度I4與色度I8，I8選擇的模式是亮度I4下絕大多數4×4塊最有可能選擇的模式。亮度塊內部模式選擇之間存在著優先性，V、H、D模式相對於其它模式具有優先選擇性。I4情況下，通過相鄰塊(圖4)的模式可以判決得到當前塊的最優先選擇模式。對於優先選取的模式，其方向上相鄰的模式也具有很大的選中可能。
實際中，I4的選擇概率遠遠大於I16，因此在判決過程上優先檢測I4。在I4情況下在確定的16個4×4塊最佳模式中，概率最大的兩種模式很可能與I16的最佳模式一致，因此可以將之色度模式聯合進行檢驗，最終確定I16最佳模式。
H.264/AVC編碼器採用RDO為模式判別準則，但其結構複雜，尤其寫碼流相當耗時間，因此可以根據具體模式採用不同的判決依據①色度模式選擇不依賴亮度的模式選擇，且其編碼比特只包含色度模式和色度殘差兩部分，因此採用SAD就可以反映不同模式間率失真的差別；②在亮度I4的4×4塊編碼比特包括塊模式和殘差的熵編碼。因為4×4塊尺寸較小，其塊模式編碼的比特數和不同模式間的殘差編碼比特數的差異會導致率失真的變化很大，故選擇率失真作為I4的模式判決依據。且4×4塊的率失真的分布比較集中，可在分布範圍中定義一個閾值T0，如果在某一模式下其率失真小於T0，可認為達到最佳模式；③I16編碼比特主要包括宏塊模式和殘差的熵編碼，故SAD能夠反映率失真的變化，以其作為模式選擇的依據。
由於I16和I4隨宏塊紋理複雜度的RDO曲線是不同的(圖5)，在模式選擇時還應考慮宏塊的紋理複雜度，並以宏塊紋理複雜度的某個值作為閾值T1來確定二者間的判決，即在紋理平坦區域(小於T1)，I16生成的重建圖像能更好地與原始圖像相匹配，選擇I16概率大於I4，隨著紋理複雜度的逐漸增加，I16在細節內容上率失真逐漸增加，當大於或等於T1時將大於I4的率失真，這時I4更適合宏塊編碼模式選擇。衡量紋理複雜性的方式有很多種，如算術平均、幾何平均、中值、方差和均方誤差。本發明選用了均方誤差衡量宏塊的紋理複雜度。
本發明充分利用上述的相關性，將之有機結合在一起，根據RDO準則確定不同模式的判決依據，得到幀內預測模式的快速選擇方法，其流程如圖2所示，具體步驟實施如下①對當前宏塊的色度塊進行幀內預測，以SAD為判決依據，確定色度宏塊幀內的最佳模式。
②對當前宏塊的亮度塊進行I4幀內預測，首先根據當前4×4塊的相鄰塊(圖2)的模式確定可能模式，將之和色度塊的最佳模式相比較，確定最有可能塊模式。計算最可能模式的JMODE，與閾值T0比較，如果小於T0，即可確認為最佳模式，跳轉到步驟⑦。否則跳轉到步驟③。
③計算另一模式(上面被排除的模式)的JMODE，與步驟②計算的JMODE比較，得到最小JMODE值的模式。與T0比較，如果小於T0，確認為最佳模式，跳轉到步驟⑦。
④選擇最小JMODE的模式作為候選模式，計算與其預測方向相鄰的兩個模式的JMODE，比較這三種模式的JMODE，如果鄰近模式的JMODE值都大於候選模式的JMODE，跳轉步驟⑦。否則到步驟⑤。
⑤如果最小JMODE的模式是V、H或D，計算這三種模式在上述過程未曾計算的JMODE，比較得到最小JMODE的模式，跳轉到步驟⑦；如果是其它模式，跳轉到步驟⑥。
⑥計算其它剩餘模式，得到最小JMODE模式，跳轉到步驟⑦。
⑦該最小JMODE模式為該4×4塊的最佳模式。
⑧循環步驟②-⑦，得到16個4×4塊的最佳模式。計算宏塊複雜度，如果大於閾值T1(圖3)，則該宏塊為I4，結束判決。否則計算I4情況下整個宏塊的JMODE，跳轉到步驟⑨。
⑨根據色度塊的最佳模式，確定當前宏塊I16的可能模式。統計I4情況下16個子塊的模式，得到概率最大的兩種模式，如果屬於V、H或D，它們是I16的可能模式；如果為其它模式，則P模式成為I16的可能模式。
⑩比較上述確定的I16可能模式，得到I16最佳模式，計算其JMODE。與I4情況下的宏塊最小JMODE比較，得到最佳塊尺寸和其對應的最佳預測模式。
通過上述方法可以發現，本發明在通常情況下幀內預測編碼需要檢測的色度模式為4種，亮度I4的每個4×4塊最少1種或最多9種。如果提前終止的話，不需要檢測亮度I16，否則亮度I16檢測最少2種或最多4種模式，這種情況下幾乎涵蓋了所有的模式。但總體檢測的模式數極大地降低。
H.264/AVC的幀間編碼中也使用了幀內預測編碼技術，上述方法同樣適用，只是略作改動即可在步驟2的I4幀內預測中，當該4×4塊的鄰塊模式為幀內編碼模式不必考慮直接使用即可；如果鄰塊為幀間模式，則可默認其幀內預測模式為直流模式(D)。
(2)計算閾值T0的自適應方法H.264/AVC採用的是類DCT變換。公式(3)為4×4DCT整數變換，E為4×4亮度塊經預測後殘差矩陣，X為類DCT整數變換矩陣，I為整數變換後量化前的係數矩陣。
I＝XEXT公式(3)其中X=111121-1-21-1-111-22-1]]>設DC為變化後的直流係數，s是當前4×4塊的原始像素值，s』是預測後重建塊的像素值，如公式(4)所示。如果DC趨近於0，那麼其它交流係數AC也趨於0，整個變換後的矩陣趨向於0矩陣，因此可省略後面的處理過程。
DC=x=03y=03E(x,y)=x=03y=03(s(x,y)-s(x,y))]]>公式(4)在H.264/AVC中如果變換係數經過量化後，其量化值絕對值小於或等於1時，則殘差矩陣可視為0矩陣。即滿足下面的不等式|DC|＜(2q_bits-qp_const)/quant_coef[qp_rem]
公式(5)其中qp_per＝QP/6，qp_rem＝QP％6，qp_bits＝qp_per+15，qp_const＝(1＜＜q_bits)/6，QP為量化參數。
對於每個4×4塊，公式(6)給出SAD的計算，具體如下SAD=x=03y=03|s(x,y)-s(x,y)|]]>公式(6)很明顯下面不等式成立|x=03y=03(s(x,y)-s(x,y))|x=03y=03|s(x,y)-s(x,y)|]]>即|DC|≤ SAD。
則如果下式成立，則滿足0矩陣的判斷。
SAD＜(2q_bits-qp_const)/quant_coef[qp_rem]
公式(7)
閾值T0由4×4塊的RDO確定，如公式8所示，mode表示所選的預測模式，R包括模式類型和殘差的熵編碼。
Jmode(mode)＝SSD+λmodeR(mode，E) 公式(8)其中，SSD=x=03y=03|s(x,y)-p(x,y)|2,]]>p[x，y]是預測後殘差經過變換、量化、反量化、反變換後與參考塊的值相加得到，故下面不等式成立|s(x，y)-p(x，y)|＜|s(x，y)-s′(x，y)|因此SSD(x=03y=03|s(x,y)-s(x,y)|2)(x=03y=03|s(x,y)-s(x,y)|)2]]>故SSD＜SAD2，即SSD＜((2q_bits-qp_const)/quant_coef[qp_rem]
)2公式(9)這時，該塊殘差量化係數將趨於0，因此得到T0。
T0＝((2q_bits-qp_const)/quant_coef[qp_rem]
)2公式(10)實際中可能存在差別，因此設置一個校正因子α＝0.5T0＝α×((2q_bits-qp_const)/quant_coef[qp_rem]
)2公式(11)(3)計算閾值T1的自適應方法在實際中，當T1越大，搜索I16的可能性越大，因此搜索的模式越多；T1越小，搜索I16的可能性越小，則搜索的模式變少。本發明通過當前宏塊的前一宏塊來確定當前T1的值，具體方法如下初始化T1＝1＜＜20第一個宏塊依次進行I4和I16模式判決，得到二者的MSE，將均值賦給T1，作為下一宏塊的閾值。
其它宏塊如果僅判決了I4模式，則T1不變。如果依次進行了I4和I16模式判決，則二者的MSE的均值賦給T1。
測試三個紋理複雜程度不同的CIF序列Mobile、Bus和Foreman。實驗結果表明，本快速幀內預測模式選擇方法比H.264/AVC原有的全搜索方法可提高I幀編碼速度大約6倍左右。在速度提高的同時，平均信噪比變化約0.1db左右，碼率稍有變化。
本發明的第二個實施例是針對P幀編碼，編碼序列為I PPP，運動估計搜索範圍±16，5個參考幀，運動估計算法為全搜索算法，熵編碼採用了CABAC，量化參數分別為14、28。亮度I4 4×4塊的RDO的閾值T0和宏塊複雜度的閾值T1，同樣採用上述的自適應方法。仍然測試三CIF序列Mobile、Bus和Foreman。實驗結果表明，本發明的快速幀內預測模式選擇方法在幀間情況下比H.264/AVC原有的幀間全搜索方法可提高編碼速度大約25％左右。在速度提高的同時，平均信噪比變化約0.02db左右，碼率幾乎沒有變化。
權利要求
1.一種H.264/AVC實時編碼器幀內預測模式的快速選擇方法，在H.264/AVC編碼器中，幀內編碼採用幀內預測方法，其特徵在於利用當前宏塊的色度塊和亮度塊幀內預測模式間的相關性、4×4亮度塊(I4)和16×16亮度塊(I16)的模式選擇之間的相關性以及亮度塊預測模式內部的相關性，以簡化的率失真優化(RDO)為判決依據，快速進行幀內預測模式選擇。
2.如權利要求1所述的H.264/AVC實時編碼器幀內預測模式的快速選擇方法，其特徵在於，快速選擇的步驟如下a.確定色度塊的模式選擇具有獨立性，即亮度宏塊無論選擇I16還是I4，色度宏塊模式都是一致的，從而首先對色度預測模式以SAD為準則進行獨立判決，確定色度的最佳預測模式。b.確定了色度的最佳預測模式後，為亮度快模式判決提供如下依據對於亮度I16而言，當色度塊選擇D模式，亮度可以選擇D、H、V、P模式；當色度塊選擇H模式，亮度可以選擇D、H、P模式；當色度塊選擇V模式，亮度可以選擇D、V、P模式；當色度塊選擇P模式，亮度可以選擇D、P模式。而對於亮度I4，I8選擇的模式是亮度I4下絕大多數4×4塊可能選擇的模式。c.對於宏塊，I4的選擇概率遠遠大於I16，因此我們首先進行I4下4×4塊的模式判決；根據鄰塊的模式判斷得到當前塊的可能模式，並和由步驟b確定的可能模式，分別計算這兩種模式下的RDO，並與閾值T0比較，小於T0，則可確定為當前4×4的最佳模式，否則較小值RDO的為可能最佳模式。d.比較步驟c中得到的可能最佳模式的預測方向鄰近的模式的RDO，進一步確定可能的最佳模式。如果它是V、H或D，則比較這三種模式中未曾比較的模式；如果它為其它模式，則比較所有其它未曾比較的模式。e.在完成當前宏塊的16個4×4塊的模式判決後，計算宏塊紋理複雜度，以MSE來衡量，並與閾值T1比較，如果大於T1，提前終止判決，上述得到的結果為宏塊最佳模式；如果小於T1，則進行亮度16×16塊的模式判決。f.根據步驟b中色度塊的最佳模式與亮度塊的關係，確定當前宏塊I16的可能模式；統計步驟e中I4情況下16個子塊的模式，得到概率最大的兩種模式；綜合考慮這些可能模式，最終確定I16的可能模式。並以SAD為準則，確定I16的最佳預測模式。g.自適應確定步驟e所述的閾值T1來判斷是否提前終止I16判決和自適應確定步驟c所述的T0來判斷是否提前終止I4的判決。
全文摘要
本發明涉及一種H.264/AVC實時編碼器的幀內預測模式快速選擇方法。在H.264/AVC編碼器中，幀內編碼採用幀內預測方法，利用色度塊和亮度塊、亮度塊的內部以及亮度塊預測模式選擇間的相關性，根據率失真優化(RDO)準則確定不同判決依據(RDO或SAD)來快速選擇幀內預測模式。本發明提供的方法，對比於全搜索方法，可以在信噪比和碼率變化很小的同時，可使編碼速度平均提高6倍以上。
文檔編號H04N7/32GK1585495SQ20041002512
公開日2005年2月23日 申請日期2004年6月11日 優先權日2004年6月11日
發明者張兆揚, 滕國偉, 張穎 申請人:上海大學