高性能視頻編碼的幀間預測快速模式選擇方法
2023-12-01 21:22:06
高性能視頻編碼的幀間預測快速模式選擇方法
【專利摘要】本發明公開了一種高性能視頻編碼的幀間預測快速模式選擇方法，該方法包括：對視頻幀中每個編碼單元CU進行跳躍SKIP模式與Inter2Nx2N模式的校驗；若該CU單元的重建像素與原始像素值的誤差不超過閾值、重建像素與原始像素值的誤差的分布在預定的範圍內或預測殘差不超過預定的數值，則判斷所述SKIP模式是否為當前最優模式；若是，則將所述SKIP模式作為當前CU單元的最優模式；否則，判斷當前CU單元是否為最小編碼單元SCU，若不是，則將當前CU單元進行四叉樹分割，並為每個子單元逐個進行模式校驗。通過採用本發明公開的方法，有效的降低了編碼端的編碼複雜度，以適應於行動裝置以及很多實時要求較高的視頻應用。
【專利說明】高性能視頻編碼的幀間預測快速模式選擇方法
【技術領域】
[0001]本發明涉及視頻編碼【技術領域】，尤其涉及一種高性能視頻編碼的幀間預測快速模式選擇方法。
【背景技術】
[0002]為了便於視頻編碼的應用，國際和國內有很多組織致力於制定視頻編碼標準，例如，國際上主要的視頻編碼標準包括由ITU-T (國際電信聯盟遠程通信標準化組織)制定的
H.261和H.263。以及由IS0/IEC (國際標準化組織/國際電工委員會)制定的MPEG-1和MPEG-4。以及由兩大組織聯合制定的H.262和H.264。為了滿足日益增長的視頻應用需求，特別是高清視頻壓縮的需求，目前ITU-T和IS0/IEC正在聯合制定新一代視頻編碼標準一HEVC標準。
[0003]視頻壓縮的目的是去除視頻序列中的各種冗餘，以達到更高效的表達視頻的目的。一般來說，視頻中的冗餘包括空間冗餘、時間冗餘和視覺冗餘等。視頻編碼的目的是去除視頻信號中的各種冗餘。常見的視頻編碼屬於有損編碼，即重建信號和原始信號並不完全一致。HEVC的視頻編碼結構延續了 H.264的混合編碼框架，主要包括預測、變換、量化和熵編碼等步驟。隨著對高清視頻的需求不斷提高，HEVC與H.264相比，增加了很多新的工具以輔助其獲得更高的壓縮效率，然而，在提高壓縮性能的同時，其編碼複雜度也遠遠的高於H.264，這給實時編解碼需求的應用(比如:視頻會議、手機視頻通信等)帶來了很大的挑戰。因此，HEVC的快速模式選擇的研究有著重要的應用意義。
[0004]由於HEVC與H.264相比，針對於解析度更高的視頻壓縮問題而設計，因此，其採用了如圖1所示的四叉樹方法不斷的對編碼單元(CU)進行分割，其CU單元大小範圍為64x64到8x8，對於每個CU均可以有如圖2所示的十一種預測模式，分別為:SKIP (跳躍)模式；中貞間預測模式:Inter2Nx2N、Inter2NxN、InterNx2N、InterNxN、InternLx2N、InternRx2N、Inter2NxnU 及 Inter2NxnD ;巾貞內預測模式:Intra2Nx2N 及 IntraNxN ;其中，InternLx2N、InternRx2N、Inter2NxnU與Inter2NxnD這四種模式屬於非對稱模式。
[0005]現有技術中，對於當前的HEVC編碼方法而言，其模式選擇方法為:對於每個CU單元，逐一進行上述11種劃分模式的檢驗，然後再對當前CU單元進行進一步的四叉樹分害I]，得到下一層的四個子CU單元，並且對每個子CU再進行各種單元分割模式的檢驗，直到當前CU單元為允許的最小編碼單元SCU (大小為8x8);另外，對於非SCU的編碼單元而言，均不需要檢驗InterNxN和IntraNxN，而SCU不需要進行非對稱模式的檢驗。然而，上述編碼方法的複雜度較高，無法適應於行動裝置以及很多實時要求較高的視頻應用。
[0006]基於上述基礎，現有技術對提出了兩種改進方案:1)對當前⑶單元逐一進行上述11種I3U劃分模式的校驗之後，判斷其最優模式是否為SKIP模式，如果是SKIP模式，則進行四叉樹分割，但不再進行的四叉樹分割後各個子CU單元的模式校驗；2)將當前CU單元的預測殘差的變換量化係數是否全部為O作為約束條件，當不滿足該條件時，則逐一進行上述11種PU劃分模式的校驗。這兩種方法雖然能夠節省一定的時間，但仍然無法滿足行動裝置等實時性要求嚴格的應用。
[0007]綜上所述，現有技術關於HEVC標準的模式選擇方法，其編碼端複雜度較高，無法適用於實時性要求比較強的應用。
【發明內容】
[0008]本發明的目的是提供一種高性能視頻編碼的幀間預測快速模式選擇方法，有效的降低編碼端的編碼複雜度，以適應於行動裝置以及很多實時要求較高的視頻應用。
[0009]本發明的目的是通過以下技術方案實現的:
[0010]一種高性能視頻編碼的幀間預測快速模式選擇方法，該方法包括:
[0011]對視頻幀中每個編碼單元⑶進行跳躍SKIP模式與幀間預測Inter2Nx2N模式的校驗；
[0012]若該⑶單元的重建像素與原始像素值的誤差不超過閾值、重建像素與原始像素值的誤差的分布在預定的範圍內或預測殘差不超過預定的數值，則判斷所述SKIP模式是否為當前最優模式；
[0013]若是，則將所述SKIP模式作為當前CU單元的最優模式；否則，判斷當前CU單元是否為最小編碼單元SCU，若不是，則將當前CU單元進行四叉樹分割，並為每個子單元逐個進行模式校驗。
[0014]由上述本發明提供的技術方案可以看出，通過根據預測殘差來判斷當前預測是否足夠好，從而幫助跳過當前⑶單元的某個PU單元的ME (運動估計)操作以及⑶單元的進一步分割；同時，通過根據重建像素值與原始像素值之間誤差大小及分布情況判斷當前塊的重建質量是否太差，從而跳過當前的較大塊的CU單元下的單元劃分，直接跳到下一層的CU單元劃分，以獲得更高精度的預測；通過上述方式在保證編碼壓縮性能的同時，保證其編碼端的低複雜度，從而可以使得行動裝置等編碼資源有限的電子設備可以輕鬆的使用該視頻編碼技術，並且對實時性要求較高的一些應用場景也可以很好的應用該編碼技術。
【專利附圖】
【附圖說明】
[0015]為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他附圖。
[0016]圖1為【背景技術】提供的HEVC標準中的CU單元四叉樹分割的結構示意圖；
[0017]圖2為【背景技術】提供的HEVC標準中CU單元的各預測模式的示意圖；
[0018]圖3為本發明實施例一提供的一種高性能視頻編碼的幀間預測快速模式選擇方法的流程圖。
【具體實施方式】
[0019]下面結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明的保護範圍。
[0020]實施例一
[0021]圖3為本發明實施例一提供的一種高性能視頻編碼的幀間預測快速模式選擇方法的流程圖。如圖3所示，主要包括如下步驟:
[0022]步驟31、對視頻幀中每個編碼單元⑶進行跳躍SKIP模式與Inter2Nx2N模式的校驗。
[0023]為了便於後續的模式校驗，通常可以預先對當前2Nx2N的塊進行進一步的分割。例如，可以將當前的CU單元分成4個小部分進行(如圖1所示分割為4個子單元)，這樣有利於用這四個小部分進行組合構成I3U的類型，比如2NxN和Nx2N等。
[0024]步驟32、判斷是否滿足至少以下一個條件:該⑶單元的重建像素與原始像素值的誤差不超過閾值、重建像素與原始像素值的誤差的分布在預定的範圍內或預測殘差不超過預定的數值；若是，則轉入步驟38 ;否則，轉入步驟33。
[0025]示例性的，本步驟所涉及的閾值可以採用以下方法進行計算:
[0026]I)確定⑶單元的重建像素與原始像素值誤差的閾值:計算當前幀的前一幀各個像素的重建像素值與原始像素值的平均像素誤差，或前一幀中與當前幀中當前編碼塊對應的編碼塊的重建像素值與原始像素值的平均像素誤差，其計算公式為:
[0027]
【權利要求】
1.一種高性能視頻編碼的幀間預測快速模式選擇方法，其特徵在於，該方法包括: 對視頻幀中每個編碼單元CU進行跳躍SKIP模式與幀間預測Inter2Nx2N模式的校驗； 若該CU單元的重建像素與原始像素值的誤差不超過閾值、重建像素與原始像素值的誤差的分布在預定的範圍內或預測殘差不超過預定的數值，則判斷所述SKIP模式是否為當前最優模式； 若是，則將所述SKIP模式作為當前CU單元的最優模式；否則，判斷當前CU單元是否為最小編碼單元SCU，若不是，則將當前CU單元進行四叉樹分割，並為每個子單元逐個進行模式校驗。
2.根據權利要求1所述的方法，其特徵在於，所述為每個子單元逐個進行模式選擇包括: 分別判斷每一子單元的預測殘差是否超過預定的數值；若未超過，則將所述CU單元的運動信息作為當前子單元的運行信息，並將所述SKIP模式或Inter2Nx2N作為當前子單元的最優模式。
3.根據權利要求1所述的方法，其特徵在於， 若該⑶單元的重建像素與原始像素值的誤差超過閾值、重建像素與原始像素值的誤差的分布不在預定的範圍內且預測殘差超過預定的數值，則依次判斷左右對稱的InterNx2N模式與上下對稱的Inter2NxN模式中所有像素的誤差是否在預定範圍內； 若所述InterNx2N模式與Inter2NxN模式中所有像素的誤差均在預定範圍內，則執行中貞內預測Intra2Nx2N模式與IntraNxN模式的校驗。
4.根據權利要求3所述的方法，其特徵在於，` 若所述InterNx2N模式中所有像素的誤差不在預定範圍內，則分別判斷左側單元與右側PU單元的預測殘差是否超過預定的數值；若未超過，則將Inter2NX2N模式下的運動信息作為預測殘差未超過預定數值的PU單元的運動信息；否則，對預測殘差超過預定數值的PU單元進行運動估計ME操作； 若所述InterfNxN模式中所有像素的誤差不在預定範圍內，則分別判斷上端PU單元與下端PU單元的預測殘差是否超過預定的數值；若未超過，則將Inter2NX2N模式下的運動信息作為預測殘差未超過預定數值的PU單元的運動信息；否則，對預測殘差超過預定數值的PU單元進行ME操作； 判斷InterNx2N模式或Inter2NxN模式，是否為當前最優模式； 若是，則執行非對稱模式校驗，之後再執行Intra2Nx2N模式與IntraNxN模式的校驗；否則，直接執行Intra2Nx2N模式與IntraNxN模式的校驗。
5.根據權利要求3所述的方法，其特徵在於，所述依次判斷左右對稱的InterNx2N模式與上下對稱的InterfNxN模式中所有像素的誤差是否在預定範圍內包括: 判斷InterNx2N模式中左側預測單元I3U中所有像素的誤差與右側I3U單元中所有像素的誤差的比值是否在預定範圍內，其公式為:
, Dis(, + D is、 ,
th < -----< thy ?』
Disl H- Dis' ~ 其中，th與th2表示設定的閾值，Distl與Dis2表示左側I3U單元的誤差，Dis1與Dis3表示右側PU單元的誤差；判斷InterfNxN模式中上端預測單元PU中所有像素的誤差與下端單元中所有像素的誤差的比值是否在預定範圍內，其公式為:
6.根據權利要求5所述的方法，其特徵在於，該方法還包括:像素誤差的計算方法，其計算公式為:
7.根據權利要求2、3或4所述的方法，其特徵在於，計算所述預測殘差的公式為:
8.根據權利要求1所述的方法，其特徵在於，確定CU單元的重建像素與原始像素值誤差的閾值包括: 計算當前幀的前一幀各個像素的重建像素值與原始像素值的平均像素誤差，或前一幀中與當前幀中當前編碼塊對應的編碼塊的重建像素值與原始像素值的平均像素誤差，其計算公式為:
9.根據權利要求1或8所述的方法，其特徵在於，所述重建像素與原始像素值的誤差的分布在預定的範圍內至少滿足以下一個條件: 當前CU單元中以2X2陣列方式排布的4個子單元中，僅有一個子單元中的像素超過所述閾值，且超過該閾值的像素數目大於S ； 有兩個子單元中的像素超過所述閾值，所述兩個子單元為對角線分布，且超過該閾值的像素數目大於S ; 有四個子單元中的像素超過所述閾值，且超過該閾值的像素數目大於S。
【文檔編號】H04N19/103GK103596003SQ201310557582
【公開日】2014年2月19日 申請日期:2013年11月11日 優先權日:2013年11月11日
【發明者】張金雷, 李厚強 申請人:中國科學技術大學