基於四叉樹約束的編碼單元的劃分方法及視頻編碼方法
2023-06-29 08:07:01
基於四叉樹約束的編碼單元的劃分方法及視頻編碼方法
【專利摘要】本發明公開了一種基於四叉樹約束的編碼單元的劃分方法及視頻編碼方法。編碼單元的劃分方法包括步驟：輸入兩個以上視點視頻紋理圖像和深度圖像序列；記錄各獨立視點的最大編碼單元的劃分層次信息；獲取最大編碼單元中各個存儲單元在獨立視點中的匹配單元；得到最大編碼單元對應的子分塊的初步劃分層次圖；利用四叉樹約束條件對初步劃分層次圖進行校正；輸出當前編碼視點各最大編碼單元的劃分。視頻編碼方法中對編碼單元的劃分採用上述劃分方法。本發明利用獨立視點的編碼單元的劃分信息來幫助非獨立視點進行編碼單元的劃分，並利用四叉樹約束條件對編碼單元劃分層次圖進行校正，避免了現有的複雜算法，加速了整個編碼單元劃分的過程，提高了效率。
【專利說明】基於四叉樹約束的編碼單元的劃分方法及視頻編碼方法
【技術領域】
[0001]本發明涉及視頻編碼技術，尤其涉及一種基於四叉樹約束的多視點視頻編碼單元的快速劃分方法，以及使用該方法的多視點視頻編碼方法。
【背景技術】
[0002]隨著對支持3D視頻格式(如「多視點視頻」和「多視點視頻+深度圖」格式)的編碼標準的要求越來越強烈，ITU-T VCEG(Video Coding Experts Group)和 IS0/IECMPEG (Moving Pictures Experts Group)組成了 JCT_3V( Joint Collaborative Team on3DVideo coding development)來一起研發3D視頻的編碼標準。在目前的標準中，基於新一代視頻標準HEVC (High Efficiency Video Coding)的3D視頻編碼標準由於其採用了更複雜的編碼工具和利用視點間相關性進行編碼，獲得了更好的性能。
[0003]在新的HEVC標準中，編碼層採用的是不同以往宏塊(MB)的編碼單元，而是新的編碼單元(⑶，Coding Units)和編碼樹結構(CTU, Coding Tree Units)。與其它的3D視頻編碼標準相比，3D-HEVC提供了更高的壓縮效率和性能，但也帶來了很高的編碼複雜度。其主要原因是由於編碼層採用了遞歸的四叉樹結構:將每個編碼單元劃分成四個子編碼單元，其大小從最大編碼單元(LCU)的64X64到最小編碼單元的8X8，並對每種尺寸的CU進行幀內、幀間及視點間運動估計和率失真優化。其中以劃分層次信息來表示CTU的四叉樹結構:當CU的劃分信息值為O時，最大編碼單元被劃分為64x64的CU ;當CU的劃分信息值為I時，最大編碼單元被劃分為32x32的CU ;當CU的劃分信息值為2時，最大編碼單元被劃分為16x16的⑶；當⑶的劃分信息值為3時，最大編碼單元被劃分為8x8的⑶。目前的HTM平臺上採用的是窮盡迭代法，將一個最大編碼單元從64x64的⑶經過三層四叉樹結構到8x8的CU，劃分過程計算複雜度很大，限制了其在實時場景中的應用。
【發明內容】
[0004]為克服上述現有技術的缺陷，本發明提供一種基於四叉樹結構的編碼單元的劃分方法及視頻編碼方法，加速了編碼單元劃分的過程，大大提高了效率。
[0005]為達到上述目的，本發明採用以下技術方案:
[0006]本發明公開了一種基於四叉樹約束的編碼單元的劃分方法，包括以下步驟:A1:輸入兩個以上視點視頻紋理圖像和深度圖像序列；A2:編碼獨立視點紋理圖像，記錄各獨立視點的最大編碼單元的劃分層次信息；A3:獲取待編碼的非獨立視點紋理圖像的最大編碼單元中各個存儲單元在所述各獨立視點中的匹配單元;A4:根據步驟A2所述的所述劃分層次信息得到當前待編碼的非獨立視點紋理圖像的最大編碼單元對應的子分塊的初步劃分層次圖；A5:利用四叉樹約束條件對所述初步劃分層次圖進行校正；A6:輸出當前編碼視點各最大編碼單元的劃分。
[0007]進一步地，所述步驟A2中，所述各最大編碼單元的劃分信息為四叉樹單元結構的分層信息k，k的取值為0、1、2或3。
[0008]更進一步地，所述步驟A2中，所述劃分信息是以各最大編碼單元內信息的存儲單元為單位記錄的。
[0009]更進一步地，所述步驟A3具體包括:對各待編碼的非獨立視點紋理圖像的最大編碼單元中各個存儲單元，根據當前編碼視點的深度信息圖來計算視差向量，得到當前最大編碼單元中各個存儲單元在獨立視點中對應的匹配；其中，對當前最大編碼單元中的每一個存儲單元都計算一個視差向量。
[0010]更進一步地，所述步驟A4中，當前待編碼的非獨立視點紋理圖像中各待編碼的最大編碼單元對應的子分塊的初步劃分層次圖是通過步驟A3中得到的各個存儲單元的匹配單元的劃分構成。
[0011]更進一步地，所述步驟A5中，利用四叉樹約束條件對步驟A4中的得到的初步劃分層次圖進行校正，使其滿足編碼單元劃分的四叉樹結構。
[0012]更進一步地，所述編碼單元的四叉樹結構可由如下公式表示:
[0013]如果di；J=k, i, j=0, I,...15,
16 16
Vz e (ij + I,./ + — -1)'/.e ( /.、/.+ I,"'/ + — -1)
[0014]
,..16.....16
d n 二 A,/，^ (/,/ +1,./ + — I), /1 G (/, / + I,…/.+.^■-1)
[0015](i \ j ') ^ (/, j) (I),
[0016]di；J為所述步驟A2中每個存儲單元中左上角像素位置存儲的當前編碼單元劃分層次信息，d '為當前編碼單元劃分層次信息中其它存儲單元的深度值，k為四叉樹單元結構的分層信息，其所滿足的四叉樹約束條件由公式(I)表示。
[0017]利用公式(I)的四叉樹約束條件，對於得到的初步的層次劃分圖，自頂向下逐級校正其不滿足四叉樹結構的部分；依次類推，直到將獨立視頻內的匹配單元和當前最大編碼單元劃分到標準中允許的最小編碼單元為止。
[0018]更進一步地，所述計算視差向量可採用HEVC標準中所列方法。
[0019]更進一步地，所述HEVC標準中所列方法包括基於已編碼深度圖像的視差向量估計方法、基於已編碼視差向量和運動向量的視差向量估計方法、基於相鄰塊視差向量的估計方法和基於不同視點已編碼的深度圖計算的方法。
[0020]本發明還公開了一種基於四叉樹約束的視頻編碼方法，該編碼方法中對編碼單元的劃分採用如上述任一項所述的劃分方法。
[0021]本發明的有益效果是:本發明利用視點間紋理的相關性，利用獨立視點的編碼單元的劃分信息來幫助非獨立視點進行編碼單元的劃分。當編碼非獨立視點時，利用已編碼的同一時刻的獨立視點的編碼單元劃分層次信息來幫助當前編碼的非獨立視點編碼單元的劃分，在計算上省略了窮盡迭代的非獨立視點的編碼單元劃分法，取而代之的是統計非獨立視點中當前最大編碼單元中各個存儲單元對應到獨立視點中最大編碼單元位置內的各個存儲單元中編碼單元的劃分層次信息，初步得到非獨立視點編碼單元劃分的層次圖，並利用四叉樹結構約束條件對其進行校正，從而避免了現有算法中對每種編碼單元劃分模式的計算，以及對相應的RDCost的計算，加速了整個編碼單元劃分的過程，提高了效率。與此同時，相比於其它快速算法，本發明所提供的算法不需要進行複雜的運算，只需根據四叉樹約束條件進行校正，本發明所提供的算法引入的平均負載只有0.0187%，並且節省了平均59.4%的編碼時間。
【專利附圖】
【附圖說明】
[0022]圖1是本發明一個實施例的編碼單元的劃分方法流程圖；
[0023]圖2是本發明一個實例中待編碼的非獨立視點中最大編碼單元的初步劃分層次圖；
[0024]圖3是利用四叉樹約束條件校正圖2中的初步劃分層次圖所得到的待編碼的非獨立視點最大編碼單元的劃分層次圖。
【具體實施方式】
[0025]通過研究視點間紋理的相關性，可通過利用獨立視點中的最大編碼單元的劃分層次信息，來判定當前待編碼的非獨立視點的最大編碼單元對應子分塊的劃分方法。因為，相鄰視點之間基線較短，相鄰視點中的內容相同，其在不同視點中的劃分有很大的相似性，從而可以初步得到非獨立視點中最大編碼單元中各子分塊的劃分，同時四叉樹條件約束對初步得到的劃分進行校正，使其可以直接用於指導非獨立視點最大編碼單元的劃分，而無須經過複雜的計算，對整個編碼器引入的負載可忽略不計，可在保證編碼質量的前提下，大大降低編碼過程運算的複雜度。
[0026]下面對照附圖和結合優選【具體實施方式】對本發明進行詳細的闡述。下面的實施過程中所述的具體方法都僅為舉例說明，本發明所涵蓋的範圍不局限於所列舉的這些方法。
[0027]如圖1所示是本發明一個實施例的編碼單元的劃分方法流程圖，其主要包括如下步驟:
[0028]Al:輸入兩個以上視點視頻紋理圖像和深度圖像序列。輸入的多視點立體視頻序列為:通過攝像機、照相機採集所得，或者通過計算機工具所得的視頻序列，數據格式不限，該序列可用於立體觀看。
[0029]A2:編碼獨立視點紋理圖像，記錄各最大編碼單元的劃分信息。當編碼獨立視點紋理圖像時，記錄獨立視點內每一幀的各最大編碼單元的劃分信息。其中劃分信息是以各最大編碼單元內信息的存儲單元為單位記錄的，且該劃分信息為四叉樹單元結構的分層信息k，k的取值為0、1、2或3。
[0030]A3:獲取待編碼的非獨立視點紋理圖像的最大編碼單元中各個存儲單元在各獨立視點中的匹配單元。根據當前編碼視點的深度信息圖的深度信息來計算其相對獨立視點的視差向量，得到當前待編碼的非獨立視點的最大編碼單元中各個存儲單元在獨立視點中對應的匹配單元，例如:可以計算當前待編碼的非獨立視點的最大編碼單元中各個存儲單元的任一像素位置所對應到獨立視點中的位置，根據其位置信息找到其對應在獨立視點中對應的存儲單元，如在HEVC中:利用當前待編碼的非獨立視點的最大編碼單元中各個存儲單元(如4X4的存儲單元)左上角像素的信息，通過視差向量得到其在獨立視點中對應的位置，此位置右方和下方各4個像素位置所對應的4X 4的編碼單元即為這裡所說的匹配單元。其中，較佳的做法是對當前待編碼的非獨立視點的最大編碼單元中的每個存儲單元都重新計算一個視差向量，因為視頻中不同區域內容不同，深度值也不同，對於每一個待編碼的非獨立視點的最大編碼單元都重新計算一個視差向量使得該視差向量對當前編碼單元更準確。具體視差向量的計算過程可採取基於已編碼的深度圖來計算視差向量，但不限於此，任何能夠算出視差向量的計算方法均可採用，譬如，基於已編碼深度圖像的視差向量估計方法、基於已編碼視差向量和運動向量的視差向量估計方法、基於相鄰塊視差向量的估計方法和基於不同視點已編碼的深度圖計算的方法等在HEVC標準中所列出的多種視差向量計算方法。
[0031]A4:得到當前待編碼的非獨立視點紋理圖像中各待編碼的最大編碼單元對應的子分塊的初步劃分層次圖。
[0032]當前待編碼的非獨立視點紋理圖像中各待編碼的最大編碼單元對應的子分塊的初步劃分層次圖是通過步驟A3中得到的各個存儲單元的匹配單元的劃分構成，但此初步得到的劃分層次圖不一定滿足編碼單元劃分的四叉樹結構。
[0033]例如:在HEVC標準中，最大編碼單元為64X 64，其存儲單元大小為4X 4，劃分層次信息為0、1、2、3，可利用步驟A3中的視差向量得到當前待編碼的非獨立視點紋理圖像中各待編碼的最大編碼單元對應的子分塊的初步劃分層次圖如圖2所示，其中圖中所標示出的加粗框部分為不滿足四叉樹約束條件部分，如左上角加粗矩形框中的值應為2。
[0034]A5:利用四叉樹約束條件對步驟A4中得到的初步劃分層次圖進行校正，其中四叉樹約束條件的四叉樹結構可由如下公式(I)表示:
【權利要求】
1.一種基於四叉樹約束的編碼單元的劃分方法，其特徵在於，包括以下步驟: Al:輸入兩個以上視點視頻紋理圖像和深度圖像序列； A2:編碼獨立視點紋理圖像，記錄各獨立視點的最大編碼單元的劃分層次信息； A3:獲取待編碼的非獨立視點紋理圖像的最大編碼單元中各個存儲單元在所述各獨立視點中的匹配單元； A4:根據步驟A2所述的所述劃分層次信息得到當前待編碼的非獨立視點紋理圖像的最大編碼單元對應的子分塊的初步劃分層次圖； A5:利用四叉樹約束條件對所述初步劃分層次圖進行校正； A6:輸出當前編碼視點各最大編碼單元的劃分。
2.如權利要求1所述的劃分方法，其特徵在於，所述步驟A2中，所述各最大編碼單元的劃分信息為四叉樹單元結構的分層信息k，k的取值為0、1、2或3。
3.如權利要求1所述的劃分方法，其特徵在於，所述步驟A2中，所述劃分信息是以各最大編碼單元內信息的存儲單元為單位記錄的。
4.如權利要求1所述的劃分方法，其特徵在於，所述步驟A3具體包括:對各待編碼的非獨立視點紋理圖像的最大編碼單元中各個存儲單元，根據當前編碼視點的深度信息圖來計算視差向量，得到當前最大編碼單元中各個存儲單元在獨立視點中對應的匹配；其中，對當前最大編碼單元中的每一個存儲單元都計算一個視差向量。
5.如權利要求1所述的劃分方法，其特徵在於，所述步驟A4中，當前待編碼的非獨立視點紋理圖像中各待編碼的最大編碼單元對應的子分塊的初步劃分層次圖是通過步驟A3中得到的各個存儲單元的匹配單元的劃分構成。
6.如權利要求1所述的劃分方法，其特徵在於，所述步驟A5中，利用四叉樹約束條件對步驟A4中的得到的初步劃分層次圖進行校正，使其滿足編碼單元劃分的四叉樹結構。
7.如權利要求6所述的劃分方法，其特徵在於: 所述編碼單元的四叉樹結構可由如下公式表示: 如果i, j=0, I,…15,..16.16
Cliij為所述步驟A2中每個存儲單元中左上角像素位置存儲的當前編碼單元劃分層次信息，0-為當前編碼單元劃分層次信息中其它存儲單元的深度值，k為四叉樹單元結構的分層信息，其所滿足的四叉樹約束條件由公式(I)表示。
8.如權利要求7所述的劃分方法，其特徵在於，利用公式(I)的四叉樹約束條件，對於得到的初步的層次劃分圖，自頂向下逐級校正其不滿足四叉樹結構的部分；依次類推，直到將獨立視頻內的匹配單元和當前最大編碼單元劃分到標準中允許的最小編碼單元為止。
9.如權利要求4所述的劃分方法，其特徵在於，所述計算視差向量可採用HEVC標準中所列方法。
10.如權利要求9所述的劃分方法，其特徵在於，所述HEVC標準中所列方法包括基於已編碼深度圖像的視差向量估計方法、基於已編碼視差向量和運動向量的視差向量估計方法、基於相鄰塊視差向量的估計方法和基於不同視點已編碼的深度圖計算的方法。
11.一種基於四叉樹約束的視頻編碼方法，其特徵在於，該編碼方法中對編碼單元的劃分採用如權利要求1至10任一項所述的劃分方法。
【文檔編號】H04N19/96GK104202612SQ201410151037
【公開日】2014年12月10日 申請日期:2014年4月15日 優先權日:2014年4月15日
【發明者】金欣, 遲廣晟, 王興政, 戴瓊海 申請人:清華大學深圳研究生院