一種基於彩色視頻編碼模式的深度圖序列分形編碼方法

2023-09-22 01:34:15 1

一種基於彩色視頻編碼模式的深度圖序列分形編碼方法
【專利摘要】本發明提出了一種基於彩色視頻編碼模式的深度圖序列分形編碼方法。首先用分形視頻壓縮方法編碼彩色視頻，然後用分形視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式，利用深度圖序列幀宏塊與相應彩色視頻宏塊編碼模式的相關性建立深度圖序列幀宏塊的候選模式選擇表。深度圖序列的I幀採用H.264幀內預測編碼方法；深度圖序列的P幀編碼，首先用Sobel算子檢測對象邊界，對於包含對象邊界的深度圖序列幀宏塊，使用全搜索遍歷所有模式，對於不包含對象邊界的深度圖序列幀宏塊，採用SKIP模式預判斷策略，即首先判斷與之相對應的彩色宏塊是否編碼為SKIP模式，若是SKIP模式，則直接將當前深度圖序列幀宏塊的最佳編碼模式設為SKIP，否則使用率失真優化算法在候選模式中找到當前深度圖序列幀宏塊的最佳編碼模式，然後用分形法編碼深度圖。
【專利說明】一種基於彩色視頻編碼模式的深度圖序列分形編碼方法
【技術領域】:
[0001]本發明屬於三維視頻壓縮編碼領域，涉及深度圖序列的壓縮編碼，為三維立體視頻編碼的實時性應用奠定了基礎，進一步提高了基於深度圖的立體視頻壓縮編碼的性能。
【背景技術】:
[0002]深度圖所代表的是場景到攝像機成像平面的距離信息，它將實際深度值量化到[0，255],以獲得代表深度信息的灰度圖(參見Tanimoto M, Fujii T, Suzuki K, etal.Mult1-view depth map of Rena and Akko & Kayo[C], IS0/IEC JTC1/SC29/WG11, MPEG-M14888, China:Shenzhen, 2007.)。
[0003]深度圖壓縮是三維視頻系統中的核心技術。目前，對深度圖序列壓縮的方法，主要是基於H.264/AVC標準。如楊旭等針對三維視頻編碼複雜度較高的問題，提出一種快速深度圖像幀內編碼方法，該方法基於視頻圖像與深度圖像的相關性，利用視頻圖像的最優幀內預測模式信息，優化深度圖像幀內編碼預測模式的選擇範圍，減少率失真代價函數的計算量，從而降低深度圖像幀內編碼複雜度(參見楊旭，常義，林霍等.一種三維視頻深度圖像快速幀內編碼方法[J].西安電子科技大學學報(自然科學版)，2012，39(3):7-13.)。Byung Tae Oh等定義了一個深度失真函數(參見Byung Tae Oh, Jaejoon Lee，Du_sik Park.Depth map coding based on synthesized view distortion function[J].1EEE Journalof Selected Topics in Signal Processing.2011，5 (7): 1344-1352.XD.V.S.X.De Silva等提出 T 新的模式選擇方法(參見 D.V.S.X.De Silva, ff.A.C.Fernando, S.T.Worral1.1ntra mode selection method for depth maps of3D video based on renderingdistortion modeling[J].1EEE Transactions on Consumer Electronics, 2010，56(4): 2735-2740.)。
[0004]近年來分形理論也被應用到視頻序列的壓縮上，其基本思想是在視頻編碼過程中將每視頻幀(首幀除外)上的子塊從前一幀而不是同一幀找相匹配的父塊。其中最為經典和影口向較大的參見(C.S.Kim, R.C.Kim, S.U.Lee.Fractal coding of video sequence usingcircular prediction mapping and noncontractive inter frame mapping[J].1EEETransactions on Image Processing, 1998，7 (4): 601-605.)。該方法米用類似於標準視頻編碼方法所採用的運動估計/補償技術，利用了相鄰幀之間的時間強相關性，對視頻序列壓縮取得了較好的效果。Koji Ohse與Masahiro Nakagawa提出將視頻序列變換到頻率域,再應用分形視頻壓縮方法將不同分量的序列壓縮編碼(參見Koji Ohse, Masahiro Nakagawa.Fractal video coding with the orthogonal transformation[J], Electronics andCommunications in Japan, 2007, 90 (3): 36-47),此方法提供了在確定壓縮比的情況下，實現對視頻較好的壓縮。張喻平與豐洪才提出了一種利用遺傳算法提高視頻分形壓縮編碼搜索速度的算法。(參見張喻平，豐洪才.利用遺傳算法提高視頻分形壓縮編碼搜索速度[J].計算機與數字工程，2007，35(1):28-30.)這種基於遺傳算法的視頻分形壓縮編碼改進了遺傳算法中搜索空間的構造機理，結合運用合適的迭代函數系統和仿射變換，從而縮短了壓縮編碼時間，並且視頻的恢復質量略優於全搜索算法和傳統的分形壓縮算法。
[0005]為了解決目前基於深度圖的三維視頻編碼複雜度高的問題，本發明方法實現了一種利用深度圖序列幀宏塊與相應彩色視頻宏塊編碼模式相關性，建立候選模式選擇表，並進行SKIP模式預判斷，以達到深度圖序列分形編碼時快速幀間模式選擇的目的。實驗證明，該方法實現了深度圖序列壓縮編碼，並且編碼時間及編碼碼率明顯減少。

【發明內容】
:
[0006]本發明提出了一種基於彩色視頻編碼模式的深度圖序列分形編碼方法。首先使用分形視頻壓縮方法編碼彩色視頻，然後用分形視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式，利用深度圖序列幀宏塊與相應彩色視頻宏塊編碼的相關性生成深度圖序列幀宏塊的候選模式選擇表。深度圖序列的I幀編碼採用H.264幀內預測編碼方法；深度圖序列的P幀編碼，首先用Sobel算子檢測對象邊界，對於包含對象邊界的深度圖序列幀宏塊，使用全搜索編碼方法，遍歷所有模式，對於不包含對象邊界的深度圖序列幀宏塊，採用SKIP模式預判斷策略，即首先判斷與之相對應的彩色宏塊是否編碼為SKIP模式，如果是SKIP模式，則直接將當前深度圖序列幀宏塊的最佳編碼模式設為SKIP編碼模式，否則使用率失真優化算法在候選模式中找到當前深度圖序列幀宏塊的最佳編碼模式，然後用分形法編碼深度圖序列幀宏塊。
[0007]—種基於彩色視頻編碼模式的深度圖序列分形編碼方法，其特徵在於實現步驟如下:
[0008]步驟一:使用基於分形的視頻壓縮方法編碼彩色視頻；
[0009]步驟二:使用基於分形的視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式；
[0010]步驟三:若為深度圖序列的I幀(第一幀必須為I幀，其它幀可以設置是否為I幀)，使用H.264幀內預測編碼方法編碼I幀，轉到步驟九；若為深度圖序列的P巾貞，轉到步驟四；
[0011]步驟四:對深度圖序列的P巾貞，使用Sobel算子檢測對象邊界；
[0012]步驟五:依次對當前深度圖序列幀的所有宏塊進行編碼。根據模式選擇表，獲得當前深度圖序列幀宏塊的候選編碼模式；
[0013]步驟六:如果當前深度圖序列幀宏塊包含對象邊界，則使用傳統的全搜索編碼方法，遍歷所有模式，根據拉格朗日率失真優化準則獲得最佳編碼模式，轉到步驟八；否則，轉到步驟七；
[0014]步驟七:檢測與當前深度圖序列幀宏塊相對應的彩色視頻宏塊是否編碼為SKIP模式，如果是SKIP模式，則直接將當前深度圖序列幀宏塊的最佳編碼模式設為SKIP編碼模式，否則使用拉格朗日率失真優化算法在步驟五產生的所有候選模式中找到當前深度圖序列幀宏塊的最佳編碼模式，轉到步驟八；
[0015]步驟八:用步驟一的分形編碼方法使用最佳編碼模式編碼當前深度圖序列幀宏塊。判斷當前宏塊是否為當前深度圖序列幀的最後一個宏塊，若是最後一個宏塊，則轉到步驟三編碼下一幀；否則轉到步驟五編碼下一宏塊；
[0016]步驟九:判斷當前幀是否為深度圖序列最後一幀,如果是最後一幀結束編碼；否貝U，返回步驟三繼續處理下一幀深度圖像。
[0017]所述一種基於彩色視頻編碼模式的深度圖序列分形編碼方法，處理的彩色視頻與深度圖序列均為YUV格式。
[0018]所述步驟一中基於分形的視頻壓縮方法包括以下四個步驟:
[0019]I)如果是I幀(第一幀必須為I幀，其它幀可以設置是否為I幀)，採用H.264幀內編碼方式，對於每個當前塊在各種可能的預測方式中選擇具有最小代價的預測模式，完成所有塊的預測後可以得到I幀的預測幀。通過原始幀和預測幀之差得到編碼端殘差幀。轉入步驟3)編碼殘差；如果是P幀，轉到步驟2)；
[0020]2)如果是P幀。依次對當前幀的所有宏塊進行編碼。在參考幀中的搜索窗內對當前宏塊進行塊匹配；在進行子塊與父塊的匹配過程中，子塊的位置作為父塊的起始搜索點，父塊的大小與子塊的大小相同；對每個宏塊進行樹狀結構分塊，即分塊從大到小可分為16父16、16\8、8\16、8\8，8父8往下(亞宏塊分割)可以分為8X4，4X8，4X4。幀間編碼時，首先對編碼宏塊的各種塊劃分尺寸的幀間預測模式進行運動估計，確定迭代函數系統係數即IFS係數；然後比較所有模式的率失真代價；最後將率失真代價最小的模式作為最優幀間預測模式。
[0021]IFS係數由如下的率失真優化函數確定:
[0022]Jmotion=MSE (s, O, X, y, ref) + λ M0T10N*R(s, O, x, y, ref) (I)
[0023]其中IFS係數包括父塊位置(X，y)和比例因子S、偏移因子O，s和O的計算公式如下:
【權利要求】
1.一種基於彩色視頻編碼模式的深度圖序列分形編碼方法，其特徵在於如下步驟: 步驟一:使用基於分形的視頻壓縮方法編碼彩色視頻； 步驟二:使用基於分形的視頻解壓縮方法解碼彩色視頻，以獲得彩色視頻各宏塊編碼模式； 步驟三:若為深度圖序列的I幀(第一幀必須為I幀，其它幀可以設置是否為I幀)，使用H.264幀內預測編碼方法編碼I幀，轉到步驟九；若為深度圖序列的P幀，轉到步驟四； 步驟四:對深度圖序列的P幀，使用Sobel算子檢測對象邊界； 步驟五:依次對當前深度圖序列幀的所有宏塊進行編碼。根據模式選擇規則，獲得當前深度圖序列幀宏塊的候選編碼模式； 步驟六:如果當前深度圖序列幀宏塊包含對象邊界，則使用傳統的全搜索編碼方法，遍歷所有模式，根據拉格朗日率失真優化準則獲得最佳編碼模式，轉到步驟八；否則，轉到步驟七； 步驟七:檢測與當前深度圖序列幀宏塊相對應的彩色視頻宏塊是否編碼為SKIP模式，如果是SKIP模式，則直接將當前深度圖序列幀宏塊的最佳編碼模式設為SKIP編碼模式，否則使用拉格朗日率失真優化算法在步驟五產生的所有候選模式中找到當前深度圖序列幀宏塊的最佳編碼模式，轉到步驟八； 步驟八:用步驟一的分形編碼方法使用最佳編碼模式編碼當前深度圖序列幀宏塊。判斷當前宏塊是否為當前深度圖序列幀的最後一個宏塊，若是最後一個宏塊，則轉到步驟三編碼下一幀；否則轉到步驟五編碼下一宏塊； 步驟九:判斷當前幀是否為深度圖序列幀的最後一幀，如果是最後一幀結束編碼；否貝U，返回步驟三繼續處理下一幀深度圖像。
2.根據權利要求1所述一種基於彩色視頻編碼模式的深度圖序列分形編碼方法，其特徵在於:處理的彩色視頻與深度圖序列均為YUV格式。
3.根據權利要求1所述一種基於彩色視頻編碼模式的深度圖序列分形編碼方法，其特徵在於:所述步驟一中基於分形的視頻壓縮方法包括以下四個步驟: 1)如果是I幀(第一幀必須為I幀，其它幀可以設置是否為I幀)，採用H.264幀內編碼方式，對於每個當前塊在各種可能的預測方式中選擇具有最小代價的預測模式，完成所有塊的預測後可以得到I幀的預測幀。通過原始幀和預測幀之差得到編碼端殘差幀。轉入步驟3)編碼殘差；如果是P幀，轉到步驟2)； 2)如果是P幀。依次對當前幀的所有宏塊進行編碼。在參考幀中的搜索窗內對當前宏塊進行塊匹配；在進行子塊與父塊的匹配過程中，子塊的位置作為父塊的起始搜索點，父塊的大小與子塊的大小相同；對每個宏塊進行樹狀結構分塊，即分塊從大到小可分為16X16、16X8、8X16、8X8，8X8往下(亞宏塊分割)可以分為8X4，4X8，4X4。幀間編碼時，首先對編碼宏塊的各種塊劃分尺寸的幀間預測模式進行運動估計，確定迭代函數系統係數即IFS係數；然後比較所有模式的率失真代價；最後將率失真代價最小的模式作為最優幀間預測模式。 IFS係數由如下的率失真優化函數確定:
Jmotion-MSE (S，O, X, y, ref) + λ motion*R (s，ref)(I) 其中IFS係數包括父塊位置(x，y)和比例因子S、偏移因子O，s和ο的計算公式如下:
4.根據權利要求1所述一種彩色視頻編碼模式的深度圖序列分形編碼方法，其特徵在於:所述步驟二中基於分形的視頻解壓縮方法包括以下五個步驟: 1)解碼端獲得壓縮的碼流。碼流中數據元素首先進行熵解碼和重排序，獲得一系列量化係數，這些係數經過反量化和反變換得到解碼端殘差數據； 2)判斷解碼幀是否為I幀，若是I幀轉入步驟3)，否則轉入步驟4)； 3)對於I幀，首先由H.264幀內預測方式得到預測幀，預測幀與解碼端殘差幀進行相加之後得到重建幀，幀數加I轉入步驟5)； 4)對於P幀，首先從碼流中讀入該幀所有宏塊的劃分方式、每一個小塊的迭代函數系統係數與運動矢量，由各迭代函數系統係數和運動矢量分別計算出解碼端的預測塊形成解碼端的預測幀，預測幀與殘差幀相加得到重建幀。幀數加I轉到步驟5)； 5)判斷此時所有幀是否都已解碼，若都解碼完畢，結束解碼過程，否則轉入步驟2)。
5.根據權利要求1所述一種彩色視頻編碼模式的深度圖序列分形編碼方法，其特徵在於:所述步驟五中模式選擇規則如下: 1)如果彩色視頻宏塊編碼模式為SKIP，則相應深度圖序列幀宏塊編碼模式為SKIP； 2)如果彩色視頻宏塊編碼模式為16X16，則相應深度圖序列幀宏塊編碼模式為SKIP，16X16中的最佳模式；3)如果彩色視頻宏塊編碼模式為16X8，則相應深度圖序列幀宏塊編碼模式為SKIP, 16X16,16X8中的最佳模式； 4)如果彩色視頻宏塊編碼模式為8X16，則相應深度圖序列幀宏塊編碼模式為SKIP, 16X16,8X16中的最佳模式； 5)如果彩色視頻宏塊編碼模式為P8X8，則相應深度圖序列幀宏塊編碼模式為SKIP, 16X16,16X8,8 X16, P8X8 中的最佳模式。
【文檔編號】H04N19/176GK103546747SQ201310453277
【公開日】2014年1月29日 申請日期:2013年9月29日 優先權日:2013年9月29日
【發明者】祝世平, 趙冬玉 申請人:北京航空航天大學