自由視點視頻的合成視點失真預測方法及編碼方法
2023-05-29 02:24:41
自由視點視頻的合成視點失真預測方法及編碼方法
【專利摘要】本發明公開了自由視點視頻的合成視點失真預測方法及編碼方法：將原始紋理圖塊To根據原始深度圖塊do映射到合成視點的對應位置；將紋理圖塊Tc根據深度圖塊dc映射到合成視點的對應位置，其中，紋理圖塊Tc中的像素點n的紋理Tc,n根據像素點n的深度dc,n被映射到合成視點的位置xc,n，紋理圖塊Tc中的像素點n+1的紋理Tc,n+1根據像素點n+1的深度dc,n+1被映射到合成視點的位置xc,n+1；分別計算像素點n的第一紋理值預測TVS,c,n和第二紋理值預測TVS,o,n：根據第一紋理值預測TVS,c,n與第二紋理值預測TVS,o,n的差值判斷編碼深度圖塊dc的像素點n造成的合成視點失真。本發明可以大幅降低自由視點深度視頻編碼的計算複雜度。
【專利說明】自由視點視頻的合成視點失真預測方法及編碼方法
【【技術領域】】
[0001]本發明涉及計算機視覺技術和視頻編碼領域，特別涉及自由視點視頻的合成視點失真預測方法及編碼方法。
【【背景技術】】
[0002]自由視點視頻可以為用戶提供任意視點的場景圖像，從而極大地增強用戶的視覺體驗效果，因而具有廣闊的發展前景。3D-HEVC作為MPEG (Moving Pictures ExpertsGroup)和 VCEG (Video Coding Experts Group)的聯合視頻項目 HEVC (High EfficiencyVideo Coding)的拓展項目，已被發展用於3D視頻編碼。
[0003]在3D-HEV C中，3D場景信息用「多視點視頻+深度圖」進行表示，其中多視點視頻即從多個視點採集的紋理視頻，而對應視點的深度圖視頻則表徵了場景中物體到相機間的距離。「多視點視頻+深度圖」數據通過編碼壓縮、傳輸、解碼，在終端被用於合成任意視點的視頻。由於深度圖數據表徵場景幾何信息，在視點合成算法中，被用作將被編碼視點的紋理像素映射到合成視點中，因此，解碼後的深度圖質量對合成視點的圖像質量至關重要。在深度圖編碼過程中，為獲得優化的深度圖編碼性能，用率失真優化的方法來選擇編碼模式和參數。率失真優化問題是一個拉格朗日優化問題，即選擇能夠使D+λ.R最小的編碼模式或編碼參數；D表示不同編碼模式或參數下，當前深度圖塊經編碼和解碼後，造成的合成視圖失真，R表示不同編碼模式或參數下編碼當前深度圖塊產生的比特數；λ是拉格朗日乘子。
[0004]廣泛用於視頻編碼的傳統失真計算方法，例如SSD (Sum of SquaredDifferences)和SAD (Sum of Absolute Differences),最先被用於深度序列編碼的失真預測；該方法原理簡單，算法複雜性低，易於硬體實現，但未考慮深度圖失真對合成視圖的影響，因而不能從整體上保證合成視圖的質量。因此，SVDC (Synthesized View DistortionChange)等方法被提出來，通過反覆執行視點合成算法，計算編碼深度圖造成的合成視圖的失真；該方法可以有效保證合成視圖的質量，但其計算量極大，尤其不利於實時系統的應用。為了降低SVDC等方法的計算複雜度,VSD (View Synthesis Distortion)等方法被提出來，被用於通過估算編碼深度圖造成的合成視圖的失真，來預測深度圖失真；該類方法恰當地平衡了編碼複雜度和壓縮性能，但現有估計模型的準確性都十分有限，並不能提供很好的合成視圖質量。
【
【發明內容】
】
[0005]為了解決現有技術存在的問題，本發明提供了一種自由視點視頻的合成視點失真預測方法，在保證合成視點失真預測準確度的情況下降低計算合成視點失真計算複雜度。
[0006]自由視點視頻的合成視點失真預測方法，包括如下步驟:
[0007]對於多視點立體視頻序列中設定視點的設定幀的用作插值合成的原始深度圖塊d。，採用某一模式試編碼後的深度圖塊d。，與所述原始深度圖塊d。對應位置的原始紋理圖塊T。，所述原始紋理圖塊Τ。經過編碼後得到紋理圖塊Τ。；
[0008]將所述原始紋理圖塊Τ。根據所述原始深度圖塊d。映射到合成視點的對應位置，其中，原始紋理圖塊T。中的像素點η的紋理I^n根據像素點η的原始深度被映射到合成視點的位置Χ，η，原始紋理圖塊Τ。中的像素點η+1的紋理?；η+1根據像素點η+1的原始深度d0,n+1被映射到所述合成視點的位置X，n+1 ；
[0009]將紋理圖塊T。根據所述深度圖塊d。映射到合成視點的對應位置，其中，紋理圖塊Tc中的像素點η的紋理Tp根據像素點η的深度C^n被映射到合成視點的位置Xp，紋理圖塊Τ。中的像素點η+1的紋理?；，η+1根據像素點η+1的深度dc』n+1被映射到所述合成視點的位
-S- Χ(^Ι?+1 ?
[0010]分別計算像素點η的第一紋理值預測Tvs，e，n和第二紋理值預測Tvs^n:
【權利要求】
1.自由視點視頻的合成視點失真預測方法，其特徵是，包括如下步驟: 對於多視點立體視頻序列中設定視點的設定幀的用作插值合成的原始深度圖塊d。，採用某一模式試編碼後的深度圖塊d。，與所述原始深度圖塊d。對應位置的原始紋理圖塊T。，所述原始紋理圖塊T。經過編碼後得到紋理圖塊T。； 將所述原始紋理圖塊T。根據所述原始深度圖塊d。映射到合成視點的對應位置，其中，原始紋理圖塊T。中的像素點η的紋理?；，η根據像素點η的原始深度<η被映射到合成視點的位置Χμ，原始紋理圖塊Τ。中的像素點η+1的紋理根據像素點η+1的原始深度d0』n+1被映射到所述合成視點的位置X，n+1 ； 將紋理圖塊T。根據所述深度圖塊d。映射到合成視點的對應位置，其中，紋理圖塊T。中的像素點η的紋理Τ。，根據像素點η的深度被映射到合成視點的位置xe，n，紋理圖塊T。中的像素點η+1的紋理?；，η+1根據像素點η+1的深度dc』n+1被映射到所述合成視點的位置X。，η+1 ; 分別計算像素點η的第一紋理值預測Tvs，e，n和第二紋理值預測Tvs^n:
2.如權利要求1所述的自由視點視頻的合成視點失真預測方法，其特徵是，還包括如下步驟: 將所述設定視點的左視點的紋理圖與設定視點的右視點的紋理圖合成所述設定設點的紋理圖； 記錄左視點的紋理圖和右視點的紋理圖分別在設定視點的紋理圖中所佔的權重矩陣； 基於第一紋理值預測Tvs+n與第二紋理值預測TVun的差值和合併權重Wn的乘積判斷編碼原始深度圖塊d。的像素點η造成的合成視點失真，其中，合併權重Wn是從權重矩陣中獲取的原始紋理圖塊Τ。的像素點η紋理的合併權重。
3.如權利要求2所述的自由視點視頻的合成視點失真預測方法，其特徵是，還包括如下步驟: 計算編碼深度圖塊d。的像素點η的造成的合成視點失真Dvs,n=(Tvs,c,n-Tvs,on)2Wn2。
4.如權利要求3所述的自由視點視頻的合成視點失真預測方法，其特徵是，還包括如下步驟: 若合成視點的位置和合成視點的位置\η+1之間含有多個整數位置，則調整後的合成視點失真IV vs, η:
5.如權利要求3或4所述的自由視點視頻的合成視點失真預測方法，其特徵是，還包括如下步驟: 將深度圖塊d。的所有像素點的合成像素點失真求和，得到深度圖塊d。造成的合成視點失真。
6.一種自由視點視頻的合成視點編碼方法，其特徵是，其採用如權利要求1-5所述的任一自由視點視頻的合 成視點失真預測方法後進行編碼。
【文檔編號】H04N13/00GK103997635SQ201410146857
【公開日】2014年8月20日 申請日期:2014年4月11日 優先權日:2014年4月11日
【發明者】金欣, 李晨陽, 張永兵, 戴瓊海 申請人:清華大學深圳研究生院