一種基於分塊投影的dibr方法
2023-06-11 14:04:31 1
一種基於分塊投影的dibr方法
【專利摘要】本發明公開了一種基於分塊投影的DIBR方法，首先，獲取參考視點的彩色圖像、深度圖和兩個視點的攝像機幾何參數；其次，將參考圖像分成若干的分塊區域，並對每個分塊區域進行投影變換；最後，將目標視點圖像中各分塊區域整合，並修復空洞，以得到最終的目標視點圖像。不難發現，該方法並沒有直接利用逐點進行視點變換來生成新視點，因而有效避免了目標視點圖像受深度圖連續性的影響。利用仿真實驗和實際數據比較了傳統方法和基於分塊投影的DIBR方法之間的性能，驗證了該方法的有效性，提高了目標視點繪製的質量，並降低了傳輸帶寬。
【專利說明】—種基於分塊投影的DI BR方法
【技術領域】
[0001]本發明涉及3D視頻技術、自由視點視頻技術及基於深度圖繪製技術的領域，尤其是指一種基於分塊投影的DIBR方法。
【背景技術】
[0002]基於深度圖的繪製(DIBR)技術(參見文獻「鬱理.基於深度圖像繪製的自由視點視頻關鍵技術研究[D].[博士論文].中國科學技術大學，2010」)，以攝像機投影理論為視點繪製的理論基礎，在已知攝像機內、外參數和參考圖像深度信息的條件下，將參考視點中的像素點變換到目標視點下的圖像平面中。理論上，可以實現任意位置的視點繪製，具有繪製速度快，帶寬需求小的優點，是各種高級視頻應用，如3D電視、自由視點電視的關鍵技術之一。
[0003]然而，DIBR技術也存在自身的局限性，I)目標視點圖像不可避免的會產生空洞，一類空洞是由於計算中坐標取整時的近似處理造成的；另一類是由於參考視點位置的改變以及深度圖不連續而產生的，這是最主要的問題。2)可視化問題，正常情況下應該是前景圖像覆蓋在背景之上，而實際中可能出現相反的情形，當兩個不同的深度值投影到同一像素點時，會發生此種問題.3)邊緣重影，由於深度信息及相機參數的精度等原因，在背景中出現了前景圖像邊緣區域的假象。
[0004]上述幾個問題的出現，究其原因是深度信息不夠理想，國內外許多學者對此進行了研究。一種方案是採用層次化深度圖(LDI)技術(參見文獻「Shade J, GortlerS，He L Wj et al.Layered depth images.Proceedings of the25th Annual Conferenceon Computer Graphics and Interactive Technique.New York，1998:231-242，，)，然而其傳輸帶寬大、計算複雜度高的問題，使其不具有實際應用的價值.深度圖預處理技術是另一個有效的途徑，對應有各種濾波策略，如高斯濾波(參見文獻「ZhangLjTam W J.Stereoscopic image generation based on depth images for3DTV.1EEETransactions on Broadcasting, 2005，51 (2): 191-199」 )、基於邊緣獨立的深度濾波(參見文獻「Wan-Yu Chen，Yu-Lin Chang, Shyh-Feng Linj et al.Efficient Depth ImageBased Rendering with Edge Dependent Depth Filter and Interpolation.Proceedingsof IEEE Conference on Multimedia and Expo，Amsterdam，2005:1314-1317」)、 基於SIFT配準的深度圖預處理(參見文獻「Hao-Peng Li，Markus Flierl.Sift-basedimprovement of depth imagery.Proceedings of IEEE Conference on Multimediaand Expo，Barcelona，2011:1-6，，以及文獻 「Hu Dong, Sun Jianfeij Xu Ping.1mprovement of virtual view rendering based on depth image.Proceedings ofIEEE Conference on Image and Graphics，Hefei，2011:254-257，，)、視差域處理(參見 文 uTing-Ching Lin，Hsien-Chao Huang, Yueh-Min Huang.Preserving DepthResolution of Synthesized Images Using Parallax-Map-Based DIBR for3DTV.1EEETransactions on Consumer Electronics，2010，56 (2): 720_727，，)、形態學處理(參見文獻「駱凱，李東曉，馮雅美等.基於DIBR和圖像修復的任意視點繪製.中國圖像圖形學報，2010，15(3):443-449.」)等方法.這些方法都有效地縮小了空洞的尺寸、減少了空洞的數量，但對應深度圖的精度也隨之降低了，致使目標視點產生部分幾何失真.還有一個思路是與圖像修復技術(參見文獻「駱凱，李東曉，馮雅美等.基於DIBR和圖像修復的任意視點繪製.中國圖像圖形學報，2010，15(3):443-449，，以及文獻「Tauber Z, Li Z N, Drew M S.Review and preview:DisoccIusion by Inpainting forimage-based rendering.1EEE Transactions on Systems Man and Cybernetics, PartC:Applications and Reviews, 2007，37(4):527 - 540」)相結合的空洞修補策略，但是增加了計算複雜度.另外一些方法(參見文獻「Gang Song, Jinbao Xue, Hua L1.A newdouble-sided DIBR method for virtual view generation in3DTV.Proceedings ofIEEE Conference on Communication Technology, Jinan, 2011:1099-1102，，以及文獻「Ndjik1-Nya Patrick, Koppel Martin, Doshkov Dimitar, et al.Depth Image-BasedRendering with advanced texture synthesis for3~D vide0.1EEE Transactions onMultimedia, 2011, 13(3):453-465")採用雙邊同時做視點變換，通過圖像融合來繪製視點的策略，然而，當深度信息誤差較大時，目標圖像中易產生明顯的重影。
【發明內容】
[0005]本發明的目的在於克服現有技術的不足與缺點，為有效解決當前方法的計算複雜度高，且視點質量易受深度圖精度制約的問題，提供一種優化的基於分塊投影的DIBR方法，其針對目標視點的空洞區域主要出現在深度不連續區域的特點，背景圖像的深度變化相對平緩，可將其局部區域分塊近似為平面區域，從而得以採用單應變換的方法進行繪製，較好地避免了傳統方法中所有的像素點都依賴於深度信息的缺點，減少了目標視點圖像的空洞和偽影，提高了主客觀質量。
[0006]為實現上述目的，本發明所提供的技術方案為:一種基於分塊投影的DIBR方法，首先，獲取參考視點的彩色圖像、深度圖和兩個視點的攝像機幾何參數；其次，將參考圖像分成若干的分塊區域，並對每個分塊區域進行投影變換；最後，將目標視點圖像中各分塊區域整合，並修復空洞，以得到最終的目標視點圖像。
[0007]本發明所述基於分塊投影的DIBR方法，包括以下步驟:
[0008]I)獲取參考視點圖像及對應的深度圖，以及目標視點的深度圖；
[0009]2)將參考圖像分成若干分塊區域，並近似作平面處理，以用於單應變換模型；
[0010]3)針對各分塊區域，利用視點變換方程求取對應點對；
[0011]4)計算出各分塊區域的單應矩陣，然後作單應變換，最後將各分塊投影區域進行整合，並進行空洞修補得到最終的目標視點圖像。
[0012]在步驟2)中，一個視點圖像可經由單應矩陣映射到對應的另一個視點圖像，前提是這兩個圖像在3D空間中的原像是一個空間平面，因此不能簡單地將這個模型作用於整幅圖像上；而就圖像中的某一小塊區域而言，由於在極小的範圍內任何物體的表面都可近似為平面，此時對於單應變換模型成立；而分塊區域的標準差描述如下:[0014]其中，分塊區域的大小為NXM，d(n, m)表示該區域像素點對應的深度值，μ為區域內的平均深度值，σ u為標準差，它反映了整個第i行、第j列的分塊區域的平均深度值的分散程度；我們用σ u來描述分塊區域採用單應變換模型的近似誤差，顯然，σ u越小，則
誤差越小。
[0015]在步驟3)中，所述視點變換方程為:m = PM，式中m和M分別表示像素點的相機空間和世界空間坐標，矩陣P表示攝像機矩陣；分塊處理的方式為:將參考圖像分成若干合適的分塊區域，由於分塊區域至少需要4個對應點對，因此規定分塊區域的大小為MXN, 5 ^ N，MS 15，分塊不宜過大，這樣會增大單應變換模型的近似誤差，也不宜過小，這會增加計算複雜度，通常取N = M = S ;然後，對分塊區域進行單應變換:m' = Hum，式中矩陣Hu描述了參考視點圖像的分塊區域到目標視點圖像的一一映射，稱為單應矩陣，通過特徵點求得；對應點對的定義:參考視點圖像中分塊區域的一個點m,經過視點變換能映射到目標視點圖像的點m',則稱頂點m與m'是一個對應點對。
[0016]在步驟4)中，所述單應變換的原理為:空間平面在兩個攝像機下的圖像點具有一一對應的關係，且這種對應關係是齊次線性的，可由一個三階矩陣即單應矩陣來描述:m' = Hum;矩陣Hu稱為單應矩陣，它是齊次的，有8個自由度，如下所示:
【權利要求】
1.一種基於分塊投影的DIBR方法，其特徵在於:首先，獲取參考視點的彩色圖像、深度圖和兩個視點的攝像機幾何參數；其次，將參考圖像分成若干的分塊區域，並對每個分塊區域進行投影變換；最後，將目標視點圖像中各分塊區域整合，並修復空洞，以得到最終的目標視點圖像。
2.根據權利要求1所述的一種基於分塊投影的DIBR方法，其特徵在於，包括以下步驟: 1)獲取參考視點圖像及對應的深度圖，以及目標視點的深度圖； 2)將參考圖像分成若干分塊區域，並近似作平面處理，以用於單應變換模型； 3)針對各分塊區域，利用視點變換方程求取對應點對； 4)計算出各分塊區域的單應矩陣，然後作單應變換，最後將各分塊投影區域進行整合，並進行空洞修補得到最終的目標視點圖像。
3.根據權利要求2所述的一種基於分塊投影的DIBR方法，其特徵在於:在步驟2)中，一個視點圖像可經由單應矩陣映射到對應的另一個視點圖像，前提是這兩個圖像在3D空間中的原像是一個空間平面，因此不能簡單地將這個模型作用於整幅圖像上；而就圖像中的某一小塊區域而言，由於在極小的範圍內任何物體的表面都可近似為平面，此時對於單應變換模型成立；而分塊區域的標準差描述如下:
4.根據權利要求2所述的一種基於分塊投影的DIBR方法，其特徵在於:在步驟3)中，所述視點變換方程為:m = PM，式中m和M分別表示像素點的相機空間和世界空間坐標，矩陣P表示攝像機矩陣；分塊處理的方式為:將參考圖像分成若干合適的分塊區域，由於分塊區域至少需要4個對應點對，因此規定分塊區域的大小為MXN，5 < N，M < 15，分塊不宜過大，這樣會增大單應變換模型的近似誤差，也不宜過小，這會增加計算複雜度，通常取N = M=8 ;然後，對分塊區域進行單應變換:m' = HijHi,式中矩陣Hij描述了參考視點圖像的分塊區域到目標視點圖像的一一映射，稱為單應矩陣，通過特徵點求得；對應點對的定義:參考視點圖像中分塊區域的一個點m，經過視點變換能映射到目標視點圖像的點，則稱頂點m與V是一個對應點對。
5.根據權利要求2所述的一種基於分塊投影的DIBR方法，其特徵在於:在步驟4)中，所述單應變換的原理為:空間平面在兩個攝像機下的圖像點具有一一對應的關係，且這種對應關係是齊次線性的，可由一個三階矩陣即單應矩陣來描述:m' = HijHi ;矩陣Hij稱為單應矩陣，它是齊次的，有8個自由度，如下所示:
【文檔編號】H04N13/00GK103945209SQ201410175458
【公開日】2014年7月23日 申請日期:2014年4月28日 優先權日:2014年4月28日
【發明者】吳軍政, 孫季豐, 李萬益 申請人:華南理工大學