一種2.5d視頻到多視點3d視頻中虛擬視點綜合和空洞的修補方法

2023-05-16 03:28:11

專利名稱：一種2.5d視頻到多視點3d視頻中虛擬視點綜合和空洞的修補方法
技術領域：
本發明涉及3D視頻自由立體顯示技術，尤其是一種2.5D視頻到多視點3D視頻中虛擬視點的綜合和空洞填補方法。
背景技術：
立體顯示技術是緊接著高清數字顯示技術的下一代顯示技術，因為其能讓人真實地體驗到三維場景而著稱，通過左右眼看到不同的視覺影像從而在大腦裡面形成3D模型，場景中的物體有前後之分，有層次感，似乎身在其中一樣，能給人帶來非常強烈的衝擊感。其中多視點3D視頻技術能在不同視點顯示出場景的不同角度，最大限度的重現了三維立體場景，完全突破二維顯示技術以及左右眼的兩視點3D顯示技術。然而3D多視點視頻的採集難度非比一般，再加上其巨大的數據量，目前難以採集和傳輸多視點3D視頻，所以從單視點視頻自動轉換到多視點視頻在3D視頻製作領域就顯得非常重要。目前，由於基於幾何模型的3D轉換方法複雜度高，模型千變萬化，數據量異常龐大，難以普遍應用。基於深度圖像的3D渲染技術則是一種利用參考視點和對應的深度圖來合成虛擬視點的方法，因為該方法不需要建立立體模型，不需要提取和依賴物體的幾何信息，因而具有簡潔、高效和普遍性，越來越受到重視和研究。然而直接進行3D渲染得到的虛擬視點，具有非常多的空洞，包括邊界不可見區域，內部後景中被前景遮擋的區域，以及一些錯誤的深度圖等造成的，表現在深度圖發生突變的地方以及圖像邊界，若要高效率地得到高質量的多視點視頻，就需要使用一種快速、精準的空洞填補算法和高效的多視點渲染流程。空洞的填補方法眾多，主要有深度圖處理即在3D渲染之前對深度圖進行各種濾波處理，這樣就能較大程度的 降低深度值突變的陡峭度，減小空洞，但此方法會給前景對象帶來嚴重的幾何畸變。其次是使用雙向渲染技術，即採用左右兩邊的視點合成中間的視點圖像，此方法由於能利用左右兩邊圖像的紋理信息和深度圖信息，可以得到質量非常好的中間虛擬視點圖像。但是此方法具有兩個缺陷，一個是必須具有兩個視點的圖像數據，這樣就需要採集2個視點以及傳輸兩個視點圖像，會給採集增加難度和傳輸增加帶寬；另外一個就是，只能合成兩個視點的中間視點，而一般兩個視點的視差很小，再合成多個中間視點，視點間的視差就更小了，立體效果非常弱，體現不出多視點本身的意義。隨著歐洲乃至全球多個國家推出3D電視頻道，3D顯示技術在商用和家用領域都具有非常廣闊的前景。一個快速、高效的3D多視點合成算法具有非常重大的意義。

發明內容本發明要解決的技術問題是提供一種2.5D單視點視頻到多視點3D視頻中虛擬視點綜合和空洞的修補方法，其快速且高效。上述技術問題通過以下技術方案解決:
—種2.5D單視點視頻到多視點3D視頻中虛擬視點綜合和空洞的修補方法，其特徵在於，包括以下步驟:步驟I):對參考視點彩色圖像和參考視點深度圖從左右邊界對外進行紋理和結構延伸；步驟2):最左邊虛擬視點綜合和最右邊虛擬視點綜合以及內部空洞修復；步驟3):中間虛擬視點綜合(雙向DIBR)；步驟4):把參考視點和左右兩邊的虛擬視點結合在一起形成多視點3D視頻。進一步的方案是，所述步驟I)具體包括:11):擴展參考視點彩色圖像及參考視點深度圖像的左右邊界，邊界擴展區域為待修復區域T1，原圖像區域為參考區域S1 ；12):把經擴展後的圖像以宏塊為單位劃分，每一個宏塊為一個節點，在待修復區域Tl內的節點則為待修復節點，在參考區域SI內的節點則為參考節點；13):對應每一個待修復節點，分別設定需要參考的參考範圍,把參考範圍內所有的參考節點存入候選節點索引列表，即每一個待修復節點都有各自對應的參考範圍及候選節點；14):設定MRF能量函數作為待修復區域內待修復節點的能量總和模型；15):使用BP神經網絡算法，求取MRF的最小值，當MRF最小值時，此時每一個待修復節點的對應的候選節點即為此待修復節點的最優參考節點；16):將最優參考節點的像素替換與其對應的待修復節點的像素，以修復參考視點彩色圖像及參考視點深度圖像的邊界擴展區域。進一步的方案是，所述步驟2)具體包括:21):以參考視點作為中間視點，將經過邊界擴展修復的參考視點使用DIBR技術渲染到最左邊虛擬視點和最右邊虛擬視點，得到最左邊虛擬視點的擴展彩色圖像和最右邊虛擬視點的擴展彩色圖像以及對應的擴展深度圖，此時擴展彩色圖像大小和邊界擴展修復後的參考視點彩色圖像等大，對前面的兩個擴展彩色圖像從邊界去掉和上述邊界擴展區域等寬的像素，得到和參考視點彩色圖像等大的最左邊虛擬視點的彩色圖像和最右邊虛擬視點的彩色圖像；對前面的兩個擴展深度圖從邊界去掉和上述邊界擴展區域等寬的像素，得到和參考視點深度圖等大的最左邊虛擬視點的深度圖和最右邊虛擬視點的深度圖；22):對虛擬視點的深度圖做前後景標誌，定義dflag (i，j)表示深度圖前後景標誌圖像中點(i，j)的前後景標誌值；逐行檢測每一個空洞，假設點(i，h)為空洞的最左邊像素點，點(i，k)為空洞的最右邊像素點,提取像素點(i, h-Ι)的深度值並設為depthL,提取像素點(i，k+1)的深度圖值並設為depthR,如果depthL大於depthR,貝丨J dflag(i, h)設為I, dflag(i, k)設為O,如果相反,則dflag(i, h)設為O, dflag(i, k)設為I,對於其他未設置的點如果點(i，j )的深度圖值為0，則dflag (i，j ) =0，如果點(i，j )深度圖值大於0，則dflag (i，j) =1，保存深度圖前後景標誌圖像；23):使用基於深度圖的快速行進修補算法填補虛擬視點的彩色圖像的內部空洞，具體包括:2301):根據虛擬視點的彩色圖像製作二值修復模板，對二值修復模板內的每一個像素點(i，j )設置三個值，1、f和T，I (i，j )表示點(i，j )的像素值，f (i，j )表示點(i，j)的標誌，f (i，j)為outside表示空洞外面，f (i，j)為narrowband表示空洞的邊界，f(i，j)為inside表示空洞內部,narrowband和inside都表示是待修復區域,T (i,j)表示點(i，j)到空洞邊界的距離，在outside, T和I都已知,在narrowband, T和I未知但是待更新，在inside，T和I都未知；設IV (i, j)為虛擬視點的彩色圖像中點(i，j)的像素值，如果虛擬視點的彩色圖像中點(i，j)的IV (i, j)為0，則二值修復模板中I (i，j)為0，否則 I (i，j)為 I ;2302):在二值修復模板中，若l(i，j)=0，說明該點在待修復區域內，令f (i, j) =inside, T (i, j) =IO6 ；2303):若 I (i, j)=l,說明該點在待修復區域外，令 f (i, j) =outside, T (i, j) =0 ;2304):若I (i，j) =0，前後景標誌圖像中dflag (i，j)=l,且點(i, j)的四鄰域中存在點(X，y)滿足 I (X，y) =1,令 f (i, j) =narrowband, T (i, j) =0 ；2305):將f值為narrowband的點放入一個棧中，它們按照T值從小到大順序排列；2306):從棧中選擇具有最小T值的點，設為(xmin，ymin)；2307):對虛擬視點的彩色圖像中點(xmin，yfflin)根據公式(2)修補，並且在二值修復模板中更新f (Xmin, ymin)為outside,把點(xmin, ymin)從棧點集中刪除；
權利要求
1.一種2.5D單視點視頻到多視點3D視頻中虛擬視點綜合和空洞的修補方法，其特徵在於，包括以下步驟: 步驟I):對參考視點彩色圖像和參考視點深度圖從左右邊界對外進行紋理和結構延伸； 步驟2):最左邊虛擬視點綜合和最右邊虛擬視點綜合以及內部空洞修復； 步驟3):中間虛擬視點綜合(雙向DIBR)； 步驟4):把參考視點和左右兩邊的虛擬視點結合在一起形成多視點3D視頻。
2.根據權利要求1所述的一種2.單視點視頻到多視點3D視頻中虛擬視點綜合和空洞的修補方法，其特徵在於:所述步驟I)具體包括: 11):擴展參考視點彩色圖像及參考視點深度圖像的左右邊界，邊界擴展區域為待修復區域T1，原圖像區域為參考區域S1 ； 12):把經擴展後的圖像以宏塊為單位劃分，每一個宏塊為一個節點，在待修復區域Tl內的節點則為待修復節點，在參考區域SI內的節點則為參考節點； 13):對應每一個待修復節點，分別設定需要參考的參考範圍，把參考範圍內所有的參考節點存入候選節點索引列表，即每一個待修復節點都有各自對應的參考範圍及候選節佔.14):設定MRF能量函數作為待修復區域內待修復節點的能量總和模型； 15):使用BP神經網絡算法， 求取MRF的最小值，當MRF最小值時，此時每一個待修復節點的對應的候選節點即為此待修復節點的最優參考節點； 16):將最優參考節點的像素替換與其對應的待修復節點的像素，以修復參考視點彩色圖像及參考視點深度圖像的邊界擴展區域。
3.根據權利要求1所述的一種2.5D單視點視頻到多視點3D視頻中虛擬視點綜合和空洞的修補方法，其特徵在於， 所述步驟2)具體包括: 21):以參考視點作為中間視點，將經過邊界擴展修復的參考視點使用DIBR技術渲染到最左邊虛擬視點和最右邊虛擬視點，得到最左邊虛擬視點的擴展彩色圖像和最右邊虛擬視點的擴展彩色圖像以及對應的擴展深度圖，此時擴展彩色圖像大小和邊界擴展修復後的參考視點彩色圖像等大，對前面的兩個擴展彩色圖像從邊界去掉和上述邊界擴展區域等寬的像素，得到和參考視點彩色圖像等大的最左邊虛擬視點的彩色圖像和最右邊虛擬視點的彩色圖像；對前面的兩個擴展深度圖從邊界去掉和上述邊界擴展區域等寬的像素，得到和參考視點深度圖等大的最左邊虛擬視點的深度圖和最右邊虛擬視點的深度圖； 22):對虛擬視點的深度圖做前後景標誌，定義dflag(i, j)表示深度圖前後景標誌圖像中點(i，j)的前後景標誌值；逐行檢測每一個空洞，假設點(i，h)為空洞的最左邊像素點，點(i，k)為空洞的最右邊像素點，提取像素點(i，h-1)的深度值並設為cbpthL，提取像素點(i，k+1)的深度圖值並設為depthR,如果depthL大於depthR,貝丨J dflag(i, h)設為I,dflag(i, k)設為O,如果相反,則dflag(i, h)設為O, dflag(i, k)設為I,對於其他未設置的點如果點(i，j)的深度圖值為O，則dflag (i，」)=0，如果點(1，j)深度圖值大於O，則dflag (i，j) =1，保存深度圖前後景標誌圖像； 23):使用基於深度圖的快速行進修補算法填補虛擬視點的彩色圖像的內部空洞，具體包括: 2301):根據虛擬視點的彩色圖像製作二值修復模板，對二值修復模板內的每一個像素點(i，j )設置三個值，1、f和T，I (i，j )表示點(i，j )的像素值，f (i，j )表示點(i，j )的標誌，f (i, j)為outside表示空洞外面，f (i, j)為narrowband表示空洞的邊界，f (i,j)為inside表示空洞內部，narrowband和inside都表示是待修復區域，T (i, j)表示點(i，j)到空洞邊界的距離，在outside, T和I都已知,在narrowband, T和I未知但是待更新，在inside，T和I都未知；設IV (i, j)為虛擬視點的彩色圖像中點(i，j)的像素值，如果虛擬視點的彩色圖像中點(i，j)的IV (i，j)為0，則二值修復模板中I (i，j)為0，否則I (i，j )為 I ; 2302):在二值修復模板中，若I(i，j)=0,說明該點在待修復區域內，令f (i, j) =inside, T (i, j) =IO6 ； 2303):若I (i, j)=l,說明該點在待修復區域外，令 f(i, j)=outside, T(i, j)=0 ； 2304):若I(i，j)=0，前後景標誌圖像中dflag (i，j)=l,且點(i, j)的四鄰域中存在點(X，y)滿足 I (X，y) =1,令 f (i, j) =narrowband, T (i, j) =0 ； 2305):將f值為narrowband的點放入一個棧中，它們按照T值從小到大順序排列； 2306):從棧中選擇具有最小T值的點，設為(xmin，ymin)； 2307):對虛擬視點的彩色圖像中點(xmin，ymin)根據公式(2)修補，並且在二值修復模板中更新f (xmin, ymin)為outside,把點(xmin, ymin)從棧點集中刪除；
4.根據權利要求1所述的一種2.5D單視點視頻到多視點3D視頻中虛擬視點綜合和空洞的修補方法，其特徵在於: 所述步驟3)具體包括:31)左邊中間虛擬視點構建及32)右邊中間虛擬視點構建； 其中，31)左邊中間虛擬視點構建具體包括:對於最左邊虛擬視點與作為中間視點的參考視點之間的的每一個左虛擬視點V(x，y)，先使用參考視點進行3D渲染到此左虛擬視點，得到左虛擬視點的主圖像V1 U，y);然後對最左邊的虛擬視點進行3D渲染到此左虛擬視點，得到左虛擬視點的輔助圖像V2 U，y);最終，通過式(4)得到左虛擬視點V(x，y)，即對左虛擬視點的主圖像中的空洞，尋找虛擬視點的輔助圖像中相對應位置的像素進行填充；v^x yj = Nx--K) Vi(x,y)>ο或)=o』 V2(x.y) vp,y)=0and v2(x,y)>0(4), 32)右邊中間虛擬視點構建具體包括:對於最右邊虛擬視點與作為中間視點的參考視點之間的的每一個右虛擬視點V(x，y)，先使用參考視點進行3D渲染到此右虛擬視點，得到右虛擬視點的主圖像V1 U，y);然 後對最右邊的虛擬視點進行3D渲染到此右虛擬視點，得到右虛擬視點的輔助圖像V2U，y);最終，通過式(5)得到右虛擬視點V(x，y)，即對右虛擬視點的主圖像中的空洞，尋找右虛擬視點的輔助圖像中的相對應位置的像素值進行填充；ν^χ y)=O^SV1(XJ)=V2(Iy)=O' V2(x,y) V1(X^) = Oanci ^2(x,y)>0(5)o
全文摘要
本發明公開了一種2.5D單視點視頻到多視點3D視頻中虛擬視點綜合和空洞的修補方法，其包括以下步驟步驟1)對參考視點彩色圖像和參考視點深度圖從左右邊界對外進行紋理和結構延伸；步驟2)最左邊虛擬視點綜合和最右邊虛擬視點綜合以及內部空洞修復；步驟3)中間虛擬視點綜合(雙向DIBR)；步驟4)把參考視點和左右兩邊的虛擬視點結合在一起形成多視點3D視頻。本發明方法快速且高效。
文檔編號H04N15/00GK103209334SQ201310086829
公開日2013年7月17日 申請日期2013年3月18日 優先權日2013年3月18日
發明者桂海田, 陳敏, 龐志勇, 陳弟虎 申請人:中山大學