自由視點電視中的虛擬視點合成方法
2023-05-29 02:20:36
專利名稱：自由視點電視中的虛擬視點合成方法
技術領域：
本發明涉及一種基於深度圖像的虛擬視點合成方法，屬於視頻、多媒體信號處理技術領域。
背景技術：
繼彩色電視、高畫質電視之後，三維立體電視成為多媒體領域的研究熱點。它的最大的優勢主要體現在，它可以為觀看者提供一種生動逼真的視覺體驗。而自由視點電視是立體電視更進一步的產物，憑藉強大的互動性，它可以讓觀看者自由選擇觀看角度，並且可以隨著觀看者位置的變化進行流暢的視點轉換，從而使觀看者達到身臨其境的感覺。自由視點電視需要多個視頻同時在播放端播放。假設多個視頻源同時從視頻採集 端發出，這無疑對網絡負荷、編解碼效率都提出了很大的挑戰；另外，高額的視頻採集成本也大大降低了自由視點視頻的實用性與可行性。因此，虛擬視點合成成為自由視點電視中的關鍵技術。該技術只要求在視頻採集端採集若干視頻，通過視點合成在播放端產生其他視點的視頻，從而大大地降低網絡負荷，節省成本。其中，基於深度圖像的視點合成是一種典型的方法。它可以利用一路視頻的彩色圖像與深度圖像，合成任意視點的視頻信息。在傳統的基於深度圖像的視點合成方法中，主要分為三個基本步驟參考視點深度圖像的平滑處理、通過3D圖像變換獲得虛擬視點深度圖像與彩色圖像、空洞填充。這類方法得到的虛擬視點彩色圖像中會出現一些小的裂紋和大片的空洞區域。這兩類缺陷即便經過圖像後處理，比如鄰域賦值、線性插值，也會讓圖像留下被處理過的痕跡，影響視覺效果O
發明內容
為解決傳統的基於深度圖像的視點合成方法中，圖像後處理所帶來的不連貫的視覺效果，本發明提出一種新的基於深度圖的視點合成方法。首先，通過3D圖像變換獲得虛擬視點深度圖像，對該深度圖像進行優化處理；然後根據優化處理得到的深度圖進行逆向3D圖像變換，獲得虛擬視點彩色圖像；最後通過加入深度信息的基於樣本的圖像修復算法進行空洞填充。本方法中，通過逆向3D圖像變換，可以避免虛擬視點彩色圖像上出現裂紋，提高虛擬視點圖像的質量；另外，針對虛擬視點圖像中的非遮擋空洞區域，本發明對傳統的基於樣本的圖像修復算法中優先級的計算以及搜索匹配塊的匹配原則進行改進，提高了空洞修復的準確性，從而使渲染出的圖像產生最佳的顯示效果。本發明採用的技術方案為—種基於深度圖的視點合成方法，其具體步驟如下(1)3D圖像變換根據攝像機投影原理，通過3D圖像變換，將參考視點的深度圖投影到虛擬視點上，獲得虛擬視點深度圖像；(2)虛擬視點深度圖像的優化處理通過形態學圖像處理，優化虛擬視點深度圖像；
(3)逆向3D圖像變換根據優化後的虛擬視點深度圖像，進行逆向3D圖像變換，對於虛擬視點圖像中的所有像素，找到其在參考視點圖像中的對應點，並進行像素彩色信息的賦值，從而獲得虛擬視點彩色圖像；(4)空洞填充利用圖像修復技術對上述步驟得到的虛擬視點彩色圖像中的空洞進行填充。所述步驟(I)的具體步驟為a.根據參考視點的深度信息，實現從參考視點平面到三維空間，再從三維空間到虛擬視點平面的坐標變換；b.根據坐標變換的結果，將參考視點深度圖中的像素點投影到虛擬視點平面內，從而獲得虛擬視點深度圖像。所述步驟(2)的具體實現步驟如下a.對虛擬視點深度圖像進行一次膨脹處理，消除深度圖像中的裂紋；b.再對膨脹處理後的深度圖像進行兩次腐蝕處理，消除由膨脹處理帶來的邊緣像素的不準確性。所述步驟(3)的具體實現步驟如下a.根據步驟(2)中得到的虛擬視點深度圖像，實現從虛擬視點平面到三維空間，再從三維空間到參考視點平面的坐標變換；b.根據坐標變換結果，將參考視點平面內像素的彩色信息複製到虛擬視點平面內，從而獲取虛擬視點彩色圖像。所述步驟(4)的具體實現步驟如下a.檢測空洞區域的邊緣，計算邊緣上各像素的優先級，決定修復順序；b.以邊緣像素為中心，獲取特定尺寸的樣本塊，以樣本塊為單位，根據其中的顏色信息和深度信息，從源圖像中搜索最佳匹配塊；c.找到最佳匹配塊之後，將最佳匹配塊中的像素信息複製到樣本塊中的空洞處，實現填充。所述步驟(4)的子步驟a中，計算邊緣上各像素修復優先級的公式為
權利要求
1.一種基於深度圖的視點合成方法，其具體步驟如下 (1)3D圖像變換根據攝像機投影原理，通過3D圖像變換，將參考視點的深度圖投影到虛擬視點上，獲得虛擬視點深度圖像； (2)虛擬視點深度圖像的優化處理通過形態學圖像處理，優化虛擬視點深度圖像； (3)逆向3D圖像變換根據優化後的虛擬視點深度圖像，進行逆向3D圖像變換，對於虛擬視點圖像中的所有像素，找到其在參考視點圖像中的對應點，並進行像素彩色信息的賦值，從而獲得虛擬視點彩色圖像； (4)空洞填充利用圖像修復技術對上述步驟得到的虛擬視點彩色圖像中的空洞進行填充。
2.根據權利要求1所述的基於深度圖的視點合成方法，其特徵在於，所述步驟(I)的具體步驟為 a.根據參考視點的深度信息，實現從參考視點平面到三維空間，再從三維空間到虛擬視點平面的坐標變換； b.根據坐標變換的結果，將參考視點深度圖中的像素點投影到虛擬視點平面內，從而獲得虛擬視點深度圖像。
3.根據權利要求1所述的基於深度圖的視點合成方法，其特徵在於，所述步驟(2)的具體實現步驟如下 a.對虛擬視點深度圖像進行一次膨脹處理，消除深度圖像中的裂紋； b.再對膨脹處理後的深度圖像進行兩次腐蝕處理，消除由膨脹處理帶來的邊緣像素的不準確性。
4.根據權利要求1所述的基於深度圖的視點合成方法，其特徵在於，所述步驟(3)的具體實現步驟如下 a.根據步驟(2)中得到的虛擬視點深度圖像，實現從虛擬視點平面到三維空間，再從三維空間到參考視點平面的坐標變換； b.根據坐標變換結果，將參考視點平面內像素的彩色信息複製到虛擬視點平面內，從而獲取虛擬視點彩色圖像。
5.根據權利要求1所述的基於深度圖的視點合成方法，其特徵在於，所述步驟(4)的具體實現步驟如下 a.檢測空洞區域的邊緣，計算邊緣上各像素的優先級，決定修復順序； b.以邊緣像素為中心，獲取特定尺寸的樣本塊，以樣本塊為單位，根據其中的顏色信息和深度信息，從源圖像中搜索最佳匹配塊； c.找到最佳匹配塊之後，將最佳匹配塊中的像素信息複製到樣本塊中的空洞處，實現填充。
6.根據權利要求5所述的基於深度圖的視點合成方法，其特徵在於，所述步驟(4)的子步驟a中，計算邊緣上各像素修復優先級的公式為
7.根據權利要求5所述的基於深度圖的視點合成方法，其特徵在於，所述步驟(4)的子步驟b中，搜索匹配塊的過程為首先按照公式
全文摘要
本發明提出一種新的基於深度圖渲染技術的虛擬視點合成的方法。首先，通過3D圖像變換獲得虛擬視點深度圖像，對該深度圖像進行優化處理；然後根據優化處理得到的深度圖進行逆向3D圖像變換，獲得虛擬視點彩色圖像；最後通過基於深度信息的圖像修復算法進行空洞填充。通過逆向3D圖像變換，可以避免虛擬視點彩色圖像上出現裂紋，提高虛擬視點圖像的質量；另外，針對虛擬視點圖像中的非遮擋空洞區域，採用本發明提出的圖像修復的方法進行填充，可以保證渲染出的圖像產生最佳的顯示效果。
文檔編號H04N15/00GK103024421SQ20131001739
公開日2013年4月3日 申請日期2013年1月18日 優先權日2013年1月18日
發明者劉琚, 成聰, 元輝, 楊曉輝 申請人:山東大學