一種基於透視變換的立體視頻繪製方法
2023-05-12 10:37:41 2
專利名稱：一種基於透視變換的立體視頻繪製方法
技術領域：
本發明涉及視覺處理、立體視頻和自由視點電視技術領域，特別涉及一種基於透視變換的立體視頻繪製方法。
背景技術：
多視角立體視頻可以給觀察者提供任意視角的圖像，從而使景物的立體真實感更強，在這些年收到越來越多地關注。基於多視角立體視頻，人們又提出了自由視點電視的概念。由於自由視點電視需要顯示任意視角的視圖，如果對每一個視角的圖像都進行傳輸，那麼多視角立體視頻的存儲量和傳輸帶寬需求將是無窮大的。因此通常使用基於深度圖的方法，利用深度圖和少量的參考圖像，生成所需要的任意視角的圖像。任意視角的視頻繪製會直接影響立體顯示的實時性和圖片質量，因此，立體視頻繪製技術是自由立體電視中非常重要的一項關鍵技術。相對於傳統平面視頻，立體視頻包含了更多視角的數據信息，會造 成數據量成倍地增長，這就給立體視頻的存儲和傳輸環節帶來了極大的困難。現有的編碼算法計算複雜度高，需要耗費大量的存儲帶寬。
發明內容
本發明旨在至少在一定程度上解決上述技術問題之一或至少提供一種有用的商業選擇。為此，本發明的第一個目的在於提出一種基於透視變換的立體視頻繪製方法。本發明可以顯著降低立體視頻繪製算法的計算複雜度，節省了存儲帶寬。為達到上述目的，本發明的實施例提出了一種基於透視變換的立體視頻繪製方法，包括如下步驟獲取相機參數、虛擬視圖的視角參數以及參考視圖的視角參數，並根據所述相機參數、虛擬視圖的視角參數以及參考視圖的視角參數計算單應矩陣，其中，所述單應矩陣用於表示所述參數視圖和所述虛擬視圖的像素坐標對應關係；輸入第一參考深度圖和第二參考深度圖，並根據所述單應矩陣將所述第一參考深度圖和所述第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖；對所述第一虛擬深度圖和所述第二虛擬深度圖進行濾波以得到第一濾波後虛擬深度圖和第二濾波後虛擬深度圖；輸入第一參考視圖和第二參考視圖，根據所述第一濾波後虛擬深度圖和第二濾波後虛擬深度圖將所述第一參考視圖和所述第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖；對所述第一虛擬視圖和第二虛擬視圖進行融合以生成目標視圖。根據本發明實施例的基於透視變換的立體視頻繪製方法，可以用於通過立體繪製得到各視角的虛擬視圖，供多視角立體顯示設備進行顯示，並顯著降低了立體視頻繪製算法的計算複雜度，節省了存儲帶寬。在本發明的一個實施例中，所述根據相機參數、虛擬視圖的視角參數以及參考視圖的視角參數計算單應矩陣，包括如下步驟計算所述參考視圖和所述虛擬視圖之間的多個深度值；對於每個所述深度值，分別取深度值相同的多個參考像素點，並利用所述多個參考像素點的坐標分別計算對應的虛擬像素點的坐標；根據所述參考像素點坐標和所述虛擬像素點坐標計算所述單應矩陣。在本發明的一個實施例中，所述根據相機參數、虛擬視圖的視角參數以及參考視圖的視角參數計算單應矩陣，包括如下步驟計算所述參考視圖和所述虛擬視圖之間的多個深度值；對所述多個深度值按照出現次數遞減進行排序以生成深度值序列，其中，所述深度值序列包括N個深度值；在所述深度值序列中，取前M個深度值，對所述M個深度值分別計算單應矩陣，M〈N，M為預設數目；根據計算得到的M個單應矩陣，通過線性內插方法計算剩餘N-M個深度值的單應矩陣。在本發明的一個實施例中，所述通過線性內插方法計算剩餘N-M個深度值的單應矩陣的計算公式為
權利要求
1.一種基於透視變換的立體視頻繪製方法，其特徵在於，包括如下步驟 獲取相機參數、虛擬視圖的視角參數以及參考視圖的視角參數，並根據所述相機參數、虛擬視圖的視角參數以及參考視圖的視角參數計算單應矩陣，其中，所述單應矩陣用於表示所述參數視圖和所述虛擬視圖的像素坐標對應關係； 輸入第一參考深度圖和第二參考深度圖，並根據所述單應矩陣將所述第一參考深度圖和所述第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖； 對所述第一虛擬深度圖和所述第二虛擬深度圖進行濾波以得到第一濾波後虛擬深度圖和第二濾波後虛擬深度圖； 輸入第一參考視圖和第二參考視圖，根據所述第一濾波後虛擬深度圖和第二濾波後虛擬深度圖將所述第一參考視圖和所述第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖；以及 對所述第一虛擬視圖和第二虛擬視圖進行融合以生成目標視圖。
2.如權利要求I所述的立體視頻繪製方法，其特徵在於，所述根據相機參數、虛擬視圖的視角參數以及參考視圖的視角參數計算單應矩陣，包括如下步驟 計算所述參考視圖和所述虛擬視圖之間的多個深度值； 對於每個所述深度值，分別取深度值相同的多個參考像素點，並利用所述多個參考像素點的坐標分別計算對應的虛擬像素點的坐標； 根據所述參考像素點坐標和所述虛擬像素點坐標計算所述單應矩陣。
3.如權利要求I所述的立體視頻繪製方法，其特徵在於，所述根據相機參數、虛擬視圖的視角參數以及參考視圖的視角參數計算單應矩陣，包括如下步驟 計算所述參考視圖和所述虛擬視圖之間的多個深度值； 對所述多個深度值按照出現次數遞減進行排序以生成深度值序列，其中，所述深度值序列包括N個深度值； 在所述深度值序列中，取前M個深度值，對所述M個深度值分別計算單應矩陣，M<N, M為預設數目； 根據計算得到的M個單應矩陣，通過線性內插方法計算剩餘N-M個深度值的單應矩陣。
4.如權利要求3所述的立體視頻繪製方法，其特徵在於，利用下述公式通過線性內插方法計算剩餘N-M個深度值的單應矩陣，
5.如權利要求I所述的立體視頻繪製方法，其特徵在於，所述根據單應矩陣將所述第一參考深度圖和所述第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖，包括如下步驟 對所述第一參考深度圖和所述第二參考深度圖中的每個像素點計算對應的虛擬視圖中的坐標，並將對應的深度值複製到所述第一虛擬深度圖和第二虛擬深度圖。
6.如權利要求5所述的立體視頻繪製方法，其特徵在於，採用深度比較方法或極線方向處理方法對所述第一參考深度圖和所述第二參考深度圖進行映射。
7.如權利要求I所述的立體視頻繪製方法，其特徵在於，採用中值濾波法對所述第一虛擬深度圖和所述第二虛擬深度圖進行濾波。
8.如權利要求I所述的立體視頻繪製方法，其特徵在於，所述根據第一濾波後虛擬深度圖和第二濾波後虛擬深度圖將所述第一參考視圖和所述第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖，包括如下步驟 根據所述第一濾波後虛擬深度圖和第二濾波後虛擬深度圖的深度值分別計算所述第一參考視圖和第二參考視圖中的像素點在所述第一虛擬視圖和第二虛擬視圖中的位置，並將像素點複製到對應的位置。
9.如權利要求I所述的立體視頻繪製方法，其特徵在於，所述對第一虛擬視圖和第二虛擬視圖進行融合以生成目標視圖，包括如下步驟 對於每個像素位置，分別判斷所述像素位置在所述第一虛擬視圖和第二虛擬視圖中的對應位置是否為空， 如果所述像素位置在所述第一虛擬視圖為空洞，在所述第二虛擬視圖不為空，則在所述目標虛擬視圖的對應位置填充所述第二虛擬視圖中對應位置的值； 如果所述像素位置在所述第二虛擬視圖為空洞，在所述第一虛擬視圖不為空，則在所述目標虛擬視圖的對應位置填充所述第一虛擬視圖中對應位置的值； 如果所述像素位置在所述第一虛擬視圖和第二虛擬視圖均不為空洞，則對所述第一虛擬視圖的對應值和所述第二虛擬視圖的對應值進行線性插值以作為所述目標虛擬視圖的對應值。
10.如權利要求9所述的立體視頻繪製方法，其特徵在於，還進一步包括對所述目標虛擬視圖中的空洞進行全局優化填補。
全文摘要
本發明提出一種基於透視變換的立體視頻繪製方法，包括獲取相機參數、虛擬視圖的視角參數以及參考視圖的視角參數，並計算單應矩陣；輸入第一參考深度圖和第二參考深度圖，並根據單應矩陣將第一參考深度圖和第二參考深度圖分別映射為第一虛擬深度圖和第二虛擬深度圖；對第一虛擬深度圖和第二虛擬深度圖進行濾波得到第一濾波後虛擬深度圖和第二濾波後虛擬深度圖；輸入第一參考視圖和第二參考視圖，根據第一濾波後虛擬深度圖和第二濾波後虛擬深度圖將第一參考視圖和第二參考視圖分別映射為第一虛擬視圖和第二虛擬視圖；對第一虛擬視圖和第二虛擬視圖進行融合以生成目標視圖。本發明可以顯著降低立體視頻繪製算法的計算複雜度，節省了存儲帶寬。
文檔編號G06T7/00GK102768761SQ201210185779
公開日2012年11月7日 申請日期2012年6月6日 優先權日2012年6月6日
發明者戴瓊海, 王競瑤, 索津莉, 郝偉 申請人:北京華清美倫科技有限公司, 清華大學