3d視頻轉換系統和方法及其選擇關鍵幀的方法和裝置的製作方法

2023-09-19 13:43:50

專利名稱：3d視頻轉換系統和方法及其選擇關鍵幀的方法和裝置的製作方法
技術領域：
本發明涉及視頻技術，尤其涉及3D視頻轉換系統和方法及其選擇關鍵幀的方法和裝置。
背景技術：
隨著人們的審美要求越來越高，3D (Three Dimensions,三維)視頻因其能帶給人們「身臨其境」的感覺，逐漸成為大眾的新寵。直接拍攝3D視頻的成本極其昂貴，不利於3D視頻的普及和發展。目前，已經拍攝完成的2D (two Dimensions，二維)視頻數不勝數，而且很多是具有重要意義的不可重現的片段，因此將2D視頻轉換為3D視頻具有積極的實際意義，從而成為研究的重點。一般而言，2D轉3D技術可分為全自動轉換和半自動轉換以及手動轉換三種方式。 全自動轉換技術因為缺少人工的參與，得到的立體視頻質量較差。半自動轉換技術能夠較好地平衡人工參與和立體效果，通常包含以下幾個步驟SlOl :從2D視頻中選取關鍵幀。S102 :對每個關鍵幀進行深度分配。S103 :進行深度傳播。S104 :利用傳播得到的深度圖合成3D視頻。本發明的發明人發現，由於現有技術的2D到3D視頻轉換過程中，是以固定間隔選取關鍵幀，選擇出來的關鍵幀通常不具有代表性。而非關鍵幀的深度是由關鍵幀的深度經過傳播得到的，關鍵幀的選擇必然會影響到非關鍵幀的深度，進而影響轉換的3D視頻的質量；導致採用現有技術的方法所得到的3D視頻質量不高，在立體感、逼真度等方面仍然有較大的提升空間。

發明內容
本發明的實施例提供了一種3D視頻轉換系統和方法及其選擇關鍵幀的方法和裝置，用以提高轉換的3D視頻的質量。根據本發明的一個方面，提供了一種3D視頻轉換中選擇關鍵幀的方法，包括在確定出第I個關鍵幀後，根據第i個關鍵幀，確定出第i+Ι個關鍵幀計算2D視頻中第i個關鍵幀後的視頻幀的特徵匹配比率；其中，i為自然數，第i個關鍵幀後的第j個視頻幀的特徵匹配比車i 依據如下公式I得到(公式 I)
R其中，j為自然數，Rj為第i個關鍵巾貞後的第j個視頻巾貞的特徵點個數，R為第i個關鍵幀的特徵點個數；從特徵匹配比率在T1和T2範圍內的候選關鍵幀中選擇一個視頻幀作為關鍵幀。其中，所述從特徵匹配比率在T1和T2範圍內的候選關鍵幀中選擇一個視頻幀作為關鍵幀具體包括選取特徵匹配比率在T1和T2範圍內的視頻幀作為候選關鍵幀；其中，T1和T2為預先設定的，且T1CT2 ；根據各候選關鍵幀的重投影誤差從所述候選關鍵幀中選擇一個視頻幀作為第i+1個關鍵幀。所述候選關鍵幀的重投影誤差R. E具體根據如下公式2計算得到
Td(pt.xi,xi)2RE_^ 1 1 "(公式 2)
Num 所述公式2中，所述候選關鍵幀為所述2D視頻中的第k個視頻幀；■<為第k個視頻幀中第η個特徵點的平面坐標為第k個視頻幀中第η個特徵點的立體空間坐標；Pk為根據第k個視頻幀中所有的特徵點計算出的投影矩陣；k為自然數，Num是第k個視頻幀中特徵點的個數，η為小於等於Num的自然數；所述公式2中，X；根據如下公式3計算得到X:=(if)—、"(公式 3)所述公式3中，(Zfr1為投影矩陣乃的逆矩陣Pk根據如下公式4計算得到Ρζ = Tsa (x；)(公式 4)所述公式4中的Tsai ( ·)表示對括號內的平面坐標估計投影矩陣的算法；所述公式2中，Pk根據如下公式5計算得到Pk = Tsai(xlxl^..,x^-\x^m)(公式 5)所述公式5中的Tsai ( ·)表示對括號內的平面坐標估計投影矩陣的算法；以及所述根據各候選關鍵幀的重投影誤差從所述候選關鍵幀中選擇一個視頻幀作為第i+Ι個關鍵幀，具體為選擇重投影誤差最小的候選關鍵幀作為第i+Ι個關鍵幀。較佳地，所述T1具體是根據如下公式9設置的T1 = Rc X (tYxOT + h)(公式 9 )所述公式9中，a和b為設定參數；以及所述T2具體是根據如下公式10設置的r2=f'x(rxE-￡0 (公式 10)所述公式10中，c和d為設定參數；所述公式9和10中，&為所述2D視頻中第I個視頻幀之後的視頻幀的特徵匹配比率的均值& 為所述2D視頻中各視頻幀的累積遮擋區域的變化率的均值。所述I具體是根據如下公式7計算得到的R — g (公式 7)
^ Λ, ",卜 I所述公式7中，Num為所述2D視頻的視頻幀總數為所述2D視頻中第g個視頻幀的特徵匹配比率，具體根據如下公式6計算得到
權利要求
1.ー種3D視頻轉換中選擇關鍵幀的方法，包括 在確定出第I個關鍵幀後，根據第i個關鍵幀，確定出第i+Ι個關鍵幀 計算2D視頻中第i個關鍵幀後的視頻幀的特徵匹配比率；其中，i為自然數，第i個關鍵幀後的第j個視頻幀的特徵匹配比率祀，依據如下公式I得到
2.如權利要求I所述的方法，其特徵在於，所述從特徵匹配比率在Tl和T2範圍內的候選關鍵幀中選擇ー個視頻幀作為關鍵幀具體包括 選取特徵匹配比率在T1和T2範圍內的視頻幀作為候選關鍵幀；其中，T1和T2為預先設定的，IT1CT2 ； 根據各候選關鍵幀的重投影誤差從所述候選關鍵幀中選擇ー個視頻幀作為第i+Ι個關鍵中貞。
3.如權利要求2所述的方法，其特徵在於，所述候選關鍵幀的重投影誤差R.E具體根據如下公式2計算得到
4.如權利要求I所述的方法，其特徵在於，在根據第i個關鍵幀，確定出第i+Ι個關鍵中貞之前，還包括 在所述2D視頻中選擇M-2個視頻幀作為參考幀，其中M為預先確定的關鍵幀的數目；確定第I個關鍵幀為所述2D視頻中的第I個視頻幀； 對於第t段視頻 計算第t段視頻的Γ/和g ;其中，第t段視頻指的是從第t個關鍵幀到第t個參考幀之間的視頻段，t為自然數； 將所述第t個關鍵幀作為所述第i個關鍵幀，將所述第t段視頻的 T和K分別作為所述T1和T2 ；以及 在根據第i個關鍵幀，確定出第i+Ι個關鍵幀之後，還包括將所述第i+Ι個關鍵幀作為第t+Ι個關鍵幀。
5.—種3D視頻轉換方法，包括 根據如權利要求1-4任一所述的選擇關鍵幀的方法，從所述2D視頻中選取關鍵幀； 對選取的各關鍵幀進行深度分配； 根據關鍵幀的深度圖得到非關鍵幀的深度圖； 根據關鍵幀的深度圖以及非關鍵幀的深度圖合成所述3D視頻。
6.ー種3D視頻轉換系統中選擇關鍵幀的裝置，包括 特徵匹配比率計算單元，用於根據第i個關鍵幀，計算2D視頻中第i個關鍵幀後的視頻幀的特徵匹配比率； 候選關鍵幀選取単元，用於選取特徵匹配比率在T1和T2範圍內的視頻幀作為候選關鍵幀，其中，T1和T2為預先設定的，IT1CT2 ； 關鍵幀選取單元，用於從所述候選關鍵幀選取單元選取的候選關鍵幀中選擇ー個視頻幀作為關鍵幀。
7.如權利要求6所述的裝置，其特徵在幹，所述關鍵幀選取単元具體用於根據各候選關鍵幀的重投影誤差從所述候選關鍵幀中選擇ー個視頻幀作為第i+Ι個關鍵幀； 其中，i為自然數，第i個關鍵幀後的第j個視頻幀的特徵匹配比率疋，依據如下公式I得到
8.如權利要求7所述的裝置，其特徵在幹，所述關鍵幀選取単元具體用於選擇重投影誤差最小的候選關鍵幀作為第i+Ι個關鍵幀；以及，所述關鍵幀選取単元具體包括 重投影誤差計算子單元，用於計算各候選關鍵幀的重投影誤差； 關鍵幀確定子単元，用於根據所述重投影誤差計算子單元的計算結果，從中選取選擇重投影誤差最小的候選關鍵幀作為第i+Ι個關鍵幀； 其中，所述候選關鍵幀的重投影誤差R. E具體根據如下公式2計算得到
9.如權利要求6所述的裝置，其特徵在於，還包括 參考幀設置單元，用於在所述2D視頻中選擇Μ-2個視頻幀作為參考幀，其中M為預先確定的關鍵幀的數目；確定所述2D視頻中的第I個關鍵幀為所述2D視頻中的第I個視頻幀； 視頻段確定單元，用於將第t個關鍵幀到第t個參考幀之間的視頻段作為第t段視頻；其中，t為自然數； 視頻段閾值確定單元，用於對於根據第t段視頻中的各視頻幀，計算第t段視頻的2和T並將Γ/和E分別作為所述T1和T2、將第t個關鍵幀作為第i個關鍵幀發送給所述特徵匹配比率計算單元； 控制單元，用於在獲取所述關鍵幀選取単元選擇的第i+1個關鍵幀後，將第i+1個關鍵幀作為第t+Ι個關鍵幀；並在判斷出t小於M-I後，更新t = t+Ι，並將第t+Ι個關鍵幀和更新後的t發送給所述視頻段確定單元。
10.ー種3D視頻轉換系統，包括 如權利要求6-9任一所述的選擇關鍵幀的裝置，用於從所述2D視頻中選取關鍵幀； 深度分配裝置，用於對選取的各關鍵幀進行深度分配，得到各關鍵幀的深度圖； 深度傳播裝置，用於根據關鍵幀的深度圖得到非關鍵幀的深度圖； 視頻合成裝置，用於根據關鍵幀的深度圖以及非關鍵幀的深度圖合成所述3D視頻。
全文摘要
本發明公開了一種3D視頻轉換方法及其關鍵幀的確定方法和裝置。所述方法包括在確定第i個關鍵幀後，計算2D視頻中第i個關鍵幀後的視頻幀的特徵匹配比率；選取特徵匹配比率在T1和T2範圍內的視頻幀作為候選關鍵幀；根據各候選關鍵幀的重投影誤差從所述候選關鍵幀中選擇一個視頻幀作為第i+1個關鍵幀。由於根據視頻幀與在前關鍵幀的特徵匹配比率進行候選關鍵幀的選取，並根據候選關鍵幀的重投影誤差選取在後關鍵幀，使得關鍵幀的選取更為合理，而依據該更為合理的關鍵幀進行2D到3D視頻的轉換可以提高轉換的3D視頻的質量。
文檔編號H04N13/02GK102857778SQ20121033271
公開日2013年1月2日 申請日期2012年9月10日 優先權日2012年9月10日
發明者孫建德, 解江川, 劉琚, 劉微 申請人:海信集團有限公司