一種從單目圖像序列生成立體圖像序列的方法

2023-06-20 09:01:56 2

專利名稱：一種從單目圖像序列生成立體圖像序列的方法
技術領域：
本發明涉及一般的視頻數據立體化方法，尤其涉及一種從單目圖像序列生成立體圖像序列的方法。
背景技術：
從無三維幾何信息的單目視頻構造雙目立體視頻，有三種主要方法一種是使用同步攝像硬體；一種是基於稠密三維幾何恢復的圖像繪製方法；一種是基於稠密採樣的圖像繪製技術。這幾種方法都有其局限性，高度自動、精確的稠密三維重建仍然是計算機視覺裡的難題。
基於視頻的繪製利用多個同步視頻生成三維視頻，需要特殊的硬體設備或重建三維模型。
早期工作主要是利用場景的三維幾何信息。然而，現實場景的三維模型通常很難獲得。也有人提出了基於兩幅或多幅圖像的三維重建方法，然而這類方法全自動尚不能得到理想的結果，需要人工介入，成本高。
一些基於圖像繪製的方法通過稠密的採樣而避免三維重建，也能合成立體圖像。如Light-field，可參考M.Levoy and P.Hanrahan.Lightfieldrendering.In SIGGRAPH』96Proceedings of the 23rd annual conference onComputer graphics and interactive techniques，pages 31.42，New York，NY，USA，1996.ACM Press；Lumigraph，可參考S.J.Gortler，R.Grzeszczuk，R.Szeliski，and M.F.Cohen.The lumigraph.In SIGGRAPH』96Proceedingsof the 23rd annual conference on Computer graphics and interactivetechniques，pages 43.54，New York，NY，USA，1996.ACM Press。採用的方法都是使用多個攝像機從各角度對場景進行密集採樣，在沒有任何場景三維幾何信息的條件下合成立體圖像。這種方法所需數據量大，處理過程複雜。

發明內容
本發明的目的在於針對現有技術的不足，提出一種從單目圖像序列生成立體圖像序列的方法，該方法不需要硬體輔助、無需恢復深度和三維幾何就能從單目視頻圖像序列構建出立體圖像序列。
為了達到上述目的，本發明採用的技術方案如下一種從單目圖像序列生成立體圖像序列的方法，包括以下步驟
1)由單目圖像序列Pmono＝{pi}創建對應的單目攝像機參數序列(QB，VB)單目攝像機序列B＝{bi}的參數序列包括旋轉向量序列QB＝{qi}與空間位置序列VB＝{vi}，通過攝像機跟蹤算法得到每一幀單目圖像pi對應的攝像機參數(qbi，vbi)；2)由單目攝像機參數序列(QB，VB)和單目圖像序列Pmono構造雙目攝像機序列S＝{si}以及對應的參數序列(QS，VS)和索引序列(∏L，∏R)令左眼索引序列∏L＝i，然後對選擇到單目攝像機bi距離最接近雙目距離deye的單目攝像機bk，令∏R[i]＝k；雙目攝像機旋轉向量q(si)＝(q(bi)+q(bk))/2，中心位置c(si)＝(v(bi)+v(bk))/2，由此可確定雙目攝像機左右眼參數(q(si)，v(si))；3)用已知的(QS，VS)和(∏L，∏R)計算控制誤差E，若E在誤差允許範圍之內，則直接進行下一步，否則，調整(QS，VS)和(∏L，∏R)的值使E減小至誤差允許範圍之內；調整方法分兩步首先，固定(∏L，∏R)，調整(QS，VS)，得到使E最小的(QS，VS)，然後，固定(QS，VS)，調整(∏L，∏R)，得到使E最小的(∏L，∏R)；重複這兩個步驟直至E減少到誤差允許範圍之內；4)依據索引序列(∏L，∏R)構造雙目源圖像序列(Plwarp，Prwarp)，其中左眼源圖像序列Plwarp＝{p∏L[i]}，右眼源圖像序列Prwarp＝{p∏R[i]}，根據雙目攝像機參數序列(QS，VS)，對雙目源圖像序列(Plwarp，Prwarp)進行視圖變換，得到立體圖像序列(Plstereo，Prstereo)。
所述的控制誤差E(S，∏L，∏R)＝ES+EQ+(ECV+ECO)，包括以下幾個部分1)立體感誤差ESL(s)指雙目攝像機s的左眼攝像機，R(s)指雙目攝像機s的右眼攝像機δ(s，l，r)＝‖v(bl)-v(L(s))‖2+‖v(br)-v(R(s))‖2ES(S,L,R)=i=1N((S[i],L[i],R[i]))]]>2)相似性誤差EQγ(s，l，r)＝‖q(s)-q(bl)‖2+‖q(s)-q(br)‖2EQ(S,L,R)=i=1N(S[i],l[i],r[i])]]>3)方向連續性誤差ECOECQ(S,L,R)=i=2N=1||2q(si)-q(si+1)-q(si-1)||2]]>
4)位置連續性誤差ECVECV(S,L,R)=i=2N=1||2v(si)-v(si+1)-v(si-1)||2]]>+i=2N-1||2v(bL[i])-v(bL[i+1])-v(bL[i-1])||2]]>+i=2N-1||2v(bR[i])-v(bR[i+1])-v(bR[i-1])||2]]>所述的固定(∏L，∏R)，調整(QS，VS)，得到使E最小的(QS，VS)的方法可以是固定(∏L，∏R)，以E為目標函數，使用非線性最優化方法調整(QS，VS)，得到使E最小的(QS，VS)；所述的固定(QS，VS)，調整(∏L，∏R)，得到使E最小的(∏L，∏R)的方法可以是固定(QS，VS)，將(∏L，∏R)分段，每次同時調整其中某一段中的所有連續幀，同時每個∏L[i]，∏R[i]都在各自臨近的若干幀內進行枚舉配對。對所有的情況重新計算控制誤差E，找出使E最小的一組作為調整結果。對每個分段逐個調整，直至全部調整完畢。
本發明與背景技術相比，具有的有益效果是本發明針對以往立體視頻製作方法昂貴，複雜，數據量大，處理時間長等缺點，提出了一種將普通的單目視頻圖像序列轉化為立體圖像序列的新思路。本發明不需要特殊的硬體，或基於圖像的密集採樣以及三維建模，不需要深度信息的恢復，僅需要一段包括運動鏡頭的單目視頻圖像序列，即可構造出製作立體視頻所需的立體圖像序列。
本發明計算效率高，結果穩定，由該方法產生的立體圖像序列可用於製作立體視頻等用途。由於單目視頻素材豐富，因此適合用於將單目視頻立體化的場合。


下面結合附圖和實施方式對本發明作進一步說明。
圖1是本發明方法的四個步驟的流程圖；圖2是步驟一中單目攝像機b以及單目攝像機序列B的示意圖；圖3是步驟二中雙目攝像機s的結構示意圖；圖4是步驟二中索引序列∏L，∏R的用途示意圖；圖5是步驟二中的雙目攝像機序列和索引攝像機序列的初始化方法。
具體實施例方式
本發明提出了一種從單目圖像序列生成立體圖像序列的方法，包括四個步驟首先，由單目圖像序列創建對應的單目攝像機參數序列；接著構造雙目攝像機序列、對應的參數序列和索引序列；然後，調整雙目攝像機參數序列和索引序列的值，使控制誤差在誤差允許範圍之內；最後，依據索引序列構造雙目源圖像序列，根據雙目攝像機參數序列對雙目源圖像序列進行視圖變換，得到立體圖像序列。
具體流程如圖1所表示，現具體介紹每一步驟的實現細節1)單目圖像序列Pmono＝{pi}創建對應的單目攝像機參數序列(QB，VB)本文所指攝像機參數包括某個時刻攝像機的兩個外部參數空間位置v以及旋轉向量q，其中旋轉向量q用歐拉角形式表達，如(qx，qy，qz)，qx，qy，qz分別為繞x，y，z軸旋轉的歐拉角。攝像機在一個時間段內的參數構成攝像機參數序列空間位置序列V和旋轉向量序列Q。
如圖2，單目攝像機b代表某幀單目視頻圖像對應的攝像機。B指單目攝像機b的序列，B[i]指第i個單目攝像機，即bi。v(b)是單目攝像機b的空間位置，q(b)是單目攝像機b的旋轉向量。
單目攝像機序列B＝{bi}的參數序列包括旋轉向量序列QB＝{qbi}與空間位置序列VB＝{vbi}。
通過攝像機跟蹤算法得到每一幀單目圖像pi對應的攝像機參數(qbi，vbi)。
有許多種可用於攝像機跟蹤的算法，一般採用非實時的基於結構和運動恢復(Structure And Motion Recovery，簡稱SMR)的攝像機跟蹤方法，即可對大部分的視頻圖像序列高精度地恢復攝像機運動參數。如2D3公司的boujou、REALVIZ公司的matchmover或ranovae公司的WecamTrack等都可以用於攝像機跟蹤。
這一步得到(QB，VB)和一些稀疏點的三維深度，在步驟四中可以取這些稀疏點當中的深度作為視圖變換的參數。
2)由單目攝像機參數序列(QB，VB)和單目圖像序列Pmono構造雙目攝像機序列S＝{si}以及對應的參數序列(QS，VS)和索引序列(∏L，∏R)如圖3，雙目攝像機s指用於生成立體圖像的兩臺攝像機組成的系統，由相同旋轉向量且距離不變的同步左右眼攝像機構成，且兩攝像機旋轉向量和攝像機連線垂直。其中v(L(s))，v(R(s))為立體攝像機的左右眼攝像機的空間位置；L(s)與R(s)的中點c(s)稱為雙目攝像機中心；左右眼攝像機距離d稱為攝像機雙目距離；並定義L(s)與R(s)的旋轉向量為s的旋轉向量q(s)；L(s)與R(s)連線為雙目攝像機x軸，ex為x軸的單位矢量，q(s)和ex垂直。S指雙目攝像機s的序列，S[i]指第i個雙目攝像機，即si。
∏指索引序列，∏L，∏R分為左眼索引序列和右眼索引序列。左眼索引序列的某一項∏L[i]指雙目攝像機序列S的每一個左眼攝像機L(S[i])所對應的單目攝像機B[k]在單目攝像機序列中的索引k；右眼索引攝像機序列的某一項∏R[i]指雙目攝像機序列的每一個右眼攝像機R(S[i])所對應的單目攝像機B[m]在單目攝像機序列中的索引m。
如圖4，從單目攝像機序列中按要求挑出的是b27、b1、b30、b9四個攝像機，其中b27、b1對應的單目視頻幀f27、f1將用來生成雙目攝像機S[i]的左右眼圖像，b30、b9對應的單目視頻幀f30、f9用於生成雙目攝像機S[i+1]的左右眼圖像。則∏L＝{27，30}，∏R＝{1，9}，BL＝{b27、b30}，BR＝{b1、b9}。
構造左右眼索引序列∏L，∏R如圖5，令∏L[i]＝i，即左眼索引序列即為單目攝像機序列的序號，然後再為右眼索引序列選擇初始值。考慮第i個左眼攝像機，其對應的單目攝像機是bi，選擇到bi距離最接近雙目距離deye的單目攝像機bk，以k作為相應的右眼攝像機的索引，即∏R[i]＝k。
雙目攝像機序列S的參數雙目攝像機旋轉向量q(si)初始值就是bi和bk的旋轉向量的平均值q(si)＝(q(bi)+q(bk))/2；中心位置c(si)即bi和bk空間位置的中點，c(si)＝(v(bi)+v(bk))/2。則相應的雙目攝像機左右眼攝像機的空間位置分別為c(si)±0.5deve·ex，即在x軸上與中點相距deye/2的兩個空間點，旋轉向量即為q(si)。ex為x軸的單位矢量(我們把攝像機的正左方向作為x軸正方向)。
雙目攝像機si除q，v外的其它內部參數如焦距f等，與構造它的相應單目攝像機BL[i]或BR[i]相同(這裡假定攝像機不變焦)。
3)調整雙目攝像機參數序列(QS，VS)和索引序列(∏L，∏R)的值，使控制誤差E在誤差允許範圍之內用已知的(QS，VS)和(∏L，∏R)計算控制誤差E，若E在誤差允許範圍之內，則直接進行下一步；否則，調整(QS，VS)和(∏L，∏R)的值使E減小至誤差允許範圍之內。
控制誤差E(S，∏L，∏R)＝ES+EQ+(ECV+ECO)；立體感誤差ESδ(s，l，r)＝‖v(bl)-v(L(s))‖2+‖v(br)-v(R(s))‖2ES(S,L,R)=i=1N((S[i],L[i],R[i]))]]>
相似性誤差EQγ(s，l，r)＝‖q(s)-q(bl)‖2+‖q(s)-q(br)‖2EQ(S,L,R)=i=1N(S[i],l[i],r[i])]]>連續性誤差EC，包括方向連續性目標函數ECQ，空間連續性目標函數ECVECQ(S,L,R)=i=2N=1||2q(si)-q(si+1)-q(si-1)||2]]>ECV(S,L,R)=i=2N=1||2v(si)-v(si+1)-v(si-1)||2]]>+i=2N-1||2v(bL[i])-v(bL[i+1])-v(bL[i-1])||2]]>+i=2N-1||2v(bR[i])-v(bR[i+1])-v(bR[i-1])||2]]>控制誤差E的允許範圍為經驗常數，用於控制最後輸出立體圖像的效果，如果輸出結果不夠精確，可以通過縮小該範圍，通過調整(QS，VS)和(Π∏L，∏R)的值對結果進行優化求精。
調整(QS，VS)和(∏L，∏R)的方法有很多，最簡單的策略是枚舉所有可能，但由於枚舉出的組合過多，大大增加了計算複雜度。因此，可將調整分為兩部分首先，固定(∏L，∏R)，調整(QS，VS)，得到使E最小的(QS，VS)；然後，固定(QS，VS)，調整(∏L，∏R)，得到使E最小的(∏L，∏R)；重複這兩個步驟直至E變化不大，如(Ei-Ei-1)/Ei＜0.0001時即可停止。
採用分兩部分枚舉所有組合的計算量仍是很大，因此，實際採用最優化算法和局部枚舉法相結合的策略，分別降低調整(QS，VS)和(∏L，∏R)的計算複雜度。
例如，首先，固定(∏L，∏R)，以E為目標函數，使用非線性最優化方法如Levenberg-Marquardt方法調整(QS，VS)，得到使E最小的(QS，VS)。
然後分段局部枚舉法調整(∏L，∏R)固定(QS，VS)，將(∏L，∏R)分段，前後段有重複元素，每次同時調整(∏L，∏R)中某一段中的所有連續幀，同時每個∏L[i]，∏R[i]都在各自臨近的幾幀內進行枚舉配對。對所有的情況重新計算控制誤差E，找出使E最小的一組作為調整結果。對每個分段逐個調整，直至全部調整完畢。
分段局部枚舉法舉例如下假設採用同時調整連續三幀，每一幀的調整範圍為包括自己5幀的策略。對於第一組被調整的三幀S
，S[1]，S[2]，其對應的左右眼索引為(∏l
，∏r
)，(∏l[1]，∏r[1])，(∏l[2]，∏r[2])，假設其中第0幀的雙目攝像機對應左右眼索引為∏L
＝31，∏R
＝9，那麼第0幀左眼索引調整範圍∏L
＝{29，30，31，32，33}，右眼索引調整範圍∏R
＝{7，8，9，10，11}，其他幀同理。對於每一幀共25組(∏l[i]，∏r[i])的組合，連續三幀(∏l
，∏r
)，(∏l[1]，∏r[1])，(∏l[2]，∏r[2])總共有253種組合。在其中若發現有某個組合能使總目標函數E最小，則取該值。這樣依次調整，先同時調整0，1，2幀，再接著調整1，2，3幀，直至全部調整完畢。
4)依據索引序列(∏L，∏R)構造雙目源圖像序列(Plwarp，Prwarp)，根據雙目攝像機參數序列(QS，VS)，對雙目源圖像序列(Plwarp，Prwarp)進行視圖變換，得到立體圖像序列(Plstereo，Prstereo)。
視圖變換的方法是為圖像上的每個像素賦予一個常深度Zc，將每個像素先投影到三維空間的正確位置上，然後再投影到雙目攝像機參數指定的圖像平面上，從而生成立體圖像的左右眼圖像。這裡的zc＝2(1/zmin+1/zmax)-1，其中[zmin，zmax]是場景的深度範圍，在攝像機跟蹤步驟中，恢復攝像機運動參數的同時，可以得到一些稀疏點的三維深度，可以取這些稀疏點當中的最小深度作為zmin，最大深度作為zmax。
權利要求
1.一種從單目圖像序列生成立體圖像序列的方法，其特徵在於包括以下步驟1)由單目圖像序列Pmono＝{pi}創建對應的單目攝像機參數序列(QB，VB)單目攝像機序列B＝{bi}的參數序列包括旋轉向量序列QB＝{qi}與空間位置序列VB＝{vi}，通過攝像機跟蹤算法得到每一幀單目圖像pi對應的攝像機參數(qbi，vbi)；2)由單目攝像機參數序列(QB，VB)和單目圖像序列Pmono構造雙目攝像機序列S＝{si}以及對應的參數序列(QS，VS)和索引序列(∏L，∏R)令左眼索引序列∏L＝i，然後對選擇到單目攝像機bi距離最接近雙目距離deve的單目攝像機bk，令∏R[i]＝k；雙目攝像機旋轉向量q(si)＝(q(bi)+q(bk))/2，中心位置c(si)＝(v(bi)+v(bk))/2，由此可確定雙目攝像機左右眼參數(q(si)，v(si))；3)用已知的(QS，VS)和(∏L，∏R)計算控制誤差E，若E在誤差允許範圍之內，則直接進行下一步，否則，調整(QS，VS)和(∏L，∏R)的值使E減小至誤差允許範圍之內；調整方法分兩步首先，固定(∏L，∏R)，調整(QS，VS)，得到使E最小的(QS，VS)，然後，固定(QS，VS)，調整(∏L，∏R)，得到使E最小的(∏L，∏R)；重複這兩個步驟直至E減少到誤差允許範圍之內；4)依據索引序列(∏L，∏R)構造雙目源圖像序列(Plwarp，Prwarp)，其中左眼源圖像序列Plwarp={pL[i]},]]>右眼源圖像序列Prwarp={pR[i]},]]>根據雙目攝像機參數序列(QS，VS)，對雙目源圖像序列(Plwarp，Prwarp)進行視圖變換，得到立體圖像序列(Plstereo，Prstereo)。
2.根據權利要求1所述的一種從單目圖像序列生成立體圖像序列的方法，其特徵在於所述的控制誤差E(S，∏L，∏R)＝ES+EQ+(ECV+ECO)，包括以下幾個部分1)立體感誤差ESL(s)指雙目攝像機s的左眼攝像機，R(s)指雙目攝像機s的右眼攝像機(s,l,r)=||v(bi)-v(L(s))||N2+||v(br)-v(R(s))||2]]>ES(S,L,R)=i=1((S[i],L[i],R[i]))]]>2)相似性誤差EQ(s,l,r)=||q(s)-q(bi)||2+||q(s)-q(br)||2]]>EQ(S,L,R)=i=1N((S[i],l[i],r[i])]]>3)方向連續性誤差ECOECQ(S,L,R)=i=2N-1||2q(si)-q(si+1)-q(si-1)||2]]>4)位置連續性誤差ECVECV(S,L,R)=i=2N-1||2v(si)-v(si+1)-v(si-1)||2]]>+i=2N-1||2v(bL[i])-v(bL[i+1])-v(bL[i-1])||2]]>+i=2N-1||2v(bR[i])-v(bR[i+1])-v(bR[i-1])||2.]]>
3.根據權利要求1所述的一種從單目圖像序列生成立體圖像序列的方法，其特徵在於所述的固定(∏L，∏R)，調整(QS，VS)，得到使E最小的(QS，VS)的方法可以是固定(∏L，∏R)，以E為目標函數，使用非線性最優化方法調整(QS，VS)，得到使E最小的(QS，VS)。
4.根據權利要求1所述的一種從單目圖像序列生成立體圖像序列的方法，其特徵在於所述的固定(QS，VS)，調整(∏L，∏R)，得到使E最小的(∏L，∏R)的方法可以是固定(QS，VS)，將(∏L，∏R)分段，每次同時調整其中某一段中的所有連續幀，同時每個∏L[i]，∏R[i]都在各自臨近的若干幀內進行枚舉配對。對所有的情況重新計算控制誤差E，找出使E最小的一組作為調整結果。對每個分段逐個調整，直至全部調整完畢。
全文摘要
本發明公開了一種從單目圖像序列生成立體圖像序列的方法，包括四個步驟首先，由單目圖像序列創建對應的單目攝像機參數序列；接著構造雙目攝像機序列、對應的參數序列和索引序列；然後，調整雙目攝像機參數序列和索引序列的值，使控制誤差在誤差允許範圍之內；最後，依據索引序列構造雙目源圖像序列，再根據雙目攝像機參數序列對雙目源圖像序列進行視圖變換，得到立體圖像序列。本發明針對現有立體視頻製作技術的高成本、製作方法複雜的缺點，提出一種把單目視頻轉化為立體視頻的方法，該方法不需要特殊硬體輔助、製作過程簡單、製作素材豐富且易獲得。
文檔編號H04N15/00GK1917658SQ200610052740
公開日2007年2月21日 申請日期2006年8月1日 優先權日2006年8月1日
發明者華煒, 鮑虎軍, 章國鋒, 何治 申請人:杭州鐳星科技有限公司