基於全景圖拼接的視頻編輯方法

2023-10-17 20:59:24

專利名稱：基於全景圖拼接的視頻編輯方法
技術領域：
本發明涉及一種視頻序列處理方法，具體地說，涉及一種通過合成視頻全景圖，以對全景圖的圖像編輯來代替傳統視頻編輯的新方法。

背景技術：
傳統的視頻編輯中，鏡頭拍攝、剪輯通常以錄像帶為存儲介質，由於素材在錄像帶上是順序存放的，要完成編輯必須反覆搜索和複製，並在另一錄像帶重新安排這些素材，這種編輯方法被稱之為線性編輯方法。自數位技術發展起來之後出現了專用的非線性編輯機，可以不按照素材在磁帶上的線性位置進行更方便的處理。實際上PC也可以作為一臺非線性編輯機，因為所有的素材都捕捉到磁碟上，可以隨時處理任何時間線位置上的內容。
非線性視頻編輯很大程度上方便視頻編輯工作，但它仍然是一件很繁瑣的工作，這是因為現有的非線性視頻編輯是將視頻文件逐幀展開，以幀為精度來進行編輯。由於視頻數據量極大，因此對視頻的逐幀編輯需要耗費大量的人工交互以及計算機的計算量。
由於視頻中的物體通常會出現在很多幀，如果直接修改視頻，需要逐幀進行，有大量重複工作。如果將整段視頻信息用一幅圖像來表示，根據需要對這幅圖像進行編輯，然後再根據編輯後的圖像重新得到視頻，不僅使手工參與的工作量大大減小(甚至可以完全由計算機自動完成)，還節省了計算時間，提高了工作效率。由此本發明提出了基於全景圖拼接的視頻編輯新方法。


發明內容
本發明的目的是提供一種基於全景圖拼接的視頻編輯方法，解決現有的視頻編輯方法對視頻逐幀地編輯，不直觀，計算量大，耗時長等缺陷，提供一種能夠快速、直觀地對視頻內容進行編輯的方法。
為了實現上述目的，本發明採用的技術方案是 1、本發明提供了一種基於全景圖拼接的視頻內容編輯方法，用於對一段運動視頻序列的編輯。該方法包括 1)用多個視頻幀生成一描述運動視頻全貌的視頻全景圖； 2)對得到的視頻全景圖進行圖像內容編輯； 3)由編輯後的視頻全景圖逆投影回各視頻幀坐標系，生成編輯後的視頻序列。
2、所述的視頻全景圖生成包括下列步驟 1)對多個視頻幀之間相對的全局運動進行全局運動估計，得出各視頻幀圖像之間的平面投影關係； 2)如果運動視頻序列中包含有運動物體，則首先將其去除； 3)根據各視頻幀圖像之間的平面投影關係，以第一幀圖像作為參考幀，建立全景圖坐標系，將各視頻幀圖像投影到該全景圖坐標系中，並估計出全景圖的尺寸； 4)根據各視頻幀之間的平面投影關係，計算全景圖上每個像點在多個視頻幀圖像中的對應點，將這多個對應點進行排序，取中值作為全景圖上的值，構成視頻全景圖； 3、所述的全局運動估計包括 1)匹配步驟提取各視頻幀圖像的角點，並進行相關匹配，得到初始匹配點集； 2)參數估計步驟利用Ransac剔除初始匹配點集中的錯誤匹配，並用最小二乘估計出透視投影下的變換參數。
4、所述運動物體去除方法包括 1)利用幀差法確定運動物體的大致範圍； 2)利用基於顏色的區域分割將圖像劃分為顏色不同的區域； 3)用圖切割法將二者結合，並用前一幀分割結果作為約束進行優化求解。
5、還包括對各視頻幀圖像進行顏色亮度校正，以消除拍攝時由於曝光和白平衡不一樣造成的顏色差異。
6、所述的全景圖內容編輯方法包括 1)圖像移植通過手工選擇一塊區域，再將此塊區域的信息放到需要填充的區域中，根據被填充區域外部的信息改變原區域信息的顏色，使這種填充變得自然； 2)基於信息繁衍的圖像編輯利用圍繞著待編輯區域邊界的已知信息，沿著梯度最小的方向將邊界上的灰度信息「繁殖」到待編輯區域內來實現； 3)紋理圖像的半自動填充自動填充有紋理的區域。
7、所述的編輯後的視頻序列生成包括下列步驟 1)計算從視頻全景圖到各視頻幀坐標系的逆投影矩陣； 2)根據逆投影矩陣從視頻全景圖生成各視頻幀圖象，完成視頻編輯過程。
本發明具有的有益效果是 1.本發明將傳統視頻編輯方法的逐幀編輯轉化為對合成的視頻全景圖像的一次性編輯，極大地減小了編輯所需的人工交互以及計算量； 2.由於用戶的編輯工作在得到的視頻全景圖上完成，因此更直觀、準確。



圖1為本發明方法的流程圖。
圖2為圖像移植的示意圖。
圖3為紋理圖像半自動填充示意圖。
圖4本發明用於對視頻場景內容編輯的示例，其中(a)為原始的視頻序列各幀，(b)為生成的視頻全景圖，(c)對視頻全景圖進行編輯後的結果，(d)由編輯後的視頻序列逆投影回各視頻幀坐標系的結果，即最終結果。

具體實施例方式 下面結合附圖和具體實施方式
對本發明作進一步詳細描述。
圖1給出了依照本發明進行視頻編輯的方法流程圖。
在運動視頻的拍攝過程中，攝像機的運動會造成視頻圖像背景的運動，這種運動形式被稱為全局運動。與全局運動相對應的為局部運動，局部運動指運動物體動作造成的前景運動。考慮到運動物體可以是剛體或非剛體，因此採用基於時域的幀差法做初始的分割。幀差法基於背景靜止或者具有統一的全局運動，而運動物體具有不同於此全局運動的性質這一假設。在背景具有統一全局運動的情況下，只需求取得到全局運動參數，即能求出不服從此參數的運動物體區域。
如圖1所示，在步驟101中，對視頻序列各幀之間相對的全局運動進行全局運動估計，得到全局運動參數。基於視頻編輯的要求，對視頻幀中的每相鄰兩幀之間的全局運動進行估計，從而可通過遞推計算出視頻各幀對於前述參照幀的全局運動，由此可以得到視頻各幀坐標系相對於參考幀坐標系的變換參數。通常情況下，參考幀可選場景中的第一幀。
相鄰圖像幀之間的全局運動的規律可由全局運動參數表徵，根據全局運動估計所針對的場景不同，可選用不同的參數模型。在本發明中，為了體現出場景深度的變化，選用的是八自由度的透視變換模型 透視變換的矩陣形式可表示為 它是齊次坐標系下非奇異線性變換的一般形式。透視變換矩陣有9個參數，但是齊次坐標系中有意義的是其比值，因此這種變換實際上是有8個參數。對於同一視頻序列的每相鄰兩幀圖象，只需要有四對點的對應，就可以求出此參數。
求解變換參數，本發明採用了特徵點匹配算法，它包含下面三個步驟 ①分別對相鄰的視頻幀圖像提取角點，如用Harris角點，SUSAN角點等。
②用所提取的角點鄰域信息的相關匹配得到粗匹配結果。
對於序列圖像n中的特徵點x，相關窗口設置為(2n+1)×(2m+1)。在圖像n+1中的搜索區域定為(2du+1)×(2dv+1)。計算搜索區域中每一點x′和x的相關係數ρ(x，x′) 其中Cov(x，x′)是x′和x的協方差 σ(x)是點x＝(u，v)相關窗口的標準偏差 E(x)是點x＝(u，v)相關窗口的均值 選擇相關係數ρ(x，x′)最大的匹配點作為最佳匹配，為了保證匹配點的正確性，還應設置一個閾值T，最佳匹配的相關係數應大於此閾值。
③由於②中的匹配存在誤匹配的可能，且即使匹配沒有出錯，但匹配點如果恰好位於運動物體上，通過這些匹配點所求得的攝像機運動參數也是錯誤的。因此，必須有對匹配結果進行檢驗的手段，以確保匹配結果的魯棒性。本發明採用的方法是利用透視變換矩陣為約束，用RANSAC進行投票，去掉粗匹配結果中不符合攝像機全局運動參數的點對。
關於RANSAC算法可參考文獻1Fischler M.A.and Bolles R.C.RandomSample ConsensusA Paradigm for Model Fitting with Applications to ImageAnalysis and Automated Cartography.Communications of the ACM，1981，Vol.24381-395. 對RANSAC算法進行簡單描述 假設點x的齊次坐標表示為(x1，x2，1)T，則經過透視矩陣投影后的坐標x′為

則投影后兩個對應點之間的歐氏距離為 其中 x1′＝h11x1+h12x2+h13 x2′＝h21x1+h22x2+h23 x3′＝h31x1+h32x2+h33 假設角點匹配得到的對應點組數為P，賦最大匹配點組Pmax的初始值為0，迭代的次數N的初始值設為200。
a)從P中隨機選取4組點對，求出透視矩陣HPi； b)計算每個匹配點到模型之間的距離，如果距離小於閾值d，將此點標記為true，否則標記為false，記下當前模型下所有點對中，標記為true的點對的組數PG； c)如果Pmax＜PG，則令Pmax＝PG，並保存下當前標記為true的所有點對，轉到步驟d；否則，回到步驟a； d)計算迭代次數其中T為預測的粗匹配結果中正確匹配結果所佔比例的先驗概率； e)如果N＞kP，則令N＝kP，與當前總共迭代次數k進行比較，如果k＜N，令k＝k+1，返回步驟a；否則到步驟f； f)如果Pmax≥4，則轉到④用最小二乘法求解滿足當前模型的所有點對的最優透視矩陣HP，而此前記錄下的匹配點對也就是用RANSAC方法去掉所有的粗差點對之後剩下的結果。
利用透視變換作為RANSAC的約束條件，不僅可以消除匹配中的錯誤點，同時也給匹配增加了參數方程的約束。
④通常情況下，匹配點對數目比求8個自由度的透視變換矩陣所要求的的4組點對要多，本發明用最小二乘法求此超定線性方程的解，其過程如下 假設有n組對應的匹配點x，x′，其對應的透視矩陣為HP，則最小二乘法的解HP應下式具有最小值 令對HP求導可以通過對其每個元素求導推出。
例如，對h11求偏導，展開得到 ∑2(h11x1+h12x2+h13x3-x1′)x1＝0 對HP中的每個元素都如上式對h11求偏導一樣展開，再將結果合併在一起可以得到 即 令左右兩邊兩個3×1和1×3的列矢量和行矢量相乘得到的矩陣分別為和則HPA＝B，可求出HP的解為 HP＝BA-1 如圖1所示，在步驟102中，當視頻序列中存在運動物體時，應將其去除。本發明採用幀差法來確定運動物體的大致範圍，以此作為初始值，結合幀內及幀間各像素之間的相關性，定義能量方程，利用圖切割方法解此能量方程而得到最終的分割結果。
步驟101已經介紹了求取攝像機全局運動參數的方法。利用此參數，可將一幀圖像Ii+1投影到相鄰幀Ii的坐標系中，得到新圖像Ii+1′。此圖像相對於Ii的背景靜止。假設圖像Ii+1和Ii滿足投影關係P，即xi+1＝Pxi，其中xi和xi+1分別表示圖像Ii和Ii+1上對應點的坐標，則新圖像Ii+1′的計算過程為 ①生成一幅大小和原圖像相同的空白圖像Ii+1′； ②對於x∈Ii+1′，求出其在原圖像中的對應點坐標x′＝P-1x(P-1為P的逆投影)； ③求出的對應坐標x′，該坐標通常不是整數，用雙線性插值法進行插值。
需要說明的是由於二幀圖像的範圍並不完全相同，因此在把一幀圖像投影到另一幀圖像的坐標系時，會出現一些「盲區」(計算所得的坐標值超出了圖像邊界)，盲區的點像素值置為0。
理想情況下，當序列中不存在運動物體時，Ii+1′和Ii是同樣的圖像。若序列中存在運動物體，Ii+1′和Ii會在有運動物體的區域內有差別。因此，可定義Ii中的運動物體區域為 {xi|xi∈Ii，|f(xi)-f(xi+1′)|＞T} 上式中，f(xi)表示Ii中位置為xi的點的象素值，f(x+1′)則是由Ii+1投影到Ii所生成的新圖像Ii+1′中坐標為xi+1′的象素值，T是所設定的閾值。當對應點相減的結果大於此閾值T時，認為此點是運動物體上的點，否則視為靜止的背景點。
為了儘可能多地保留每幀圖像中靜止背景圖像的信息，可再加入第三幀的信息，即用前後幀圖像來估計當前幀中的運動物體，因此對上式進行了修改， {xi|xi∈Ii，|f(xi)-f(xi+1′)|＞T&|f(xi)-f(xi-1′)|＞T} 受到噪聲等因素的影響，直接由上式得到的結果常常會出現一些錯誤孤立點或者小塊區域，可用形態學算子做簡單的處理。
如果圖切割法以像素點為節點則計算量較大，會影響算法的效率。因此，在運用圖切割算法之前，本發明先用均值偏移方法對圖像做預分割，用分割後得到的各區域作為圖的節點。這樣不僅可以減小計算量，而且由於均值偏移能夠較準確的定位各顏色區域的邊緣，還可以保證分割結果的準確性。
關於均值偏移算法可參考文獻2Fukunaga K.and Hostetler L.D.Theestimation of the gradient of a density function，with applications in patternrecognition，IEEE Transactions on Information Theory，1975，21(1)32～40. 基於均值偏移的顏色分割算法主要分兩個步驟首先，圖像在聯合域中進行均值偏移濾波，該濾波具有不連續保持性，將每個像素都劃分至聯合域中最近的模式，並將相應模式中的三維彩色分量替換各像素原先值。然後，採用迭代方法融合位於色彩空間中hr/2範圍內的模式吸引域，直至收斂，最終得到分割後圖像。
基於均值偏移的顏色分割算法利用彩色信息和空間位置將圖像劃分成小塊區域。但是分割的結果不具有語義上的知識，根據此結果無法區分運動物體和背景。因此我們用圖切割的方法建立起運動物體區域和彩色均值偏移算法結果的關係，從而可以將時域和空域信息結合起來，得到比較準確的分割結果。
關於圖切割算法可參考文獻3Yuri Boykov，Olga Veksler，Ramin Zabih.Efficient Approximate Energy Minimization via Graph Cuts.IEEE transactions onPatternAnalysis andMachine Intelligence，2001，20(12)1222-1239. 如圖1所示，在步驟103中，全景圖拼接採用平面拼接方法，選取其中一幀所在平面為參考幀，利用平面投影模型，將其它所有幀都投影到此幀所在平面，構造出全景圖。步驟101已經詳細介紹了利用匹配估計全局運動參數的方法。假設xi代表第i幀圖像上點的坐標，Pi，j代表i，j兩幀間的透視投影矩陣，幀間的投影關係公式表示為 xi＝Pi，i+1xi+1 利用相鄰幀之間的傳遞性，可以得到各幀圖像與第一幀圖像間的投影關係，即 x1＝P1，2x2 x2＝P2，3x3  xn-1＝Pn-1，nxn 由此可以計算出每幀圖像和第一幀圖像之間的投影關係 x1＝P1，2x2＝P1，2P2，3x3＝P1，3x3(其中，P1，3＝P1，2P2，3)  x1＝P1，2P2，3…Pn-1，nxn＝P1，nxn(其中，P1，n＝P1，2P2，3…Pn-1，n) 選取第一幀圖像為參考幀，就可得到每幀圖像與全景圖的投影關係。
確定各幀與全景圖坐標系之間的投影關係後，接下來需要計算全景圖的大小計算出每幀圖像的四個頂點在全景圖坐標系下的投影位置，記其坐標為(x，y)。比較其坐標的大小，得到xmax、xmin和ymax、ymin，則全景圖的大小可確定為W×H，其中W＝xmax-xmin，H＝ymax-ymin。
由於透視變換是一種線性可逆變換，因此全景圖上的點到各幀的投影關係可表示為其中矩陣P1，n-1是P1，n的逆矩陣。在此投影關係下，可求出全景圖上的像素點{x，y}在第n幀圖像上的坐標{xn，yn}。由於得到的{xn，yn}可能不是整數，可通過雙線性插值計算此點的像素值。
當視頻序列中相鄰幀間的攝像機運動比較小時，全景圖上點通常情況下與多視頻幀圖像上的點相對應。假設與其對應的視頻幀數為M，可取對應的這M個點的像素值的中值為全景圖上點的像素值。
如圖1所示，在步驟104中，根據視頻編輯的具體要求，對由步驟103生成的全景圖進行圖像內容編輯，對圖像編輯的方法很多，本發明中，採用了下列三種方法 ①圖像移植圖2中給出了圖像移植的示意圖，將選中的左邊區域的圖像g移植到右邊的區域Ω中，Ω′表示Ω的內部邊界。令所求的移植後的合成圖像為u，被移植的圖像為g，而被移植到的區域Ω的原始圖像為f。
為了引入移植圖像的信息，令合成圖像的一階微分與移植圖像相同u＝g，即 同時，移植後的合成圖像還會受到移植區域邊界上的約束。通常情況下，為了保持圖像的連續性，要滿足u＝f for u∈Ω′。
上面兩個約束條件可以用同一個能量函數J(u)來表示 能使此能量函數J(u)值最小的u就是合成後的圖像。其中λ(λ＞0)是Lagrange乘數，它調節上面兩個條件在整個約束中所佔比重。
②基於信息繁衍的圖像編輯利用圍繞著待編輯區域邊界的已知信息，沿著梯度最小的方向將邊界上的灰度信息「繁殖」到待編輯區域內來實現。
令Io(i，j)
×
→R表示一幅大小為M×N的圖像。圖像修復算法會通過迭代得到一系列的圖像I(i，j，n)
×
×N→R，滿足I(i，j，0)＝Io(i，j)且是輸出圖像)，其數學表達式寫為 上式中，n表示修復的時間，即迭代的次數，(i，j)表示像素的坐標，而Δt是每次迭代的步長，Itn(i，j)表示圖像In(i，j)的更新對象，而In+1(i，j)則為In(i，j)在Itn(i，j)的約束下經過一次迭代後得到的結果。這個等式的有效區域為手工指定的待修改區域Ω的內部。在n次迭代後可以得到修復好的圖像。
算法的關鍵在於找一個合適的Itn(i，j)。在人工修復技術中，人們通常會將損壞區域外部的信息沿著損壞區域的外部邊界慢慢的擴充到損壞區域內，。因此在用計算機模仿人工修復時，可以借用此思想，將Ω外部信息平滑擴充到Ω內部。假設Ln(i，j)是待擴充的信息，而

是擴充的方向，可得到Itn(j，j)的表達式為 其中

是信息Ln(i，j)的變化量。在此等式中可以估計出圖像的信息Ln(i，j)並可計算出其在方向

上的變化量。在穩定後的狀態也就是算法收斂時，滿足In+1(i，j)＝In(i，j)，也就是意味著信息量L已經完全擴充到

方向中。
因為希望信息是平滑地擴散到圖像中，故Ln(i，j)是一個平滑算子，可以選取拉普拉斯算子，其表示為當然，其它的平滑算子也是適用的。
由於等照度線的連續性總是沿著邊界的法線方向，故選擇邊界Ω的法線方向為平滑信息變化的方向

。對於Ω內的每個點(i，j)，

的方向垂直此點所在的邊界Ω。修復區域是任意的，故Ω的方向與原圖像本身無關。如果等照度線的方向和

一致，則選取

時，最好的方向就是等照度線的方向。對任意點(i，j)，梯度In(i，j)是變化最大的方向，因此與梯度垂直的方向⊥In(i，j)是變化最小的方向。定義⊥In(i，j)為等照度線的方向，從而方向矢量

的表達式為 ③紋理圖像半自動填充上述提供的二種方法主要針對平滑的圖像區域，對於紋理豐富的區域要用紋理圖像的半自動填充來解決。用圖像中未損壞的區域為採樣標本，以塊為單位對圖像進行修復。定義每「塊」的大小為w×w，以w為標準將損壞區域劃分為n塊，{B1，B2，...，Bn}，然後依次修復每一小塊。
如圖3所示，對當前要修補的損壞塊Bk，在它周圍已知的區域中取一個寬度wB的帶EBk，圖3中陰影所示的部分。對圖中所示的當前損壞塊Bk，它右邊的圖像仍屬於損壞部分，故右邊的帶狀區域的信息為未知，所以取的帶狀區域為左、上、下三邊。同樣，對於其它的損壞塊，也只考慮四邊中信息已知的帶狀區域。對採樣區域中(這裡就是圖像中未損壞的部分)的任一採樣標本B(x，y)(B(x，y)表示左下角的點為(x，y)的塊)，取同樣位置和大小的帶狀區域EB(x，y)，如圖3中未損壞區域內用陰影所表示的部分。計算兩個帶狀區域的距離，可以得到與當前損壞塊Bk距離小於某一給定閾值的塊的集合ψB。定義集合ψB為 其中，dmax為給定的閾值。在集合ψB中隨機選擇一塊，把這塊中每點的灰度值依次拷貝到當前損壞塊Bk中。按照同樣的方法處理剩下的損壞塊(已經修補好的區域可能為下一塊要修補的區域提供邊界約束條件)。直到最後一塊的值確定，整幅圖像即修補完畢。
如圖1所示，在步驟105中，根據視頻編輯的具體要求，對由步驟104進行編輯後的全景圖中恢復出視頻序列。
各視頻幀圖像和全景圖之間的投影關係表示為 x＝P1，nxn 由於透視變換是一種線性可逆變換，因此可得到 其中P1，n-1是P1，n的逆矩陣。
在此投影關係下，即可各視頻幀上的像素點在全景圖上的坐標，如果改坐標點為非整數，則可通過雙線性插值計算得到該點的像素值。
圖4本發明用於對視頻場景內容編輯的示例，其中(a)為原始的視頻序列各幀，(b)為生成的視頻全景圖，(c)對視頻全景圖進行編輯後的結果，(d)由編輯後的視頻序列逆投影回各視頻幀坐標系的結果，即最終結果。
權利要求
1.一種基於全景圖拼接的視頻編輯方法，其特徵在於，該方法的步驟如下
1)用多個視頻幀生成一描述運動視頻全貌的視頻全景2)對得到的視頻全景圖進行圖像內容編輯；
3)由編輯後的視頻全景圖逆投影回各視頻幀坐標系，生成編輯後的視頻序列。
2.根據權利要求1所述的一種基於全景圖拼接的視頻編輯方法，其特徵在於，所述的視頻全景圖生成包括下列步驟
1)對多個視頻幀之間相對的全局運動進行全局運動估計，得出各視頻幀圖像之間的平面投影關係；
2)如果運動視頻序列中包含有運動物體，則首先將其去除；
3)根據各視頻幀圖像之間的平面投影關係，以第一幀圖像作為參考幀，建立全景圖坐標系，將各視頻幀圖像投影到該全景圖坐標系中，並估計出全景圖的尺寸；
4)根據各視頻幀之間的平面投影關係，計算全景圖上每個像點在多個視頻幀圖像中的對應點，將這多個對應點進行排序，取中值作為全景圖上的值，構成視頻全景圖。
3.根據權利要求2所述的一種基於全景圖拼接的視頻編輯方法，其特徵在於，所述的全局運動估計包括
1)匹配步驟提取各視頻幀圖像的角點，並進行相關匹配，得到初始匹配點集；
2)參數估計步驟利用Ransac剔除初始匹配點集中的錯誤匹配，並用最小二乘估計出透視投影下的變換參數。
4.根據權利要求2所述的一種基於全景圖拼接的視頻編輯方法，其特徵在於，所述運動物體去除方法包括
1)利用幀差法確定運動物體的大致範圍；
2)利用基於顏色的區域分割將圖像劃分為顏色不同的區域；
3)用圖切割法將二者結合，並用前一幀分割結果作為約束進行優化求解。
5.根據權利要求2所述的一種基於全景圖拼接的視頻編輯方法，其特徵在於，還包括對各視頻幀圖像進行顏色亮度校正，以消除拍攝時由於曝光和白平衡不一樣造成的顏色差異。
6.根據權利要求1所述的一種基於全景圖拼接的視頻編輯方法，其特徵在於，所述的全景圖內容編輯方法包括
1)圖像移植通過手工選擇一塊區域，再將此塊區域的信息放到需要填充的區域中，根據被填充區域外部的信息改變原區域信息的顏色，使這種填充變得自然；
2)基於信息繁衍的圖像編輯利用圍繞著待編輯區域邊界的已知信息，沿著梯度最小的方向將邊界上的灰度信息「繁殖」到待編輯區域內來實現；
3)紋理圖像的半自動填充自動填充有紋理的區域。
7.根據權利要求1所述的一種基於全景圖拼接的視頻編輯方法，其特徵在於，所述的編輯後的視頻序列生成包括下列步驟
1)計算從視頻全景圖到各視頻幀坐標系的逆投影矩陣；
2)根據逆投影矩陣從視頻全景圖生成各視頻幀圖象，完成視頻編輯過程。
全文摘要
本發明公開了一種基於全景圖拼接的視頻編輯方法。用於對一段運動視頻序列的編輯或者修復。該方法首先對視頻序列各幀圖像進行特徵點匹配，計算出各幀之間的投影矩陣，然後對各幀圖像進行拼接，得到視頻全景圖；根據視頻編輯的具體要求，利用人工交互和計算機相結合的方法對視頻全景圖進行圖像編輯；最後根據投影關係，從編輯後的全景圖中恢復出視頻序列。本發明通過以視頻全景圖為中介，將視頻編輯簡化成為對視頻全景圖的圖像編輯，不僅可使使用者直觀地了解全部場景的信息，還能夠大大減少計算量和人工交互。
文檔編號G03B37/00GK101119442SQ20071007074
公開日2008年2月6日 申請日期2007年8月10日 優先權日2007年8月10日
發明者歆 杜, 朱雲芳 申請人:浙江大學