一種針對多視頻序列的運動推斷結構方法
2023-12-07 06:46:01 1
專利名稱：一種針對多視頻序列的運動推斷結構方法
技術領域：
本發明涉及運動推斷結構，尤其涉及一種針對多視頻序列的運動推斷結構方法。
背景技術：
運動推斷結構技術，指的是由圖像集合或視頻序列中，自動估計場景中特徵點的三維位置及每張圖像對應的相機運動參數。找到特徵點在圖像中的對應位置，對於運動推斷結構的求解質量來說至關重要。相比圖像集合，視頻序列包含了更豐富的幾何信息和場景的結構信息。針對視頻序列，常用的方法是在每相鄰兩幀之間使用特徵點跟蹤算法，如 Lucas, B. D. , Kanade, T. An iterative image registration technique withan application to stereo vision. In IJCAI, pp.674-679(1981) ；Shi, J. , Tomasi,C. Good features to track. In CVPR, pp.593-600(1994) ；Georgescu, B. , Meer, P.Point matching under large image deformations and illumination changes. IEEETrans. Pattern Anal. Mach. Intell. 26,674-688 (2004) ；Lowe, D. G. !Distinctive image features from scale-invariant keypoints.International Journal of ComputerVision 60,91-110(2004)等。然而，這些連續的特徵跟蹤不能處理特徵點分布在非連續幀中的情況。比如，隨著相機運動，某物體離開畫面若干幀後又重新進入畫面，那麼該物體將包含在兩段不相連的子序列中。即使該物體上的每個特徵點在這兩個子序列中均能被穩定跟蹤上，連續的特徵跟蹤將導致特徵點在兩個子序列中分別產生一條特徵軌跡。將這樣的兩條特徵軌跡匹配上，可以緩解運動推斷結構中的漂移現象，從而提高三維重建的質量。另夕卜，在針對多視頻序列的運動推斷結構中，必須將分布在不同視頻序列中對應於相同場景的特徵軌跡匹配起來，才能將多個視頻序列註冊到同一場景中。為將非相鄰幀中的特徵軌跡匹配起來，一個簡單的方法是對每對非相鄰的兩幀都匹配一次。通常，大部分非相鄰幀對之間不存在相同的特徵點，無需匹配。此外，同一對特徵軌跡將被反覆地匹配多次。因此，這樣的策略中絕大多數匹配所消耗的時間是毫無意義的，對於長序列的情況，更是不可行的。本發明針對這一問題，提出了一種高效的非連續幀的特徵匹配算法。除特徵匹配外，運動推斷結構面臨的另一個難題是如何為大規模的視頻序列進行精確的運動和結構估計。Zhang G, Dong Z, Jia J, Wong TT, Bao H(2010)Efficientnon-consecutive feature tracking for structure-from-motion. In ECCV (5), pp422-435提出針對小規模的視頻序列的運動推斷結構方法，使用集束調整(Triggs B，McLauchlan PF, Hartley RI, Fitzgibbon Aff(1999)Bundle adjustment-a modernsynthesis. In fforkshop on Vision Algorithms, pp 298-372),同時優化每巾貞的運動參數及特徵點的三維坐標。對於大規模視頻序列，Ni K, Steedly D, Dellaert F(2007)0ut-of-core bundle adjustment for large-scale 3d reconstruction. In ICCV,pp 1-8將場景分為若干子圖，對每一子圖分別進行局部集束調整，並使用核外集束調整進行全局優化。Snavely N, Seitz SM, Szeliski R(2008) Skeletal sets for efficient structurefrom motion. In Computer Vision and Pattern Recognition(CVPR)從所有圖像集合中提取一個骨架集合，僅優化骨架集合中相應的相機參數，並用位置估計算法求解其他相機。Crandall DJ, Owens A, Snavely N, Huttenlocher D(2011)Discrete-continuousoptimization for large-scale structure from motion. In CVPR, pp 3001-3008 結合GPS信息，使用離散置信度傳播法對變量進行離散優化，並以此為初值進行連續的迭代優化。然而，由於存在大量的大量優化變量，優化效率和內存需求仍是運動推斷結構的兩大瓶頸。
發明內容
本發明的目的在於針對現有技術的不足，提供一種針對多視頻序列的運動推斷結構方法。 針對多視頻序列的運動推斷結構方法的步驟如下I)基於SIFT特徵描述量，使用連續特徵跟蹤算法和非連續特徵匹配算法，匹配分布於不同圖像上對應於相同場景點的SIFT特徵點；2)基於匹配分布於不同圖像上對應於相同場景點的SIFT特徵點，使用運動推斷結構算法，恢復各視頻序列相應的子圖，並將各視頻序列相應的子圖註冊到統一的坐標系下；3)使用基於分段的漸進式優化算法，迭代地將各視頻序列相應的子圖中存在的誤差擴散並消除。所述的步驟I)為(I)使用 Lowe, D. G. !Distinctive image features from scale-invariantkeypoints. International Journal of Computer Vision 60,91-110 (2004)中提出的SIFT算法，為每個視頻序列的每幀圖像提取SIFT特徵點，並為每個SIFT特徵點x計算一個SIFT描述量,標記為p(x)；(2)使用 Zhang G, Dong Z, Jia J, Wong TT, Bao H (2010) Efficientnon-consecutive feature tracking for structure-from-motion. In ECCV (5), pp422-435中提出的連續幀特徵跟蹤算法為每個視頻序列分別進行特徵跟蹤得到一系列特徵跟蹤軌跡，每條特徵跟蹤軌跡X定義為對應某場景點的SIFT特徵點的集合，X ={xt|t G f(x)}其中xt為第t幀圖像中對應於該場景點的SIFT特徵點位置，f (X)為X跨越的連續幀集合；(3)使用基於匹配矩陣的特徵軌跡匹配算法為每個視頻序列匹配分布於非相鄰子序列上的特徵跟蹤軌跡，並將所有視頻序列首尾相鄰形成一段虛擬序列，再次使用基於匹配矩陣的特徵軌跡匹配算法為虛擬序列匹配分布於非相鄰子序列上的特徵跟蹤軌跡。步驟(3)中所述的基於匹配矩陣的特徵軌跡匹配算法為①使用Zhang G, Dong Z, Jia J, Wong TT, Bao H (2010) Efficientnon-consecutive feature tracking for structure-from-motion. In ECCV(5), pp422-435中提出的匹配矩陣估計算法為輸入序列估計一個匹配矩陣，標記為M，將M中最大元素值記為Mniax ；②令k = 0，選擇具有最大MU1, t2)的幀對，標記為WVf1)，將M中以O為中心 3 為半徑的區域置 0,使用 Lowe, D. G. !Distinctive image features fromscaIe-invariant keypoints.International Journal of Computer Vision 60，91-110(2004)中提出的SIFT匹配算法匹配
權利要求
1.一種針對多視頻序列的運動推斷結構方法，其特徵在於它的步驟如下 1)基於SIFT特徵描述量，使用連續特徵跟蹤算法和非連續特徵匹配算法，匹配分布於不同圖像上對應於相同場景點的SIFT特徵點； 2)基於匹配分布於不同圖像上對應於相同場景點的SIFT特徵點，使用運動推斷結構算法，恢復各視頻序列相應的子圖，並將各視頻序列相應的子圖註冊到統一的坐標系下； 3)使用基於分段的漸進式優化算法，迭代地將各視頻序列相應的子圖中存在的誤差擴散並消除。
2.根據權利要求I所述的一種針對多視頻序列的運動推斷結構方法，其特徵在於所述的步驟I)為 (1)使用 Lowe, D. G. !Distinctive image features from scale-invariantkeypoints. International Journal of Computer Vision 60,91-110 (2004)中提出的SIFT算法，為每個視頻序列的每幀圖像提取SIFT特徵點，並為每個SIFT特徵點x計算一個SIFT描述量,標記為p(x)；(2)使用Zhang G, Dong Z, Jia J, Wong TT, Bao H (2010) Efficient non-consecutivefeature tracking for structure-from-motion. In ECCV (5), pp 422-435 中提出的連續幀特徵跟蹤算法為每個視頻序列分別進行特徵跟蹤得到一系列特徵跟蹤軌跡，每條特徵跟蹤軌跡X定義為對應某場景點的SIFT特徵點的集合，X = {xjt e f(x)}其中xt為第t幀圖像中對應於該場景點的SIFT特徵點位置，f ( X )為X跨越的連續幀集合； (3)使用基於匹配矩陣的特徵軌跡匹配算法為每個視頻序列匹配分布於非相鄰子序列上的特徵跟蹤軌跡，並將所有視頻序列首尾相鄰形成一段虛擬序列，再次使用基於匹配矩陣的特徵軌跡匹配算法為虛擬序列匹配分布於非相鄰子序列上的特徵跟蹤軌跡。
3.根據權利要求2所述的一種針對多視頻序列的運動推斷結構方法，其特徵在於步驟(3)中所述的基於匹配矩陣的特徵軌跡匹配算法為①使用Zhang G, Dong Z, Jia J, Wong TT, Bao H(2010) Efficient non-consecutivefeature tracking for structure-from-motion. In ECCV(5), pp 422-435 中提出的匹配矩陣估計算法為輸入序列估計一個匹配矩陣，標記為MJf M中最大元素值記為Mmax ； ②令k= 0，選擇具有最大M(t1;t2)的幀對，標記為(Xw,O，將M中以(f, O為中心3為半徑的區域置O,使用 Lowe, D. G. !Distinctive image features from scale-invariantkeypoints. International Journal of Computer Vision 60,91-110 (2004)中提出的SIFT匹配算法匹配(f,if1)，得到(fVf1澗的特徵點匹配集合，標記為Cf1，由Cf1構造特徵軌跡匹配集合Cx Cx {( X I，X 2) I (Χι，X2) E Csj Xi E X 1，X2 E X 2} 及幀對集合Cf Cf = {(t1； t2) M(t1； t2) ^ 0, e f ( X ^ , t2 e f ( x 2), ( x 1； x 2) e Cx}使用 Richard I. Hartley In Defense of the Eight-Point Algorithm. IEEE Trans.Pattern Anal. Mach. Intell. 19(6) :580-593 (1997)提出的基礎矩陣估計算法由集合Cf〕為g'f)估計3x3的基礎矩陣，標記為々V，為Cx中的每個特徵軌跡匹配U1, x2)設置一個^差星^，z2)和計數·
4.根據權利要求I所述的一種針對多視頻序列的運動推斷結構方法，其特徵在於所述的步驟2)為 (1)將所有輸入視頻序列標記為V1,A,VNr，其中Nv為輸入視頻序列總數，使用GuofengZhang, Xueying Qin, Wei Hua, Tien-Tsin Wong, Pheng-Ann Heng， Hujun Bao RobustMetric Reconstruction from Challenging Video Sequences. CVPR 2007提出的運動推斷結構算法分別為V1, Λ ,Fav恢復每幀對應的相機運動參數和每條特徵軌跡對應的三維點位置，形成Nv個局部坐標系下的子圖，將第j個序列的第k幀在 ' 的局部坐標系下的相機運動參數標記為( , k，h,k)，其中R^t為一個3x3的旋轉矩陣，為一個3維平移向量，若第i個場景點在 ' 中可見，則將第i個場景在 ' 的局部坐標系下的坐標標記為Xij ； (2)利用序列間匹配點構造匹配圖，每個節點表示一個序列，若K1、vJ2間存在公共點，則在Vh、Vh間添加一條邊，用集合Shh表示Vh、Vh間的公共點，^ ={('λ, ('λ, Λ}，則連接^、&的邊的權值為匕;2|，令ν = 0，選擇具有最多公共點的序列^，即V。= a'max I 』為每個序列設置一個狀態變量Fj,表示Vj是否註冊到全局坐標系，令
5.根據權利要求I所述的一種針對多視頻序列的運動推斷結構方法，其特徵在於所述的步驟3)為 (1)為每個序列' 的每相鄰的k、k+1兩幀計算重投影誤差
全文摘要
本發明公開了一種針對多視頻序列的運動推斷結構方法。它的步驟如下1)基於SIFT特徵描述量，使用連續特徵跟蹤算法和非連續特徵匹配算法，匹配分布於不同圖像上對應於相同場景點的SIFT特徵點；2)基於匹配分布於不同圖像上對應於相同場景點的SIFT特徵點，使用運動推斷結構算法，恢復各視頻序列相應的子圖，並將各視頻序列相應的子圖註冊到統一的坐標系下；3)使用基於分段的漸進式優化算法，迭代地將各視頻序列相應的子圖中存在的誤差擴散並消除。本發明能夠高效匹配分布於非相鄰子序列中的特徵軌跡，改善各子圖的求解質量；針對大尺度場景，突破傳統求解方法的內存和效率瓶頸，在有限內存環境下對整個場景三維結構和攝像機變量進行全局高效的優化。
文檔編號G06T7/20GK102663772SQ201210069008
公開日2012年9月12日 申請日期2012年3月15日 優先權日2012年3月15日
發明者劉浩敏, 章國鋒, 鮑虎軍 申請人:浙江大學