一種針對動態變化場景的實時攝像機跟蹤方法
2023-04-25 23:11:31 1
一種針對動態變化場景的實時攝像機跟蹤方法
【專利摘要】本發明公開了一種針對動態變化場景的實時攝像機跟蹤方法，該方法在不斷動態變化的場景中也能進行穩定地跟蹤和求解攝像機姿態；首先進行特徵匹配及攝像機參數估計，然後進行場景的更新，最後，該方法在實際應用時實行前後臺多線程協同運行，前臺線程用於對每一幀進行特徵點匹配和攝像機運動參數的估計，後臺線程不斷進行KD樹、關鍵幀和三維點雲的維護和更新，並聯合優化關鍵幀的攝像機運動參數和三維點位置。在場景發生動態變化的情況下，本發明仍能實時地進行攝像機跟蹤，本發明在跟蹤準確性、穩定性以及運行效率等方面明顯優於現有的攝像機跟蹤方法。
【專利說明】一種針對動態變化場景的實時攝像機跟蹤方法
【技術領域】
[0001]本發明涉及一種實時攝像機跟蹤方法，尤其涉及一種動態變化場景中的實時攝像機跟蹤方法。
【背景技術】
[0002]攝像機跟蹤技術是計算機視覺領域的重要技術之一，其在機器人導航和增強現實等領域中有著極其重要的應用。
[0003]攝像機跟蹤技術的難點在於:1)大多數方法都是一幀一幀的對特徵點進行跟蹤，導致誤差逐幀累積。如果某一幀的跟蹤失敗了，那麼就將無法繼續進行攝像機的跟蹤，必須對相機重新定位。有一些方法提出使用隨機分類器或者Harrwaveltes來解決攝像機的重定位問題，Chekhlov等人提出使用SIFT特徵點來進行特徵點的跟蹤，但是卻導致了計算複雜性增大。為了降低計算複雜性，有些方法簡化了 SIFT檢測算法，但是隨之而來的是丟失了 SIFT特徵點的一些不變性特徵；2)目前現有的大多數攝像機跟蹤算法都只能夠處理靜態場景，如果場景發生了動態變化，就會導致跟蹤失敗。但是，真實的自然場景往往不斷變化，在很多的應用中需要進行處理的場景也都是動態變化的，因此現有的攝像機跟蹤方法都很難對這些場景進行處理。3)在跟蹤的過程中，現有的一些方法由於沒有及時地對三維場景結構進行更新及優化，導致重建出的三維模型很快就無效，進而導致了攝像機跟蹤的失敗。
[0004]當下，有很多攝像機跟蹤方法，本專利所屬方法稱為SLAM (SimultaneouslyLocalization and Mapping)。
[0005]SLAM是指實時地定位攝像機位置並獲得攝像環境的空間地圖的方法，它是實現製造自主移動機器人的關鍵算法之一。儘管該方法已經取得了巨大的進步，但是仍然存在著很多的挑戰和困難。目前，現有算法能夠處理靜態、規模較小的場景，但是如何對動態的、規模較大的場景進行實時定位和地圖構建仍然有待深究。
[0006]1.基於過濾器的SLAM
[0007]該方法的代表是MonoSLAM (Andrew J.Davison, Ian D.Reid, NicholasMolton, Olivier Stasse:MonoSLAM:Real-Time Single Camera SLAM.1EEE Trans.PatternAnal.Mach.1ntell.29 (6): 1052-1067，2007)它是實時攝像機跟蹤領域的先驅。該方法首先對一個大小已知的場景中的人工標記進行檢測，從而初始化場景，然後逐幀進行類KLT特徵點的檢測。通過擴展卡爾曼濾波，場景中所有標記的位置以及攝像機參數緊密相關，並被約束到一個線性方程組中，每次輸入一個新幀時，都同步更新方程組。儘管卡爾曼濾波是非常高效的，但是該方法的計算複雜度依舊很高(0 (N2)，N是場景中標記的數目)，從而場景中標記的數目只能是幾百個，並且如果不使用巧妙的特徵點選取方法(比如Zongying Shi, Zhibin Liu, Xianliang Wu, WenliXu:Feature selection for reliabledataassociation in visual SLAM.Mach.Vis.App1.24 (4): 667-682，2013),就只能夠處理一個很小的空間。Eade 和 Drummond (Ethan Eade, Tom Drummond:Scalable MonocularSLAM.CVPR (I) 2006:469-476)提出的方法採用了 FastSLAM-type 粒子濾波(MichaelMontemerlo, Sebastian Thrun,Daphne Roller, Ben Wegbreit:FastSLAM2.0:An ImprovedParticle Filtering Algorithm for SimultaneousLocalization and Mapping thatProvably Converges.1JCAI2003:1151-1156)和自頂向下的搜索方法，從而能夠實時的處
理數百個標記。
[0008]2.基於運動推斷結構(SfM)的SLAM
[0009]基於過濾器的SLAM方法邊緣化當前幀以前幀的攝像機參數，並隨時間收集概率分布信息，基於關鍵幀(即運動推動結構)的方法保持全局集束調整的優化方法，但是在計算時必須選擇少量過去幀用來處理，通過比較(HaukeStrasdat, J.M.M.Montiel, AndrewJ.Davison:Visual SLAM:Why filter?Image Vision Comput.30 (2):65-77 (2012)),基於關鍵幀的方法要優於基於過濾器的實時跟蹤方法，本專利所保護的方法屬於基於關鍵幀的方法。運動推斷結構(SfM)技術可同時恢復每幀對應的相機運動及場景中稀疏的三
維點位置，然而其中的核心算法-集束調整(Bundle Adjustment, BA),其計算複雜度非
常大，從而嚴重的影響了處理的效率。近些年來，大量的優化算法都致力於對集束調整過程進行加速，而Klein和Murray獨闢蹊徑，提出一種並行跟蹤和重建模型PTAM (GeorgKlein,David W.Murray!Parallel Tracking and Mapping for Small AR Workspaces.1SMAR2007:225-234)。該方法仍使用傳統的集束調整算法，但將實時跟蹤及集束調整分配到兩個線程同時運行。前臺線程對每一幀進行特徵點的匹配以及攝像機參數的求解，後臺線程不斷的對場景的三維結構進行優化。`
[0010]3.動態場景中的SLAM
[0011]為了處理動態變化的場景，需要在靜態場景中判別出動態運動的物體。
[0012]Hahnel (Dirk Hahnel, Rudolph Triebel, Wolfram Burgard, SebastianThrun: Map building with mobile robots in dynamic environments.1CRA2003:1557-1563)和 Bibby(Charles Bibby, Ian D.Reid:Simultaneous Localisationand Mapping in Dynamic Environments (SLAMIDE) with Reversible Data Associa.Robotics: Science and Systems2007)提出了使用期望最大化方法來檢測場景中的動態物體，但是如果場景變化比較頻繁，則場景中會出現很多不必要的三維特徵點，增加了內存和計算的負擔，同時也無法保證魯棒性。Blaser (Gabriele Bleser, Haraldffuest, DidierStrieker:Online camera pose estimation in partially known and dynamic scenes.1SMAR2006:56-65)提出了一個基於SLAM的CAD模型，在該方法中，對於場景中的三維點，如果在超過半數以上的輸入幀中都可以跟蹤到該三維點，則保留該三維點，否則刪除該三維點。該方法中的三維點都是分別通過三角化求得，因此得到的場景結構較之於基於SfM的 PTAM 方法準確性要差。Shimamura (J.Shimamura, M.Morimoto, and H.Koike.RobustvSLAMfor dynamic scenes.1n MVA, pages344347, 2011.)基於PTAM提出了 vSLAM方法，該方法在獲得攝像機參數估計之後，對所有的無效點進行光流估計，並通過GMM方法對光流進行聚類，如果同一個類中的無效點的數目超過了一個閥值，那麼將這個無效點從場景中刪除。Blaser和Shimamura提出的方法都可以保證場景的緊湊和準確,但是如果存在較大的遮擋，標準的RANSAC方法很快就無法準確的估計攝像機參數，此外，vSLAM沒有刪除無效的關鍵幀，因此被已經存在的無效關鍵幀所遮擋的新物體的三維點就無法再添加到場景中。
【發明內容】
[0013]本發明的目的在於針對現有技術的不足，提供一種針對動態變化場景的實時攝像機跟蹤方法。
[0014]本發明的目的是通過以下技術方案來實現的:一個針對動態變化場景的實時攝像機跟蹤方法，它包括以下步驟:
[0015]( I)特徵點匹配及攝像機參數估計，使用基於不變量的特徵點來表達場景特徵，每個場景點對應一個特徵描述量，使用KD樹組織所有場景特徵，對每幀圖像提取特徵點並在KD樹中搜索特徵匹配，隨後進行攝像機參數的估計；
[0016](2)場景更新，使用關鍵幀及場景特徵點對應的三維點雲表達場景幾何信息。通過添加關鍵幀和三維點擴充場景，若已有關鍵幀的對應場景發生變化，刪除變化的關鍵幀和變化的三維點。
[0017](3)前後臺多線程協同運行，前臺線程用於對每一幀進行特徵點匹配和攝像機運動參數的估計，後臺線程不斷進行KD樹、關鍵幀和三維點雲的維護和更新，並聯合優化關鍵幀的攝像機運動參數和三維點位置。
[0018]本發明的有益效果是:
[0019]1、本發明能夠處理多種動態變化的場景，並且對於場景中光照發生變化以及存在無紋理區域的情況，仍然能夠魯棒地獲得攝像機參數的估計；
[0020]2、本發明使用不變量特徵點來表達場景，使用KD樹組織所有場景特徵，提取特徵點並進行匹配，同時對KD樹進行及時的更新和維護，從而確保了跟蹤的準確性；
[0021]3、本發明實時的對關鍵幀以及三維場景進行更新，從而確保能夠準確的重建三維場景以及攝像機跟蹤；
[0022]4、本發明採用了多線程協同運行的方法，前臺線程並行地對輸入幀進行特徵點的提取、匹配以及攝像機參數估計，後臺線程並行地進行關鍵幀和三維場景的更新以及集束調整，提高了程序運行的速度；
[0023]5、最後，本發明在針對動態變化場景的攝像機參數估計的應用中，無論時間性能還是跟蹤的準確性都要優於現有的方法。
【專利附圖】
【附圖說明】
[0024]圖1是對於動態場景中魯棒的實時三維重建和攝像機跟蹤方法的流程圖；
[0025]圖2是實施例中應用本發明的方法處理的視頻圖像的前後對照圖；
[0026]圖3是實施例中應用本發明的方法處理的視頻圖像的前後對照圖；
[0027]圖4是實施例中應用本發明的方法處理的視頻圖像的前後對照圖；
[0028]圖5是實施例中應用本發明的方法處理的視頻圖像的前後對照圖。
【具體實施方式】
[0029]本發明針對動態變化場景的實時攝像機跟蹤方法較之於現有的攝像機跟蹤方法進行了如下改進:1)利用GPU技術進行特徵描述量提取以及匹配，並且對KD樹進行及時的更新，確保跟蹤的準確性；2)實時地進行關鍵幀以及三維場景的更新，提高三維重建的準確性，進而提高跟蹤的準確性；3)前後臺多線程並行，加快了運行的速度。[0030]本發明的實施步驟如下:
[0031]1.特徵點匹配及攝像機參數估計。使用基於不變量的特徵點(如SIFT、SURF等)來表達場景特徵，每個場景點對應一個特徵描述量，使用KD樹組織所有場景特徵，對每幀圖像利用GPU提取SIFT特徵點並在KD樹中搜索特徵匹配，隨後進行攝像機參數的估計。具體步驟包括:
[0032]1.1.使用基於不變量的特徵點(如 SIFT:David G.Lowe:Distinctive ImageFeatures from Scale-1nvariant Keypoints.1nternational Journal of ComputerVision 60 (2):91_110，2004 ;或 SURF:Herbert Bay, Andreas Ess, TinneTuytelaarsj LucJ.Van Gool: Speeded-Up Robust Features (SURF).Computer Vision and ImageUnderstandingllO (3):346-359，2008)來表達場景特徵，每個場景點對應一個特徵描述量，使用 KD 樹(Sunil Aryaj David M.Mount:Approximate Nearest Neighbor Queries inFixed Dimensions.S0DA1993:271-280)組織所有場景特徵。構造兩棵存儲全局場景特徵的KD樹T2，用於全局特徵點描述量和圖像特徵點描述量間的匹配，T1用於實時匹配，T2用於動態更新。
[0033]1.2.根據方法(David Nister:An Efficient Solution to the Five-PointRelative Pose Problem.1EEE Trans.Pattern Anal.Mach.1ntell.26 (6):756-777，2004)選定兩幀初始關鍵幀，對場景結構、運動以及I?樹等進行初始化。
[0034]1.3.對每幀圖像利用GPU抽取SIFT特徵點，利用SIFT特徵描述量在T1中搜索匹配。對於特徵點X，假設T1中它的最相鄰的兩個描述量是N1(X)和N2(x)，使用下面的公式作為匹配的置信度:
【權利要求】
1.一種針對動態變化場景的實時攝像機跟蹤方法，其特徵在於，它包括以下步驟: (1)特徵點匹配及攝像機參數估計，使用基於不變量的特徵點來表達場景特徵，每個場景點對應一個特徵描述量，使用KD樹組織所有場景特徵，對每幀圖像提取特徵點並在KD樹中搜索特徵匹配，隨後進行攝像機參數的估計； (2)場景更新，使用關鍵幀及場景特徵點對應的三維點雲表達場景幾何信息。通過添加關鍵幀和三維點擴充場景，若已有關鍵幀的對應場景發生變化，刪除變化的關鍵幀和變化的三維點。 (3)前後臺多線程協同運行，前臺線程用於對每一幀進行特徵點匹配和攝像機運動參數的估計，後臺線程不斷進行KD樹、關鍵幀和三維點雲的維護和更新，並聯合優化關鍵幀的攝像機運動參數和三維點位置。
2.根據權利要求1所述的針對動態變化場景的實時攝像機跟蹤方法，其特徵在於，所述步驟I通過以下子步驟來實現: (1.1)使用基於不變量的特徵點來表達場景特徵，每個場景點對應一個特徵描述量，使用KD樹組織所有場景特徵。構造兩棵存儲全局場景特徵的KD樹I\、T2，用於全局特徵點描述量和圖像特徵點描述量間的匹配，T1用於實時匹配，T2用於動態更新。 (1.2)選定兩幀初始關鍵幀，對場景結構、運動以及KD樹等進行初始化。 (1.3)對每幀圖像抽取特徵點，利用其特徵描述量在T1中搜索匹配。對於特徵點X，假設1\中它的最相鄰的兩個描述量是N1(X)和N2(X),使用下面的公式作為匹配的置信度:c_ |/>(x)-p(A^,(x))[
C ||/Kx)-P(A(X))I 其中，P(X)表示特徵點X的描述量。如果c〈0.6，將X和N1(X)作為一對匹配點，由此得到一系列場景特徵點和當前幀圖像特徵點之間的匹配。 (1.4)根據步驟(1.3)得到一系列場景特徵點和當前幀圖像特徵點之間的匹配，通過最小化目標函數+ 估計出當前幀攝像機運動參數；其中，R表示旋
' i轉矩陣，t表示平移向量，表示投影函數，其作用是將三維空間點投影到二維空間，獲得二維空間點位置，即n (X, Y, Z) = (X，y),其中x=X/Z, y=Y/Z)), Xi表示特徵點，K表示攝像機內置參數，Xi表示三維點，通過RANSAC算法剔除誤匹配，將正確的匹配定義為全局匹配集合G。
3.根據權利要求1所述的針對動態變化場景的實時攝像機跟蹤方法，其特徵在於，所述步驟2通過以下子步驟來實現: (2.1)對於當前輸入幀，經過步驟I後，如果可以成功地估計攝像機參數，並且全局匹配集合G中至多有ml個匹配點， 則將當前幀作為潛在關鍵幀，ml為自然數； (2.2)選取同當前幀公共特徵點最多的五個關鍵幀，並在當前幀和該5個關鍵幀之間進行特徵點匹配(對於當前幀中已經匹配的特徵點不需要再進行匹配)，為了加快匹配的速度，為選取的5幀關鍵幀分別建立一棵KD樹T，並通過極線幾何約束除去無效的特徵點以提高匹配的準確性。根據當前幀同5個關鍵幀之間的匹配點構成特徵點軌跡，對於每一個特徵點軌跡獨.，通過三角化方法，即求解下述方程來估計該軌跡的三維點:Xi ^min [ Il Xij -7r(K(RjXI + tj)) ||2;
j^(xi ) 其中，Xi表示三維點，4) (Xi)表示Xi出現的幀集合，Xij表示特徵點，Rj表示旋轉矩陣，tj表示平移向量，表示投影函數，K表示攝像機內置參數。如果估計得到的三維點數量超過m2，50 < m2 < 100，則將當前幀作為新的關鍵幀加入到關鍵幀集合中，將得到的新的三維點Xi加入到場景中，並將當前幀中的特徵點選作新的參考特徵點加入到後臺KD樹T2中，同時用T2更新1\。 (2.3)若當前輸入幀被選作新的關鍵幀，接下來通過比較當前幀和關鍵幀的Z軸方向，選取那些方向差異小於某個閥值的關鍵幀，隨後進一步通過比較攝像機參數(旋轉矩陣和平移向量)確定5個與當前關鍵幀最相鄰的關鍵幀。 (2.4)對於每個選擇的關鍵幀，首先將其同當前關鍵幀進行顏色直方圖比較，將顏色直方圖的差異定義為R、G、B三個通道直方圖歐式距離之和，如果差異大於1，表明圖像中的一些區域很可能發生了改變，將關鍵幀中的特徵點X對應的三維點X投影到當前幀圖像中，將投影位置記為X'。用V (X)來表示三維點X的狀態，若X是無效三維點，則V (X)=0，否貝U，令V (X)=l。接下來對每一個選擇的關鍵幀，通過比較特徵點X和X'來判定X是否是有效的三維點。 (2.5)將從X到關鍵幀和當前幀攝像機中心的視角方向分別記為nx和' ,如果<nx<xn (、通常設為cos (30° ))，則認為特徵點x在當前幀中被遮擋了或者發生了較大的透視變形，令V (X) =1，否則，進行下一步。 (2.6)比較X和X'之間的顏色差異: A(X) = min Z |/v-(Iy+d)
L y<=W(x) 其中，W(x)表示以x為中心的局部窗口，y為W(x)中一個二維點，y』是根據X的深度以及攝像機參數估計得到的y在當前幀中的投影點，d是一個微小的平移向量，用來提高y』和y的匹配精度。通過對d進行局部搜索獲得DJX)的最小值，此時如果D。⑴小於某個閾值t。，繼續維持V (X)的值為1，否則，表明X顏色發生了改變或者被遮擋了，進行下一步的比較。(2.7)查找在當前幀中同X的距離不超過T1個像素的跟蹤到的特徵點，並標記為ct(X』)，如果$(x』)為空，表明X被運動物體所遮擋了，保持V (X)的值不變；如果ct(X』)不為空，並且對於$(x』)中任何一個特徵點y，都有zZy - Zx，則將V (X)設為0(其中，X是X』對應的三維點，Xy是y所對應的三維點Z Y和Zx分別表示Xy和X的深度值)，表明X—定發生了變化；如果0 (x』)不為空，且存在y，使得zA, < Zz，進行下一步的比較。 (2.8)對$(x』)中每一個特徵點y，將X和Xy分別投影到X首次出現的關鍵幀上，並將投影點分別記為Xp和yp，如果存在至少一個特徵點y，使得I xp-yp I <r2,則將V (X)設為0，表明X發生了變化(光照變化或者位置改變)；否則，保持V (X)為I。 (2.9)對於每一個關鍵幀，如果該幀上的無效三維點和同其它關鍵幀所共有的特徵點的數量超過了該幀像素點總數的90%，那麼將該關鍵幀標記為無效關鍵幀。
4.根據權利要求1所述的針對動態變化場景的實時攝像機跟蹤方法，其特徵在於，所述步驟3通過以下子步驟來實現: (3.1)前臺線程以流水線的方式對每一個輸入幀並行處理，流水線包含4個處理單元，第一單元由攝像頭獲取圖像並作圖像濾波和畸變校正；第二單元抽取特徵點；單元3進行特徵點的匹配，以及及攝像機參數的求解；單元4根據跟蹤結果進行增強現實的繪製。 (3.2)後臺線程包含兩條流水線，第一流水線包含2個處理單元，第一單元判斷輸入幀是否為關鍵幀，如果為關鍵幀則與已有關鍵幀進行局部匹配，並添加新的場景點；第二單元檢測和刪除變化的關鍵幀和三維點；第二流水線同樣也包含2個處理單元，第一單元用來進行選取局部關鍵幀集合，局部關鍵幀集合包含當前關鍵幀和與當前關鍵幀存在公共匹配點的已有關鍵幀，聯合優化局部關鍵幀的攝像機運動參數及局部關鍵幀可見的三維點位置，其他關鍵幀的相機運動參數和及三維點位置保持不變，即局部集束調整；第二單元用來聯合優化所有關鍵幀的攝像機運動參數及所有三維點位置，即全局集束調整。
【文檔編號】G06T7/00GK103646391SQ201310462592
【公開日】2014年3月19日 申請日期:2013年9月30日 優先權日:2013年9月30日
【發明者】章國峰, 鮑虎軍, 譚偉, 劉浩敏 申請人:浙江大學