一種利用視差空間集束調整的高精度實時立體視覺定位方法
2023-08-13 03:31:01
專利名稱：一種利用視差空間集束調整的高精度實時立體視覺定位方法
技術領域：
本發明屬於計算機視覺自主導航技術領域，涉及一種基於視差空間集束調整的高精度實時立體視覺定位方法，可以應用於自主移動機器人、智能車輛等領域。
背景技術：
在未知環境中自主導航是各種移動機器人或智能車應用的關鍵任務之一。機器人在其長距離漫遊過程中需要實時地獲得自身的定位信息。目前，由於視覺傳感器的性價比日益提高以及視覺計算的發展，基於視覺的導航定位方法正開始廣泛運用於各個相關領域。視覺導航定位方法依賴硬體設備少、對體積、功耗、載荷等要求低，適用於各種複雜未知環境，並能夠填補GPS衛星定位的盲區，有效糾正輪式裡程計和慣性導航的累計誤差。因此，採用視覺定位方法已經成為機器人自主導航的必然趨勢。實時立體視覺定位算法一般利用二幀之間的特徵匹配信息進行運動估計，對運動估計參數進行級聯計算出攝像機定位信息，這種方法使小的運動估計誤差不斷積累，從而導致長距離行進下定位精度不高。經對現有技術的文獻檢索發現，E. Mouragnon等人於2006年《2006 Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition))上發表的論文 ^Real-TimeLocalization and 3D Reconstruction，，以及 N. Sunderhauf 等人於 2006 年 《2006 Proceedings ofTowards Autonomous Robotic Systems》上發表的論文 「Towards Using Bundle Adjustment forRobust Stereo Odometry in Outdoor Terrain，，提出了利用集束調整進行實時視覺定位。集束調整採用公共坐標系統同時優化3D點和攝像機位姿參數，由於其可以利用多幀之間的特徵匹配信息，所以作為最後一步優化步驟可大大提高立體視覺定位的精度。但集束調整優化方法對初始值依賴太大，由於遠距離特徵點或長的運動序列引起的弱結構會造成收斂速度慢或收斂發散等數值穩定性低的缺點。
發明內容
本發明的目的在於克服現有技術中的不足和缺點，提出一種利用視差空間集束調整的高精度實時立體視覺定位方法。相對於集束調整，由於視差空間集束調整採用視差空間特徵點投影約束和相對坐標表達，所以其參數優化的數值穩定性高，收斂速度快，對初始值依賴小，魯棒性高，從而使自主導航車在長距離行進下也能夠進行精度實時的定位。為此，本發明採用以下技術方案，其步驟如下步驟一、對視頻流當前幀的立體圖像對進行極線校正，視頻流的第一幀選為起點幀；視頻流由立體相機的攝像頭拍攝形成；步驟二、提取第一圖像的CenSurE特徵和U-SURF描述符，所述第一圖像為所述立體圖像對中的左圖像和右圖像之一；步驟三、採用SAD區域匹配方法沿第二圖像水平方向極線進行一維搜索得到第一圖像CenSurE特徵對應的圖像坐標，從而得到特徵點的3D坐標；所述第二圖像為所述立體圖像對中的左圖像和右圖像之另一；所述特徵點為攝像頭拍攝的同一場景圖像關鍵點，具體反映在立體圖像第一圖像CenSurE特徵和第二圖像對應圖像坐標；若當前幀為起點幀，則將當前幀的下一幀作為當前幀，重複步驟一至三的處理步驟；否則，對所述當前幀再進行步驟四和五；步驟四、對當前幀和前一幀立體圖像的特徵點集進行一一匹配；步驟五、採用RANSAC算法和2D-3D位姿估計方法得到匹配內點和拍攝當前幀時的所述攝像頭運動參數，包括相對位置、相對姿態；所述相對位置為平移參數t，所述相對姿態為旋轉參數R ；步驟六、如步驟五所述的當前巾貞與起點巾貞之間的巾貞數、起點巾貞和當前巾貞的總和小於N，將步驟五所述的當前幀的下一幀作為當前幀，對所述當前幀進行步驟一至五的處理， 否者，進行步驟七和步驟八的處理；N = 2*n+l，n為大於等於I的自然數；步驟七、利用當前幀前的N幀中的兩兩相鄰幀的匹配內點之間的視差空間投影約束，採用視差空間集束調整對拍攝當前幀的前n幀攝像頭的運動參數進行迭代優化；如步驟七所述的當前幀與起點幀之間的幀數等於N，則所述迭代優化的初值為當前幀前的n幀的攝像頭運動參數；否則，所述迭代優化的初值為當前幀前的n-1幀在視差空間集束調整後的攝像頭運動參數和當前幀運動參數；步驟八、利用拍攝所述當前幀前第I幀時攝像頭的全局位置姿態參數和拍攝所述當前幀時攝像頭運動參數的迭代優化值，得到拍攝當前幀時攝像頭的全局位置姿態參數作為拍攝實時幀時攝像頭的全局位置姿態參數，以對攝像頭實時立體視覺定位。在採用上述技術方案的基礎上，本發明還可採用以下進一步的技術方案在所述步驟一中，採用以下步驟利用已標定立體相機的參數，採用極線校正方法對立體圖像對進行校正，使立體圖像對的左右圖像對應的特徵點位於同一水平掃描線上，同時得到校正後立體相機基線長度B和焦距f。在所述步驟二中，採用以下步驟(I)、計算得到第一圖像的積分圖像；(2)、利用積分圖像在每個像素上計算六個尺度的盒子核近似高斯拉普拉斯濾波器響應；(3)、採用非極大值抑制檢測局部極大值得到CenSurE特徵,所述CenSurE特徵包括其圖像坐標(u，v)、尺度s及極大值；(4)、利用積分圖像和CenSurE特徵的圖像坐標(u, v)和尺度s計算對應的U-SURF 描述符。在所述步驟三中，採用以下步驟對第一圖像的每個CenSurE特徵在第二圖像採用簡單的SAD立體匹配方法沿水平方向極線進行一維搜索匹配，從而得到第一圖像CenSurE特徵在第二圖像上的對應位置坐標(u2，V)，則得到整數視差d = u2-u ;採用如下二次函數對視差值進行擬合，從而達到亞象素級視差
權利要求
1.一種利用視差空間集束調整的高精確實時立體視覺定位方法，其特徵在於它包括以下步驟步驟一、對視頻流當前幀的立體圖像對進行極線校正，視頻流的第一幀選為起點幀；視頻流由立體相機的攝像頭拍攝形成；步驟二、提取第一圖像的CenSurE特徵和U-SURF描述符，所述第一圖像為所述立體圖像對中的左圖像和右圖像之一；步驟三、採用SAD區域匹配方法沿第二圖像水平方向極線進行一維搜索得到第一圖像 CenSurE特徵對應的圖像坐標，從而得到特徵點的3D坐標；所述第二圖像為所述立體圖像對中的左圖像和右圖像之另一；所述特徵點為攝像頭拍攝的同一場景圖像關鍵點，具體反映在立體圖像第一圖像CenSurE特徵和第二圖像對應圖像坐標；若當前幀為起點幀，則將當前幀的下一幀作為當前幀，重複步驟一至三的處理步驟；否則，對所述當前幀再進行步驟四和五；步驟四、對當前幀和前一幀立體圖像的特徵點集進行一一匹配；步驟五、採用RANSAC算法和2D-3D位姿估計方法得到匹配內點和拍攝當前幀時的所述攝像頭運動參數，包括相對位置、相對姿態；所述相對位置為平移參數t，所述相對姿態為旋轉參數R ；步驟六、如步驟五所述的當前幀與起點幀之間的幀數、起點幀和當前幀的總和小於N， 將步驟五所述的當前幀的下一幀作為當前幀，對所述當前幀進行步驟一至五的處理，否者， 進行步驟七和步驟八的處理；N = 2*n+l，n為大於等於I的自然數；步驟七、利用當前幀前的N幀中的兩兩相鄰幀的匹配內點之間的視差空間投影約束， 採用視差空間集束調整對拍攝當前幀的前n幀攝像頭的運動參數進行迭代優化；如步驟七所述的當前幀與起點幀之間的幀數等於N，則所述迭代優化的初值為當前幀前的n幀的攝像頭運動參數；否則，所述迭代優化的初值為當前幀前的n-1幀在視差空間集束調整後的攝像頭運動參數和當如巾貞運動參數；步驟八、利用拍攝所述當前幀前第I幀時攝像頭的全局位置姿態參數和拍攝所述當前幀時攝像頭運動參數的迭代優化值，得到拍攝當前幀時攝像頭的全局位置姿態參數作為拍攝實時幀時攝像頭的全局位置姿態參數，以對攝像頭實時立體視覺定位。
2.根據權利要求I所述的利用視差空間集束調整的高精度實時立體視覺定位方法,其特徵在於在所述步驟一中，採用以下步驟利用已標定立體相機的參數，採用極線校正方法對立體圖像對進行校正，使立體圖像對的左右圖像對應的特徵點位於同一水平掃描線上，同時得到校正後立體相機基線長度B 和焦距f。
3.根據權利要求I所述的利用視差空間集束調整的高精度實時立體視覺定位方法,其特徵在於在所述步驟二中，採用以下步驟(1)、計算得到第一圖像的積分圖像；(2)、利用積分圖像在每個像素上計算六個尺度的盒子核近似高斯拉普拉斯濾波器響(3)、採用非極大值抑制檢測局部極大值得到CenSurE特徵，所述CenSurE特徵包括其圖像坐標(u, V)、尺度s及極大值；(4)、利用積分圖像和CenSurE特徵的圖像坐標(u, V)和尺度s計算對應的U-SURF描述符。
4.根據權利要求I或3所述的利用視差空間集束調整的高精度實時立體視覺定位方法，其特徵在於在所述步驟三中，採用以下步驟對第一圖像的每個CenSurE特徵在第二圖像採用簡單的SAD立體匹配方法沿水平方向極線進行一維搜索匹配，從而得到第一圖像CenSurE特徵在第二圖像上的對應位置坐標 (u2, V)，則得到整數視差d = u2-u ;採用如下二次函數對視差值進行擬合，從而達到亞象素級視差
5.根據權利要求I或3所述的利用視差空間集束調整的高精度實時立體視覺定位方法，其特徵在於在所述步驟四中，採用以下步驟進行匹配取當前幀第一圖像中的某個特徵點U-SURF描述符，與前一幀第一圖像中在某個視差範圍(-L，L)內的特徵點U-SURF描述符計算二者之間的歐式距離，如果最近的歐式距離與次近的歐式距離的比值少於某個比例閥值並且最近鄰的距離小於某個閥值時則接受這一對特徵點為匹配點，否則拒絕；在匹配過程中只對極大值同為正值或同為負值的CenSurE 特徵的U-SURF描述符進行匹配；重複以上步驟，得到至少3對匹配點。
6.根據權利要求5所述的利用視差空間集束調整的高精度實時立體視覺定位方法，其特徵在於在所述步驟五中，採用以下步驟(1)、在步驟四得到的匹配點集中隨機採樣3對匹配點；(2)、利用2D-3D位姿估計算法和3對匹配點計算拍攝當前幀時攝像頭的運動參數R和t ；(3)、利用該運動參數R和t計算所有匹配點在立體相機上的再投影誤差
7.根據權利要求I所述的利用視差空間集束調整的高精度實時立體視覺定位方法,其特徵在於在所述步驟七中，採用以下步驟(I)、把旋轉矩陣 R 轉化為四元數(qp q2，q3，Q4)，其中W + cIl +cIs =1，貝1J Qi Q2^ Q3 為獨立變量，加上平移參數t = [X y z]T,則相鄰二巾貞之間的運動參數Θ t = Ilq1 q2 q3 X y ζ]τ為6維向量；(2)、利用相鄰二幀之間的匹配內點得到最近N幀圖像任意幀之間的匹配點，利用Pk,j 表示幀j到幀k之間的匹配點數；(3)、通過拍攝相鄰兩幀的攝像頭之間的的運動參數級聯表達得到拍攝任意非相鄰幀攝像頭之間的運動參數；相鄰二幀攝像頭之間的運動參數即為拍攝各幀時的攝像頭的運動參數；(4)、採用增量式局部參數更新優化方式對運動參數進行優化，本次優化得到的參數作為下一輪優化的初始值；在當前幀t，僅優化其之前的n幀的運動參數，但包含其之前的N 幀的視差空間特徵點投影約束，設局部視差空間集束調整的目標函數為F( 0 )，待優化的運動參數為0 = { 0 t_n+1, ... 0 J ,則目標函數表達如下
8.根據權利要求7所述的利用視差空間集束調整的高精度實時立體視覺定位方法，其特徵在於在所述步驟八中，採用以下步驟(1)、利用拍攝當前幀前第n+1幀時攝像頭相對於世界坐標系的旋轉參數R和平移參數 t、拍攝當前幀前第n幀時攝像頭的運動參數0 t_n+1計算得到拍攝當前幀前第n幀時攝像頭相對於世界坐標系的旋轉參數和平移參數；(2)、利用拍攝當前幀前第n+1幀時攝像頭相對於世界坐標系的各個旋轉參數R和平移參數t、拍攝當前巾貞前n巾貞的攝像頭運動參數0 = {0t_n+1,... Q J計算得到拍攝當前巾貞時攝像頭相對於世界坐標系的旋轉參數R和平移參數t ;拍攝當前幀時攝像頭相對於世界坐標系的旋轉參數和平移參數即為立體相機6個自由度的3D定位信息。
全文摘要
本發明提出了一種利用視差空間集束調整的高精度實時立體視覺定位方法。本發明僅利用立體相機得到的視頻流進行移動機器人的導航定位，具有完全的自主性；本發明利用U-SURF描述符進行特徵匹配，對運動過程中出現的光照變化、運動模糊、大的旋轉和尺度變換具有較強的魯棒性；本發明利用視差空間集束調整優化方法使自主導航車在長距離行進下也能夠進行精度實時的定位，其具有對優化初始值依賴程度低，收斂速度快，數值穩定性高等優點，與利用集束調整的立體視覺定位方法相比，定位精度更高，速度更快。本發明整個立體視覺定位方法計算速度快，可在線實時運行。
文檔編號H04N13/00GK102607535SQ20121002646
公開日2012年7月25日 申請日期2012年2月7日 優先權日2012年2月7日
發明者劉勇, 蔣雲良, 許允喜 申請人:湖州師範學院