單目攝像機實時視覺定位方法
2023-06-16 03:39:21 1
專利名稱：單目攝像機實時視覺定位方法
技術領域：
本發明涉及一種單目攝像機實時視覺定位方法，以單目攝像機作為主要的 傳感手段，實現移動物體的實時視覺自定位。屬於計算機視覺領域。
背景技術：
近幾年，隨著機器人技術的飛速發展，如何實時獲取環境物體的位姿、同 時如何確定機器人自身的當前位置，已成為研究的熱點問題，這些統稱為定位 問題，目前在工業、交通、航空、航海等領域所使用的定位技術主要包括激 光、聲納、紅外以及視覺定位技術等相關傳感器定位技術；利用GPS衛星定位 技術等。
越來越多的定位系統使用了視覺傳感器，這是因為視覺圖像包含了目標的 豐富信息，如顏色、紋理、形狀，並且視覺系統價格低廉，使用方便，應用廣 泛。藉助計算機視覺理論，視覺系統可以通過圖像分析、目標識別等手段，理 解環境信息，進而估計自身位姿。
目前，進行視覺定位的主要方法包括單目視覺定位和雙目視覺定位。雙目 視覺定位系統成本高，立體匹配算法難度大、計算量大。而現有的單目視覺定 位系統容易受到攝像機參數的影響，精確度較差，往往要求攝像機位姿固定(郭 磊，徐友春，李克強等；基於單目視覺的實時測距方法研究，中國圖形圖像學 報，2006,11 (1) :74-81)。
發明內容
本發明的目的在於針對現有技術的不足，提供一種單目攝像機實時視覺定 位方法，只通過單個攝像機就能實現自定位、導航作用，實現移動物體的實時 視覺自定位。
為實現上述目的，本發明首先根據圖像特徵不變的特徵提取方法獲得目標 圖像特徵點集合，建立目標圖像資料庫並對資料庫進行實時訓練；然後對攝像機進行建模，獲得攝像機模型參數；攝像機獲取實時圖像後提取特徵點集合， 將實時圖像的特徵點按照特徵匹配的方法與目標資料庫中的多個特徵點集合進 行匹配，經過消除誤匹配和仿射檢驗得到特徵點對及目標類別信息。利用特徵 點對和目標類別信息進行特徵跟蹤，並將得到準確的目標圖像的跟蹤特徵點與 攝像機模型參數相結合，估計出攝像機的三維姿態，包括三維坐標和三個旋轉 角6個自由度信息，即完成實時視覺定位。 本發明方法包括如下具體步驟
1、 根據圖像特徵不變的特徵提取方法對目標圖像進行特徵提取，獲取目標 圖像的特徵點集合，並存入目標資料庫中。
2、 按目標類別，依次將包括深度信息、幾何結構信息在內的目標圖像信息 存入目標資料庫中。
3、 對攝像機進行建模和標定，得到攝像機的內參數和成像模型參數。
4、 根據圖像特徵不變的特徵提取方法對攝像機採集的實時圖像進行特徵提 取，獲取實時圖像的特徵點集合。
5、 將實時圖像的特徵點集合與目標資料庫中的多個特徵點集合進行特徵匹配。
6、 去除匹配結果中的誤匹配並採用仿射檢驗法得到特徵點對，對特徵點對 進行識別評估得到目標類別信息。
7、 利用上述所得的特徵點對及目標類別信息，進行特徵跟蹤，並採用仿射 檢驗法不斷更新跟蹤特徵點對，其過程維護了被跟蹤目標的類別信息和特徵點 對。
8、 根據攝像機模型參數、跟蹤特徵點對及目標圖像信息，進行位姿估計， 完成單目攝像機實時視覺定位，包括三維坐標和三個旋轉角共6個自由度信息。
本發明中，攝像機是圖像和視頻的來源，也是唯一的傳感器，由普通攝像 機即可。目標圖像可以通過事先加載，也可以通過攝像機實時採集獲得。
本發明通過攝像機採集單幅圖像，通過特徵提取、特徵匹配、去除誤匹配 與仿射檢驗提取圖像中的特徵點對，同時將提取出的特徵點對進行特徵跟蹤，結合攝像機模型參數便可確定攝像機的三維姿態。本發明只通過單個攝像機就 能實現自定位、導航作用，不再依賴雷射、聲納、紅外等測距傳感器，從而降 低系統複雜度和成本，簡易方便。另外，本發明計算量小、實時性高，具備較 高的準確性。因此，本發明可以應用於工業自動化、航天航空、交通等多個領 域，實現移動物體的實時視覺自定位。
圖1為本發明方法流程圖。
具體實施例方式
以下結合附圖和實施例對本發明的技術方案作進一步描述。 如圖1所示，本發明的方法具體流程如下
1 、 目標圖像經過Harris-SIFT (Distinctive image features from scale-invariant keypoints[J].International Journal on Computer Vision, 2004, 60 (2) :91-110.)特徵
提取方法獲取特徵點集合。該方法由Harris-SIFT特徵提取算子構成，通過圖像 中特徵不變的特性提取特徵點集合，並存入目標資料庫中。
目標圖像可以通過事先加載，也可以通過攝像機實時採集獲得。
2、 按目標類別，依次將包括深度信息、幾何結構信息在內的目標圖像信息 寫入資料庫文件，存入目標資料庫中。該資料庫以KD-Tree劃分特徵空間，可 加快特徵檢索速度。
3、 對攝像機進行建模和標定，得到攝像機的內參數和成像模型。
4、 通過Harris-SIFT特徵提取方法，對攝像機採集的實時圖像進行特徵提 取，獲取實時圖像的特徵點集合。
5、 將提取的實時圖像的特徵點集合與目標資料庫中目標圖像的多個特徵點 集合進行匹配。匹配方法採用最近鄰居法(ANN: Approximate Nearest Neighbor), 使用歐氏距離計算特徵間的差異。
6、 通過Hough變換檢驗匹配特徵點的幾何一致性，去除匹配結果中的誤匹 配。然後採用仿射變換擬合數據，使用RANSAC (Random Sample Consensus) 計算出仿射模型，並得到特徵點對。最後對特徵點對進行識別評估得到目標類別信息。
7、 將上述所得的目標類別信息和特徵點對輸出，用於KLT特徵跟蹤。該 特徵跟蹤方法採用KLT算子跟蹤Harris-SIFT特徵點，並對特徵點對的位置以及 仿射模型參數不斷更新。使用RANSAC對跟蹤結果進行仿射檢驗，獲得跟蹤特 徵點對。
8、 利用跟蹤特徵點對及已知的目標圖像信息(包括深度信息和幾何結構信 息)和攝像機模型參數，估計出攝像機的位姿，包括三維坐標和三個旋轉角共6 個自由度信息，完成單目攝像機實時視覺定位。
權利要求
1、一種單目攝像機實時視覺定位方法，其特徵在於包括如下具體步驟1)根據圖像特徵不變的特徵提取方法對目標圖像進行特徵提取，獲取目標圖像的特徵點集合，並存入目標資料庫中；2)按目標類別，依次將包括深度信息、幾何結構信息在內的目標圖像信息存入目標資料庫中；3)對攝像機進行建模和標定，得到攝像機模型參數；4)根據圖像特徵不變的特徵提取方法對攝像機採集的實時圖像進行特徵提取，獲取實時圖像的特徵點集合；5)將實時圖像的特徵點集合與目標圖像的特徵點集合進行特徵匹配；6)去除匹配結果中的誤匹配並採用仿射檢驗法得到特徵點對，對特徵點對進行識別評估得到目標類別信息；7)利用上述所得的特徵點對及目標類別信息，進行特徵跟蹤，並採用仿射檢驗法不斷更新跟蹤特徵點對；8)根據攝像機模型參數、跟蹤特徵點對及目標圖像信息，進行位姿估計，完成單目攝像機實時視覺定位。
2、 根據權利要求l所述的單目攝像機實時視覺定位方法，其特徵在於，步 驟l)中，目標圖像通過事先加載，或者通過攝像機實時採集獲得。
全文摘要
本發明涉及一種單目攝像機實時視覺定位方法，屬於計算機視覺領域。本發明先獲得目標圖像特徵點集合，建立目標圖像資料庫並進行實時訓練；然後對攝像機進行建模，獲得攝像機模型參數；攝像機提取實時圖像特徵點集合，將實時圖像的特徵點與目標資料庫中特徵點集合進行匹配，經過去除誤匹配、仿射檢驗得到特徵點對和目標類別信息。利用特徵點對和目標類別信息進行特徵跟蹤，並將準確的目標圖像的跟蹤特徵點與攝像機模型參數相結合，得出攝像機的三維姿態。本發明只通過單個攝像機就能實現自定位、導航作用，從而降低系統複雜度和成本。
文檔編號H04N5/232GK101441769SQ20081020439
公開日2009年5月27日 申請日期2008年12月11日 優先權日2008年12月11日
發明者王景川, 胡仕煜, 陳衛東 申請人:上海交通大學