一種基於拼接圖像的巡視器定位方法

2023-05-18 05:23:46

一種基於拼接圖像的巡視器定位方法
【專利摘要】本發明公開一種基於拼接圖像的巡視器定位方法，利用雙目立體相機在上一站點和當前站點前方一定角度範圍內拍攝序列圖像；將上一站點和當前站點左相機拍攝的序列圖像分別通過柱面投影方法進行拼接，得到上一站點和當前站點左相機前方的廣角度拼接圖像；計算上一站點和當前站點左相機拼接圖像的重疊區域並對其進行Affine-SIFT特徵提取與匹配，尋找上一站點和當前站點圖像的匹配特徵點；將匹配特徵點反算到左相機原始圖像中，在右相機圖像提取對應的匹配特徵點，並剔除錯誤特徵點；通過光束法求解巡視器在當前站點的位置和姿態。採用本發明技術方案，能夠實現巡視器的高精度定姿定位。
【專利說明】一種基於拼接圖像的巡視器定位方法【技術領域】
[0001]本發明涉及月面巡視器定位【技術領域】，尤其涉及一種基於拼接圖像的巡視器定位方法。
【背景技術】
[0002]月面巡視器是在複雜非結構化月面環境中執行近距離科學探測任務的移動機器人，能夠在月面自主巡遊或者根據地面遙操作中心的指揮在月面幾百米甚至幾百公裡範圍內，通過自身攜帶的科學儀器實現月面環境的探測。巡視器在自主巡遊或者遙控行駛過程中，需要了解其自身在月面坐標系中的位置和方向，才能將其重構的月面地形統一到同一基準下，指導後續的路徑規劃和行進。因此，巡視器的定位功能是進行路徑規劃和避障行進的前提和基礎，對月面巡視器完成科學探測任務具有重要的意義。
[0003]由於月面環境的特殊性，使得地面移動機器人定位常用的超聲傳感器定位、雷射傳感器定位和羅盤定位等方法無法使用；另一方面月球與地球的距離也遠遠超出了 GPS定位和北鬥定位系統導航服務的範圍。因此，需要依賴專用的導航定位技術實現月面巡視器的定位導航。現階段應用於月面巡視器導航定位的方法主要包括航位推算法、慣性導航定位法、天文導航定 位法、無線電導航定位法和視覺導航定位法。在眾多的定位方法中，視覺導航定位方法具有定位靈活、容錯性強、定位精度高、定位精度不受地形地貌影響且容易與地形地貌三維恢復相結合等特點，能夠提高月面巡視器的智能性，為巡視器成功實現科學探測任務提供有力的指導。
[0004]目前，巡視器的視覺導航定位通常是利用雙目視覺系統一定隔距離範圍內連續拍攝圖像，然後通過圖像特徵提取與匹配求取匹配特徵點的空間立體關係，解算其巡視器自身的位置和姿態。然而在月球表面環境中，紋理較為匱乏且光照條件極為複雜，巡視器在不同位置拍攝的圖像重疊區域較為有限且存在較大尺度差別。紋理匱乏致使特徵點提取困難，光照條件複雜和圖像的大尺度差別致使圖像特徵點的匹配容易發生錯誤；受上述兩方面因素影響，在對圖像的有限重疊區進行特徵點提取和匹配時，可能發生特徵點數量太少、特徵點匹配錯誤率高甚至無法提取特徵點的情況，無法獲得足夠的特徵點信息，難以保證巡視器定位的成功。

【發明內容】

[0005]本發明要解決的技術問題是，提供一種基於拼接圖像的巡視器定位方法，使巡視器在未知環境中實現高精度定姿定位。
[0006]為解決上述問題，本發明採用如下的技術方案:
[0007]—種基於拼接圖像的巡視器定位方法包括以下步驟:
[0008]步驟S1:將巡視器的已知站點作為上一站點，巡視器向前行進一定距離到達的新站點作為當前站點，利用雙目立體相機在上一站點和當前站點前方一定角度範圍內拍攝序列圖像；[0009]步驟S2:上一站點和當前站點分別將雙目立體相機的左相機拍攝的序列圖像分別通過柱面投影方法進行拼接，得到上一站點和當前站點前方的左相機廣角度拼接圖像，同時記錄拼接圖像各個區域對應的原始圖像編號；
[0010]步驟S3:利用巡視器上一站點和當前站點的初始位置和姿態信息以及在上一站點和當前站點拍攝圖像時左相機與巡視器的位姿關係，分別計算前上一站點和當前站點左相機拼接圖像的重疊區域，並對該重疊區域進行Affine-SIFT特徵提取與匹配，得到上一站點和當前站點左相機拼接圖像的匹配特徵點集；
[0011]步驟S4:將上一站點和當前站點左相機拼接圖像的匹配特徵點反算到上一站點和當前站點左相機拍攝的原始圖像中，得到多組具有對應關係的原始圖像及匹配點對；
[0012]步驟S5:利用圖像相關係數匹配方法，分別從上一站點和當前站點右相機拍攝的原始圖像中尋找出左相機原始圖像特徵點的最優匹配點，得到上一站點和當前站點左右相機圖像的匹配特徵點集；
[0013]步驟S6:利用前方交會算法，分別將上一站點和當前站點的每一對左右相機原始圖像中提取的匹配特徵點集的立體空間關係進行檢查，剔除錯誤的特徵點；
[0014]步驟S7:根據上一站點的巡視器位置和姿態，將上一站點和當前站點左右相機圖像的匹配特徵點集及其對應關係作為輸入，利用光束法求解巡視器在當前站點的位置和姿態。
[0015]本發明與現有的月面巡視器的定位方法相比，
[0016]一方面，採用通過柱面投影形成的拼接圖像進行上一站點和當前站點的特徵提取與匹配，然後反算到原始圖像中構成多組圖像的匹配特徵點集，這比現有的採用單幅視覺圖像進行站點的特徵提取和匹配，構成單組圖像匹配特徵點集的方法，顯著性地增大了圖像匹配重疊區的範圍，有利於上一站點和當前站點圖像特徵點的提取和匹配，避免了因上一站點和當前站點單對圖像中包含的重疊區域過小而導致匹配失敗的問題，大大提高了匹配成功率；
[0017]另一方面，根據雙目相機與巡視器本體的位姿約束關係，利用巡視器和雲臺裝置的可移動性，設計了通過雙目相機在不同位置和姿態下多次拍攝進行巡視器定位的視覺測量方法，實現了根據多組圖像匹配特徵點求解巡視器外方位參數和特徵點三維空間坐標的站點定位。這與一般的通過雙相機分別在上一站點和當前站點單個方位拍攝圖像進行站點定位相比，能夠在更廣泛地利用巡視器周圍環境中的顯著性特徵，提高巡視器定位的效率和成功率；通過在光束法引入巡視器與相機的位姿約束關係，將巡視器的定位問題轉換為多相機的攝影測量問題進行解決。
【專利附圖】

【附圖說明】
[0018]圖1是一種基於拼接圖像的巡視器定位方法的流程圖；
[0019]圖2是巡視器在上一站點和當前站點站點拍攝圖像過程示意圖；
[0020]圖3是柱面投影進行圖像拼接的示意圖；
[0021]圖4是柱面投影圖像融合的示意圖；
[0022]圖5是巡視器上一站點和當前站點拼接圖像重疊區的示意圖；
[0023]圖6是上一站點和當前站點左右相機與地面特徵點位置關係示意圖；[0024]圖7是上一站點和當前站點相機與地面觀測點位置關係的示意圖。
【具體實施方式】
[0025]如圖1所示，本發明提供一種基於拼接圖像的巡視器定位方法，包括以下步驟:
[0026]步驟S1:將巡視器的已知站點作為上一站點，巡視器向前行進一定距離到達的新站點作為當前站點，利用雙目立體相機在上一站點和當前站點前方一定角度範圍內拍攝序列圖像。
[0027]如圖2所示，巡視器是一個具有四個驅動輪的可移動機器人，包括巡視器車體、位於車體前部上方的豎直桅杆機構、桅杆頂部的兩自由度雲臺機構和安裝於雲臺支撐架上的雙目相機；雲臺能夠在俯仰和偏航兩個自由度上轉動，通過雲臺轉動可控制相機在不同的方向上拍攝圖像；桅杆、雲臺和雙目相機相對於巡視器車體的位置和姿態關係預先精確標定為已知參數。巡視器的關鍵部件解釋如下:巡視器車體1，位於車體前部上方豎直的桅杆機構2，桅杆頂部的兩自由度雲臺機構3，包括俯仰自由度機構3-1和偏航自由度機構3-2，雙目相機系統4，包括相機支撐架4-1、安裝於雲臺支撐架上的左相機4-2和右相機4-3。左相機4-2和右相機4-3的視場均為45° X45°。雲臺能夠通過俯仰自由度機構3_1和偏航自由度機構(3-2)在俯仰和偏航兩個自由度上轉動，通過雲臺轉動可控制相機在不同的方向上拍攝圖像。桅杆機構2、雲臺機構3和雙目相機系統4相對於巡巡視器車體I的位置和姿態關係預先精確標定為已知參數。巡視器在上一站點和當前站點拍攝序列圖像的過程描述如下:
[0028]巡視器初始位於上一站點？1(站點位置和姿態信息0〗(1〗,1^，4，<<，4)已知)，兩自由度雲臺機構3初始狀態下，安裝於其上的雙目相機系統4的左相機4-2和右相機4-3在俯仰和偏航角均為0°。兩自由度雲臺機構3的俯仰自由度機構3-1轉動帶動雙目相機系統4的左相機4-2和右相機4-3到達俯仰-30° (向下轉為負)狀態，偏航自由度機構3-2向左轉動60°，達到偏航-60° (向左轉為負)狀態。兩自由度雲臺機構3保持俯仰-30°不變，從偏航-60°到偏航60°依次向右以20°為步長旋轉，控制左相機4-2和右相機4-3在偏航-60°、-40°、-20°、0°、20°、40°、60°處拍攝圖像，從而可得到在上一站點Pl拍攝的左相機序列圖像和右相機序列圖像。然後控制巡視器向前行駛一段距離到達當前站點P2位置，向前行駛的距離一般小於7米。與巡視器在上一站點Pl位置的拍照過程類似，通過雙目相機系統左相機4-2和右相機4-3在俯仰-30°，偏航-60°、-40°、-20°、0°、20°、40°、60°狀態拍攝圖像，從而可得到當前站點P2拍攝的左相機序列圖像和右相機序列圖像。假設巡視器在上一站點Pl和當前站點P2位置雲臺機構處於-30°俯仰和0°偏航時左相機4-2拍攝圖像的重疊區域為R1，同理，可以得到巡視器在上一站點和當前站點不同偏航狀態下，左相機4-2拍攝圖像的重疊區域。
[0029]步驟S2:上一站點和當前站點分別將雙目立體相機的左相機拍攝的序列圖像分別通過柱面投影方法進行拼接，得到上一站點和當前站點左相機前方的廣角度拼接圖像，同時記錄拼接圖像各個區域對應的原始圖像編號。
[0030]上一站點和當前站點的左右相機序列圖像的拼接方法完全相同，下面對序列圖像拼接的描述中不進行站點和相機類型的限定。如圖3所示，3-1為相機光心，3-2為投影柱面，3-3為光軸，3-4為序列圖像中任意一副圖像的像平面，3-4-1為像平面上的像素點，3-2-1為投影柱面上的像素點，3_5為以光心為起點過像平面像素點3-4-1的射線，3_6為投影柱面半徑r，3-7為圖像對應的相機水平方向視場角Θ w，3-8為以光心為起點過像平面像素點的射線3-5與光軸3-3的夾角在圓柱方向上投影的角度α，(3-9)為像平面坐標系，3-9-1為像平面坐標系橫軸，3-9-2為像平面坐標系縱軸，3-10為柱面坐標系，其定義如下:柱面坐標系的原點位於相機光心3-1，柱面坐標系的X軸和y軸與像平面坐標系的橫軸和縱軸方向一致，柱面坐標系的z軸與柱面坐標系的X軸和I軸滿足右手定則。序列圖像通過柱面投影方法進行拼接，即是將序列圖像的像平面上任意像素點3-4-1通過柱面投影方法變換到投影柱面上的任意像點3-2-1形成柱面拼接圖像的過程，具體介紹如下:
[0031]步驟a:圖像柱面投影:將同一站點同一相機拍攝的序列圖像，根據每幅圖像對應的相機的外方位信息，通過柱面投影方法投影到柱面上，實現步驟如下:假設圖像對應的相機偏航角為β，拍攝圖像的相機的焦距為f，則投影柱面半徑r = f。則像平面3-2的寬度W = 2ftan(9w / 2)，高度為H = 2ftan(0h / 2)，其中0￥和0,是分別是相機水平方向和豎直方向的視場角。像平面左上角的坐標為(0，O)，像平面上的像點3-4-1在像平面上
的坐標為(X，y)，該點到光心的距離
【權利要求】
1.一種基於拼接圖像的巡視器定位方法，其特徵在於，包括以下步驟: 步驟S1:將巡視器的已知站點作為上一站點，巡視器向前行進一定距離到達的新站點作為當前站點，利用雙目立體相機在上一站點和當前站點前方一定角度範圍內拍攝序列圖像； 步驟S2:上一站點和當前站點分別將雙目立體相機的左相機拍攝的序列圖像分別通過柱面投影方法進行拼接，得到上一站點和當前站點前方的左相機廣角度拼接圖像，同時記錄拼接圖像各個區域對應的原始圖像編號； 步驟S3:利用巡視器上一站點和當前站點的初始位置和姿態信息以及在上一站點和當前站點拍攝圖像時左相機與巡視器的位姿關係，分別計算前上一站點和當前站點左相機拼接圖像的重疊區域，並對該重疊區域進行Affine-SIFT特徵提取與匹配，得到上一站點和當前站點左相機拼接圖像的匹配特徵點集； 步驟S4:將上一站點和當前站點左相機拼接圖像的匹配特徵點反算到上一站點和當前站點左相機拍攝的原始圖像中，得到多組具有對應關係的原始圖像及匹配點對； 步驟S5:利用圖像相關係數匹配方法，分別從上一站點和當前站點右相機拍攝的原始圖像中尋找出左相機原始圖像特徵點的最優匹配點，得到上一站點和當前站點左右相機圖像的匹配特徵點集； 步驟S6:利用前方交會算法，分別將上一站點和當前站點的每一對左右相機原始圖像中提取的匹配特徵點集的立體空間關係進行檢查，剔除錯誤的特徵點； 步驟S7:根據上一站點的巡視器位置和姿態，將上一站點和當前站點左右相機圖像的匹配特徵點集及其對應關係作為輸入，利用光束法求解巡視器在當前站點的位置和姿態。
2.如權利要求1所述一種基於拼接圖像的巡視器定位方法，其特徵在於，所述的通過柱面投影方法進行拼接方法包括: 步驟a:圖像柱面投影:將同一站點同一相機拍攝的序列圖像，根據每幅圖像拍攝時相機的外方位信息，通過柱面投影方法投影到柱面上，得到一系列柱面圖像； 步驟b:圖像拼接配準:採用Forstner算子對圖像重疊區域處進行特徵提取與匹配，計算相鄰柱面圖像之間的平移旋轉關係，並按照該平移旋轉關係對柱面投影圖像進行變換調整； 步驟c:柱面圖像融合:將原始的序列圖像按照其拍攝時相機偏航角方向投影到柱面上形成柱面序列圖像，定義每幅圖像的中心線為過柱面圖像中心的柱面線；根據柱面點與相鄰柱面圖像的中心線的距離Cl1和4對柱面圖像進行裁剪:以Cl1 =火的柱面線為分界線，分界線與圖像中心線之間的柱面拼接圖像區域由該圖像像素填充；對相鄰圖像交界處通過漸進漸出的方法進行融合處理，即交界線左右各取一寬度區域，該區域內的圖像像素計算為I (x,y) = ul1(x,y) + (l-u) Ir(x,y),其中，u是取值在O~I之間的漸變因子，Ιχ(χ,y)和Ir(x,y)分別是相鄰柱面圖像在(x，y)的像素灰度值。
3.如權利要求1或2所述的一種基於拼接圖像的巡視器定位方法，其特徵在於，步驟S3中利用巡視器上一站點和當前站點的初始位置和姿態信息以及在上一站點和當前站點拍攝圖像時左相機與巡視器的位姿關係，分別計算上一站點和當前站點左相機拼接圖像的重疊區域。
4.如權利要求1或3所述的一種基於拼接圖像的巡視器定位方法，其特徵在於，步驟S4中，將上一站點和當前站點左相機拼接圖像的匹配特徵點反算到左相機原始圖像中包括:首先將匹配特徵點按照圖像拼接時柱面圖像之間的平移旋轉關係，變換到原始的柱面投影圖像中；然後根據柱面投影 關係逆向求解得到匹配特徵點在原始圖像中的位置。
5.如權利要求1或4所述的一種基於拼接圖像的巡視器定位方法其特徵在於，步驟S6中，剔除錯誤特徵點後，在上一站點和當前站點左右相機圖像的匹配特徵點集中剩餘的特徵點數量不小於4組。
【文檔編號】G06T7/00GK103927739SQ201410015505
【公開日】2014年7月16日 申請日期:2014年1月10日 優先權日:2014年1月10日
【發明者】劉傳凱, 王保豐, 王鎵, 周建亮, 唐歌實, 卜彥龍, 袁建平, 張強, 苗萍, 許柏, 師明 申請人:北京航天飛行控制中心