一種移動機器人前向單目視覺的建模方法

2023-04-24 07:01:31

專利名稱：一種移動機器人前向單目視覺的建模方法
技術領域：
本發明屬於移動機器人的視覺系統領域，特別涉及一種移動機器人前向單目視覺的建模方法。
背景技術：
視覺是人類最重要的感覺器官，人類所獲得的大部分外界信息都來自視覺。隨著人類對自然世界的不斷探索，人們總希望能夠通過某種數位化機器來實現人類視覺的功能，自動地獲取外部世界的信息。建立一個能夠如人類一樣快速、精確地感知外界變化的機器視覺系統一直以來是機器視覺研究的重點。機器視覺是計算機視覺和人工智慧在機器人學中的應用，並隨著機器人學以及計算機視覺和人工智慧的發展而產生和發展。從硬體結構上來看，常用的視覺傳感器可以分為全局視覺、單個攝像機視覺、雙攝像機立體視覺和全向視覺。從軟體處理的角度來看，機器視覺系統主要分為靜止視覺、移動視覺和立體視覺，其中靜止視覺的研究比較成熟。對於移動機器人而言，單個攝像機視覺系統由於具有性價比高、實時性好等優點，而具有廣泛的應用前景。而目前大多數方法集中在對在移動機器人單目視覺定位應用進行算法的仿真實驗、對移動機器人前向單目視覺的攝像機標定、對動態目標的識別上。上述方法並沒有對目標值與實測值間的誤差結果進行定量分析，沒有建立相應的觀測模型為數據處理算法提供參數依據。

發明內容
本發明的目的是針對現有技術的不足，提供一種移動機器人前向單目視覺的建模方法，本發明有效的實現移動機器人目標值與實測值間的誤差結果的確定，從而實現機器人目標的快速、精確識別。本發明目的通過以下技術方案予以實現
一種移動機器人前向單目視覺的建模方法，包括獲得目標信息過程及建立前向單目視覺觀測模型過程；其中
所述獲得目標信息過程包括以下步驟
11)採集目標圖像信息；
12)對步驟11)獲得的圖像信息進行圖像預處理；
13)將步驟12)預處理後的圖像進行圖像分割；
14)對步驟13)分割後的圖像進行特徵提取，得到特徵提取信號；
15)對特徵提取信號進行目標識別，獲得目標信息； 所述建立前向單目視覺觀測模型過程包括以下步驟
21)通過目標信息確定目標中心在機器人體坐標系中坐標，得到真實檢測結果；
22)採用測量工具確定目標中心在機器人體坐標系中坐標，得到理想檢測結果；
23)採用參數估計方法計算真實檢測結果與理想檢測結果之間的誤差分布模型參數，得到前向單目視覺的觀測模型。所述步驟13)的圖像分割是基於顏色的閾值分割法。所述步驟14)的特徵提取具體包括以下步驟
111)利用鄰域平均法實現圖像去噪；
112)利用閾值法平滑圖像；
113)對目標特徵屬性進行計算得到特徵信號。所述步驟15)的目標識別是採用視覺標定實現。所述的視覺標定是將目標中心在圖像坐標系中的坐標映射到機器人坐標系的坐標；其中目標中心在圖像坐標系中的坐標通過特徵提取信號確定。有益效果有效的實現移動機器人的目標測量值與實測值之間的誤差結果，能夠快速精確的識別機器人的目標。


圖1為本發明的前向單目視覺的工作框圖。
圖2為本發明的主光軸與水平面的夾角示意圖。
圖3(a)為本發明的縱向的測距示意圖。
圖3(b)為本發明的橫向的測距示意圖。
圖4為本發明的實際距離檢測結果直方圖。
圖5為本發明的擬合後的距離直方圖。
圖6為本發明的前向單目視覺方差分布圖。
圖7為本發明的前向單目視覺目標定位結果。
具體實施例方式(一)前向單目視覺的軟硬體設計 1、前向單目視覺的硬體設計
前向單目視覺由USB彩色數字攝像機和調節機構組成。整套設備在調整好後可固定安裝，以確保在使用過程中不會出現鬆動、移位等影響視覺標定的現象。其中，調節機構將整套設備固定在機器人車體上，並可以調節設備的高度和姿態，使攝像機能觀測到機器人附近特定區域的圖像，並保證採集圖像不會出現歪曲、偏移等現象。在本實施例中其所測的目標為一個目標球。 2、前向單目視覺的軟體設計
前向單目視覺的軟體處理包括圖像採集、圖像預處理、圖像分割、特徵提取和目標識別等模塊，工作框圖如圖1所示。 其中，人機互動的目的是對目標的相關信息進行測量，圖像分割採用基於顏色的閾值分割方法。特徵提取首先利用空間域處理方法中的鄰域平均法實現圖像去噪，然後利用閾值法平滑圖像，最後對特徵區域的屬性進行計算。目標識別則利用視覺標定加以實現。 其中，
(1)特徵區域的屬性計算如下所述
由於攝像機捕捉圖像時，並不能保證目標球的整體都被拍攝到，若直接利用求取平均值的方法計算球的中心位置坐標，會存在很大誤差。因此，應該結合球的四個頂點坐標，對球的中心位置重新計算。由於近大遠小的關係，球越靠近機器人時，捕捉到的半徑就越大。 因此，攝像機捕捉到的球的半徑與球在圖像中的縱坐標bally成比例關係。圖像坐標系原點為圖像左上角，向右為χ軸正方向，向下為y軸正方向。圖像大小為640X480像素，則可
求出球的中心在圖像的坐標位置(h:，by )與四個頂點的關係，其中球與左頂點，Zji
)關係如下。
其中、和&分別為攝像機捕捉到的球的最大半徑和最小半徑，可在實際圖像中通過測定得到。(2)前向單目視覺標定
特徵提取獲得目標球在圖像上的位置後，需要進行視覺標定，進一步得到目標球在機器人體坐標系中的坐標。由於前向單目視覺的攝像頭不使用廣角鏡頭，本發明中採用的攝像機的光學成像模型為針孔成像模型，因此這裡的視覺標定是指目標中心從圖像坐標繫到機器人坐標系的坐標映射。1、參數測定
為了計算目標球的實際位置，需要測定如下參數攝像頭鏡面中心到機器人中心的距離a，攝像頭捕捉到的地面上最近距離e與最遠距離g和攝像頭鏡面中心到地面的垂直距離 j，以上測定各參數單位均為毫米。根據上述參數，可以計算出主光軸c與水平面的夾角 ，各個角度的關係如圖2所示。2、測距模型
根據縱向測距模型和橫向測距模型，可求得球中心與鏡面中心的距離之和冬。縱向測距模型和橫向測距模型如圖3所示。在圖3中涉及如下幾個坐標系攝像機坐標系XMY、(XD平面坐標系χ O' y和圖像平面坐標系u O" ν.在圖3 (a)縱向測距示意圖中，f為焦距，光軸為c，光心0到地面的距離為j，光軸與像平面的交點為O'，光軸c與水平方向的夾角為a。現地面上有一點P， 通過透鏡成像在像平面χ y上的像點分別為戶，PP與地面的交角為應，/甲與光軸的交角為Y。對於圖3 (b)的橫向測距示意圖，設有兩點P，Q在機器人體坐標系XMY下的坐標為P (0，Y)，Q (X，Y),點ρ· , ρ.在CCD平面坐標系2-0,-下的坐標為P (0,y), Q {x,y)點戶
W在圖像平面坐標系下的坐標為P (ο,ν), ρ' (u,v)，點 在圖像平面坐標系aC).v下的坐標0'^ , )，PQ垂直於M Y，則其中κ式和分別是CXD平面中的一個像素對應於像平面在χ軸和y軸方向上的
物理尺寸大小。圖像解析度取640x480 ,所對應的( , )則是(320,240)。由上式計算得
到目標球的坐標是相對於攝像頭鏡面中心的，需要把該坐標轉換為以機器人中心為原點的坐標，公式如下所示。
3、前向單目視覺的目標定位結果及分析
用XP-130MG彩色數字攝像頭放置在機器人的正前方；計算機CPU為htel Core Duo (Yonah)，T2300(1.66G)，內存為1024M，程序採用VC++ 6. O實現。前向單目視覺的目標定位結果如圖7所示。圖7中，圓點代表球的質心，定位結果以mm為單位.其中原始圖像1、2、3中球的實際位置坐標分別為(-700，300)、(515，-260)和(1050，-120)，實際位置以mm為單位。實驗中，當球在機器人前向附近時，前向單目視覺能準確地獲得目標中心的位置。當機器人只能看到一部分目標物體時，仍然能夠由特徵屬性計算出目標的中心坐標。前向單目視覺採集並處理一幀圖像的時間不到10ms，實時性較好。(二)前向單目視覺觀測模型
實驗結果證明，目標距離機器人越遠，識別誤差就越大，因此有必要進一步研究前向單目視覺的觀測模型。觀測模型用於計算目標球位於機器人坐標系下的不同位置時的測量數據的分布情況。首先將目標球放置在前向單目視覺的視野範圍內的不同位置上，計算得到球在機器人坐標系下的坐標。然後利用測量工具得到目標球在機器人坐標系下的實際坐標。最後利用參數估計的方法計算真實檢測結果與理想檢測結果的誤差分布模型的參數。 根據實際測量結果，目標球位於機器人500毫米以內的距離，前向單目視覺的測量誤差基本可以忽略。考慮到機器人的特性，下面以目標球位於機器人正前方500毫米處進行觀測， 從而得到前向單目視覺傳感器模型的誤差形式。機器人對位於正前方500毫米的目標球的距離檢測結果如圖4所示，共進行了 1500次實驗。從實際距離檢測結果的直方圖可以看出，前向視覺傳感器觀測值的分布基本上是以理想觀測結果為均值的正態分布。對於這1500組數據，其均值為500. 7238毫米，方差σ 為8. 9360毫米2。下面利用Matlab對實驗結果進行進一步的處理。在Matlab的cftool 工具箱中，提供了高斯分布的擬合函數，具體步驟如下
(1)將各個觀測距離數據的值存入數組D，將其對應的個數存入數組E，並輸出到工作空間；
(2)在cftool工具箱中，按「Data」按鈕，分別將數組D，E導入到該工具箱；
(3)按「Fitting」 按鈕，在 「Type of fit」 中選擇 「Gaussian」，進行擬合。擬合得到的結果如圖5所示。其中均值為500. 8毫米，方差為8. 5698毫米2。
6
在得到前向單目視覺傳感器模型的具體形式後，需要根據真實的檢測結果確定不同觀測距離的σ的具體數值。根據實際情況，為了簡化計算過程並減小查找表需要的存儲空間，在觀測距離上，間隔5釐米計算一次σ。σ的計算是在大量檢測結果上進行的(每個位置重複進行1500次觀測)，具體過程如下
(1)將目標球放置在前向視覺視野範圍內的不同位置上，經過圖像處理、目標識別和視覺標定等步驟，計算出球在機器人坐標系下的坐標，即實際觀測結果；
(2)利用測量工具得到目標球在機器人坐標系下的實際坐標，即觀測模型的理想觀測結果；
(3)根據理想觀測結果和實際觀測結果計算不同觀測距離上的f值。觀測模型的參數計算中，在場地上採集大量真實觀測圖像並計算目標球到機器人的距離是建立前向單目視覺傳感器觀測模型的重要步驟。在真實觀測圖像採集過程中，目標球在場地上的位置必須儘量準確測量得到。根據本前面所述的實驗方法，目標球在機器人不同距離的原始方差和擬合後方差如圖6所示。從圖6可以看出，對原始數據進行擬合以後，一定程度上降低了方差。以上為一個機器人的前向單目視覺觀測模型。在前向單目視覺成像模型和視覺標定模型不變的情況下，本文對5個機器人的τ值進行測量，結果如表1所示。表1不同機器人的前向單目視覺傳感器方差值
權利要求
1.一種移動機器人前向單目視覺的建模方法，包括獲得目標信息過程及建立前向單目視覺觀測模型過程；其中所述獲得目標信息過程包括以下步驟11)採集目標圖像信息；12)對步驟11)獲得的圖像信息進行圖像預處理；13)將步驟12)預處理後的圖像進行圖像分割；14)對步驟13)分割後的圖像進行特徵提取，得到特徵提取信號；15)對特徵提取信號進行目標識別，獲得目標信息；其特徵在於所述建立前向單目視覺觀測模型過程包括以下步驟21)通過目標信息確定目標中心在機器人體坐標系中坐標，得到真實檢測結果；22)採用測量工具確定目標中心在機器人體坐標系中坐標，得到理想檢測結果；23)採用參數估計方法計算真實檢測結果與理想檢測結果之間的誤差分布模型參數， 得到前向單目視覺的觀測模型。
2.根據權利要求1所述的移動機器人前向單目視覺的建模方法，其特徵在於所述步驟13)的圖像分割是基於顏色的閾值分割法。
3.根據權利要求1所述的移動機器人前向單目視覺的建模方法，其特徵在於所述步驟14)的特徵提取具體包括以下步驟111)利用鄰域平均法實現圖像去噪；112)利用閾值法平滑圖像；113)對目標特徵屬性進行計算得到特徵提取信號。
4.根據權利要求1所述的移動機器人前向單目視覺的建模方法，其特徵在於所述步驟15)的目標識別是採用視覺標定實現。
5.根據權利要求4所述的移動機器人前向單目視覺的建模方法，其特徵在於所述視覺標定是將目標中心在圖像坐標系中的坐標映射到機器人坐標系的坐標；其中目標中心在圖像坐標系中的坐標通過特徵提取信號確定。
全文摘要
本發明公開了一種移動機器人前向單目視覺的建模方法，包括獲得目標信息過程及建立前向單目視覺觀測模型過程，建立前向單目視覺觀測模型過程主要包括以下步驟1)通過目標信息確定目標中心在機器人體坐標系中坐標，得到真實檢測結果；2)採用測量工具確定目標中心在機器人體坐標系中坐標，得到理想檢測結果；3)採用參數估計方法計算真實檢測結果與理想檢測結果的誤差分布模型參數，得到前向單目視覺的觀測模型。本發明有效的實現移動機器人目標值與實測值間的誤差結果的確定，從而實現機器人快速精確的識別目標。
文檔編號G06T7/00GK102542563SQ20111037833
公開日2012年7月4日 申請日期2011年11月24日 優先權日2011年11月24日
發明者張學習, 謝雲, 謝振南 申請人:廣東工業大學