仿生機械恐龍的視覺識別系統實現方法
2023-10-17 19:59:44 1
專利名稱：仿生機械恐龍的視覺識別系統實現方法
技術領域：
本發明涉及四足機器人，具體涉及仿生機械恐龍的視覺識別系統實現方法。
背景技術：
機器人技術是近幾十年來迅速發展起來的ー門高新技術，它綜合了機械、微電子與計算機、自動控制、傳感器與信息處理以及人工智慧等多學科的最新研究成果，是機電一體化技術的典型載體。大型四足仿生機械恐龍是四足歩行機器人的ー種重要應用，廣泛應用於娛樂、影視等領域。眾所周知，視覺識別系統是大型四足仿生機械恐龍的重要組成部分，通過視覺識別系統實現大型四足仿生機械恐龍的自主感知，並通過運動控制系統做出相應的動作。
目前機器人的視覺識別系統由一臺攝像機組成，通過攝像機獲取周圍場景的數字圖像，再進行處理分析，從而獲得目標特徵。但是，這種視覺識別系統僅適用於固定不動的エ業機器人上，對於移動式機器人而言則存在一定的局限性，最突出的缺點就是無法獲知目標的距離，從而限制了機器人的主動反應功能。有鑑於此，需要對現有的大型四足仿生機械恐龍的視覺識別系統進行改進設計，使其具備智能化的視覺感知功能，從而通過運動控制系統做出相應的動作。
發明內容
本發明所要解決的技術問題是解決大型四足仿生機械恐龍的視覺識別系統智能化的視覺感知功能較差的問題。為了解決上述技術問題，本發明所採用的技術方案是提供一種仿生機械恐龍的視覺識別系統實現方法，包括包括以下步驟通過左、右並排設置的兩臺參數相同的左、右攝像機實時獲取同一時間人體手掌的兩幅數字圖像Al、A2 ；基於人體手掌的膚色顏色偵測並提取所述數字圖像Al、A2中人體手掌的輪廓參數值，並與內置的人體手掌樣本參數值進行對比，識別出所述數字圖像Al、A2中的人體手掌；基於所述數字圖像Al、A2中的人體手掌座標，根據雙目視覺的視差原理，計算得到人體手掌在相應的攝像機座標系以及固定座標系內三維座標，從而獲得人體手掌的深度イM息，所述固定座標系以左、右攝像機的中點為原點。在上述方法中，基於膚色顏色偵測並提取數字圖像中人體手掌的輪廓參數值的步驟如下；根據設定的人體手掌膚色顏色提取出數字圖像內的人體手掌皮膚顏色；進行膚色部分與非膚色部分的分割；以手掌中心為圓心，以一定的步長按圓形由手掌中心向外逐層掃描，獲得人體手掌的輪廓參數值，識別出人體手掌輪廓。
在上述方法中，識別出人體手掌輪廓的步驟如下步驟201、利用高斯濾波器平滑原始圖像；步驟202、使用一階偏導的有限差分計算圖像梯度的方向和幅值；步驟203、對邊緣進行適當的增強，抑制極大值；步驟204、利用雙闕值算法進行邊緣的檢測和定位、連接；步驟205、在有效的邊緣信息裡，採用的Hough變換方法檢測識別人體手掌的輪廓。在上述方法中，在步驟204中，設定兩個閾值thl和th2，兩者關係為thl=0. 4th2 ；對原始的灰度圖像將梯度值小於thl的像素的灰度值設為0，從而得到圖像I ;將梯度值小於th2的像素的灰度值設為0，得到圖像2 ;再以圖像2為基礎，以圖像I為補充來連結圖像·的邊緣。在上述方法中，手掌特徵信息採用手掌結構體來定義，手掌結構體中的成員變量包括掃描線進入膚色時的角度變量、出膚色區域時的角度變量、膚色區域的個數以及膚色區域的名稱標識。在上述方法中，在進行人體手掌識別時，首先提取人體手掌的特徵信息，再利用公式S =ヾΣ⑶-め計算出所述手掌結構體中的參數與內置的人體手掌樣本參數均值的累積偏差，偏差< 3. 5時就判定為人體手掌。在上述方法中，所述的左、右攝像機使用前，對以下參數進行標定內參數矩陣
Ti -JCtgOl U1 O^ -γ^θ2 U2 O0v* 0 0 I^F2 K 0
0O I O OO I O
」> LJ >畸變係數矩陣ζ ! = [kcll kcl2 pcll pcl2] ； ζ 2 = [kc21 kc22 pc21 pc22]外參數矩陣R = [Rx Ry Rj ； θ = [ θ χ θ y θ J ；Τ =[χ y ζ]；
1O O cos 6*,. Osin O1, cos(9_ -sin θ_ ORx= O cosθχ -sin見 Ry ニ O IO Rz= sincos<9, O
O sin 沒,.cos θ,. · -sm Oy 0cos θ . 00 I .
95 其中も和f2指左、右攝像機的有效距離，即圖像平面到左、右攝像機平面的距離；k2、I1和I2指圖像上像素的長和寬；Θ i和Θ 2指左、右攝像機的光軸相對於各自攝像機
坐標系的偏角！UpUpV1和V2指目標點在圖像平面內的坐標值；kell
ロ。21ル。22為左、右攝像機內部透鏡的徑向畸變係數和切向畸變係數ポ為左、右攝像機之間的
旋轉矩陣；T為左、右攝像機之間的平移矩陣；Θ為攝像機座標系與固定座標系之間的旋轉角度。在上述方法中，採用ニ步法對攝像機的參數進行標定，具體步驟如下步驟301、忽略畸變參數，取一組模板圖像上畸變較小的點即靠近圖像中心的點，利用這些點的世界坐標系位置坐標和圖像像素坐標值作為已知參數，由線性標定方法求解得到攝像機的內外參數；步驟302、利用優化算法迭代，提高攝像機各個內外參數的精度；步驟303、將第二步所得的內外參數作為初始值，然後選取該模板平面上的所有有效角點，建立一個優化模型，最終在優化算法的迭代下，求得攝像機最優的內部參數矩陣，外部參數矩陣以及畸變參數矩陣。本發明，通過左、右並排設置的兩臺參數相同的左、右攝像機實時獲取同一時間人 體手掌的兩幅數字圖像，再根據雙目視覺的視差原理，計算得到人體手掌在相應的攝像機座標系以及固定座標系內三維座標，從而獲得人體手掌的深度信息，實現了仿生機械恐龍的智能視覺感知，達到一定的仿生效果。
圖I為本發明的流程圖。
具體實施例方式本發明提供的仿生機械恐龍的視覺識別系統及其實現方法，通過左、右並排設置的兩臺參數相同的攝像機實時獲取同一時間人體手掌的兩幅數字圖像，然後由圖像處理裝置對兩幅數字圖像分別人體手掌識別和深度信息計算，從而獲得人體手掌的空間位置信息，在此基礎上，仿生機械恐龍就可以根據人體手掌的移動驅動相應的關節做出相應的響應動作，實現仿生機械恐龍的智能視覺感知，達到一定的仿生效果。下面結合附圖和具體實施例對本發明作出詳細的說明。如圖I所示，仿生機械恐龍的視覺識別系統實現方法包括以下步驟步驟I、通過左、右攝像機實時獲取同一時間人體手掌的兩幅數字圖像Al、A2，左、右攝像機參數相同且左、右並排設置。步驟2、基於Open CV,採用Canny算法識別出人體手掌圖像。手掌特徵識別主要是基於膚色顏色的偵測與提取實現，首先根據設定的人體手掌膚色顏色提取出數字圖像內的人體手掌皮膚顏色，提取完圖像中的膚色後，進行膚色部分與非膚色部分的分割，然後過濾噪點，重新填充圖形以形成一個清晰的ニ值輪廓圖像，再以手掌中心為圓心，以一定的步長按圓形由手掌中心向外逐層掃描，進行輪廓偵測，提取所偵測到的輪廓參數值，獲得人體手掌的輪廓參數值，識別出人體手掌輪廓。識別出人體手掌輪廓的步驟如下步驟201、利用高斯濾波器平滑原始圖像；步驟202、使用一階偏導的有限差分計算圖像梯度的方向和幅值；步驟203、對邊緣進行適當的增強，抑制極大值；步驟204、利用雙闕值算法進行邊緣的檢測和定位、連接。在步驟204中，設定兩個閾值thl和th2，兩者關係為thl=0. 4th2。對原始的灰度圖像將梯度值小於thl的像素的灰度值設為O，從而得到圖像I。將梯度值小於th2的像素的灰度值設為O，得到圖像2。由於圖像2的閾值較高，去除大部分噪音，但同時也損失了有用的邊緣信息。而圖像I的閾值較低，保留了較多的信息，再以圖像2為基礎，以圖像I為補充來連結圖像的邊緣。步驟205、在有效的邊緣信息裡尋找具有目標物特徵，即輪廓處理。本步驟中採用幾何圖形的逼近法實現，在ニ維的圖像中對邊緣點進行檢測識別。在手掌識別功能中ー個重要問題是如何將手掌特徵數位化，並採用合理的方法描述其特徵信息。手掌特徵信息描述的基本思想是掃描線法，在計算機圖形學中，顯示繪製一幅圖像時，常採用從上向下的掃描線的方法，由於一般的屏幕均為矩形，所以採用橫向水平線按設定步長掃描。而對於一伸開的手掌，從輪廓上來看，其形狀更接近於圓形，所以本發明將掃描線法加以改進，改為以手掌中心為圓心，以一定的步長(例如取步長為10)按圓形向外逐層掃描，以獲得圖形輪廓的信息，從而提高了掃描的效率。手掌特徵信息描述在程序中採用ー結構體來定義，主要是將掃描到的手指的數目 記錄下來，結構體中的成員變量主要是處理ニ值圖像時應用的，包括掃描線進入膚色時的角度變量、出膚色區域時的角度變量、膚色區域的個數、膚色區域的名稱標識等信息參數。手掌特徵結構體具體定義如下struct GestureStruct//定義一個手勢結構數據類型{float angle [ScanNum] [7] ;//記錄進入膚色邊限float anglecha[ScanNum] [7] ;//記錄出膚色邊限float count [ScanNum] ;//記錄膚色區域個數CString angleName;//進入膚色邊限數據節點名稱CString anglechaName;//出膚色邊限數據節點名稱CString countName;//膚色區域數量數據節點名稱};手掌識別的實質過程是將採集到的圖像信息與預存樣本的數據相對比，達到一定的相似度就判定為手掌，所以首先必須預先採集足夠的樣本數據信息。採集到圖像後，要對圖像進行特徵信息的提取，對採集到的樣本數據信息進行均值處理，存入文檔文件，以備手掌識別時進行數據信息的匹配。在進行手掌識別時，採集到一幅圖像後，首先提取圖像特徵的數據信息，保存到手
掌結構體中，再利用公式S=ヾI(H)計算出手掌結構體中的參數與內置的人體手掌樣本
參數均值的累積偏差，允許誤差s設定為3. 5，即誤差s < 3. 5時就判定為手掌。公式中n為掃描的層數，Xi為第i掃描層的數值， 為相應的樣本平均值。誤差s取太小太大都會影響識別的正確率，一方面由於每個體的手掌不完全相同，另一方而即使同一手掌在兩次或多次拍攝出的圖像也不完全相同，鑑於手掌特徵的差別性，相似度不能取為100%，而實際上70%這ー數值是通過若干次試驗得到的經驗值。相似度取值過小會影響識別的通過率，而太大就會引起許多誤判，將不是手掌的特徵誤判為手掌特徵，綜合各方面的分析，取邊界條件取為70%。步驟3、基於所述數字圖像Al、A2中的人體手掌座標，根據雙目視覺的視差原理，計算得到人體手掌在相應的攝像機座標系以及固定座標系內三維座標，從而獲得人體手掌的深度信息，所述固定座標系以左、右攝像機的中點為原點。對深度信息的獲取，直接通過人體手掌在左右數字圖像中的坐標值，由左、右攝像機的內外參數變換矩陣計算求得。假設兩幅數字圖像中的目標點為Pl (ul, Vl)，P2 (u2, vl)，U1, U2, V1和V2分別為目標點在圖像平面內的坐標值，目標點在左攝像機Cl坐標系下坐標為Ql (X，Y，Z)，設左、右攝像機之間的距離為b，則目標點在右攝像機C2坐標系下坐標為Q2 (X-b，Y，Z)，由雙目視覺的視差原理和已經標定的左、右攝像機內外參數可得
權利要求
1.仿生機械恐龍的視覺識別系統實現方法，其特徵在於，包括以下步驟通過左、右並排設置的兩臺參數相同的左、右攝像機實時獲取同一時間人體手掌的兩幅數字圖像Al、A2 ；基於人體手掌的膚色顏色偵測並提取所述數字圖像Al、A2中人體手掌的輪廓參數值，並與內置的人體手掌樣本參數值進行對比，識別出所述數字圖像A1、A2中的人體手掌；基於所述數字圖像Al、A2中的人體手掌座標，根據雙目視覺的視差原理，計算得到人體手掌在相應的攝像機座標系以及固定座標系內三維座標，從而獲得人體手掌的深度信息，所述固定座標系以左、右攝像機的中點為原點。
2.如權利要求I所述的仿生機械恐龍的視覺識別系統實現方法，其特徵在於，基於膚色顏色偵測並提取數字圖像中人體手掌的輪廓參數值的步驟如下；根據設定的人體手掌膚色顏色提取出數字圖像內的人體手掌皮膚顏色；進行膚色部分與非膚色部分的分割；以手掌中心為圓心，以一定的步長按圓形由手掌中心向外逐層掃描，獲得人體手掌的輪廓參數值，識別出人體手掌輪廓。
3.如權利要求2所述的仿生機械恐龍的視覺識別系統實現方法，其特徵在於，識別出人體手掌輪廓的步驟如下步驟201、利用高斯濾波器平滑原始圖像；步驟202、使用一階偏導的有限差分計算圖像梯度的方向和幅值；步驟203、對邊緣進行適當的增強，抑制極大值；步驟204、利用雙闕值算法進行邊緣的檢測和定位、連接；步驟205、在有效的邊緣信息裡，採用的Hough變換方法檢測識別人體手掌的輪廓。
4.如權利要求3所述的仿生機械恐龍的視覺識別系統實現方法，其特徵在於在步驟204中，設定兩個閾值thl和th2，兩者關係為thl=0. 4th2 ;對原始的灰度圖像將梯度值小於thl的像素的灰度值設為0，從而得到圖像I ;將梯度值小於th2的像素的灰度值設為0，得到圖像2 ;再以圖像2為基礎，以圖像I為補充來連結圖像的邊緣。
5.如權利要求I所述的仿生機械恐龍的視覺識別系統實現方法，其特徵在幹，手掌特徵信息採用手掌結構體來定義，手掌結構體中的成員變量包括掃描線進入膚色時的角度變量、出膚色區域時的角度變量、膚色區域的個數以及膚色區域的名稱標識。
6.如權利要求5所述的仿生機械恐龍的視覺識別系統實現方法，其特徵在於，在進行人體手掌識別時，首先提取人體手掌的特徵信息，再利用公式
7.如權利要求I所述的仿生機械恐龍的視覺識別系統實現方法，其特徵在於，所述的左、右攝像機使用前，對以下參數進行標定內參數矩陣
8.如權利要求7所述的仿生機械恐龍的視覺識別系統實現方法，其特徵在於採用ニ步法對攝像機的參數進行標定，具體步驟如下步驟301、忽略畸變參數，取一組模板圖像上畸變較小的點即靠近圖像中心的點，利用這些點的世界坐標系位置坐標和圖像像素坐標值作為已知參數，由線性標定方法求解得到攝像機的內外參數；步驟302、利用優化算法迭代，提高攝像機各個內外參數的精度；步驟303、將第二步所得的內外參數作為初始值，然後選取該模板平面上的所有有效角點，建立一個優化模型，最終在優化算法的迭代下，求得攝像機最優的內部參數矩陣，外部參數矩陣以及畸變參數矩陣。
全文摘要
本發明公開了一種仿生機械恐龍的視覺識別系統實現方法，包括以下步驟通過左、右並排設置的兩臺參數相同的左、右攝像機實時獲取同一時間人體手掌的兩幅數字圖像A1、A2；基於人體手掌的膚色顏色偵測並提取所述數字圖像A1、A2中人體手掌的輪廓參數值，並與內置的人體手掌樣本參數值進行對比，識別出所述數字圖像A1、A2中的人體手掌；基於所述數字圖像A1、A2中的人體手掌座標，根據雙目視覺的視差原理，計算得到人體手掌在相應的攝像機座標系以及固定座標系內三維座標，從而獲得人體手掌的深度信息，實現了仿生機械恐龍的智能視覺感知，達到一定的仿生效果。
文檔編號G06K9/46GK102831407SQ20121030149
公開日2012年12月19日 申請日期2012年8月22日 優先權日2012年8月22日
發明者韓曉建, 常楷, 孫宇, 齊威 申請人:中科宇博(北京)文化有限公司