一種雙臂機器人基於Kinect的人機互動方法
2023-06-14 07:50:41
專利名稱：一種雙臂機器人基於Kinect的人機互動方法
技術領域：
本發明涉及人機互動技術領域，特別涉及一種雙臂機器人基於Kinect的人機交
互方法。
背景技術：
當人類不適合出現在機器人現場時，在非結構化動態環境中利用操作員操縱遠程機器人是十分必要的。
為達成目標操作任務，遙操作使用的機械和其他接觸接ロ需要不自然的人類動作，它們往往會妨礙人體動作。現有的基於視覺的人機交換方式要麼只用到人手的少數自由度，要麼需要操作者做大幅度運動，操作起來非常費力。通常使用的遙操作機械式人機接ロ包括了多種操作員佩戴的裝置，比如骨骼式機械裝置，工具手套，電磁或慣性動作跟蹤傳感器，或者肌電靈敏度傳感器。然而，這些佩戴的裝置，傳感器還有它們的連線可能妨礙操作員靈活的動作。其他接觸式的接ロ比如仿機器人機械手，轉盤，搖杆，電腦滑鼠和計算機圖形界面等都需要操作員不自然的動作或者需要操作者學習如何操作。基於視覺的交互技術使用了手勢識別和語音識別結合的控制方式，它允許操作者更自然直觀的給出命令而沒有物理裝置上的限制。然而在這種控制下，被控的機器人的動作都是由ー些簡單的命令組成，比如確定末端執行器的位置和方位，抓取還有一系列更小的任務如上移下移，旋轉，暫停，繼續還有改變操作的模式。當要求的機器人操作器動作的複雜度比較高的時候，這個技術都會難以操作。單攝像頭的手部動作跟蹤已經被應用在機器人遙操作和遙操作的模擬上。然而，動作命令只局限在真正的末端執行器自由度的子集裡。此外，那些與特定的操作任務無關的手勢被用來改變機器人的操作模式，所以這些都造成了操作任務的交流不自然。理想地，ー種自然的不用將複雜的任務分解為有限指令和沒有接觸式物理裝置限制的方法被人們所需要。
發明內容
本發明的發明目的是針對現有人機互動方法的技術不足，提供一種雙臂機器人基於Kinect的人機互動方法。為實現上述發明目的，本發明採用的技術方案為
提供一種雙臂機器人基於Kinect的人機互動方法,其中，Kinect為3D體感攝影機；包括以下步驟
51、通過3D體感攝影機對操作者的手臂建立坐標系；
52、通過計算機對操作者的手臂圖像進行骨架提取；
53、通過包含了手臂的圖像分析確定食指和拇指的位置；
54、使用臨界阻尼振動模型解決突變問題；
55、使用過阻尼振動模型進行抖動處理。
優選地,所述步驟SI包括
SI I、首先建立基本坐標系，標定食指尖，拇指尖，食指尖和拇指尖之間的部位為還有上手臂為。優選地，所述步驟S2包括以下步驟
S21、使用Kinect獲取深度圖像，對深度圖像進行骨架提取。優選地，所述步驟S3包括以下步驟
531、設操作者的手臂映射點為P，其中，不同的部位標註為PfPN ;首先建立手掌包圍盒先連接P4與P5得到連線P45 ;然後以P5為底面中心點，連線P45為中心軸；建立ー個長為L，寬為W，高為H的手掌包圍盒B ;通過統計發現，該手掌包圍盒B若要將手掌包圍其 中；L，W和H只的取值如下
L = ル|
= 丨(I);其中， 為線段P45的長度；
H ニこ丨匕|
ハ11 丨
532、對手掌包圍盒B中的所有點B』，計算其到P5之間的距離，則B2點為包圍盒B中離P5最遠的點
B2 = max.IlP— jj (2);
533、連接P5與B2得到連線PB，對於包圍盒B中的所有點B』，計算其到連線PB的距離，則BI點為包圍盒B中離連線PB最遠的點
馬= ^I丨ァ-柯丨丨(3)
534、選取胳膊人體手臂關節點作為參考點，在左胳膊點上建立左參考系Xi，J/，Z1s，在右胳膊點上建立右參考系右，Ts ,苟；
則P8相對於左參考系if，Is , zS的坐標為與=馬—巧(4)；
P5相對於右參考系Ι , Γ/，Zi的坐標為J|(5);
535、左手到左機器人運動空間映射點的計算；右手到右機器人運動空間映射點的計
算；
其中，設左手相對於左肩膀的運動空間為，H1m <y KHls
，< 2- < ^ur ;左機器人的運動 間為，及！！ く好M，-4·;則
左手到左機器人運動空間映射點為
權利要求
1.一種雙臂機器人基於Kinect的人機互動方法,其中，Kinect為3D體感攝影機；其特徵在於包括以下步驟 S1、通過3D體感攝影機對操作者的手臂建立坐標系； S2、通過計算機對操作者的手臂圖像進行骨架提取； S3、通過包含了手臂的圖像分析確定食指和拇指的位置； S4、使用臨界阻尼振動模型解決突變問題； S5、使用過阻尼振動模型進行抖動處理。
2.根據權利要求I所述的雙臂機器人基於Kinect的人機互動方法，其特徵在於，所述步驟SI包括 S11、首先建立基本坐標系，標定食指尖，拇指尖，食指尖和拇指尖之間的部位還有上手臂。
3.根據權利要求I所述的雙臂機器人基於Kinect的無標記人機互動方法，其特徵在於所述步驟S2包括以下步驟 S21、使用Kinect獲取深度圖像，對深度圖像進行骨架提取。
4.根據權利要求I所述的雙臂機器人基於Kinect的人機互動方法，其特徵在於所述步驟S3包括以下步驟 S31、設操作者的手臂映射點為P，其中，不同的部位標註為Pf PN ;首先建立手掌包圍盒先連接P4與P5得到連線P45 ;然後以P5為底面中心點，連線P45為中心軸；建立一個長為L，寬為W，高為H的手掌包圍盒B ;通過統計發現，該手掌包圍盒B若要將手掌包圍其中；L，W和H只的取值如下
5.根據權利要求I所述的雙臂機器人基於Kinect的人機互動方法，其特徵在於所述步驟S4包括以下步驟 S41、在手臂映射點P與機器人末端E之間虛擬彈性力F，並虛擬機械手末端質量為M；手臂映射點P位置並不是直接等同於機械手末端E，而是通過彈性力F來拉攏；其中，手臂映射點P作為驅動源，機械手末端E作為被驅動對象，彈性力F作用於機械手末端E上使得機械手末端E趨向手臂映射點P ;彈性力F滿足以下關係 \k*D Dct F — t ， 其中，k為胡克係數，T為彈性力F的作用範圍半徑，D為手臂映射點與機器人末端E的距離；當手臂映射點與機器人末端的距離超過Γ時，則機械手末端不再受到彈性力F牽引；故當出現人體手臂人體手臂關節點提取失敗或錯誤的時候，人體手臂關節點前後位置出現突變，導致手臂映射點P也發生突變現象；此時，手臂映射點P與機械手末端E的距離必定大於I，彈性力F為O，則機械手末端E不再受手臂映射點P牽引，從而過濾了人體手臂關節點提取失敗或錯誤帶來的突變影響； S42、若彈性力F為O時，機械手末端E繼續運動，則會導致系統不可控；為防止上述情況，在機械手末端E虛擬阻力μ，阻力μ滿足如下關係
6.根據權利要求5所述的雙臂機器人基於Kinect的人機互動方法，其特徵在於所述步驟S4中，當#>r時，認為人體手臂關節點提取失敗導致人體手臂關節點位置發生突變現象，此時機械手末端E所受的牽引力為0，而由於阻力無窮大，此時機械手末端E立刻停止運動；當D ￡ r時，此時機器人控制系統處於臨界阻尼振動模型。
7.根據權利要求5所述的雙臂機器人基於Kinect的人機互動方法，其特徵在於所述步驟S5使用了過阻尼振動模型；過阻尼振動模型為當手臂映射點P在機械手末端E振動時，手臂映射點P對機械手末端E產生的引力不足以抵消機械手末端E受到的阻力，從而不能驅動機械手末端E運動， 設 2 <及3時，此時距離函數為
全文摘要
本發明公開了一種不接觸的雙臂機器人基於Kinect的人機互動方法，它允許操作者通過自然的人手三維動作控制六自由度虛擬機器人來完成操作任務；該範明基於視覺的人機互動來幫助操作者控制機器人、了解機器人動作和周圍環境。該發明實現了基於視覺引導的半自主共享控制，而視覺引導的半自主共享控制則使得具有目標抓取任務的末端執行器獲得了更精確的位置和範圍，使得抓取更精確。
文檔編號B25J9/16GK102814814SQ20121026731
公開日2012年12月12日 申請日期2012年7月31日 優先權日2012年7月31日
發明者張平, 杜廣龍, 李澤玲 申請人:華南理工大學