一種手勢識別方法及手勢識別裝置的製作方法

2023-05-29 01:21:16

專利名稱：一種手勢識別方法及手勢識別裝置的製作方法
技術領域：
本發明涉及一種手部姿態與位置的感知方法，具體涉及一種通過手勢實現人機互動的手勢識別方法及手勢識別裝置。
背景技術：
近年來，隨著多媒體技術的普及與發展，人們在對新型人機互動技術進行不懈的探索。使用肢體、手勢等直觀的方式完成計算機的操作，已成為一個技術熱點。而人的手部是又一種複雜的執行機制，其靈活度高、表現力豐富且可以完成精細的操作，但這些特性也使其姿態的識別與跟蹤成為計算機研究中的重大挑戰。因此，通過各種高科技手段實現的方便、先進、可靠的人機互動系統迎刃而生，很多暢銷的電子產品也是由於出色的人機互動手段而產生巨大的經濟效益。比如任天堂的WII遊戲機，其人機互動手段採取了通過遊戲機遙控器內部的加速度(傾角)傳感器介入人和遊戲的交互方式，從而戰勝了其他技術，突出了任天堂技術的先進；而SONY公司的PLAYSTATION III、微軟公司的X-BOX以及美國APPLE公司的IPHONE、IPAD，其成功很大程度上也是由於其產品的人機互動手段的先進，比如其接觸屏幕界面的電容傳感器和畫面橫豎切換的加速度傳感器(傾角)等。當前，手勢識別技術作為人類和計算機之間的交流手段而應用於智慧機器人、計算機、遊戲機、手機、顯示器、自動控制系統、生產技術等各種領域。來自微軟公司的US20100199228A1 (
公開日為2010年8月5日)提供了利用深度攝像頭捕獲並分析用戶的身體姿態，並將其解釋為計算機命令的方案。來自Nintendo公司的US20080291160A1 (
公開日為2008年11月27日)提供了利用紅外傳感器和加速度傳感器捕獲用戶手部位置的方案。此外，現有技術中還有利用數據手套來輔助對手部姿態的識別的方案。這些方案實現了對手部運動的識別，但也存在著各種不足，而且價格相當昂貴。來自松下電器產業株式會社的CN1276572A提供了使用攝像頭對手部進行拍照，然後對圖像進行歸一化分析，並將歸一化得到的圖像進行空間投影，並將所得的投影坐標與預先存儲的圖像的投影坐標進行比較。該方法比較直觀，但需要經過複雜的數學計算過程，且無法對手部的空間位置進行識別與跟蹤。而近期(2011年10月20日)在英國《每日電訊報》上報導的微軟公司研製的新一代體感傳感器，其工作方式是把牆壁、汽車、甚至手掌作為人機互動的觸控螢幕幕。微軟研究人員研製的新一代KINEET體感傳感器，可以追蹤從人的胳膊到牆壁的運動，其原理是在人的肩頭使用光學投影儀器，使人手在牆壁等平面的影像當作虛擬計算機鍵盤。美國卡內基梅隆大學的0MNIT0UCH也使用了類似原理。
這些貌似先進的手段，其原理都是如圖I所示的通過攝像機102等光學設備拍攝人類手部103的活動而得到手部103的運動圖像，然後通過計算機主機101進行圖像處理，從而識別手部特定部分的一連串的特定活動，由計算機主機101執行基於由手勢識別裝置識別到的手勢虛擬光標104而進行各種處理。但是，在應用上卻存在很多局限性，很多情況下他們的應用不是很方便，例如，當2隻手相對光源重疊、2隻手不在同一平面、或者是2隻手垂直光源、沒有光滑平面的時候等等大多數的現實情況下，上述「先進」技術也無法使用；另外，通過圖像識別一個姿勢的時間往往較長，至少需要10多秒鐘，這對於高效率、快節奏的現代人來說無疑是一種折磨。

發明內容
本發明所要解決的技術問題是提供一種手勢識別方法及手勢識別裝置，本發明能夠替代現有的人機互動裝置而通過手勢實現人機互動。本發明為了解決上述技術問題，公開了一種手勢識別方法，所述方法包括如下步驟
步驟A，獲取用於參照的運動參數以及手部運動參數；
步驟B，將手部運動參數與參照運動參數進行比較，得到手部運動參數與參照運動參數之間的角度差值；
步驟C，根據手部運動參數與參照運動參數之間的角度差值得到手部的位置變化信
息；
步驟D，對手部的位置變化信息進行識別作為手勢信息輸出。進一步，所述用於參照的運動參數與手部運動參數是在空間具有3個自由度、6個自由度或9個自由度的運動參數。進一步，所述手部運動參數與參照運動參數之間的角度差值為同一自由度之間的角度差值。進一步，所述手部運動參數為手指在運動狀態下的空間位置信息。進一步，所述參照的運動參數為手背或手腕在運動狀態下的空間位置信息。本發明還公開了一種手勢識別裝置，所述裝置包括微處理器、無線數據傳輸模塊、處於不同位置的第一傳感器和多個第二傳感器，所述第一傳感器和多個第二傳感器通過導線與所述微處理器相連接，其中，
所述第一傳感器，用於獲取作為參照的運動參數；
所述多個第二傳感器，用於獲取手部不同位置的運動參數；
所述微處理器，用於計算所述多個第二傳感器分別獲取的手部運動參數與所述第一傳感器獲取的參照運動參數之間的角度差值，並根據手部運動參數與參照運動參數之間的角度差值計算手部的位置變化信息；
所述數據傳輸模塊，用於將所述微處理器計算的手部位置變化信息作為手勢信息輸出。進一步，所述第一傳感器和所述第二傳感器是一種具有多自由度的傳感器，用於檢測在空間具有3個自由度、6個自由度或9個自由度的運動參數
進一步，所述檢測在空間具有3個自由度運動參數的傳感器為3個自由度的磁場傳感器或3個自由度的加速度傳感器。進一步，所述檢測在空間具有6個自由度運動參數的傳感器為3個自由度的磁場傳感器以及3個自由度的加速度傳感器的組合。進一步，所述檢測在空間具有9個自由度運動參數的傳感器為3個自由度的磁場傳感器、3個自由度的加速度傳感器以及3個自由度的旋轉傳感器的組合。
進一步，所述多個第二傳感器分別置於手指的指頭或是手指的關節處。進一步，所述第一傳感器置於手背或手腕處。採用上述本發明技術方案的有益效果是本發明提供的手勢識別裝置不需要光學設備的輔助，而是採用傳感器器件進行手勢識別，能夠替代現有的人機互動裝置而通過手勢實現人機互動，在一定程度上精簡了人機互動系統的複雜性；另外，通過本發明提供的方法及裝置實現的手勢識別技術增強了識別速度，手勢識別時間縮短至毫秒級，且能夠同時對兩隻手的手勢進行識別，具有一定的靈活性。


圖I為現有技術中通過光學設備進行手勢識別的整體系統結構 圖2為本發明實施例中手勢識別裝置的邏輯結構 圖3為本發明手勢識別裝置的具體應用原理 圖4為本發明實施例中手勢識別方法的流程 圖5A為本發明實施例中表示數字I的手勢 圖5B為本發明實施例中表示數字2的手勢圖；
圖5C為本發明實施例中表示數字5的手勢 圖為本發明實施例中表示數字8的手勢圖。
具體實施例方式以下結合附圖對本發明的原理和特徵進行描述，所舉實例只用於解釋本發明，並非用於限定本發明的範圍。圖2為本發明實施例中手勢識別裝置的邏輯結構圖，如圖2所示，所述手勢識別裝置包括微處理器201、無線數據傳輸模塊204、處於不同位置的第一傳感器202和多個第二傳感器203 (第二傳感器I、第二傳感器2、……、第二傳感器n)，所述第一傳感器202和多個第二傳感器204與所述微處理器201相連接。在本發明實施例中，所述第一傳感器202，用於獲取作為參照的運動參數；所述多個第二傳感器203，用於獲取手部不同位置的運動參數；所述微處理器201，用於計算所述多個第二傳感器203分別獲取的手部運動參數與所述第一傳感器202獲取的參照運動參數之間的角度差值，並根據手部運動參數與參照運動參數之間的角度差值計算手部的位置變化信息；所述無線數據傳輸模塊204，用於將所述微處理器201計算的手部位置變化信息作為手勢信息輸出。在本發明實施例中，所述第一傳感器202和所述第二傳感器203是一種多自由度傳感器，能夠檢測在空間具有3個自由度、6個自由度或9個自由度的運動參數。在該實施方式中，所述檢測在空間具有3個自由度運動參數的傳感器為3個自由度的磁場傳感器或3個自由度的加速度傳感器；所述檢測在空間具有6個自由度運動參數的傳感器為3個自由度的磁場傳感器以及3個自由度的加速度傳感器的組合；所述檢測在空間具有9個自由度運動參數的傳感器為3個自由度的磁場傳感器、3個自由度的加速度傳感器以及3個自由度的旋轉傳感器的組合。圖3為本發明手勢識別裝置的具體應用原理圖，在實際應用中，可以根據實際需要選擇相應自由度的傳感器作為第一傳感器202或第二傳感器203，在本發明實施例中，所述第一傳感器202可以置於人體的手背或手腕處，並與同設於手背或手腕處的微處理器201相連接；所述多個第二傳感器203可以分別置於人體不同手指的指頭或是手指的關節處，並通過導線與設於手背或手腕處的微處理器201相連接。通過手指或手背上設置的傳感器檢測相應部位在X、Y、Z空間三個自由度(即空間坐標)的運動參數，為了獲取更精準的手勢參數，還可以檢測圍繞X、Y、Z三個軸旋轉自由度(即手部的俯仰角、橫擺角與扭轉角)的運動參數以及根據地理磁場方向所確定的A、B、C三個方向(如A指向正北方、B指正東方、C指向正上方)自由度的運 動參數。由微處理器201對各第二傳感器203獲取的運動參數與第一傳感器202獲取的運動參數進行比較，通過比較兩個參數在同一自由度之間的角度差值，而得到手指的位置變化信息，並通過無線數據傳輸模塊204將其作為手勢信息輸出。本發明的手勢識別裝置可以設計成諸如手套或手環與指環相結合的形式，當然，所述的手環與指環也並不一定是完整的環形，也可以是不閉合的半環形，可以根據實際需要或佩戴的方便而設計成其他各種形式。在上述實施方式中，可以通過手勢識別裝置代替人機互動的輸入設備計算機鍵盤、滑鼠、觸控螢幕幕等，以及代替遊戲控制裝置(JOYSTICK)、遙控器、聲音識別系統、光學設備等；通過本發明實施例提供的手勢識別裝置輸出的手勢信息可以控制諸如計算機、智慧型電話機、電視、IPADS、遊戲設備、機器控制設備、運動裁判設備、車輛、飛行器顯示設備、辦公設備、列印設備、顯示設備、三維作戰沙盤等機器的運行。圖4為本發明實施例中手勢識別方法的流程圖，如圖4所示，所述手勢識別方法包括如下步驟
步驟401，獲取用於參照的運動參數以及手部運動參數；
該實施方式中，所述手部運動參數為手指在運動狀態下的空間位置信息；所述參照的運動參數為手背或手腕在運動狀態下的空間位置信息。所述用於參照的運動參數與手部運動參數是在空間具有3個自由度、6個自由度或9個自由度的運動參數。步驟402，將手部運動參數與參照運動參數進行比較，得到手部運動參數與參照運動參數之間的角度差值；
本實施例中，所述手部運動參數與參照運動參數之間的角度差值為同一自由度之間的角度差值。步驟403，根據手部運動參數與參照運動參數之間的角度差值得到手部的位置變化信息；
步驟404，對手部的位置變化信息進行識別作為手勢信息輸出。顯然，本領域的技術人員應該明白，上述的本發明的各模塊或各步驟可以用通用的計算裝置來實現，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網絡上，可選地，它們可以用計算裝置可執行的程序代碼來實現，從而，可以將它們存儲在存儲裝置中由計算裝置來執行，或者將它們分別製作成各個集成電路模塊，或者將它們中的多個模塊或步驟製作成單個集成電路模塊來實現。因此，本發明不限制於任何特定的硬體和軟體結合。以下通過具體的實施例詳細描述本發明的原理，當人體手部如圖3所示佩戴一套本發明的手勢識別裝置時，任何一個手指的三維運動都會被位於手指的第二傳感器實時監測到，手指的任何運動都被指頭或者是手指關節上的第二傳感器記錄並和置於手背的第一傳感器監測到的數據進行計算，同一自由度(或者同軸)的角度差體現為手指位置的變化和姿勢。由於數據的比較是指頭相對於手背，所以本發明專利不需要任何固定和虛擬平面，通過傳感器就能夠實時記錄2個手的10個手指在任意空間的運動和變化。如果所述第一傳感器和所述第二傳感器採用的是具有9個自由度的傳感器，則能記錄手和手指姿勢變動的速度、加速度、角加速度等參數。當將上述手勢識別裝置應用於打電話或者切換電視頻道的時候可以用中國人常用的手指數字方法。參見圖5A至圖5D，當用手指姿勢表示中國人的「I」時，只有位於食指的傳感器獲取的X、Y、Z和A、B、C六個參數和位置與手背或者手腕的傳感器獲取的上述六個參數基本相同，而中指和中指後面2個手指(共3個指頭)的X、Y、Z和A、B、C基本相同，但是X、Y、Z和A、B、C中會有一個參數和手背上的相應參數存在150度到270度的角度差。(4個手指的手指蓋，即傳感器的位置附近，基本和手背平行)。當用手指姿勢表示中國人的「2」時，食指和中指的傳感器獲取的X、Y、Z和A、B、C六個參數和位置於手背或者手腕的上述六個參數基本相同，中指後面2個手指之間的X、Y、Z和A、B、C基本相同，但是X、Y、Z和A、B、C中會有一個參數和手背上的相應參數存在150度到270度的角度差。當用手指姿勢表示中國人的「5」時，則5個手指的傳感器分別獲取的X、Y、Z和A、B、C六個參數和位置與手背或者手腕的傳感器獲取的上述六個參數都基本相同。在區別中國人使用手勢表示的數字「I」和「8」時，由於拇指不像上述4個手指，拇指的傳感器獲取的X、Y、Z和A、B、C與手背或手腕的傳感器獲取的X、Y、Z和A、B、C存在一定的角度差，但是當拇指姿勢為「I」或「8」時其位置不一樣，因此可以從位於拇指的傳感器和位於手背或手腕的傳感器獲取的X、Y、Z和A、B、C的角度差判斷出拇指的位置，從而判斷該手勢表示的是「I」還是「8」。當用手指姿勢表示其它數字時，其原理與上述方法類同，此處不再一一贅述。通過本發明提供的手勢識別裝置運用上述原理可以實現利用手勢信息打電話或者切換電視頻道的功能，不需要任何光學設備的輔助，且識別時間只需要毫秒，具有更快的反應速度。當將本發明所述的手勢識別裝置應用於電腦輸入時，由於本發明提供的手勢識別裝置是在3維以上空間運用，所以2個手控制的「2組鍵盤」之間可以是任何角度，甚至可以是2隻手都在握汽車方向盤的時候。在使用虛擬鍵盤利用左右手進行打字時，手指「觸摸」的相對位置，或者按鍵之間的距離是固定的，並結合軟體進行識別或判斷。比如當用右手輸A 「YOU」時，計算機也可以把「UPI 」當成一種可能性，但是幾個字下來，計算機就能夠判斷出來是「YOU」還是「UPI」;在該實施方式中，利用手勢識別裝置進行電腦輸入的原理與上述手勢表示數字的原理相類似，都是通過位於手指和手背或手腕的傳感器獲取相應的X、Y、Z和A、B、C等參數，通過計算手指相對於手背或手腕的同一自由度(或者同軸)的參數的角度差而確定手指的位置變化和姿勢，從而輸入相應的信息。同時在採用本發明的手勢識別裝置進行輸入的手段時還可以發出聲音，讓人選擇，選擇時通過手勢「說」NO，或者0K。目前MICROSOFT的辦法是手在一個平面「寫字」，發光裝置照在手指上，相機根據 手在平面的位置判斷可能是哪個字母，光源、手指、平面和相機4者之間受到很多外部因素的限制。而採用本發明的手勢識別裝置沒有光源、相機、平面的限制，虛擬鍵盤可以在任意空間或者平面。與MICROSOFT相比本發明的優勢在於，前者使用桌面的時候，桌面要平，沒有其他東西，而本發明所使用的虛擬桌面，2隻手可以是在一個咖啡杯的2側，或者是桌上的菜盤子，當然也可以是其他地方，如在菜盤子旁邊也可以；再比如，當司機在開車時，手不離開方向盤也可以實時進行文字輸入；士兵在戰場上，2隻手扶槍，在保證避免錯誤擊發子彈的情況下，手可以在槍託上面進行文字輸入，以實現實時的信息傳輸。因為本發明的手勢識別裝置不需要光源和相機看見手指在桌面的位置，文字的輸入可以根據手指在3維空間的運動由傳感器做出判斷，因此具有更高的靈活性、高速等特點。當將本發明所述的手勢識別裝置應用 於秘密通信時，信息可以通過上述原理利用手勢輸入並被機器所識別，例如手勢信息可以在衣兜內部或者在有遮蓋物掩飾的情況下完成，而輸入的手勢信息可以通過音頻或視頻的方式輸出。比如在進行橄欖球比賽時，四分衛可以運用本發明的手勢識別裝置通過手勢發布進攻路徑，己方隊員通過音頻得到信息而協同進攻。同時，本發明所述的手勢識別裝置還可用於競賽中的運動裁判，通過本發明的手勢識別裝置和識別方法識別裁判的手勢信息，從而減少人為識別錯誤，使得競賽更加公平、公正。以上所述僅為本發明的較佳實施例，並不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
權利要求
1.一種手勢識別方法，其特徵在於，所述方法包括如下步驟 步驟A，獲取用於參照的運動參數以及手部運動參數； 步驟B，將手部運動參數與參照運動參數進行比較，得到手部運動參數與參照運動參數之間的角度差值； 步驟C，根據手部運動參數與參照運動參數之間的角度差值得到手部的位置變化信息； 步驟D，對手部的位置變化信息進行識別作為手勢信息輸出。
2.根據權利要求I所述的手勢識別方法，其特徵在於，所述用於參照的運動參數與手部運動參數是在空間具有3個自由度、6個自由度或9個自由度的運動參數。
3.根據權利要求2所述的手勢識別方法，其特徵在於，所述手部運動參數與參照運動參數之間的角度差值為同一自由度之間的角度差值。
4.根據權利要求I 3任一項所述的手勢識別方法，其特徵在於，所述手部運動參數為手指在運動狀態下的空間位置信息。
5.根據權利要求I 3任一項所述的手勢識別方法，其特徵在於，所述參照的運動參數為手背或手腕在運動狀態下的空間位置信息。
6.一種手勢識別裝置，其特徵在於，所述裝置包括微處理器、無線數據傳輸模塊、處於不同位置的第一傳感器和多個第二傳感器，所述第一傳感器和多個第二傳感器通過導線與所述微處理器相連接，其中， 所述第一傳感器，用於獲取作為參照的運動參數； 所述多個第二傳感器，用於獲取手部不同位置的運動參數； 所述微處理器，用於計算所述多個第二傳感器分別獲取的手部運動參數與所述第一傳感器獲取的參照運動參數之間的角度差值，並根據手部運動參數與參照運動參數之間的角度差值計算手部的位置變化信息； 所述數據傳輸模塊，用於將所述微處理器計算的手部位置變化信息作為手勢信息輸出。
7.根據權利要求6所述的手勢識別裝置，其特徵在於，所述第一傳感器和所述第二傳感器是一種具有多自由度的傳感器，用於檢測在空間具有3個自由度、6個自由度或9個自由度的運動參數。
8.根據權利要求7所述的手勢識別裝置，其特徵在於，所述檢測在空間具有3個自由度運動參數的傳感器為3個自由度的磁場傳感器或3個自由度的加速度傳感器。
9.根據權利要求7所述的手勢識別裝置，其特徵在於，所述檢測在空間具有6個自由度運動參數的傳感器為3個自由度的磁場傳感器以及3個自由度的加速度傳感器的組合。
10.根據權利要求7所述的手勢識別裝置，其特徵在於，所述檢測在空間具有9個自由度運動參數的傳感器為3個自由度的磁場傳感器、3個自由度的加速度傳感器以及3個自由度的旋轉傳感器的組合。
11.根據權利要求6或7所述的手勢識別裝置，其特徵在於，所述多個第二傳感器分別置於手指的指頭或是手指的關節處。
12.根據權利要求6或7所述的手勢識別裝置，其特徵在於，所述第一傳感器置於手背或手腕處。
全文摘要
本發明涉及一種手勢識別方法及手勢識別裝置，所述手勢識別方法包括步驟A，獲取用於參照的運動參數以及手部運動參數；步驟B，將手部運動參數與參照運動參數進行比較，得到手部運動參數與參照運動參數之間的角度差值；步驟C，根據手部運動參數與參照運動參數之間的角度差值得到手部的位置變化信息；步驟D，對手部的位置變化信息進行識別作為手勢信息輸出。本發明提供的手勢識別裝置不需要光學設備的輔助，而是採用傳感器器件進行手勢識別，能夠替代現有的人機互動裝置而通過手勢實現人機互動，在一定程度上精簡了人機互動系統的複雜性；且具有識別速度快以及一定的靈活性等特點。
文檔編號G06F3/01GK102707799SQ20121012789
公開日2012年10月3日 申請日期2012年4月27日 優先權日2011年9月12日
發明者詹姆斯·劉 申請人:北京盈勝泰科技術有限公司