一種支持多點觸摸手勢的人機互動戒指的製作方法
2023-05-13 18:36:41
專利名稱：一種支持多點觸摸手勢的人機互動戒指的製作方法
技術領域：
本發明涉及計算機應用技術領域，特別是涉及一種支持多點觸摸手勢的人機互動戒指，
背景技術：
現代的新型人機互動有很多種形式，包括多點的觸控螢幕，基於傳感器的體感設備，基於圖像識別的交互，基於肌肉計算的交互等。以上的各種交互方式能夠彌補很多以前存在的不足，但是這些交互方式也存在一些新問題和缺點。多點觸摸的交互方式，這種交互方式現在已經非常普遍的應用在各種設備中了，該設備的原理是當人的手指接觸觸控螢幕元件時，該點的電容或者電阻會發生相應的變化，通過採集不同點的數值就可以判斷出觸摸的位置。但是這種設備的局限在於:操作者必須在設備前使用並與觸控螢幕接觸，當遠離設備時是無法操作該設備的。體感型人機互動方式，其包括:通過遙控器內的加速度傳感器感知使用者手部的運動來進行交互，或是通過一種特殊的攝像頭，這種攝像頭可以採集景深信息，然後通過對圖像的處理重構出使用者的骨架來進行交互。體感交互方式的缺點在於使用者必須在設備前大幅度的動作才能夠被準確的判斷為交互動作，微小的動作是不被接受的。一種肌肉計算的交互設備，設備通過採集人體肌肉的肌電信號來判斷人體手部的動作，從而進行交互。這種設備目前還不成熟，設備笨重且不易攜帶。採集人手部動作的數據手套，該手套的原理是每一個手指都附著一個彎曲傳感器，通過對彎曲傳感器的變化的採集來重現人體的手部的動作最終完成交互。這種設備造價極為昂貴，且佩帶起來相對麻煩，尤其是在炎熱的夏季這種設備不適合普通用戶使用。—種可佩帶式的人機互動設備該裝置提出了一個通過判斷摩擦起始點新穎的方式解決了傳統體感設備的數據難以得到動作的起始的問題。另外麥克風指向手指皮膚來採集骨傳導音頻的方式也大大的提高了摩擦聲音的信噪比。針對於傳統的體感設備，或者遙控設備，該設備有很多優點。首先該發明不要求使用者在交互動作中大幅度的運動，即可以用手指非常小幅的摩擦和點擊就可以輕鬆完成和設備之間的交互。另外該發明是一個可穿戴式的交互設備，也就是說對於隨時隨地的交互都提供了便利。最後該設備的目的是「把所有的平面都變成觸摸板」，這對提高交互體驗有著非常重要的促進作用。但是不支持多點觸摸，使用起來有所不便，而且支持手勢較少。
發明內容
本發明的目的在於提供一種新型人機互動戒指，該戒指支持一種全新人機互動方式:可接任何固體表面作為觸摸平面，同時支持類似觸控螢幕的多點觸摸功能，通過觸摸該表面完成各種手勢動作，並以該動作控制計算機或智能設備實現相關操作。為實現上述目的，本發明提供了一種支持多點觸摸手勢的人機互動戒指，包括:加速度傳感器模塊，用於測量單個手指與作用平面之間的角度關係，判斷手指是否發生點擊動作；陀螺儀模塊，用於測量佩戴戒指的手指與作用平面的角速度變化，判斷手指是否發生旋轉動作，並檢測佩戴手指的運動軌跡；距離傳感器模塊，包括多個紅外管，用於測量所述多個手指之間的距離關係從而判斷手指之間的位置關係；麥克風傳感器模塊，用於獲得佩戴戒指的手指與作用表面的滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動或點擊動作；微處理器模塊，用於根據所述加速度傳感器模塊、陀螺儀模塊、距離傳感器模塊的測量數據和麥克風傳感器模塊獲得的滑動摩擦聲對所述人機互動戒指進行調度、控制和處理，從而實現多點手勢的人機互動。進一步的，所述加速度傳感器模塊包括:點擊判斷模塊，用於處理加速度傳感器模塊測量的數據，並通過訓練的模型判斷手部的姿態和是發生點擊動作。進一步的，所述陀螺儀模塊包括:位移處理子模塊，用於通過對所述陀螺儀傳感器模塊進行建模處理後，根據所述陀螺儀的測量數據計算所述人機互動戒指的位移軌跡並判斷手指是否發生旋轉。進一步的，所述距離傳感器模塊包括:紅外管模塊，包括多個紅外管，用於發射相應頻段的紅外線；感應管模塊，用於通過接收所述紅外線，並感應所述紅外線強度來衡量發射點與反射面的距離，即佩戴戒指的手指與其他手指的距離；控制器模塊，用於控制所述紅外管模塊的多個紅外管開合，在每個紅外管開合的時機測量感應管模塊的衡量值，從而得到不同方向的手指之間的距離關係。進一步的，所述麥克風傳感器模塊包括:音頻處理模塊，用於當手指與作用表面發生摩擦時，聲波會通過手指骨傳導到麥克風傳感器模塊中，通過算法來判斷是否是一個摩擦聲，從而得到摩擦的起始點並觸發相應動作。進一步的，所述微處理模塊，包括:捏合和拉伸命令模塊，通過手指骨傳導的所述滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作；然後通過距離式傳感器模塊來判斷手指的開合；融合兩個方面判斷是否觸發相應的手勢；旋轉命令模塊，通過手指骨傳導的所述滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作；通過所述陀螺儀傳感器模塊判斷手指是否以響應的軸心點發生一個順時針或逆時針的旋轉；然後通過距離式傳感器模塊判斷手指間的位置關係；融合三個方面判斷是否觸發旋轉手勢；拖拽命令模塊，通過手指骨傳導的所述滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作；然後通過距離傳感器來判斷手指之間的位置關係；融合兩個方面判斷是否觸發拖拽手勢；點擊命令模塊，通過手指骨傳導所述的滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發碰撞點擊動作；通過所述加速度傳感器模塊判斷是否發生了一次點擊動作；然後通過距離傳感器來判斷手指之間的位置關係；融合兩個方面判斷是否觸發點擊手勢。所述人機互動戒指還包括:無線收發模塊，通過無線的方式和作用設備進行連接實現人機互動，包括建立連接、命令收發功能；電源管理模塊，用來保證所述人機互動戒指能在相對較低的功耗下運行，當所述人機互動戒指不在激活狀態下，所述電源管理模塊會使所述人機互動戒指自動處於休眠狀態。較佳的，所述的距離傳感器為反射式測距傳感器。本發明是基於佩戴式的支持多點觸摸技術的人機互動戒指。在傳統的單點觸摸模式的基礎上，加入了新的手勢。使得該戒指可以支持類似觸控螢幕的多點觸摸功能。本發明既能通過判斷摩擦起始點新穎的方式解決傳統體感設備的數據難以得到動作的起始的問題，又通過麥克風指向手指皮膚來採集骨傳導音頻的方式大大的提高了摩擦聲音的信噪比，更是通過設計在戒指上的距離式傳感器，通過算法對距離進行訓練得到模型進行判斷，支持多種多點手勢。
圖1是本發明的系統結構圖；圖2是距離傳感器測量手指間的間距示意圖；圖3是多發射管切換測距原理示意圖；圖4a是捏合和拉伸手勢示意圖；圖4b是捏合和拉伸手勢數據融合示意圖；圖5a是旋轉手勢示意圖；圖5b是旋轉手勢數據融合示意圖；圖6a是拖拽手勢示意圖；圖6b是拖拽手勢數據融合示意圖；圖7a是點擊手勢示意圖；圖7b是點擊手勢數據融合示意圖。
具體實施例方式以下結合附圖和具體實施例對本發明進行詳細描述，但不作為對本發明的限定。如圖1所示，圖1是本發明的系統結構圖。該人機互動戒指包括:一種支持多點觸摸手勢的人機互動戒指，包括:加速度傳感器模塊，用於測量單個手指與作用平面之間的角度關係，判斷手指是否發生點擊動作，主要是測量地球的地心引力與手之間的角度關係，這樣就可以測量到手目前處於一種怎樣的姿態；陀螺儀模塊，用於測量佩戴戒指的手指與作用平面的角速度變化，判斷手指是否發生旋轉動作，以戒指戴在食指為例，主要是為了得到食指的運行軌跡。當食指在一個表面滑動時，可以把手指想像成為一隻鉛筆。當「鉛筆」沿著一個角度沿著球面時畫線，其角度會發生改變。可以把人的指末端關節想像成為球體的球心，手指就是球體的半徑，那麼只要知道其角度的變化就可以跟蹤出一條相應的軌跡；距離傳感器模塊，包括多個紅外管，用於測量所述多個手指之間的距離關係從而判斷手指之間的位置關係；麥克風傳感器模塊，用於獲得佩戴戒指的手指與作用表面的滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動或點擊動作；微處理器模塊，用於根據所述加速度傳感器模塊、陀螺儀模塊、距離傳感器模塊的測量數據和麥克風傳感器模塊獲得的滑動摩擦聲對所述人機互動戒指進行調度、控制和處理，從而實現多點手勢的人機互動。進一步的，所述加速度傳感器模塊包括:點擊判斷模塊，用於處理加速度傳感器模塊測量的數據，並通過訓練的模型判斷手部的姿態和是發生點擊動作。進一步的，所述陀螺儀模塊包括:位移處理子模塊，用於通過對所述陀螺儀傳感器模塊進行建模處理後，根據所述陀螺儀的測量數據計算所述人機互動戒指的位移軌跡並判斷手指是否發生旋轉。進一步的，所述距離傳感器模塊包括:紅外管模塊，包括多個紅外管，用於發射相應頻段的紅外線；感應管模塊，用於通過接收所述紅外線，並感應所述紅外線強度來衡量發射點與反射面的距離，即佩戴戒指的手指與其他手指的距離；控制器模塊，用於控制所述紅外管模塊的多個紅外管開合，在每個紅外管開合的時機測量感應管模塊的衡量值，從而得到不同方向的手指之間的距離關係。進一步的，所述麥克風傳感器模塊包括:音頻處理模塊，用於當手指與作用表面發生摩擦時，聲波會通過手指骨傳導到麥克風傳感器模塊中，通過算法來判斷是否是一個摩擦聲，從而得到摩擦的起始點並觸發相應動作。進一步的，所述微處理模塊，包括:捏合和拉伸命令模塊，通過手指骨傳導的所述滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作；然後通過距離式傳感器模塊來判斷手指的開合；融合兩個方面判斷是否觸發相應的手勢；旋轉命令模塊，通過手指骨傳導的所述滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作；通過所述陀螺儀傳感器模塊判斷手指是否以響應的軸心點發生一個順時針或逆時針的旋轉；然後通過距離式傳感器模塊判斷手指間的位置關係；融合三個方面判斷是否觸發旋轉手勢；拖拽命令模塊，通過手指骨傳導的所述滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作；然後通過距離傳感器來判斷手指之間的位置關係；融合兩個方面判斷是否觸發拖拽手勢；點擊命令模塊，通過手指骨傳導所述的滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發碰撞點擊動作；通過所述加速度傳感器模塊判斷是否發生了一次點擊動作；然後通過距離傳感器來判斷手指之間的位置關係；融合兩個方面判斷是否觸發點擊手勢。所述人機互動戒指還包括:
無線收發模塊，通過無線的方式和作用設備進行連接實現人機互動，包括建立連接、命令收發功能，主要用以和被控設備進行通訊；電源管理模塊，用來保證所述人機互動戒指能在相對較低的功耗下運行，當所述人機互動戒指不在激活狀態下，也就是在不在被使用的情況下，所述電源管理模塊會使所述人機互動戒指自動處於休眠狀態。達到降低功耗，提高電池續航的作用。較佳的，所述的距離傳感器為反射式測距傳感器。其中，微處理器模塊主要負責整個系統的調度、控制和處理工作。其中調度是指在時序上處理每個傳感器和模塊工作的流程。控制是指協調每個模塊的共做狀態，並向無線模塊發送相關的命令數據。處理分為以下2部分:數據處理:1.處理距離傳感器採集到的數據，判斷手指之間的距離，從而得到手指之間的距尚關係。2.處理陀螺儀採集到的數據，並根據數據還原相應的運動軌跡。3.處理加速度傳感器採集到的數據，並通過訓練的模型判斷手部的姿態和是否發生食指的點擊動作。4.處理得到的骨傳導聲音的音頻進行處理，並通過分類器判斷該音頻是否是一個滑動摩擦。數據融合:根據不同傳感器得到的結果進行數據融合，對融合後的結果進行判斷，判斷其是否是一個需要作為「命令」的手勢。利用距離傳感器模塊測量手指間的間距，如圖2所示，圖2是距離傳感器測量手指間的間距示意圖。系統通過紅外的反射式傳感器測量戒指所在手指與其他手指之間的距離。基本原理是，距離傳感器由2部分組成，其中一部分是用於發射的紅外管部分，另外一部分是用於接收的感應管部分。系統控制紅外管發射相應頻段的紅外線。當紅外線遇到其他表面的時候，會發生反射，此時反射的紅外線會反饋到感應管中。由於紅外線發射是發散性的，所以當反射表面材料固定的時候，就可以通過感應管感應出來的強度來衡量發射點與反射面的距離。由於以上原理的局限，感應器所測量的電平值與距離之間的關係並不是線性關係，所以需要通過擬合一條曲線去逼近出一條測量值曲線。曲線可以存儲在一個一一對應的向量中，這樣就可以通過類似查表的方式快速的計算出兩點的距離，而不需要複雜的計算。但是在該發明的應用中，由於每個人的操作習慣不同，以戒指佩戴在食指上為例，針對於手勢I和手勢2很難保證被測量的表面(拇指)和發射器表面(食指)之間的角度是固定不變的，所以需要針對以上的原理做一些改變。即需要多個紅外二級管來保證多角度都能得到一個良好的效果，如圖3所示，圖3是多發射管切換測距原理示意圖。但是為了保證體積更小，所以在實現中，我們採用了切換的方式來保證:通過控制器來控制不同的紅外二極體的開合，然後在每個二極體開合的時機測量感應管的輸出值從而得到不同方向的距離。其中每個方向的距離曲線都需要獨立去訓練。發明中，尺寸更加小的反射式測距傳感器被應用於測量食指與中指之間的距離。相應的測量這個距離的主要目的是為了判斷是否執行了手勢3或者手勢4。利用融合的方法多點的觸摸指令，以戒指佩戴在食指上為實施例進行說明。
手勢I如圖4a所示，圖4a是捏合和拉伸手勢示意圖。手勢I主要是通過2方面數據融合來進行判斷的。第一方面是通過判斷食指骨傳導的手指與表面的滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作，即判斷是否是一個摩擦動作。第二方面，是通過距離式傳感器來判斷手指的開合。通過兩方面的數據融合，就可以組合成為相應的手勢，即捏合和拉伸，如圖4b所示，圖4b是手勢I的融合示意圖。手勢2如圖5a所示，圖5a是旋轉手勢示意圖。手勢2是由3方面的數據融合來判斷的。第一方面是通過判斷食指骨傳導的手指與表面的滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作，即判斷是否是一個摩擦動作。第二方面是通過距離式傳感器判斷拇指與食指間的位置關係，即是否達到一個預先約定的閾值範圍之內。第三方面是通過手指上的陀螺儀傳感器判斷手指是否在平行於手指的軸向發生一個順時針或逆時針的旋轉。當三方面融合後的數據都滿足時，手勢2才被觸發，如圖5b所示，圖5b是手勢2的融合示意圖。手勢3如圖6a所示，圖6a是拖拽手勢示意圖。手勢3主要是通過2方面數據融合來進行判斷的。第一方面是通過判斷食指骨傳導的手指與表面的滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作，即判斷是否是一個摩擦動作。第二方面，是通過距離傳感器來判斷食指與中指指尖的位置關係，即是否達到一個預先約定的閾值範圍之內。當2方面的融合後的數據都滿足時，然後再通過陀螺儀測量的軌跡一起形成手勢3，如圖6b所示，圖6b是手勢3的融合示意圖。手勢4如圖7a所示，圖7a是點擊手勢示意圖。手勢4是通過3方面的數據融合來進行判斷的。第一方面是通過判斷食指骨傳導的手指與表面的碰撞聲來判斷手指是否與表面發生接觸，並觸發碰撞點擊動作。第二方面是通過手指的加速度傳感器檢測是否發生了手指點擊方向上的運動。第三方面是通過距離傳感器來判斷食指與中指指尖的位置關係，即是否達到一個預先約定的閾值範圍之內。當三方面融合後的數據都滿足時，手勢4才被觸發，如圖7b所示，圖7b是手勢4的融合示意圖。當然，本發明還可有其它多種實施例，在不背離本發明精神及其實質的情況下，熟悉本領域的技術人員可根據本發明作出各種相應的改變和變形，但這些相應的改變和變形都應屬於本發明權利要求的保護範圍。
權利要求
1.一種支持多點觸摸手勢的人機互動戒指，其特徵在於，包括: 加速度傳感器模塊，用於測量單個手指與作用平面之間的角度關係，判斷手指是否發生點擊動作； 陀螺儀模塊，用於測量佩戴戒指的手指與作用平面的角速度變化，判斷手指是否發生旋轉動作，並檢測佩戴手指的運動軌跡； 距離傳感器模塊，用於測量所述多個手指之間的距離關係從而判斷手指之間的位置關係; 麥克風傳感器模塊，用於獲得佩戴戒指的手指與作用表面的滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動或點擊動作； 微處理器模塊，用於根據所述加速度傳感器模塊、陀螺儀模塊、距離傳感器模塊的測量數據和麥克風傳感器模塊獲得的滑動摩擦聲對所述人機互動戒指進行調度、控制和處理後觸發相應的手勢，從而實現多點手勢的人機互動。
2.根據權利要求1所述的人機互動戒指，其特徵在於，所述加速度傳感器模塊包括: 點擊判斷模塊，用於處理加速度傳感器模塊測量的數據，並通過訓練模型判斷手部的姿態和是發生點擊動作。
3.根據權利要求1所述的人機互動戒指，其特徵在於，所述陀螺儀模塊包括: 位移處理子模塊，用於通過對所述陀螺儀模塊進行建模處理後，根據所述陀螺儀模塊的測量數據計算所述人機互動戒指的位移軌跡並判斷手指是否發生旋轉。
4.根據權利要求1所述的人機互動戒指，其特徵在於，所述距離傳感器模塊包括: 紅外管模塊，包括多個紅外管，用於發射相應頻段的紅外線； 感應管模塊，用於通過接收所述紅外線，並感應所述紅外線強度來衡量發射點與反射面的距離，即佩戴戒指的手指與其他手指的距離； 控制器模塊，用於控制所述紅外管模塊的多個紅外管開合，在每個紅外管開合的時機測量感應管模塊的衡量值，從而得到不同方向的手指之間的距離關係。
5.根據權利要求1所述的人機互動戒指，其特徵在於，所述麥克風傳感器模塊包括: 音頻處理模塊，用於當手指與作用表面發生摩擦時，聲波會通過手指骨傳導到麥克風傳感器模塊中，通過算法來判斷是否是一個摩擦聲，從而得到摩擦的起始點並觸發相應動作。
6.根據權利要求1所述的人機互動戒指，其特徵在於，所述微處理模塊，包括: 捏合和拉伸命令模塊，通過手指骨傳導的所述滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作；然後通過距離式傳感器模塊來判斷手指的開合；融合兩個方面判斷是否觸發相應的手勢； 旋轉命令模塊，通過手指骨傳導的所述滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作；通過所述陀螺儀傳感器模塊判斷手指是否以響應的軸心點發生一個順時針或逆時針的旋轉；然後通過距離式傳感器模塊判斷手指間的位置關係；融合三個方面判斷是否觸發旋轉手勢； 拖拽命令模塊，通過手指骨傳導的所述滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發滑動動作；然後通過距離傳感器來判斷手指之間的位置關係；融合兩個方面判斷是否觸發拖拽手勢；點擊命令模塊，通過手指骨傳導所述的滑動摩擦聲來判斷手指是否與表面發生接觸，並觸發碰撞點擊動作；通過所述加速度傳感器模塊判斷是否發生了一次點擊動作；然後通過距離傳感器來判斷手指之間的位置關係；融合三個方面判斷是否觸發點擊手勢。
7.根據權利要求1所述的人機互動戒指，其特徵在於，所述人機互動戒指還包括: 無線收發模塊，通過無線的方式和作用設備進行連接實現人機互動，包括建立連接、命令收發功能； 電源管理模塊，用來保證所述人機互動戒指能在相對較低的功耗下運行，當所述人機互動戒指不在激活狀態下，所述電源管理模塊會使所述人機互動戒指自動處於休眠狀態。
8.根據權利要求1所 述的人機互動戒指，其特徵在於，所述的距離傳感器為反射式測距傳感器。
全文摘要
本發明公開了一種支持多點觸摸手勢的人機互動戒指，包括加速度傳感器模塊，用於測量單個手指與作用平面之間的角度關係；陀螺儀模塊，用於測量多個手指與作用平面的角速度變化；距離傳感器模塊，包括多個紅外管，用於測量多個手指之間的距離關係；麥克風傳感器模塊，用於獲得多個手指與作用表面的滑動摩擦聲並觸發滑動或點擊動作；微處理器模塊，用於對人機互動戒指進行調度、控制和處理，從而實現多點手勢的人機互動。本發明不僅支持一種全新人機互動方式，可接任何固體表面作為觸摸平面，而且在傳統的單點觸摸模式的基礎上，加入了新的手勢，使得該設備可以支持類似觸控螢幕的多點觸摸功能。
文檔編號G06F3/0346GK103105945SQ20121054951
公開日2013年5月15日 申請日期2012年12月17日 優先權日2012年12月17日
發明者張博寧, 錢躍良, 陳益強, 王向東 申請人:中國科學院計算技術研究所