一種人機接口系統的製作方法
2023-06-04 01:59:46 1
一種人機接口系統的製作方法
【專利摘要】一種人機接口系統：一種人機接口系統，通過手部設備和頭部設備同時檢測的振動來完成手部設備與用戶佩戴的頭部設備對應虛擬人的邏輯關係匹配，而不需要任何其他額外的操作。基於手部設備及其集成的拇指部按鍵和可以感知掌握力大小的掌握部按鍵配合頭部設備發明了以下使用方法：（1）選擇手部默認技能、道具的使用方法；（2）發出技能和釋放道具的使用方法；（3）控制虛擬人物衝刺的使用方法；（4）控制虛擬人物跳躍的使用方法等；這些使用方法符合人們的使用習慣，整套設備兼容於現有的PC機、智慧型手機、平板等平臺，本身成本低廉、便於推廣。
【專利說明】一種人機接口系統
【技術領域】
[0001]本發明涉及一種人機接口系統，尤其涉及一種基於三軸加速度傳感器、三軸角速度傳感器、三軸電子羅盤的一種人機接口系統，該人機接口系統提供了靈活的頭部設備與手部設備的邏輯匹配的方式，以及符合用戶使用習慣的使用方式。
【背景技術】
[0002]MEMS慣性傳感器(線加速度計，角速度計)、電子羅盤傳感器(陀螺儀)在越來越多領域使用，尤其是在人機互動領域使用越來越廣泛。對於這些傳感器在人機互動領域的使用我們統稱為體感技術。
[0003]本發明基於現有的MEMS傳感器、電子羅盤提出了一套人機接口系統，該人機接口系統明確手部設備與頭部設備匹配到虛擬環境人物上的邏輯匹配方式，以及基於MEMS慣性傳感器、電子羅盤的而挖掘出的一些新的使用方式方法的技術方案，據
【發明者】所知現有已公開的專利、文獻尚未有採用或者暗示與本發明類似的使用方式方法的技術方案。
[0004]關於採用的技術方案，
【發明者】對以下已公開的專利做出駁斥，以證明
【發明者】的技術方案是具備創造性的:
(I)「一種基於MEMS的體感遊戲手柄」，如張東坤等公開的「一種基於MEMS的體感遊戲手柄」(CN 202620680)中的
[0008]所述:「為了解決上述技術問題，本實用新型所採取的技術方案是:一種基於MEMS的體感遊戲手柄，包括微型傳感器裝置、數據處理裝置和無線通信裝置；所述微型傳感器裝置包括設在人體腳部且用於採集二維方向信息的三軸微加速度計、設在人體頭部且用於採集視角信息的三軸陀螺儀和設在人體手部且用於採集動作信息的三軸微角速度計；所述設在腳部的三軸微加速度計、設在手部的三軸微加速度計和三軸陀螺儀的輸出依次經數據處理裝置和無線通訊裝置接上位機的輸入端。」其中雖然該專利對其遊戲手柄的功能作用以及其各個功能模塊之間的連接方式做出詳細地描述，但是該實用新型沒有對其各個功能模塊功能的實現的具體技術方案做出闡述。縱觀全文，本實用新型僅僅對每個功能模塊的功能做了總結性的描述，而沒有涉及具體的實現方式及其實現的技術方案。所以該實用新型的相關描述不能作為限制來限制其他人基於MEMS慣性傳感器、陀螺儀挖掘新的使用方法的技術方案來申請專利的權利。正如第一個申請具備觸控螢幕手機專利的公司一定不是蘋果電子公司，但是其申請的專利不能作為限制來限制蘋果電子公司基於觸控螢幕手機的操作手勢來申請觸控螢幕手勢功能專利的權利一樣。
[0005](2) 「動作感應手柄」，如韓建國等公開的「動作感應手柄」(CN 201247446Y)，是公開的一種具備感知用戶動作、按按鍵的手柄裝置，類似於實用新型「一種基於MEMS的體感遊戲手柄」(CN 202620680) 一樣，這些專利並不能限制其他發明人基於類似硬體挖掘出的新的使用方式的技術方案來申請專利。
[0006]由(I) 「一種基於MEMS的體感遊戲手柄」(CN 202620680)、「動作感應手柄」(CN201247446Y)及其類似的專利可知，雖然這些專利與本發明可能採用了類似的硬體的集成方案，但是這並不意味著這可以作為限制來限制本發明的
【發明者】基於類似的硬體方案挖掘的新的邏輯匹配方式以及新的使用方式方法來申請專利。
[0007]美國最大的移動消費電子產品微型顯示器生產商Kopin公布了其最新出品的虛擬實境遊戲頭盔Trimers1n以及美國Oculus公司開發的虛擬實境眼鏡Rift，這些公司提供的頭部「360度跟蹤」的方案雖然能對佩戴者頭部朝向進行360度的全方位跟蹤，但是其對於頭部角度跟蹤的技術方案都是依賴虛擬實境遊戲頭盔或者虛擬實境眼鏡來實現的。基於虛擬實境頭盔、虛擬實境眼鏡實現的頭部視角跟蹤技術方案雖然能夠根據用戶頭部實際的朝向實現360度全角度跟蹤，為用戶帶來良好的使用體驗。由於現有的基於PC、智慧型手機、平板平臺3D遊戲，因為其用於顯示的屏幕大小有限，只能提供視角上受到限制的顯示界面，不能像虛擬實境遊戲頭盔或者虛擬實境眼鏡一樣提供隨用戶頭部運動的全方位的視野來與360度全角度跟蹤相匹配，所以前述公司所採用的360度全方位跟蹤的技術方案並不適用於現有的PC機、智慧型手機、平板平臺的3D遊戲。本發明的技術方案針對現有PC機、智慧型手機、平板平臺提供了一種用戶在開始遊戲前根據其觀察的結果的選擇其認為相對顯示頻幕合適位置，並在該位置標定其望向顯示頻幕中心點的朝向為視覺零點朝向，再通過檢測用戶頭部後續運動過程中產生的與該視覺零點朝向的夾角，並通過對該夾角進行適當放大以後來控制虛擬環境中3D人物視覺的朝向的轉換。這樣用戶就可以通過適當小範圍角度的頭部運動來控制顯示界面中3D人物視覺朝向的360度的全方向改變，而在整個過程中PC、智慧型手機、平板的顯示界面不至於超出用戶的觀看視野。
【發明內容】
[0008]一種人機接口系統，所述系統包括:
(a)頭部設備，所述頭部設備佩戴於用戶頭部；所述頭部設備集成了三軸電子羅盤、三軸加速度傳感器、三軸加速度傳感器；所述三軸電子羅盤傳感器用於識別用戶的頭部朝向的水平面方向分量；所述三軸加速度傳感器、三軸角速度傳感器用於識別用戶頭部朝向的垂直面方向分量，同時用於檢測發生在頭部設備上的敲擊振動；
(b)至少一個手部設備，所述手部設備主體呈棍狀形，通過固定帶佩戴於用戶手掌使用；所述手部設備集成了三軸電子羅盤傳感器、三軸加速度傳感器、三軸角速度傳感器、掌握部按鍵、拇指部按鍵；所述手部設備用於識別用戶的手部動作、手掌的緊握程度以及拇指的按下狀態；所述掌握部按鍵處於手部設備的棍狀形側面用於感知用戶手掌的握緊程度；所述拇指部按鍵位於手部設備的棍狀形的頂端用於感知用戶手部大拇指是否按下；
(c)處理系統及其顯示設備，所述處理系統及其顯示設備用於向用戶提供視覺反饋；所述頭部設備、各手部設備以及處理系統通過無線網絡進行數據耦合。
[0009]一種人機接口系統，其中用戶在佩戴頭部設備之後根據其觀察並在其認為合適的位置望向屏幕中心的朝向標定為視覺零點朝向，所述視覺零點朝向的水平面分量方向由三軸電子羅盤傳感器識別檢測標定，所述視覺零點朝向的垂直面分量方向由三軸加速度傳感器和三軸加速度傳感器識別檢測標定，以所述視覺零點朝向為正前方參考方向，所述頭部設備以檢測到用戶頭部當前朝向偏離視覺零點朝向的空間夾角來實時地按照預先設置的放大比例來改變顯示界面的3D環境中的視覺朝向；所述放大比例由橫向放大比例和縱向放大比例組成，用戶可以根據自己的需求和使用習慣來分別設置以及調整所述橫向放大比例的係數和縱向放大比例的係數。
[0010]一種人機接口系統，其中在用戶使用尚未完成邏輯關係匹配的手部設備敲擊其佩戴的頭部設備的瞬間，所述頭部設備和手部設備會根據其集成的三軸加速度傳感器、三軸角速度傳感器同時檢測到的敲擊振動信號將該手部設備匹配到與該頭部設備對應的虛擬人物上，其中所述人機接口系統會根據頭部設備檢測到的敲擊振動的初始敲擊方向、手部設備識別到的重力方向、頭部設備和手部設備識別到的敲擊振動幅度對比的一種來確定所匹配的手部設備對應的手的左右，並在實現所述邏輯關係匹配的時候使其與虛擬人物對應的手匹配，從而實現所述邏輯關係的匹配。
[0011]一種人機接口系統，其中已完成邏輯關係匹配的手部設備在其所有按鍵均被釋放的情況下，所述手部設備通過三軸電子羅盤識別檢測到的水平面分量方向以及三軸加速度傳感器和三軸角速度傳感器識別檢測到的垂直面分量方向綜合而成的空間朝向，並以視覺零點朝向為正前方參考方向，來判斷用戶佩戴該手部設備的手的掌心朝向前下方預設角度範圍內，並保持相對靜止超過預設時間後，會在顯示界面彈出默認道具、默認技能選擇菜單，所述手部設備通過後繼檢測到的用戶佩戴該手部設備的手在垂直於視覺零點朝向的平面內的二維運動分量來切換菜單中被突出顯示的道具、技能的圖標，並在檢測到用戶握緊掌握部按鍵超過預設下限力度的情況下選中當前圖標被突出顯示的道具、技能為該手對應虛擬人物的手在下次默認道具、技能重選前的後續使用過程中的默認道具、技能，所述預設下限力度可以由用戶根據其需要以及使用習慣來進行設置。
[0012]一種人機接口系統，其中已完成邏輯關係匹配並已選中默認道具、技能的手部設備，在其檢測到用戶握緊掌握部按鍵超過預設下限力度的情況下會祭出、釋放該手的默認道具、默認技能，所述默認道具的使用效果、默認技能的釋放程度與用戶握緊手部設備掌握部按鍵的力度成比例且不超過設置的上限，所述預設下限力度可以由用戶根據其需要以及習慣進行設置。
[0013]一種人機接口系統，其中已完成邏輯關係匹配的手部設備在檢測到用戶按下拇指部按鍵後進入時鐘樣式選中表工作模式，各個時鐘樣式選中表中的各個技能、消耗物品按照用戶事先設置的鐘點方位以及弧度範圍呈現在時鐘樣式選擇表中；在顯示界面的視覺反饋下，用戶通過佩戴所述手部設備的手以前臂為軸旋轉變化的水平角度來旋轉地切換選中與當前水平角度對應的鐘點方位的技能、消耗物品為預選中的技能、消耗物品；用戶通過使手部設備沿所述視覺零點朝向方向的前後運動分量來在多個預設的時鐘樣式選擇表之間切換；用戶通過使所述手部設備向遠離時鐘樣式選中表圓心的方向揮動手部設備來最終選中釋放、使用當前被預選中的技能、消耗物品。
[0014]一種人機接口系統，其中已完成邏輯關係匹配的手部設備利用其集成的三軸電子羅盤識別檢測到用戶手部的水平面方向分量、利用三軸加速度傳感器和三軸角速度傳感器識別檢測的垂直面方向分量的空間朝向相對於所述由用戶標定的視覺零點朝向的空間夾角來控制顯示界面的3D環境中的虛擬人物對應手部相對於虛擬人物軀幹的方位的變化，從而實現精確控制虛擬人物揮舞手臂以及附帶裝備的道具、釋放的技能以及使用的消耗物品的一種。
[0015]一種人機接口系統，其中已完成邏輯關係匹配的手部設備利用其集成的三軸電子羅盤檢測用戶手部的水平面分量方向，三軸加速度傳感器和三軸角速度傳感器識別檢測的垂直面分量方向綜合而成的空間朝向相對於所述由用戶標定的視覺零點朝向的空間夾角經過動作放大比例放大後來控制顯示界面的3D環境中的虛擬人物的與該手部設備有邏輯關係匹配的對應的手相對於其控制的虛擬人物軀幹的方位的變化，從而實現精確地控制虛擬人物揮舞手臂及其附帶裝備的道具、釋放的技能以及使用的消耗物品的一種，所述動作放大比例可以由用戶根據其需要以及使用習慣來進行設置。
[0016]一種人機接口系統，其中已完成邏輯關係匹配的手部設備在檢測到用戶的手向下敲擊時觸發3D虛擬環境中的虛擬人物進入預備跳躍狀態，並在檢測到用戶的手抬升時觸發虛擬人物跳躍，其跳躍的方向與檢測到的用戶的手的抬升方向相同，其跳躍的力度與檢測到的用戶的手的抬升的加速度成跳躍放大比例且不超過參數設置的上限，所述跳躍放大比例可以由用戶根據其需要以及使用習慣來進行設置。
[0017]一種人機接口系統，其中已完成邏輯關係匹配的手部設備在檢測到用戶手部在設定時間內向任意方向直線突進兩次則控制3D虛擬環境中的虛擬人物向該方向突進，突進的速度與檢測到用戶手部突進的加速度成比例且不超過參數設置的上限。
[0018]一種人機接口系統，其中在釋放需要準備的技能時，所述顯示界面會向用戶反饋與所述技能相關的需要用戶隨後通過其持有的手部設備來完成的運動操作，所述人機接口系統會根據用戶完成運動操作的準確性來判定所述技能是否能夠成功釋放，在判定可以成功釋放的基礎上則根據其完成運動操作的準確性來進一步確定技能釋放的效果的增幅。
[0019]本發明提供了一種頭部設備、手部設備以及3D環境中虛擬人物之間的先進的邏輯關係匹配系統，從而使得採用本發明原理的頭部設備、手部設備的銷售、使用都不需要成套捆綁。
[0020]本發明提供了一種通過檢測相互之間敲擊產生的振動來完成手部設備與頭部設備、手部設備與虛擬人物對應的手完成邏輯關係匹配的人機接口系統，從而使得用戶只需要用其能找到的任意手部設備與其佩戴的頭部設備敲擊即可完成手部設備與其佩戴的頭部設備、與其控制的虛擬人物對應的手完成邏輯關係匹配，而不依賴於其他的額外的操作，不依賴於其他更多用戶需要關心的設置。
[0021]本發明提供了一種人機接口系統，用戶可以根據其觀察適合的位置標定其視覺零點方向，並以該視覺零點方向為水平正前方朝向的參考，以頭部設備後續檢測到的用戶頭部偏離視覺零點方向的空間夾角經過放大比例放大以後來控制3D環境中的視覺朝向的改變，經過用戶適當地調整為其認為合適的放大比例，從而使得用戶只需要做出小動作量的頭部轉動就能實現360度全角度的視覺朝向改變，而不影響用戶對顯示界面的觀看，這更適用於現有顯示器大小有限的3D交互界面，可以使得用戶脫離昂貴的3D頭盔在通用的PC機、智能平板、智慧型手機等屏幕有限的平臺體驗虛擬實境的3D遊戲，且由於頭部設備可以設計為耳機的一種，手部設備體積也很小，使得本人機接口具有更廣闊的運用場景和範圍。
[0022]本發明提供了一種人機接口系統，使得用戶在顯示界面的反饋下通過控制手部設備的空間運動、旋轉並輔助以掌握部按鍵按下力度狀態、拇指部按鍵的按下狀態來選中道具、技能、物品，具有操作簡單、使用明確和符合人們的使用習慣的優點。
[0023]由下面的說明書和權力要求書，並結合圖示本發明的優選實施例的附圖，本發明的進一步目的和特徵將是清楚的，在附圖中，在各圖中使用類似的標號標註類似的元件。
[0024]發明附圖
圖1是一種人機接口系統的示意圖。
[0025]圖2是一種人機接口系統的標定視覺零點朝向的示意圖。
[0026]圖3示出是一種人機接口系統的改變3D環境中視覺朝向的示意圖。
[0027]圖4示出了一種人機接口系統的手部設備與虛擬人物的手之間的邏輯關係匹配。
[0028]圖5示出了一種人機接口系統的手部設備。
[0029]圖6示出了一種人機接口系統的默認道具、技能選擇工作模式。
[0030]圖7不出的是一種人機接口系統的時鐘樣式選中表工作模式。
[0031]圖8示出的是一種人機接口系統以用戶揮動手部設備相對於視覺零點朝向的空間角經過動作放大比例來控制虛擬人物的手部的揮舞。
[0032]【具體實施方式】發明概覽
現在將參考附圖更完整詳細地描述本發明，在附圖中示出了本發明的優選實施例。但是，本發明不應該被認為局限於這裡提出的實施例，相反提供這些實施例使得本公開將是徹底和完全的，並且將本發明的範圍完全傳達給本領域技術人員。貫穿始終，類似的標號指類似的元件。
[0033]一種人機接口系統
圖1是一種人機接口系統的不意圖，圖1中圖不了一種用於人機互動的人機接口系統100，該系統是通過以用戶根據其位置望向屏幕中心點標定的視覺零點朝向為參考方向，並配合手部按鍵操作來識別用戶頭部、手部的各種操作的。頭部設備110包含頭部三軸加速度傳感器111、頭部三軸加速度傳感器112和頭部三軸電子羅盤113，其中頭部三軸加速度傳感器111和頭部三軸加速度傳感器112用於識別用戶頭部姿態的垂直面方向。其中頭部三軸電子羅盤113在頭部三軸加速度傳感器111和頭部三軸角速度傳感器112的輔助下識別用戶頭部姿態的水平面方向(地理方向)。
[0034]舉例作為說明而不作為限制，圖1中示出了兩套手部設備和一套頭部設備，但並不意味著本發明僅僅保護兩套手部設備和一套頭部設備的組合，本發明還保護一套手部設備和一套頭部設備的組合，這種組合適用於那些對操作要求相對簡單的系統。
[0035]第一手部設備120包括:第一手部設備三軸加速度傳感器121、第一手部設備三軸角速度傳感器122、第一手部設備三軸電子羅盤123、第一手部設備拇指部按鍵125、第一手部設備掌握部按鍵126以及第一手部設備固定帶127。其中第一手部設備三軸加速度傳感器121和第一手部設備三軸角速度傳感器用於識別用戶手部的垂直面方向。其中第一手部設備三軸電子羅盤123在第一手部設備三軸加速度傳感器121和第一手部設備三軸角速度傳感器122的輔助下識別用戶手部的水平面方向(地理方向)。其中第一手部設備120拇指部按鍵125用於識別用戶大拇指是否按下。其中第一手部設備120掌握部按鍵126用於識別用戶手掌是否握緊以及握緊的力度。通過調整第一手部設備固定帶127的鬆緊並以第一手部設備120掌握部按鍵126面朝掌心的方式來佩戴第一手部設備120。
[0036]第二手部設備130包括:第二手部設備三軸加速度拍傳感器131、第二手部設備三軸角速度傳感器132、第二手部設備三軸電子羅盤133、第二手部設備拇指部按鍵135、第二手部設備掌握部按鍵136以及第二手部固定帶137。其中第二手部設備三軸加速度傳感器131和第二手部設備三軸角速度傳感器用於識別用戶手部的垂直面方向。其中第二手部設備三軸電子羅盤133在第二手部設備三軸加速度傳感器131和第二手部設備三軸角速度傳感器132的輔助下識別用戶手部的水平面方向(地理方向)。其中第二手部設備130拇指部按鍵135用於識別用戶大拇指是否按下。其中第二手部設備130掌握部按鍵136用於識別用戶手掌是否握緊以及握緊的力度。通過調整第二手部設備固定帶137的鬆緊並以第二手部設備130掌握部按鍵136面朝掌心的方式來佩戴第二手部設備130。
[0037]其中各手部設備(120、130)可以任意對應的組合方式一對一地分別佩戴在用戶的左手右手。
[0038]處理系統的顯示界面140為用戶提供視覺反饋。其中頭部設備110、第一手部設備120、第二手部設備130以及處理系統通過無線網絡進行數據耦合。
[0039]圖2是一種人機接口系統的標定視覺零點朝向的示意圖，其中標定視覺零點朝向的頂視圖210、標定視覺零點朝向的側視圖220分別從不同視角展示了視覺零點朝向的標定。其中處理系統的顯示界面202的位置為用戶提供了視覺零點標定的視覺參考。用戶佩戴了頭部設備的頭部201處於顯示界面202前方並在其認為合適的觀察位置自然地望向顯示界面202的中心，標定該朝向為視覺零點朝向203。其中視覺零點朝向水平面分量方向211由頭部設備110上集成的頭部設備三軸電子羅盤113在頭部設備三軸加速度傳感器111和頭部設備三軸角速度傳感器112的輔助下識別。其中視覺零點朝向的垂直面分量221由頭部設備110集成的頭部設備三軸加速度傳感器111和頭部設備三軸角速度傳感器112識別。
[0040]圖3示出是一種人機接口系統的改變3D環境中視覺朝向的示意圖，其中已經標定的視覺零點朝向303作為空間參考朝向(在用戶沒有大尺度改變其佩戴頭部設備110的頭部所處位置的高度、水平面位置情況下有效，在用戶大尺度改變其頭部位置以後需要重新標定視覺零點朝向303)，通過頭部設備110實時檢測到的用戶頭部301的當前朝向304偏離視覺零點朝向303的空間夾角305經過比例放大後來控制3D環境中的視覺朝向的改變。其中比例放大由橫向比例方向和縱向比例放大組成。頂視圖310中用戶頭部301當前朝向水平面分量312與視覺零點朝向水平面分量311之間的水平面偏離角313經過橫向放大比例放大後來控制3D環境中的視覺朝向水平面方向的改變。側視圖320中用戶頭部301當前朝向垂直面分量322與視覺零點朝向垂直面分量321之間的垂直面偏離角323經過縱向放大比例放大後來控制3D環境中的視覺朝向垂直面方向的改變。其中橫向放大比例係數、縱向放大比例係數可以根據用戶自身的需求和習慣來進行設置。舉例作為說明而不作為限制，如果用戶採用較大的尺寸的屏幕可以適當的增大橫向放大比例係數、縱向放大比例係數。舉例作為說明而不作為限制，如果用戶採用的是寬屏顯示器(16:9或者16:10)，可以設置縱向放大比例係數略大於橫向放大比例係數，與屏幕尺寸相匹配，提高用戶的操作體驗。通過用戶頭部301的當前朝向304相對於已標定視覺零點朝向303的空間夾角305，經過適當的橫向比例放大係數、縱向比例放大係數放大後來控制3D環境中的視覺朝向的改變從而使得用戶只需要做出小動作量的頭部轉動就能實現360度全角度的視覺朝向改變，而不影響用戶對顯示界面310的觀看，這更適用於現有顯示器大小有限的3D交互界面，可以使得用戶脫離昂貴的3D頭盔在通用的PC機、智能平板、智慧型手機等屏幕有限的平臺上體驗虛擬實境的3D遊戲，且由於頭部設備110可以設計為耳機的一種，手部設備體積也很小，使得本人機接口系統具有更廣闊的運用場景和範圍。舉例作為說明而不作為限制，可以適用於包括地鐵、公交車在內的等場所。
[0041]圖4示出了一種人機接口系統的手部設備與虛擬人物的手之間的邏輯關係匹配，其中頭部設備410包括:頭部設備三軸加速度傳感器411、頭部設備三軸角速度傳感412和頭部設備二軸電子羅盤413。手部設備420包括:手部設備二軸加速度傳感器421、手部設備三軸角速度傳感器422、手部設備三軸電子羅盤423。其中用戶在佩戴好頭部設備410之後，其手部佩戴任意一個未進行邏輯關係匹配的手部設備420(—個剛打開電源或者剛復位的手部設備420可以認為是未進行邏輯關係匹配的手部設備420)，並用該手部設備420敲擊頭部設備410的一側，在系統檢測頭部設備410的加速度輸出431和手部設備420的加速度輸出432同時存在振動時進行邏輯關係匹配，並將手部設備420匹配到頭部設備410對應的虛擬人物身上。
[0042]系統可以根據頭部設備410檢測到的初始敲擊方向來確定佩戴該手部設備420的手的左右(初始敲擊方向向右則認為應該匹配左手、初始敲擊方向向左則認為應該匹配右手)。
[0043]系統還可以根據頭部設備410與手部設備420檢測到的敲擊信號的強弱並經過對比來判斷佩戴該手部設備420的手左右，因為僅在頭部設備410的一側集成有頭部設備三軸加速度傳感器411，由於每次邏輯關係匹配碰撞僅僅發生在頭部設備410的一側，所以當手部設備420檢測到的振動幅度與頭部設備410檢測到振動幅度相差不多時認為敲擊是發生在頭部設備410集成了頭部設備三軸加速度傳感器這一側的。而在另一側發生的敲擊由於經過用戶頭部以及中間的連接結構傳輸振動會造成振動幅度的衰減，在頭部設備410檢測到振動信號幅度明顯小於手部設備420檢測到的振動信號幅度時，認為振動發生在遠離集成了頭部設備三軸加速度傳感器這一側，又由於頭部設備410有固定的前後佩戴區別，則可以識別出敲擊發生在用戶頭部佩戴的頭部設備410的右側或者左側並間接地推出佩戴該手部設備420的手的左右。根據識別到手的左右將本次敲擊的手部設備420邏輯關係匹配到虛擬人物對應的手。(用戶實際的左手匹配到虛擬人物的左手，又或者用戶實際的右手匹配到虛擬人物的右手。不排除用戶用佩戴了手部設備420的左手去敲擊其佩戴的頭部設備410的右側等情況，這會發生系統無法發現的邏輯關係匹配錯誤，並且在後續使用的過程中用戶直覺上也會感到不適，所以這樣相對複雜的違規使用方式是採用本發明原理的產品的使用說明書中敬告用戶不宜採用的。)舉例作為說明而不作為限制，雖然頭部設備410集成的頭部設備三軸加速度傳感器411和手部設備420集成的手部設備三軸加速度傳感器421都具備三軸加速度數據的輸出，但是為了便於繪圖和說明，在加速度傳輸波形圖430隻挑選了輸出最顯著軸(三軸加速度傳感器三軸輸出的一軸)的波形輸出進行不出。其中頭部設備加速度傳感器411的加速度輸出431在沒有發生振動時候仍然有輕微的低頻的振動是因為佩戴頭部設備410的用戶頭部肯定無法保持絕對的靜止。其中手部設備420的加速度輸出432先增大並在碰撞後減小描述的物理過程是:用戶佩戴手部設備420的手加速靠近頭部設備410，並在發生敲擊後減速離開。
[0044]圖5示出了一種人機接口系統的手部設備，其中手部設備501正視圖510，手部設備501側視圖520。手部設備501包括:三軸加速度傳感器512、三軸角速度傳感器513、三軸電子羅盤515、拇指按鍵511、掌握部按鍵522以及固定帶521。其中拇指部按鍵511所處方向作為手部設備501的頂部方向516,在佩戴手部設備501時該方向朝上並保證佩戴該手部設備501手部的大拇指可順暢的點擊拇指部按鍵511。該手部設備501並不具有左右極性，用戶的左手右手均可佩戴。用戶的左手通過左佩戴方向517佩戴手部設備501，用戶的右手通過右佩戴方向佩戴手部設備501，在佩戴的過程中調整521固定帶的鬆緊使得掌握部按鍵522與用戶掌心緊密接觸。當用戶任意手佩戴未進行邏輯關係匹配的手部設備501並以之自然地敲擊頭部設備410進行邏輯關係匹配時，由於人體肘部生理結構的限制:在用戶右手佩戴手部設備501敲擊頭部設備410時會如圖530所示，三軸加速度傳感器512的朝右方向5122向下並被檢測到；在用戶左手佩戴手部設備501敲擊頭部設備410時會如圖540所示，三軸加速度傳感器512的朝左方向5121向下並被檢測到；人機接口系統可以在敲擊進行邏輯關係匹配時根據手部設備501檢測到的向下的方向(朝右方向5122、朝左方向5121)來確定佩戴該手部設備501手的左右，並將其佩戴到虛擬人物的對應手。(用戶現實的左手匹配到虛擬人物的左手，用戶現實的右手匹配到虛擬人物的右手。)這樣，通過這種邏輯關係匹配的方式，使得用戶不需要按照頭部設備410和手部設備501內在的成套的邏輯關聯關係佩戴頭部設備410、手部設備501。用戶只需要在佩戴頭部設備410之後，任意選取一個或者兩個能夠正常工作的手部設備501 (未進行邏輯關係匹配)一對一地佩戴在任意手，並用(沒有強制順序)左右手分別敲擊頭部設備410，即可完成手部設備501 (以及用戶佩戴改手部設備501的手)與虛擬人物的邏輯關係匹配，並將用戶現實的右手匹配到其控制虛擬人物的右手，將用戶現實的左手匹配到其控制的虛擬人物的左手，而不需要進行任何複雜的非人性化的設置、不依賴於任何其他複雜的操作。
[0045]圖6示出了一種人機接口系統的默認道具、技能選擇工作模式，在用戶佩戴已經完成邏輯關係匹配的手部設備601的手完全釋放拇指部按鍵602和掌握部按鍵603的情況下，以用戶標定的視覺零點朝向的垂直面分量方向611為垂直面正前方參考方向，通過手部設備601檢測到用戶掌心垂直朝向垂直面分量方向613位於預設前下角612範圍內，以用戶標定的視覺零點朝向的水平面分量方向621為水平面正前方參考方向，通過手部設備601檢測到用戶掌心垂直朝向水平面分量方向623位於預設正前角622範圍內，並檢測到用戶手部保持相對靜止超過預設時間後，顯示界面會彈出默認道具、技能選擇菜單，進入默認道具、技能選擇工作模式。在顯示界面的視覺反饋下，用戶通過控制佩戴手部設備601的手在垂直於視覺零點朝向的平面內的二維運動分量來切換菜單中被突出顯示的道具、技能的圖標。並在檢測到用戶握緊手部設備601掌握部按鍵603超過預設下限力度的情況下選中當前圖標被突出顯示的道具、技能為該手對應虛擬人物的手在下次默認道具、技能重選前的後續使用過程中的默認道具、技能。
[0046]在用戶佩戴手部設備601的手匹配的虛擬人物的手已經選定默認道具、技能並且不處於任何菜單彈出的情況下，用戶用手握緊手部設備601掌握部按鍵603超過預設下限力度值時，用戶控制的虛擬人物對應的手會祭出該手已經選定的默認道具、釋放已經選定的默認技能。並且默認道具的使用效果、默認技能的釋放程度與用戶握緊手部設備601掌握部按鍵603的力度成比例且不超過參數設置的上限。觸發掌握部按鍵603的預設下限力度值可以根據用戶的需要以及使用習慣進行設置。
[0047]圖7示出的是一種人機接口系統的時鐘樣式選中表工作模式，在用戶佩戴已經完成邏輯關係匹配的手部設備701並按下拇指部按鍵702的情況下，顯示界面會彈出時鐘樣式選中表710進入時鐘樣式選中表工作模式，舉例作為說明而不作為限制，其中技能或消耗物品A、技能或消耗物品B、技能或消耗物品C、技能或消耗物品D以用戶事先設置的鐘點方向位置(左上角、左下角、右下角、右上角)並以用戶預先設置的角度間隔(90度)進行排布，用戶也可以給某個技能或消耗物品分配任意的鐘點方向位置以及其認為恰當的角度區間。用戶在保持按住拇指部按鍵702不釋放而繼續處於時鐘樣式選中表工作模式的情況下以前臂為軸旋轉手部設備701，通過識別到的手部設備701的頂部方向703與水平面形成的角度代表的鐘點方向來旋轉地切換與該鐘點方向對應的技能、消耗物品為預選中技能、預選中消耗物品。
[0048]用戶在保持按住拇指部按鍵702不釋放而繼續處於時鐘樣式選中表工作模式的情況下，通過控制其佩戴的手部設備701在視覺零點方向向前方向704和視覺零點方向向後方向705上前後運動的分量來在多個預設的時鐘樣式選中表之間切換，舉例作為說明而不作為限制，在時鐘樣式選中表LI 721、L2 722、L3 723、L4 724之間進行切換。
[0049]用戶在保持按住拇指部按鍵702不釋放而繼續處於時鐘樣式選中表工作模式的情況下，用戶通過控制其佩戴的手部設備701以其當前時刻頂部方向703的方向並以遠離時鐘樣式選中表圓心的方向揮動手部設備來最終選中釋放、使用當前被預選中的技能、消耗物品，並自動退出時鐘樣式選中表工作模式。
[0050]用戶在未完成最終選中釋放、使用當前被預選中的技能、消耗物品的情況下釋放手部設備701的拇指部按鍵702，從而退出時鐘樣式選中表工作模式。
[0051]圖8示出的是一種人機接口系統以用戶揮動手部設備相對於視覺零點朝向的空間角經過動作放大比例來控制虛擬人物的手部的揮舞。以視覺零點朝向802為正前方參考方向，用戶揮動其佩戴的已經完成邏輯關係匹配的手部設備801的揮動朝向803的揮動朝向垂直面分量方向822與視覺零點朝向垂直面分量方向821的夾角垂直偏離角823，揮動朝向803的揮動朝向水平面分量方向812與視覺零點朝向水平面分量方向813的夾角為水平偏離角。
[0052]設定X軸正向831平行於視覺零點方向並且同向的情況下在3D虛擬環境中構建空間直角坐標系830，設定虛擬人物軀幹主體的正面、背面均平行於空間直角坐標系830的ZOY平面，並設定構建空間直角坐標830的原點O位於虛擬人物軀幹的胸口與手背齊平的位置。其中向量OH 832為虛擬人物手部當前揮舞朝向832，其在平面ZOY內的投影為ZOY投射角833，其在平面XOY內的投射角XOY投射角834分別以預先設定的縱向動作放大比例、橫向動作放大比例與垂直偏離角823、水平偏離角813成比例，從而實現用戶對虛擬人物的手部的揮舞的實時控制。縱向動作放大比例、橫向動作放大比例可以根據用戶的需求以及使用習慣來進行設置。
[0053]只是為了說明的目的，提供了具體應用的幾個，以幫助讀者理解其中本發明將證明有用的多種場景。還應該理解:雖然給出了的詳細的附圖和具體示例描述了本發明的優選實施例，但是它們只是為了說明的目的，本發明的裝置和方法並不限於所公開的精確細節和情況，並且其中可以進行各種改變而不悖離由所附的權利要求書定義的本發明的精神。
【權利要求】
1.一種人機接口系統，所述系統包括: 頭部設備，所述頭部設備佩戴於用戶頭部；所述頭部設備集成了三軸電子羅盤傳感器、三軸加速度傳感器、三軸角速度傳感器；所述三軸電子羅盤用於識別用戶的頭部朝向的水平面方向分量；所述三軸加速度傳感器、三軸角速度傳感器用於識別用戶頭部朝向的垂直面方向分量，同時用於檢測發生在頭部設備上的敲擊振動； 至少一個手部設備，所述手部設備主體呈棍狀形，通過固定帶佩戴於用戶手掌使用；所述手部設備集成了三軸電子羅盤傳感器、三軸加速度傳感器、三軸角速度傳感器、掌握部按鍵、拇指部按鍵；所述手部設備用於識別用戶的手部動作、手掌的緊握程度以及拇指的按下狀態；所述掌握部按鍵處於手部設備的棍狀形側面用於感知用戶手掌的握緊程度；所述拇指部按鍵位於手部設備的棍狀形的頂端用於感知用戶手部大拇指是否按下； 處理系統及其顯示設備，所述處理系統及其顯示設備用於向用戶提供視覺反饋；所述頭部設備、各手部設備以及處理系統通過無線網絡進行數據耦合。
2.根據權利要求1所述的一種人機接口系統，其中用戶在佩戴頭部設備之後根據其觀察並在其認為合適的位置望向屏幕中心的朝向標定為視覺零點朝向，所述視覺零點朝向的水平面分量方向由三軸電子羅盤傳感器識別檢測標定，所述視覺零點朝向的垂直面分量方向由三軸加速度傳感器和三軸加速度傳感器識別檢測標定，以所述視覺零點朝向為正前方參考方向，所述頭部設備以檢測到用戶頭部當前朝向偏離視覺零點朝向的空間夾角來實時地按照預先設置的放大比例來改變顯示界面的3D環境中的視覺朝向；所述放大比例由橫向放大比例和縱向放大比例組成，用戶可以根據自己的需求和使用習慣來分別設置以及調整所述橫向放大比例的係數和縱向放大比例的係數。
3.根據權利要求1所述的一種人機接口系統，其中在用戶使用尚未完成邏輯關係匹配的手部設備敲擊其佩戴的頭部設備的瞬間，所述頭部設備和手部設備會根據其集成的三軸加速度傳感器、三軸角速度傳感器同時檢測到的敲擊振動信號將該手部設備匹配到與該頭部設備對應的虛擬人物上，其中所述人機接口系統會根據頭部設備檢測到的敲擊振動的初始敲擊方向、手部設備識別到的重力方向、頭部設備和手部設備識別到的敲擊振動幅度對比的一種來確定所匹配的手部設備對應的手的左右，並在實現所述邏輯關係匹配的時候使其與虛擬人物對應的手匹配，從而實現所述邏輯關係的匹配。
4.根據權利要求1所述的一種人機接口系統，其中已完成邏輯關係匹配的手部設備在其所有按鍵均被釋放的情況下，所述手部設備通過三軸電子羅盤識別檢測到的水平面分量方向以及三軸加速度傳感器和三軸角速度傳感器識別檢測到的垂直面分量方向綜合而成的空間朝向，並以視覺零點朝向為正前方參考方向，來判斷用戶佩戴該手部設備的手的掌心朝向前下方預設角度範圍內，並保持相對靜止超過預設時間後，會在顯示界面彈出默認道具、默認技能選擇菜單，所述手部設備通過後繼檢測到的用戶佩戴該手部設備的手在垂直於視覺零點朝向的平面內的二維運動分量來切換菜單中被突出顯示的道具、技能的圖標，並在檢測到用戶握緊掌握部按鍵超過預設下限力度的情況下選中當前圖標被突出顯示的道具、技能為該手對應虛擬人物的手在下次默認道具、技能重選前的後續使用過程中的默認道具、技能，所述預設下限力度可以由用戶根據其需要以及使用習慣來進行設置。
5.根據權利要求1所述的一種人機接口系統，其中已完成邏輯關係匹配並已選中默認道具、技能的手部設備，在其檢測到用戶握緊掌握部按鍵超過預設下限力度的情況下會祭出、釋放該手的默認道具、默認技能，所述默認道具的使用效果、默認技能的釋放程度與用戶握緊手部設備掌握部按鍵的力度成比例且不超過設置的上限，所述預設下限力度可以由用戶根據其需要以及習慣進行設置。
6.根據權利要求1所述的一種人機接口系統，其中已完成邏輯關係匹配的手部設備在檢測到用戶按下拇指部按鍵後進入時鐘樣式選中表工作模式，各個時鐘樣式選中表中的各個技能、消耗物品按照用戶事先設置的鐘點方位以及弧度範圍呈現在時鐘樣式選擇表中；在顯示界面的視覺反饋下，用戶通過佩戴所述手部設備的手以前臂為軸旋轉變化的水平角度來旋轉地切換選中與當前水平角度對應的鐘點方位的技能、消耗物品為預選中的技能、消耗物品；用戶通過使手部設備沿所述視覺零點朝向方向的前後運動分量來在多個預設的時鐘樣式選擇表之間切換；用戶通過使所述手部設備向遠離時鐘樣式選中表圓心的方向揮動手部設備來最終選中釋放、使用當前被預選中的技能、消耗物品。
7.根據權利要求1所述的一種人機接口系統，其中已完成邏輯關係匹配的手部設備利用其集成的三軸電子羅盤檢測用戶手部的水平面分量方向，三軸加速度傳感器和三軸角速度傳感器識別檢測的垂直面分量方向綜合而成的空間朝向相對於所述由用戶標定的視覺零點朝向的空間夾角經過動作放大比例放大後來控制顯示界面的3D環境中的虛擬人物的與該手部設備有邏輯關係匹配的對應的手相對於其控制的虛擬人物軀幹的方位的變化，從而實現精確地控制虛擬人物揮舞手臂及其附帶裝備的道具、釋放的技能以及使用的消耗物品的一種，所述動作放大比例可以由用戶根據其需要以及使用習慣來進行設置。
8.根據權利要求1所述的一種人機接口系統，其中已完成邏輯關係匹配的手部設備在檢測到用戶的手向下敲擊時觸發3D虛擬環境中的虛擬人物進入預備跳躍狀態，並在檢測到用戶的手抬升時觸發虛擬人物跳躍，其跳躍的方向與檢測到的用戶的手的抬升方向相同，其跳躍的力度與檢測到的用戶的手的抬升的加速度成跳躍放大比例且不超過參數設置的上限，所述跳躍放大比例可以由用戶根據其需要以及使用習慣來進行設置。
9.根據權利要求1所述的一種人機接口系統，其中已完成邏輯關係匹配的手部設備在檢測到用戶手部在設定時間內向任意方向直線突進兩次則控制3D虛擬環境中的虛擬人物向該方向突進，突進的速度與檢測到用戶手部突進的加速度成比例且不超過參數設置的上限。
10.根據權利要求1所述的一種人機接口系統，其中在釋放需要準備的技能時，所述顯示界面會向用戶反饋與所述技能相關的需要用戶隨後通過其持有的手部設備來完成的運動操作，所述人機接口系統會根據用戶完成運動操作的準確性來判定所述技能是否能夠成功釋放，在判定可以成功釋放的基礎上則根據其完成運動操作的準確性來進一步確定技能釋放的效果的增幅。
【文檔編號】G06F3/0346GK104267833SQ201410463646
【公開日】2015年1月7日 申請日期:2014年9月13日 優先權日:2014年9月13日
【發明者】周祥宇, 楊洋, 魏東, 趙偉亮, 徐涵, 張慧 申請人:周祥宇