動作識別系統及方法與流程
2023-07-09 04:46:06
本發明實施例涉及操作輸入設備，尤其涉及一種動作識別系統及方法。
背景技術：
諸如遊戲手柄之類的操作手柄是一種常見的用戶輸入部分，可用於如電子遊戲機、VR設備等中。通常的方式是通過操縱其按鈕等實現對電腦、數位電視等電子設備上模擬角色等的控制，以達到操作這些虛擬對象的目的。但是，隨著遊戲類型和虛擬實境場景的不斷豐富和體驗性的不斷增加，對此類操作手柄的要求也越來越多。
在實現本發明過程中，發明人發現在目前遊戲手柄中，基本沒有針對抓取、捏等動作的處理，即使有也是比較生硬的按鍵實現。從用戶主觀感受上來說不夠理想，也不太切近實際使用效果，人機互動體驗不理想。
技術實現要素：
鑑於現有技術的上述問題，本發明的目的是提供一種動作識別系統及方法，以解決現有技術中用戶遊戲主觀感受不理想，提高人機互動體驗感。
本發明實施例提供一種動作識別系統，包括多個壓力傳感器、與多個壓力傳感器相匹配的多個信號處理單元、和微處理器；
多個壓力傳感器、多個信號處理單元和微處理器均設置於手柄內部，且多個壓力傳感器覆蓋手柄的手部握持部對應位置；
多個壓力傳感器，對手柄的手部握持部進行壓力檢測，並將檢測到的壓力信號轉換為電信號分別傳遞給對應的信號處理單元；
每個信號處理單元，對輸入的電信號進行放大、去幹擾等處理，並傳遞給微處理器；
微處理器，根據所述多個信號處理單元傳輸的數據得到相應的壓力值集合，並根據所述壓力值集合與手部動作的對應關係，輸出相應的操作指令。
由於將多個壓力傳感器設置於操作手柄內部，且分布於手柄外部的手部握持部，即在手柄外部手掌區域、大拇指區域、食指區域、中指區域、無名指區域和小拇指區域對應於手柄內部的位置均配置壓力傳感器，以感知用戶在操作中手掌、大拇指、食指、中指、無名指和小拇指的用力變化，並可實現對用戶手部抓握力的測量。
壓力傳感器可連接在電橋中，藉助電橋將檢測到的壓力信號轉換為電信號，然後通過電橋連接將電信號傳輸給信號處理單元。信號處理單元對輸入的電信號進行放大、去幹擾等處理後輸出給微處理器，微處理器對經放大、去幹擾處理後的電信號進行模數轉換，將模擬信號轉換為數位訊號。模數轉換可通過微處理器內部的模數轉換器(即ADC：Analog-to-Digital Converter)實現，然後通過微處理器預先編入的換算函數將轉換後的數位訊號換算成不同的壓力值，得到相應的壓力值集合。微處理器預先存儲了壓力值集合與手部動作的對應關係，微處理器根據壓力值集合與手部動作的對應關係將操作指令發送給遊戲主機，遊戲主機根據操作指令做出遊戲動作響應。
本發明實施例將壓力傳感器應用在操作手柄上，以實現對用戶手部抓握力的測量，從而將抓握力的改變通過相關電路、信號處理單元、微處理器反饋給例如遊戲主機來實現抓取、撫摸甚至更細微的不同動作、不同力度操作的場景交互，用戶通過不同手指用力而配合虛擬場景進行更加真實的體驗。
在一些實施方式中，微處理器可以通過藍牙低能耗方式進行信號傳輸。由於遊戲主機等主機設備大多具有藍牙功能，微處理器和遊戲主機線之間通過藍牙低能耗技術連接，適用性更好，功耗低，而且可互操作的魯棒性好，藍牙低能耗技術的工作模式非常適合用於本發明實施例中微處理器向遊戲主機傳輸數據。
在一些實施方式中，壓力傳感器採用薄膜壓力傳感器或應變壓力傳感器。由於薄膜壓力傳感器具有精度高，性能穩定，溫漂小的優點，而應變壓力傳感器具有分辨力高，能測出極微小的應變的優點,薄膜壓力傳感器和應變壓力傳感器均能測出遊戲手柄的手部握持部微小的壓力變化，能夠靈敏的感知手部用力大小的變化。
在一些實施方式中，遊戲手柄的手部握持部位置還可設有盲操標識。這些標識可以設置在遊戲手柄外部對應於多個壓力傳感器的位置。由此，有利於用戶在不用眼睛看的情況下，運用肌肉的記憶性和慣性，也能夠輕鬆的將手部定位在多個壓力傳感器相應的位置上，可以利用手部觸覺來校正手部的位置，能夠幫助手部快速準確定位。
另一方面，本發明實施例還提供一種動作識別方法，該方法可實施於上述手部動作識別系統中。該方法包括以下步驟：
預設壓力值集合與手部動作的對應關係；
通過手柄內置的多個壓力傳感器對遊戲手柄的握持部進行壓力檢測得到握持部的壓力值集合；
根據所述對應關係確定壓力值集合所對應的手部動作及力度。根據上述方法，在手柄內部對應手部握持部位設置壓力傳感器，由此得到手部握持部相應的壓力值集合。根據預設的壓力值集合與手部動作的對應關係確定壓力值集合所對應的手部動作及用力的變化。由此，通過壓力傳感器來感知手部用力的變化，完成對手部不同動作的識別。壓力傳感器完全不同於圖像拍攝，不受清晰度、光照、拍攝角度的限制，不需要設計複雜的算法，測量精度高，實時性強。
根據本發明實施例提供的基於壓力傳感器的手部動作識別系統及方法，在手柄內部與手掌及五指所對應的位置設置壓力傳感器，通過壓力傳感器感知手部用力的改變，壓力傳感器的阻值隨著力度的大小而改變，將阻值的變化與不同的動作做匹配，從而完成對手部不同動作的識別，改變了現有手柄中只能通過按鍵實現抓取、捏、撫摸等動作，增強了用戶人機互動體驗感。
附圖說明
為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
圖1為本發明實施例的動作識別系統的結構示意圖；
圖2為本發明實施例的具有壓力傳感器的手柄外部正面示意圖；
圖3為本發明實施例的具有壓力傳感器的手柄外部背面示意圖；
圖4本發明實施例提供的一種手柄設備400的結構示意圖；
圖5為本發明一實施例的動作識別方法的步驟流程圖；
圖6為本發明另一實施例的一種動作識別方法的步驟流程圖。
具體實施方式
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
圖1示出了本發明實施例的一種動作識別系統的結構示意圖。如圖所示，該動作識別系統包括：設置於手柄內部的多個壓力傳感器11、與多個壓力傳感器11相匹配的多個信號處理單元12、微處理器13，其中多個壓力傳感器11分布於手柄的手部握持部對應位置，用於將檢測到的壓力轉換為電信號分別傳遞給信號處理單元12。微處理器13根據多個信號處理單元12傳輸的數據得到相應的壓力值集合，並根據壓力值集合與手部動作的對應關係，輸出相應的操作指令。
本發明實施例中，多個壓力傳感器11分布於手柄的手部握持部與手掌的多個部分對應的位置，如與手柄的握持者的手掌區域、大拇指區域、食指區域、中指區域、無名指區域和小拇指區域相應的位置。也可以根據具體的設置需要和手柄的特殊設計調整壓力傳感器11在手柄上的分布，例如只設置在手掌區域，或只設置在手指區域等。通過設置的這些壓力傳感器11感知用戶對手柄進行操作時手的各部位的用力變化，實現對用戶手部動作的感知和測量。
本發明實施例中，多個壓力傳感器11可以採用常規的市售壓力傳感器，其設置在手柄的手部握持部的各施力點處以進行相應的壓力檢測，以檢測到對應的壓力信號。壓力傳感器11可以連接在常規的電橋中，進而藉助電橋將檢測到的壓力信號轉換為電信號，並將電信號傳輸給信號處理單元12。該電橋的連接方式和信號轉換是常規的，在此不再贅述。
本發明實施例中，每個信號處理單元12可以對輸入的電信號進行常規的放大、去幹擾等常規處理，並將處理後的電信號傳遞給微處理器13。微處理器13採用常規的處理器例如MCU(微控制單元，Microcontroller Unit)即可，其內置的模數轉換器可進行模數轉換，將模擬信號轉換為數位訊號，也即可以將接收到的電信號轉換為對應的數位訊號。
本發明實施例中，可以通過微處理器13中預先編入的常規的換算函數(如正比例函數)對經過轉換的數位訊號進行換算，進而得到與各壓力傳感器檢測到的壓力信號所對應的不同的壓力值，並根據上述壓力值得到壓力值集合。
本發明實施例中，可以在上述微處理器13中預先存儲壓力值集合與手部動作的對應關係，以在接收到信號處理單元傳輸的數據後，根據上述壓力值集合與手部動作的對應關係，輸出相應的操作指令。例如，一個數組{A，B，C，D，E，F}分別代表拇指、食指、中指、無名指、小拇指、手掌上測得的壓力的大小。針對這個數組，可以建立一套算法集成在MCU端。通過該算法可以分析各手指和手掌的力度來生成不同的操作。例如，若當前壓力傳感器11隻檢測到食指有5N的力，其他手指沒有力，就可以定義成扣動槍扳機的動作，並可以輸出該扣動槍扳機的動作的指令；若當前壓力傳感器11檢測到拇指和食指均有5N的力，其他手指均沒有壓力，則此時可以定義為捏的動作，並可以輸出該捏的動作的指令等等。
本發明實施例中，多個壓力傳感器11可以設置於手柄內部，且對應手柄外部的手部握持部，即在手柄外部手掌區域、大拇指區域、食指區域、中指區域、無名指區域和小拇指區域對應於手柄內部的位置均配置壓力傳感器11，感知用戶在對手柄進行操作時手掌、大拇指、食指、中指、無名指和小拇指的用力變化，實現對用戶手部抓握力的檢測。檢測出的電信號經信號處理單元12和微處理器13處理後，將壓力值集合與不同的動作進行匹配，從而完成手部不同動作的識別並做出相應的動作響應。由此，本發明實施例將壓力傳感器11應用在手柄上，以實現對用戶手部抓握力的檢測，從而將抓握力的改變通過相關電路、信號處理單元12、微處理器13進行處理，以實現抓取、撫摸等不同動作、不同力度操作的場景交互。例如在遊戲的場景中，用戶可以通過不同手指的用力而配合遊戲場景進行更加真實的體驗。
本發明實施例中，在手柄內部手掌及五指所對應的位置加設壓力傳感器11，手柄其他的按鍵功能仍然保留。可以在現有的手柄上進行二次開發，將手柄和手部握持部根據人體工學設計成不同形態。
綜上，本發明實施例提供的一種動作識別系統在手柄內部與手掌及五指所對應的位置設置壓力傳感器，並通過壓力傳感器感知手部用力的改變。壓力傳感器的阻值隨著力度的大小而改變。也即在手部力度不同時，壓力傳感器檢測到力度即不同。將不同的力度與不同的動作做匹配，從而完成對手部不同動作的識別，改變了現有手柄中只能通過按鍵實現抓取、捏、撫摸等動作，增強了用戶人機互動體驗感。
在圖1所示的本發明實施例的動作識別系統中，還可以在手柄的手部握持部位置設有盲操標識。
下面參照圖2和圖3所示，以圓柱體的手部握持部101為例說明本發明的實施例。設計時壓力傳感器21位置覆蓋五個手指以及手掌位置，並在對應位置設置可以盲操的盲操標識1011
本發明實施例中，盲操標識1011可以是在手柄1外殼對應多個壓力傳感器11的手部握持部101設置的一些起標識作用的橫杆或者凸點等標識。凡是可以起到標識作用的形狀均可，因此盲操標識1011可以設計成各式各樣的形狀。
本發明實施例中，由於手柄外部對應於多個壓力傳感器11的位置設有盲操標識1011，即手柄的手部握持部101位置設有盲操標識1011，有利於用戶在不用眼睛看的情況下，運用觸感以及肌肉的記憶性和慣性，也能夠輕鬆的將手部定位在多個壓力傳感器11相應的位置上，利用手部觸覺來校正手部的位置，能夠幫助手部快速準確定位。
在本發明的一種可選實施例中，上述壓力傳感器11可以採用薄膜壓力傳感器或應變壓力傳感器。
由於本發明的實施例目的之一是要改善和豐富手柄的功能，因此特別考慮壓力傳感器的一些特點來選擇其類型。例如可以選擇精度高、性能穩定、溫漂小(手握的溫度會不斷變化)的薄膜壓力傳感器，或選擇分辨力高，能測出極微小應變的應變壓力傳感器。
在本發明的一種可選實施例中，上述微處理器13可以以藍牙低能耗方式輸出所述操作指令。
在本發明的一種可選實施例中，所述壓力傳感器11檢測的信號可以通過電橋電路傳遞給信號處理單元12。
圖4示出了本發明實施例的一種手柄設備400的結構示意圖，本申請具體實施例並不對用戶設備400的具體實現做限定。如圖4所示，該用戶設備400可以包括處理器(processor)410、通信接口(Communications Interface)420、存儲器(memory)430、以及通信總線440。
處理器410、通信接口420、以及存儲器430通過通信總線440完成相互間的通信。處理器410可以執行程序432以執行上述實施例中的相關處理步驟(如將各傳感器檢測到的壓力與存儲器430中所存儲的動作類型相匹配以及根據匹配輸出信號控制信號，下文將進一步說明)。具體地，程序432可以包括程序代碼，所述程序代碼包括計算機操作指令。處理器410可以是一個中央處理器CPU，或者是特定集成電路ASIC(Application Specific Integrated Circuit)，或者是被配置成實施本申請實施例的一個或多個集成電路。
參照圖5，示出了本發明一實施例的種動作識別方法的步驟流程圖。該方法具體可以包括如下步驟。
步驟501、預設手柄握持部壓力值集合與手部動作的對應關係。
本發明實施例可以應用於各類手柄中，例如：遊戲手柄，VR(虛擬實境，Virtual Reality)操作手柄等等，用於對用戶的手部動作進行識別，本發明實施例一遊戲機的遊戲手柄為例加以說明，其它手柄可以類似參照。
本發明實施例中，手柄握持部壓力值集合與手部動作的對應關係即不同的壓力值對應不同的手部動作。例如，一個數組{A，B，C，D，E，F}分別代表拇指、食指、中指、無名指、小拇指、手掌上測得的壓力的大小。針對這個數組，可以建立一套算法集成在MCU端，通過該算法可以分析各手指和手掌的力度以生成不同的操作。例如上述示例中根據不同的手指的力度生成的所述的扣動槍扳機的動作和捏的動作(甚至捏的力度大小等)。其中，數組{A，B，C，D，E，F}中每個數據元素具體可以為一個數值範圍，具體數值範圍可以根據實際產品模型針對不同的人群做不同動作的採樣來定義。
步驟502、通過手柄內置的多個壓力傳感器對手柄的握持部進行壓力檢測以得到握持部的壓力值集合。
可以通過多個壓力傳感器對手柄的手部握持部進行壓力檢測，以獲得多個壓力值，並根據該多個壓力值得到對應的壓力值集合。
步驟503、根據所述對應關係確定壓力值集合所對應的手部動作。
根據上述得到的壓力值集合，及預設的壓力值集合與手部動作的對應關係，進而可以確定所對應的手部動作。
可選地，上述方法還可以包括：根據所述對應關係確定壓力值集合所對應的手部動作的力度。
根據本發明的上述實施例，通過壓力傳感器來感知手部用力的變化，將阻值變化與不同的動作做匹配，完成遊戲中手部不同動作的識別。壓力傳感器完全不同於圖像拍攝，不受清晰度、光照、拍攝角度的限制，不需要設計複雜的算法，測量精度高，實時性強。
綜上，本發明實施例提供的一種動作識別方法，通過在手柄內部與手掌及五指所對應的位置設置壓力傳感器，並通過壓力傳感器感知手部用力的改變，壓力傳感器的阻值隨著力度的大小而改變，也即在手部力度不同時，壓力傳感器檢測到力度即不同，將不同的力度與不同的動作做匹配，從而完成對手部不同動作的識別，改變了現有手柄中只能通過按鍵實現抓取、捏、撫摸等動作，增強了用戶人機互動體驗感。
參照圖6，示出了本發明一種實施例的動作識別方法的步驟流程圖。如圖所示，該方法包括了如下步驟。
步驟601、預設手柄握持部壓力值集合與手部動作的對應關係。設置對應關係的方式可以參照上文實施例中的方式進行。
步驟602、將檢測到的壓力信號轉換為電信號。
本發明實施例中，可以通過多個壓力傳感器對手柄的手部握持部進行壓力檢測，以獲得多個壓力值，並將檢測到的壓力信號轉換為電信號。
步驟603、對多個所述電信號進行放大和去幹擾處理。
在該實施例中，壓力傳感器可以連接在電橋電路中，電橋電路的輸出端與信號處理單元相連，在壓力傳感器不受力時，電橋電路輸出的電壓值是可以根據連接在電橋電路中的各個元器件的阻值確定。當壓力傳感器受力以及受力大小發生改變時，壓力傳感器的阻值會發生變化，從而引起電橋電路輸出的電壓值的改變。根據電壓值的改變來判斷壓力傳感器受力的大小。檢測獲取的電信號可進行放大、去幹擾等處理。放大、去幹擾電路是非常成熟的常規電路，有很多現成的IC(即集成電路)，如AD8237等。因此該處理可參照現有技術即可，在此不做贅述。
步驟604、對處理後的多個電信號進行採集並換算成不同的壓力值，得到壓力值集合。
本發明實施例中，可以對上述進行放大及去幹擾等處理後的多個電信號進行採集並換算成不同的壓力值(例如，一個壓力傳感器的量程是0到100N，通過電橋以及運放後對應的最終電壓是從0到100mV，那麼1mV的電壓對應的就是1N的力)。MCU將接收到的每個電信號換算成對應的壓力值，進而得到手部握持部相應的壓力值集合。
步驟605、根據所述對應關係確定壓力值集合所對應的手部動作。
在本發明的一種可選實施例中，所述多個壓力傳感器分別可以設置於手柄的手部握持部與手掌和手指部分對應的位置。
在本發明的一種可選實施例中，所述預設對應關係包括確定拇指、食指、中指、無名指、小拇指、和手掌施加力的大小所對應的操作。
以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其中的部分或者全部模塊來實現本實施例方案的目的。本領域普通技術人員在不付出創造性的勞動的情況下，即可以理解並實施。
通過以上實施方式的描述，本領域技術人員可以理解各實施方式可藉助軟體加必需的通用硬體平臺的方式來實現，當然也可以通過硬體。基於這樣的理解，上述技術方案部分內容可以以軟體產品的形式體現出來，該計算機軟體產品可以存儲在計算機可讀存儲介質中，如ROM/RAM、磁碟、光碟等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，伺服器，或者網絡設備等)執行各個實施例或者實施例的某些部分所述的方法。
最後應說明的是，以上實施例僅用以說明本發明的技術方案，而非對其限制。儘管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特徵進行等同替換。這些修改或者替換，並不使相應技術方案的本質脫離本發明各實施例技術方案的精神和範圍。