一種手勢識別系統及方法
2023-06-03 11:10:56
一種手勢識別系統及方法
【專利摘要】本發明公開了一種手勢識別系統及方法，該系統至少包括：具有加速度、方向和磁場傳感器的智能移動終端，用於記錄用戶手勢的傳感器數據並進行特徵提取，根據該些特徵利用模型訓練平臺訓練獲得的訓練模型識別用戶手勢；模型訓練平臺，對所述智能移動終端採集的多種用戶手勢的手勢特徵進行標記及歸一化處理，並進行特徵訓練學習，獲得所述訓練模型，本發明能夠在用戶無法或者不想通過觸控螢幕或鍵盤進行信息輸入的情況下通過手勢信息進行信息輸入來完成對應的任務，令智慧型手機用戶通過簡單地揮動手勢便能完成相應的任務。
【專利說明】一種手勢識別系統及方法
【技術領域】
[0001] 本發明涉及一種手勢識別系統及方法，特別是涉及一種基於智慧型手機的加速度、 方向和磁場傳感器的手勢識別系統及方法。
【背景技術】
[0002] 隨著智慧型手機的不斷普及、隨著手機性能的不斷提高，便攜的智慧型手機已經在一 定程度上能夠替代電腦的作用，對於絕大多數人來說，智慧型手機變得愈發重要。而加速度、 方向和磁場傳感器基本是每部智慧型手機的標準配備，它們能夠較為準確地捕捉到用戶周圍 的感知數據，採集用戶的行為數據。而很多時候，用戶不能或不想直接通過觸控螢幕或鍵盤輸 入信息，那麼這時該如何得知用戶想要手機完成什麼樣的任務呢？語音識別是一種方法， 手勢識別就是另一種可替代的方法，它不需要用戶將注意力集中在手機屏幕或鍵盤上，只 是簡單地揮一揮手機或做出其他手勢，便可以準確地進行信息輸入，使手機完成相關的任 務。出於這樣的原因，手勢信息輸入作為一種能夠有效替代觸控螢幕、鍵盤的信息輸入方法， 其優勢愈發凸顯。手勢信息輸入將在許多方面有所作為，包括手勢遊戲、手勢播放器、手勢 輸入法、幻燈片手勢操控等等。
[0003] 考慮這樣一種場景，老師在課上授課，需要從講臺的電腦前走到黑板前進行板書 或者走入同學之中，可是過一會他必須走回電腦前進行幻燈片的操作，比如翻頁。如此一 來，便給他的教學帶來極大的不便。但是如果能夠通過手機的手勢識別，並結合數據傳輸， 老師便可以利用手機遠程遙控幻燈片的操作。
[0004] 監測並識別用戶手勢是基於前期採集的大量帶標記的特徵數據訓練出來的模型 進行的，如果模型不夠準確，那麼經常會錯誤地識別手勢，嚴重影響用戶體驗。所以如何訓 練出準確率更高、魯棒性更好的模型對於手勢識別系統來說非常重要。
[0005] 因此，實有必要提出一種準確穩定、基於智慧型手機的手勢識別系統及其方法，針對 用戶不同的手勢，識別並完成相應任務。
【發明內容】
[0006] 為克服上述現有技術存在的不足，本發明之目的在於提供一種手勢識別系統及方 法，其能夠在用戶無法或者不想通過觸控螢幕或鍵盤進行信息輸入的情況下能通過手勢信息 進行信息輸入來完成對應的任務，令智慧型手機用戶通過簡單地揮動手勢便能使手機完成相 應的任務，為用戶增加帶來了便捷和樂趣，避免了傳統觸控螢幕或鍵盤輸入需要將注意力集 中在上面的缺點和傳統輸入方式的單調無聊。
[0007] 為達上述及其它目的，本發明提出一種手勢識別系統，至少包括：
[0008] 具有加速度、方向和磁場傳感器的智能移動終端，用於記錄用戶手勢的傳感器數 據並進行特徵提取，根據該些特徵利用模型訓練平臺訓練獲得的訓練模型識別用戶手勢；
[0009] 模型訓練平臺，對所述智能移動終端採集的多種用戶手勢的手勢特徵進行標記及 歸一化處理，並進行特徵訓練學習，獲得所述訓練模型。
[0010] 進一步地，所述智能移動終端包括：
[0011] 加速度的坐標轉換單元，用於將通過加速度傳感器採集的加速度從手機坐標系轉 換到地面坐標系；
[0012] 手勢起始終止時間的判斷單元，用於確定手勢的起始終止時間；
[0013] 傳感器數據記錄單元，利用文件讀寫語句將每次手勢動作的傳感器數據寫入移動 終端的內存；
[0014] 手勢特徵提取單元，負責對每幀手勢動作進行特徵值提取，得到每個手勢動作頻 域時域上長度為45的總體特徵描述子；
[0015] 手機端手勢數據歸一化單元，用於對該手勢特徵提取單元獲得的45個特徵值進 行歸一化處理；
[0016] 手勢識別單元，對歸一化的特徵進行分類預測並予以識別。
[0017] 進一步地，該加速度的坐標轉換單元首先獲取加速度、方向、磁場傳感器的原始數 據，然後根據坐標軸變換原理，將該原始數據變換到地面坐標系的對應數據。
[0018] 進一步地，該手勢起始終止時間的判斷單元首先計算相鄰時刻的三維加速度的差 值的絕對值的和，如果其大於預先設定的閾值並且上一個手勢已經結束，新的手勢還未開 始，則標記在該時刻開始了新的手勢；如果其小於預先設定的閾值並且手勢開始而尚未結 束，則標記手勢在該時刻結束，否則什麼也不做。
[0019] 進一步地，該手勢提取特徵單元提取特徵的步驟如下：
[0020] 將收集到的對地三維加速度進行幀間等長的分幀處理，共分為3幀；
[0021] 根據每幀的數據計算出15個特徵值，共得到45個特徵值。
[0022] 進一步地，該模型訓練平臺為離線的基於Android編程軟體Eclipse和機器學習 庫libsvm的電腦端，該手勢數據標記單元、該平臺端手勢數據歸一化單元以及該手勢建模 識別單元由開源庫libsvm中所包含的功能直接實現。
[0023] 為達到上述目的，本發明還提供一種手勢識別方法，包括如下步驟：
[0024] 步驟一，通過智能移動終端的傳感器數據記錄單元採集大量用戶的不同手勢數據 並利用手勢特徵提取單元提取出大量的手勢特徵；
[0025] 步驟二，在離線的模型訓練平臺上對所提取的用戶手勢特徵進行標記和歸一化處 理，並進行特徵訓練學習，最後得到一個訓練模型；
[0026] 步驟三，將該訓練模型導入該智能移動終端，由該智能移動終端實時採集用戶手 勢的傳感器數據，實時地進行識別分類，並實時地完成相對應的任務。
[0027] 進一步地，步驟三還包括如下步驟：
[0028] 步驟8. 1，從該智能移動終端的各傳感器中獲得加速度、方向和磁場方向，並把三 維加速度轉化為對地加速度，並予以記錄；
[0029] 步驟8. 2,將收集到的對地三維加速度進行幀間等長的分幀處理，並根據每幀的數 據計算出15個特徵值，共得到45個特徵值；
[0030] 步驟8. 3,把45個特徵值進行歸一化處理，並由該智能移動終端的手勢識別單元 進行識別並得到結果。
[0031] 進一步地，於步驟8. 2中，將收集到的對地三維加速度分為幀間等長的3幀，該15 個特徵值的計算方法如下：首先將三維加速度序列A分為4段，其中每兩個相鄰的斷組成一 中貞，共3幀，每幀之間具有50 %重疊，其中第k個三維加速度數據子序列Rk採用下述方法描 述：
[0032]
【權利要求】
1. 一種手勢識別系統，至少包括： 具有加速度、方向和磁場傳感器的智能移動終端，用於記錄用戶手勢的傳感器數據並 進行特徵提取，根據該些特徵利用模型訓練平臺訓練獲得的訓練模型識別用戶手勢； 模型訓練平臺，對所述智能移動終端採集的多種用戶手勢的手勢特徵進行標記及歸一 化處理，並進行特徵訓練學習，獲得所述訓練模型。
2. 如權利要求1所述的一種手勢識別系統，其特徵在於，所述智能移動終端包括： 加速度的坐標轉換單元，用於將通過加速度傳感器採集的加速度從手機坐標系轉換到 地面坐標系； 手勢起始終止時間的判斷單元，用於確定手勢的起始終止時間； 傳感器數據記錄單元，利用文件讀寫語句將每次手勢動作的傳感器數據寫入移動終端 的內存； 手勢特徵提取單元，負責對每幀手勢動作進行特徵值提取，得到每個手勢動作頻域時 域上長度為45的總體特徵描述子； 手機端手勢數據歸一化單元，用於對該手勢特徵提取單元獲得的45個特徵值進行歸 一化處理； 手勢識別單元，對歸一化的特徵進行分類預測並予以識別。
3. 如權利要求2所述的一種手勢識別系統，其特徵在於，該加速度的坐標轉換單元首 先獲取加速度、方向、磁場傳感器的原始數據，然後根據坐標軸變換原理，將該原始數據變 換到地面坐標系的對應數據。
4. 如權利要求3所述的一種手勢識別系統，其特徵在於：該手勢起始終止時間的判斷 單元首先計算相鄰時刻的三維加速度的差值的絕對值的和，如果其大於預先設定的閾值並 且上一個手勢已經結束，新的手勢還未開始，則標記在該時刻開始了新的手勢；如果其小於 預先設定的閾值並且手勢開始而尚未結束，則標記手勢在該時刻結束，否則什麼也不做。
5. 如權利要求4所述的一種手勢識別系統，其特徵在於，該手勢提取特徵單元提取特 徵的步驟如下： 將收集到的對地三維加速度進行幀間等長的分幀處理，共分為3幀； 根據每幀的數據計算出15個特徵值，共得到45個特徵值。
6. 如權利要求1所述的一種手勢識別系統，其特徵在於：該模型訓練平臺為離線的基 於Android編程軟體Eclipse和機器學習庫libsvm的電腦端，該手勢數據標記單元、該平 臺端手勢數據歸一化單元以及該手勢建模識別單元由開源庫libsvm中所包含的功能直接 實現。
7. -種手勢識別方法，包括如下步驟： 步驟一，通過智能移動終端的傳感器數據記錄單元採集大量用戶的不同手勢數據並利 用手勢特徵提取單元提取出大量的手勢特徵； 步驟二，在離線的模型訓練平臺上對所提取的用戶手勢特徵進行標記和歸一化處理， 並進行特徵訓練學習，最後得到一個訓練模型； 步驟三，將該訓練模型導入該智能移動終端，由該智能移動終端實時採集用戶手勢的 傳感器數據，實時地進行識別分類，並實時地完成相對應的任務。
8. 如權利要求7所述的一種手勢識別方法，其特徵在於，步驟三還包括如下步驟： 步驟8. 1，從該智能移動終端的各傳感器中獲得加速度、方向和磁場方向，並把三維加 速度轉化為對地加速度，並予以記錄； 步驟8. 2,將收集到的對地三維加速度進行幀間等長的分幀處理，並根據每幀的數據計 算出15個特徵值，共得到45個特徵值； 步驟8. 3,把該45個特徵值進行歸一化處理，並由該智能移動終端的手勢識別單元進 行識別並得到結果。
9. 如權利要求8所述的一種手勢識別方法，其特徵在於，於步驟8. 2中，將收集到的對 地三維加速度分為幀間等長的3幀，該15個特徵值的計算方法如下：首先將三維加速度序 列A分為4段，其中每兩個相鄰的斷組成一幀，共3幀，每幀之間具有50%重疊，其中第k個 三維加速度數據子序列R k採用下述方法描述：
其中aT表示三維加速度序列A，rT, k表示第k個三維加速度數據子序列T軸上的加速 度子序列，
表示三維加速度數據子序列rT，k的長度，
表示三維加速 度數據子序列rT，k的第i個的家屬杜數值，
的值可以從A中獲得，其對應關係見式4 ;然 後從該三維加速度子序列中，選取5個特徵值，將每個加速度序列轉化為由45個特徵值描 述。
10. 如權利要求9所述的一種手勢識別方法，其特徵在於：選取的5個特徵值分別為加 速度時域上的方差、加速度兩兩維度時域上的相關度、加速度頻域上的直流分量、加速度頻 域上的交流分量的能量均值、加速度頻域上的交流分量的信息熵。
【文檔編號】G06F3/01GK104111733SQ201410366480
【公開日】2014年10月22日 申請日期:2014年7月29日 優先權日:2014年7月29日
【發明者】朱燕民, 馬海蔚, 貝澤華, 龔虹宇 申請人:上海交通大學