通過網絡感知用戶動作的系統和方法
2023-09-22 07:05:20 1
專利名稱：通過網絡感知用戶動作的系統和方法
技術領域：
本申請涉及網絡中的用戶間交互，更具體地，涉及通過網絡感知用戶動作的系統 和方法。
背景技術：
在傳統的網絡通信中，用戶之間主要通過文字、圖像、語音等多媒體信息來進行交 流。然而，現有的通信平臺並不能通過網絡使用戶感知到網絡另一端用戶的肢體動作。
發明內容
根據本申請的第一方面，公開了一種通過網絡感知用戶動作的系統，包括表面肌 電傳感器，在網絡一側採集第一用戶的動作產生的肌電信號；識別模塊，根據所述肌電信號 識別所述第一用戶的動作；以及機械活動部件，根據所識別的動作執行相應的動作，從而使 得位於網絡另一側的第二用戶感知所述第一用戶的動作。根據本申請的第二方面，公開了一種通過網絡感知用戶動作的方法，包括從位於 網絡一側的第一用戶採集由所述第一用戶的動作產生的肌電信號；根據所述肌電信號識別 所述第一用戶的動作；根據識別出的動作生成相應的控制指令；以及響應於所述控制指令 在網絡另一側執行所述動作，從而使得位於網絡另一側的第二用戶感知所述第一用戶的動 作。根據本申請的第三方面，公開了一種根據由用戶動作產生的肌電信號識別所述用 戶動作的系統，包括表面肌電傳感器，採集響應於用戶的動作產生的肌電信號；以及識別 模塊，包括特徵提取單元，從所述肌電信號中提取特徵信號；以及模式識別單元，根據預 先存儲的多個數據樣本識別出與提取的特徵信號對應的動作，所述多個數據樣本中的每一 個包括一個特徵信號集群和相應的動作指示。根據本申請的第四方面，公開了一種根據由用戶動作產生的肌電信號識別所述 用戶動作的裝置，包括特徵提取單元，從所述肌電信號中提取特徵信號；以及模式識別單 元，根據預先存儲的多個數據樣本識別出與提取的特徵信號對應的動作，所述多個數據樣 本中的每一個包括一個特徵信號集群和相應的動作指示。根據本申請的第五方面，公開了一種根據由用戶動作產生的肌電信號識別所述用 戶動作的方法，包括從所述肌電信號中提取特徵信號；將所提取特徵信號與預先存儲的 多個數據樣本進行比較；以及根據比較結果，識別所述肌電信號對應的用戶動作，其中，所 述多個數據樣本中的每一個包括一個特徵信號集群和相應的動作指示。
圖1示意性地示出了根據本申請的一個實施方式通過網絡感知用戶動作的系統。圖2示意性地示出了根據本申請一個實施方式的SEMG傳感器的示意框圖。圖3示意性地示出了根據本申請的一個實施方式的識別模塊。
圖4示意性地示出了採用時域方法從具有六個通道的SEMG傳感環採集到的肌電 信號中提取出的平方和特徵。圖5示意性地示出了基於短時傅立葉變換從具有六個通道的SEMG傳感環採集到 的肌電信號中提取出的平方和特徵。圖6示意性地示出了採用主成分分析法將提取的特徵信號投影在二維平面得到 的降維的特徵信號。圖7示意性地示出了通過學習得到的在二維平面代表幾個不同動作的特徵信號
集群ο圖8示意性地示出了根據本申請的一個實施方式的機械手。圖9示意性地示出了圖8的機械手中的手指結構。圖IOa和IOb分別示出了圖9的手指轉動前後的示意圖。圖11示意性地示出了根據本申請一個實施方式通過網絡感知用戶動作的方法的 流程圖。
具體實施例方式下面，參照附圖對本申請的示例性實施方式進行詳細描述。圖1示出了根據本申請的一個實施方式通過網絡(例如，區域網、廣域網、有線網 絡、無線網絡、3G網絡等)感知用戶動作的系統100。如圖所示，系統100包括分別由用戶 10和20操作的、通過網絡通信的終端11和21。終端11和21可以是網絡中任何適當的通 信終端，例如，個人計算機、筆記本電腦、行動電話、個人數字助理等。系統100還包括與用 戶10和終端11通信的SEMG(surfaceelectromyography，表面肌電)傳感器12、以及與用 戶20和終端21通信的機械活動部件23。SEMG傳感器12由用戶10佩戴在皮膚表面。用戶在進行肢體動作時，其肌肉會伸 縮，並且會有微弱的電能量聚集在對應位置處的皮膚表面。因此，響應於用戶10的肢體動 作，佩戴在其皮膚表面的SEMG傳感器12檢測到對應皮膚位置下的肌肉伸縮運動以及由此 產生的電信號(即，肌電信號)。SEMG傳感器12通過有線接口或例如藍牙等無線接口將檢 測到的肌電信號傳遞給終端11。根據一個實施方式，終端11包括根據接收的肌電信號識別用戶10的動作的識別 模塊(未示出)，並通過網絡將表示識別出的動作的信息傳送給終端21。終端21包括指令 生成模塊(未示出)，該指令生成模塊根據接收的信息生成用於控制機械活動部件23的控 制指令。機械活動部件23根據來自終端21的控制指令為用戶20再現與用戶10的動作相 一致的動作。機械活動部件23可以通過有線或無線接口與終端21相連。根據另一實施方式，終端11將接收到的肌電信號直接傳送給終端21。終端21包 括根據肌電信號識別用戶10的動作的識別模塊和根據識別出的動作生成控制指令的指令 生成模塊。機械活動部件23根據來自終端21的控制指令為用戶20再現與用戶10的動作 相一致的動作。可選地，終端11包括對接收到的肌電信號進行調製的調製模塊，終端21相 應地包括解調模塊，用於對接收到的調製信號進行解調以恢復SEMG傳感器12發送的肌電 信號。根據又一實施方式，終端11包括根據肌電信號識別用戶10的動作的識別模塊和根據識別出的動作生成控制指令的指令生成模塊，並將生成的控制指令傳送給終端21。終 端21將接收的控制指令轉發給機械活動部件23。機械活動部件23根據終端21轉發的控 制指令為用戶20再現與用戶10的動作相一致的動作。由於肌電信號通常具有微弱的電壓(例如，幾微伏到幾毫伏)並且混雜有大量的 噪聲，因此通常需要在SEMG傳感器中對採集的肌電信號進行放大和濾波。圖2示出了根據 本申請一個實施方式的SEMG傳感器12的示意框圖。如圖所示，SEMG傳感器12包括從用 戶的皮膚表面採集肌電信號的多個電極201、將採集的肌電信號進行放大的放大器202、以 及將放大後的肌電信號中的不期望分量濾除的濾波器203。放大器202例如可以是將肌電 信號放大到幾伏的差分放大器。由於有用的肌電信號分布在20Hz到500Hz之間，並且肌電 信號中可能存在50Hz的工頻噪聲，因此，濾波器203可以由將頻率低於20Hz的噪聲濾除的 高通濾波器、將頻率高於500Hz的噪聲濾除的低通濾波器、以及將頻率為50Hz的噪聲濾除 的帶阻濾波器共同構成。在一個實施例中，SEMG傳感器12是用來檢測人手動作的手腕式SEMG傳感環。由 於人手的五個手指由前臂的四塊肌肉控制，因此，在手腕式SEMG傳感環中，可具有至少四 個電極，每個電極的電通道用來檢測一塊肌肉的伸縮產生的肌電信號。作為一種選擇，SEMG 傳感器12可具有六個電極，以確保當用戶將其佩戴在手腕上時，這六個電極能充分覆蓋四 塊肌肉所對應的皮膚位置，從而避免由於電極與肌肉位置錯位而丟失動作信息。圖3示出了根據本申請的一個實施方式的識別模塊30。識別模塊30位於終端11 或21中，並可包括特徵提取單元301、樣本存儲單元302和模式識別單元303。樣本存儲單元302預先存儲有多個數據樣本，每個樣本包括一個特徵信號和與之 對應的動作指示。存儲的數據樣本可以是經過學習和訓練得到的。特徵提取單元301從接 收自SEMG傳感器12的肌電信號提取該肌電信號的特徵信號，並將提取的特徵信號提供至 模式識別單元303。模式識別單元303將特徵提取單元301提供的特徵信號與樣本存儲單 元302中存儲的樣本進行比較，從而識別出與該特徵信號對應的動作。作為一種選擇，樣本 存儲單元也可以不包含在識別模塊內。例如，數據樣本可以存儲在通信終端的其他存儲設 備中，或者可以分布式地存儲在網絡中。肌電信號的特徵信號可以通過對肌電信號進行時域處理、頻域處理、或時-頻域 處理而獲得。響應於用戶的動作，SEMG傳感器12的每個傳感通道都會採集到一個肌電信 號。特徵提取單元301對每個傳感通道採集到的肌電信號分別進行計算以提取出需要的特 徵信號。例如，肌電信號的特徵信號可以是通過時域方法得到的平方和值、基於傅立葉變換 得到的力矩值或平方和值、或者基於短時傅立葉變換得到的力矩值或平方和值。在時_頻 域方法中，根據短時距傅立葉變換的結果提取特徵。也就是，在時域上把信號分成很短的時 段，對每個時段進行傅立葉變換以得到每個時段的頻域特性，從而提供更多的瞬態信息，以 便更精確地識別每個時段的動作。例如，圖4示意性地示出了採用時域方法從具有六個通道的SEMG傳感環採集到的 肌電信號(分別對應於大拇指、食指、中指、及無名指和小拇指的動作)中提取出的平方和 特徵，其中，平方和特徵f例如可通過下式獲得
權利要求
1.一種通過網絡感知用戶動作的系統，包括表面肌電傳感器，在網絡一側採集第一用戶的動作產生的肌電信號； 識別模塊，根據所述肌電信號識別所述第一用戶的動作；以及 機械活動部件，根據所識別的動作執行相應的動作，從而使得位於網絡另一側的第二 用戶感知所述第一用戶的動作。
2.如權利要求1所述的系統，進一步包括指令生成模塊，根據所識別的動作生成控制指令，所述控制指令控制所述機械活動部 件執行與所識別的動作相對應的動作。
3.如權利要求1所述的系統，其中，所述識別模塊設置在由所述第一用戶操作的第一 終端中，或者設置在由所述第二用戶操作的第二終端中。
4.如權利要求2所述的系統，其中，所述指令生成模塊設置在由所述第一用戶操作的 第一終端內，或者設置在由所述第二用戶操作的第二終端內。
5.如權利要求1所述的系統，其中，所述表面肌電傳感器是手腕式表面肌電傳感環。
6.如權利要求5所述的系統，其中，所述手腕式表面肌電傳感環具有至少四個電極傳 感通道。
7.如權利要求6所述的系統，其中，所述手腕式表面肌電傳感環具有六個電極傳感通道。
8.如權利要求1所述的系統，其中，所述識別模塊包括 特徵提取單元，從所述肌電信號中提取特徵信號；以及模式識別單元，根據預先存儲的多個數據樣本識別出與提取的特徵信號對應的動作， 所述多個數據樣本中的每一個包括一個特徵信號集群和相應的動作指示。
9.如權利要求8所述的系統，其中，所述識別模塊進一步包括降維單元，將所述模式識別單元提取的特徵信號進行降維處理後傳遞至所述模式識別單元。
10.如權利要求8所述的系統，其中，所述識別模塊進一步包括學習單元，響應於所述第一用戶的指令對所述第一用戶的動作進行學習，以獲得所述 多個數據樣本。
11.如權利要求8所述的系統，其中，所述特徵信號是所述肌電信號的平方和信號或力矩信號。
12.如權利要求2所述的系統，其中，所述機械活動部件是具有手掌、五個手指和驅動 單元的機械手，所述驅動單元用於驅動五個手指的活動。
13.如權利要求12所述的系統，其中，所述五個手指中的每個手指包括第一指骨、第二 指骨、第三指骨、三個旋轉關節以及拉緊線，所述三個旋轉關節分別連接於所述第一指骨和 所述第二指骨之間、所述第二指骨和所述第三指骨之間、以及所述第三指骨和所述手掌之 間，所述拉緊線連接於所述驅動單元和所述三個旋轉關節，並在驅動單元的驅動下通過所 述三個旋轉關節牽弓I所述第一至第三指骨轉動。
14.如權利要求13所述的系統，其中，所述指令生成模塊生成的控制指令指示所述驅 動單元驅動所述五個手指中的一個或多個轉動。
15.如權利要求12所述的系統，其中，所述驅動單元包括四個電機，其中的一個電機驅動無名指和小拇指，另外三個分別驅動大拇指、食指和中指。
16.一種通過網絡感知用戶動作的方法，包括從位於網絡一側的第一用戶採集由所述第一用戶的動作產生的肌電信號； 根據所述肌電信號識別所述第一用戶的動作； 根據識別出的動作生成相應的控制指令；以及響應於所述控制指令在網絡另一側執行所述動作，從而使得位於網絡另一側的第二用 戶感知所述第一用戶的動作。
17.如權利要求16所述的方法，其中，所述識別的步驟進一步包括 從所述肌電信號中提取特徵信號；以及根據預先存儲的多個數據樣本識別出與提取的特徵信號對應的動作，所述多個數據樣 本中的每一個包括一個特徵信號集群和相應的動作指示。
18.如權利要求17所述的方法，其中，所述多個數據樣本是通過對所述第一用戶的動 作進行學習而得到的。
19.如權利要求16所述的方法，其中，在根據所述多個數據樣本識別出與提取的特徵 信號對應的動作之前，對提取的特徵信號進行降維處理。
20.如權利要求17所述的方法，其中，所述特徵信號是所述肌電信號的平方和信號或 力矩信號。
21.一種根據由用戶動作產生的肌電信號識別所述用戶動作的系統，包括 表面肌電傳感器，採集響應於用戶的動作產生的肌電信號；以及識別模塊，包括特徵提取單元，從所述肌電信號中提取特徵信號；以及模式識別單元，根據預先存儲的多個數據樣本識別出與提取的特徵信號對應的動作， 所述多個數據樣本中的每一個包括一個特徵信號集群和相應的動作指示。
22.如權利要求21所述的系統，其中，所述特徵信號是所述肌電信號的平方和信號或 力矩信號。
23.如權利要求21所述的系統，其中，所述識別模塊進一步包括降維單元，將所述模式識別單元提取的特徵信號進行降維處理後傳遞至所述模式識別單元。
24.如權利要求21所述的系統，其中，所述識別模塊進一步包括學習單元，響應於所述用戶的指令對所述用戶的動作進行學習，以獲得所述多個數據 樣本。
25.如權利要求21所述的系統，其中，所述識別模塊嵌入在通信終端中。
26.一種根據由用戶動作產生的肌電信號識別所述用戶動作的裝置，包括 特徵提取單元，從所述肌電信號中提取特徵信號；以及模式識別單元，根據預先存儲的多個數據樣本識別出與提取的特徵信號對應的動作， 所述多個數據樣本中的每一個包括一個特徵信號集群和相應的動作指示。
27.如權利要求26所述的裝置，進一步包括 樣本存儲單元，存儲所述多個數據樣本。
28.如權利要求26所述的裝置，其中，所述特徵信號是所述肌電信號的平方和信號或力矩信號。
29.如權利要求26所述的裝置，進一步包括降維單元，將所述模式識別單元提取的特徵信號進行降維處理後傳遞至所述模式識別單元。
30.如權利要求26所述的裝置，進一步包括學習單元，響應於所述用戶的指令對所述用戶的動作進行學習以得到所述多個數據樣本。
31.如權利要求26所述的裝置，其中，所述裝置嵌入在通信終端中。
32.一種根據由用戶動作產生的肌電信號識別所述用戶動作的方法，包括 從所述肌電信號中提取特徵信號；將所提取特徵信號與預先存儲的多個數據樣本進行比較；以及 根據比較結果，識別所述肌電信號對應的用戶動作，其中，所述多個數據樣本中的每一個包括一個特徵信號集群和相應的動作指示。
33.如權利要求32所述的方法，其中，所述多個數據樣本是通過對所述第一用戶的動 作進行學習而得到的。
34.如權利要求32所述的方法，其中，在根據所述多個數據樣本識別出與提取的特徵 信號對應的動作之前，對提取的特徵信號進行降維處理。
35.如權利要求32所述的方法，其中，所述特徵信號是所述肌電信號的平方和信號或 力矩信號。
全文摘要
公開了一種通過網絡感知用戶動作的系統和方法，該系統包括表面肌電傳感器，在網絡一側採集第一用戶的動作產生的肌電信號；識別模塊，根據所述肌電信號識別所述第一用戶的動作；以及機械活動部件，根據所識別的動作執行相應的動作，從而使得位於網絡另一側的第二用戶感知所述第一用戶的動作。還公開了一種根據由用戶動作產生的肌電信號識別所述用戶動作的系統、裝置和方法。
文檔編號B25J9/18GK101995947SQ20101014612
公開日2011年3月30日 申請日期2010年4月12日 優先權日2009年8月21日
發明者劉雲輝 申請人:香港中文大學