一種腦控動物機器人系統以及動物機器人的腦控方法
2023-04-24 08:11:11 1
一種腦控動物機器人系統以及動物機器人的腦控方法
【專利摘要】本發明公開了一種腦控動物機器人系統以及動物機器人的腦控方法，本發明中通過採集人腦的腦電信號，然後對腦電信號進行一定的處理後生成相應的控制指令，用於控制動物機器人的運動，該腦控方法中提出的兩種混合模式的腦對腦的控制範式，可以有效的實現腦對腦的動物機器人的控制。本發明中採用2種控制模式，分別為基於腦電信號的眼電\肌電特徵與運動想像特徵的混合控制模式，和基於視覺誘發電位特徵和運動想像特徵的混合控制模式，根據使用者的狀態選擇適合的控制模式，大大提高了控制的實時性和可靠性。本發明腦控動物機器人系統可以用於探索未知環境、腦功能機制研究、腦對腦網絡通信、殘疾人生活輔助和娛樂等領域。
【專利說明】一種腦控動物機器人系統以及動物機器人的腦控方法
【技術領域】
[0001]本發明屬於動物機器人控制、腦機接口和智能交互領域，具體涉及一種腦控動物機器人系統以及動物機器人的腦控方法。
【背景技術】
[0002]腦機接口系統的基本原理是:通過腦信號檢測技術獲取神經系統的活動變化，再對這些信號進行分類識別，分辨出引發腦信號變化的動作意圖，再用計算機把人的思維活動轉變成命令信號驅動外部設備，從而在沒有肌肉和外圍神經直接參與的情況下，實現人腦對外部環境的直接控制。腦機接口在大腦和計算機之間建立了直接的信息通道，按照信息傳輸的方向，可以分為從腦到機和從機到腦兩類，前者是通過記錄相關腦區的神經信息解析後獲取大腦意願，來控制外部設備；另一類是通過在相關腦區施加電或光刺激，將信息由機器輸入大腦，用於信息的反饋和行為誘導。
[0003]基於頭皮腦電EEG (Electroencephalography)信號解析的腦機接口技術是由腦到機的一個典型應用，採用機器學習算法對使用者的腦電信號進行分析，解析使用者的動作意圖，將意圖轉換為外部操作命令，從而控制外部設備，控制效果通過眼睛觀察等手段實時反饋給使用者。基於EEG的腦機接口系統可以採用EEG信號的各種不同成分作為系統檢測目標，最常用的有:基於自發的運動想像和慢皮層電位，如基於運動想像的腦電輪椅；基於誘發的事件相關P300電位，如基於P300的中文打字系統；基於誘發的穩態視覺誘發電位，如基於 SSVEP (Steady state visually evoked potential)的電話呼叫系統。另外,眼電、肌電也常常作為一種輔助信號以增加對外的控制指令數。基本的EEG信號解碼步驟主要有:信號預處理，特徵提取，特徵分類。信號預處理往往是對原始信號進行一些初步的處理，目地是去噪，提高信噪比，以及調整信號的數值範圍。常用的預處理方法有去直流、歸一化、濾波和去除偽跡等。特徵提取往往是基於腦電信號固有的時空關係，採用公共空間模式和獨立成分分析等信號處理方法提取相應的方差、頻譜等特徵，並採用線性判別分析和支持向量機等高效的機器學習分類算法，對特徵進行分類，從而判斷使用者的動作意圖。目前用於採集頭皮腦電信號的設備分為有線和無線兩種。Emotiv和NeuroSky等公司生產的無線腦電採集設備可以便攜地採集人的腦電信號，並識別出情緒、表情和運動想像等相關腦電活動，這些設備已被應用於遊戲領域；NeuroScan、Biosemi和g.tec等公司生產的有線採集設備也已經廣泛運用於科研、遊戲和醫療領域。有線腦電信號採集設備採集的腦電信號往往比無線採集設備採集的信號具有更高的精度，但後者在佩戴上較為便捷。
[0004]基於神經接口技術的動物機器人是由機到腦的一個典型應用。動物機器人是以動物為運動載體，採用腦機接口技術構建的新型動物機器混合系統。與傳統機械機器人比，動物機器人具有無可比擬的優勢。一方面，動物機器人自身的生物生理系統大大簡化了機械機器人在設計和實現中所需要解決的各種難題，尤其體現在對動力學實現和能源供給等方面，使得系統難度和成本大為降低，突破了機器人發展中所遇到的無法解決的瓶頸問題。另一方面，動物機器人在運動靈活性、平穩性、健壯性、環境適應性和隱蔽性等多個方面都具有無可比擬的天然優勢。這使得動物機器人比傳統機電機器人更加適合某些特殊環境中的複雜任務，如空間探索、災區救援、地理環境信息收集，甚至反恐偵察、軍事目標定位和破壞。很多發達國家早已展開動物機器人相關的研究，美國波士頓大學夏威夷海洋生物研究所研製鯊魚機器人，以進行軍事追蹤任務；美國加大伯克利大學研製甲蟲機器人，已實現控制起飛、停止和轉彎；日本廣島大學研究金魚機器人，實現金魚在二維的前進和轉向；日本東京大學研製蟑螂機器人，初步實現直線行走的控制；山東科技大學研製鴿子機器人，控制鴿子的起飛、徘徊、左右轉向和前進。以大鼠機器人為例，通過對大鼠的中腦邊緣系統的「愉悅中樞」進行電刺激，可以使大鼠興奮，從而控制大鼠向前走；通過對大鼠腦中的軀體感受皮層的左、右鬍鬚區區域進行電刺激，可以控制大鼠左轉和右轉。
[0005]現有的動物機器人領域，多通過人為手動輸入控制信號，完成動物機器人的運動控制，該種動物機器人的控制方法由於其交互方式不夠直接、不夠自然，對於殘障人士和無法操作電腦的人來說，應用受限，無法實施。
【發明內容】
[0006]本發明針對現有技術的不足，提出了一種腦控動物機器人系統以及動物機器人的腦控方法。
[0007]—種腦控動物機器人系統,包括:
[0008]微型傳感器，用於採集動物機器人的所處的環境信息；
[0009]腦電信號採集裝置，用於採集使用者的腦電信號；
[0010]數據處理及傳輸裝置，
[0011 ] 用於對該腦電信號進行格式轉化，得到標準腦電信號，
[0012]還用於輸出閃屏指令，
[0013]還用於接收並轉發所述的環境信息，
[0014]還用於對標準腦電信號進行預處理，對預處理後的標準腦電信號進行特徵識別，根據特徵識別結果進行衝突處理得到相應的運動控制指令，根據該運動控制指令生成相應的刺激參數發送給電子背包，並將該運動控制指令發送給顯示設備，
[0015]其中，對預處理後的標準腦電信號進行特徵識別時:
[0016]若使用者偏向使用視覺誘發電位信號，則對預處理後的標準腦電信號進行視覺誘發電位特徵和運動想像特徵識別，
[0017]若使用者偏向使用眼電\肌電信號，則對預處理後的標準腦電信號進行眼電\肌電特徵和運動想像特徵識別；
[0018]電子背包，接收運動控制指令，並對動物機器人進行控制；
[0019]顯示設備，
[0020]用於接收來自數據處理及傳輸裝置的環境信息並顯示給使用者，
[0021]還用於接收閃屏指令並輸出相應的閃屏刺激，
[0022]還用於接收並顯示所述的運動控制指令；
[0023]所述的運動控制指令包括向前運動控制指令、向左運動控制指令和向右運動控制指令。
[0024]本發明中的微型傳感器可以為微型攝像頭、距離傳感器、紅外探測器和溫度傳感器等。當微型傳感器時採集到的環境信息為視頻數據，直接通過顯示設備進行視頻播放。
[0025]本發明的腦控動物機器人系統採用腦電信號採集裝置採集使用者的腦電信號，並對腦電信號進行一系列的處理，最終根據採集到的腦電信號生成相應的控制指令，然後通過控制指令形成相應的刺激參數(包括刺激強度，刺激間隔以及刺激方式等)，並將刺激參數發送給動物機器人的電子背包以控制動物機器人運動。
[0026]本發明中採用2種控制模式，分別為基於腦電信號的眼電\肌電特徵與運動想像特徵的混合控制模式，和基於視覺誘發電位特徵和運動想像特徵的混合控制模式，根據使用者的訓練狀態選擇合適的控制模式。通常在開始實施控制前，需要對使用者進行腦控訓練，得到使用者的訓練狀態(即使用者偏向使用眼電\肌電信號還是視覺誘發電位信號)，根據使用者的訓練狀態選擇合適的控制模式，提高了控制的實時性和可靠性。其中視覺誘發電位信號(Steady state visually evoked potential, SSVEP)來自於使用者對閃屏刺激的注視，該閃屏刺激在顯示設備上以固定頻率持續播放。本發明腦控動物機器人系統，可以讓殘障人士和非殘障人士只通過想像運動，並結合主動誘發某種眼電\肌電(如眨眼、咬緊牙齒等)，或者通過注視顯示設備上的閃屏刺激以誘發視覺誘發電位(注視時正對顯示設備，眼睛與顯示設備距離為40cm左右，注視時長為Is左右)，來遙控動物機器人在三維空間內移動，從而為人類服務，本發明的動物機器人系統對未知環境探索、腦功能機制研究、腦對腦網絡通信、殘疾人生活輔助和娛樂方面具有諸多價值。
[0027]本發明中的動物機器人還攜帶有微型傳感器，用於實時採集動物機器人所處的環境信息，並以數據處理及傳輸裝置進行中轉，發送給顯示設備顯示給使用者，使用者根據動物機器人所處的環境變化及時做出應變。顯示設備用於使用者不能直接觀察到動物機器人的應用場景，若使用者可以直接觀察動物機器人的行為以及所處的環境信息，也可以不採用微型傳感器和顯示設備完成環境信息顯示，直接觀測動物機器人進行控制即可。
[0028]本發明中的閃屏刺激通過Direct Draw技術實現，其閃爍頻率為15Hz或12Hz,閃爍方式有黑白翻轉、紅白翻轉和圖案翻轉等多種方式可選，且閃爍中心有用作眼睛著眼點的標記，標記通常為某個英文字母或者阿拉伯數字。該模塊可以在計算機屏幕自由移動，且大小可調。通常情況下，顯示設備中閃爍刺激的閃爍頻率為15Hz，黑白翻轉，中心有字母「a」作為標記。
[0029]本發明的動物機器人不止針對大鼠機器人，還可以用於蟑螂機器人、鴿子機器人、壁虎機器人、金魚機器人和甲蟲機器人等動物機器人。使用者既可以通過直接觀察動物機器人的行為來控制動物機器人，也可以對動物機器人攜帶的傳感器傳輸回來的數據進行判斷，從而控制動物機器人探索未知環境。
[0030]本實施例中數據處理及傳輸裝置可以為一個硬體系統，包括各種硬體功能模塊，也可以通過軟體和硬體相結合，如可以認為數據處理及傳輸裝置為一臺計算機，運行有各種功能軟體模塊。進一步，本發明中的顯示設備可以為與計算機相連的顯示器，所有的功能實現均需要通過計算機進行，且該計算機上還應包括有各種信號無線收發設備(如藍牙設備，接收微型攝像頭採集的環境信息)。當然，該顯示設備也可以是一個包括視頻顯示模塊(如液晶顯示器等)和數據收發功能模塊的顯示裝置。
[0031]所述的腦電信號採集裝置可選，可以為有線多導電極設備，也可以為無線多導電極設備。[0032]常用的有線腦電採集設備(如NeuroScan的SynAmps2放大器系統及相應的Quick-Cap 電極帽)使用的電極通道一般為:FP1、FP2、AF3、AF4、F7、F5、F3、F1、FZ、F2、F4、F6、F8、FT7、FC5、FC3、FC1、FCZ、FC2、FC4、FC6、FT8、T7、C5、C3、Cl、CZ、C2、C4、C6、T8、TP7、CP5、CP3、CPU CPZ, CP2、CP4、TP8、P7、P5、P3、PU PZ, P2、P4、P6、P8、P07、P05、ΡΟΖ, P04、P06、P08、01、0Z、02、CB2、VEOG，參考電極置於鼻尖處，腦電信號的數位化採樣率一般設為IOOOHz ο
[0033]常用的無線腦電採集設備(如Emotiv EEG Neuroheadset)使用的電極通道為:AF3、F7、F3、FC5、T7、P7、01、02、P8、T8、FC6、F4、F8、AF4，參考電極位置為:P3、P4，腦電信號的數位化採樣率為128Hz。
[0034]所述的數據處理及傳輸裝置包括格式轉化模塊、腦電信號分析模塊和控制傳輸模塊。
[0035]所述的格式轉化模塊包括有線腦電信號採集帽適配器、無線腦電信號採集帽適配器和數據標準化模塊。
[0036]有線腦電信號適配器用於將有線多導電極設備採集的腦電信號進行採樣等操作；無線腦電信號適配器用於將無線多導電極設備採集的腦電信號進行採樣等操作；數據標準化模塊用於將適配器處理後的腦電信號的數據格式轉換為同一標準格式，並轉發給腦電信號分析模塊。其中，適配器還用於將採集帽採集到的原始腦電信號發送給顯示設備，通過顯示設備進行顯示，從而便於使用者觀察，以初步判斷得到的腦電信號是否穩定、有效。
[0037]佩戴有線腦電信號採集設備還是無線採集設備依據使用者的具體情況和具體應用而定，不同的適配器(包括無線腦電信號適配器和有線腦電信號適配器)對應不同的腦電信號採集設備。由於採用不同的腦電採集設備採集到的腦電信號的格式不同，為提高分析的可靠性，還設置有格式轉化模塊將腦電信號轉化為特定的格式(即同一標準格式)，如CSV(Comma Separated Value)格式,使得數據存儲單元的行向量和列向量的所代表的含義一致，以便進行後續的在線處理和離線分析。
[0038]所述的腦電信號分析模塊包括:
[0039]信號預處理模塊，用於對標準腦電信號進行預處理；
[0040]特徵識別模塊，用於對預處理後的標準腦電信號進行特徵識別，包括:
[0041 ] 用於識別視覺誘發電位特徵的視覺誘發電位特徵識別模塊，
[0042]用於識別運動想像特徵的運動想像特徵識別模塊，
[0043]以及用於識別眼電\肌電特徵的眼電\肌電特徵識別模塊；
[0044]衝突協調模塊，用於對特徵識別模塊的識別結果進行衝突處理得到運動控制指令，並將該運動控制指令發送給顯示設備。
[0045]特徵識別模塊通常包括視覺誘發電位特徵識別模塊、眼電\肌電特徵識別模塊和運動想像特徵識別模塊，各自獨立識別預處理後的標準腦電信號中相應的特徵。通常運動想像特徵識別模塊除了識別是否具有運動想像特徵外，還確定該運動想像特徵是向左還是向右。
[0046]其中眼電\肌電特徵識別模塊與視覺誘發電位特徵識別模塊二選一，因此實際運行的特徵識別模塊為2個並行的模塊組成，可以為視覺誘發電位特徵識別和運動想像特徵識別，或者為眼電\肌電特徵識別和運動想像特徵識別。且進一步，一般情況下特徵識別模塊識別的結果是只有一種特徵(信號特徵)存在，但是在極少數情況下會出現2種信號特徵均存在的情況，此時可以認為是意念控制衝突(一種信號特徵對應形成的是向左或者向右的運動控制指令，另一種為向前運動控制指令)，因此通過設置衝突協調模塊從特徵識別結果集合中選擇一個作為有效特徵，並根據該有效特徵進行生成相應的運動控制指令。
[0047]實際應用中，衝突協調模塊依據使用者在訓練時的具體情況設置，一般訓練時主動誘發具有某種類型的特徵的腦電信號越難，則生成運動控制指令時該種類型的特徵對應的運動控制指令的優先級越高，衝突處理模塊更傾向於選擇該種類型的特徵作為有效特徵。
[0048]本發明根據大量實驗，生成運動控制指令時，優先級從高到低依次為視覺誘發電位特徵，運動想像特徵和眼電\肌電特徵。實際應用中，可根據實際訓練情況調節該優先級。在實際腦控動物機器人的過程中，相對於左轉和右轉運動控制指令，向前運動控制指令使用的頻率要高得多，且在人腦意念活動中，相對於左、右運動想像，眼電\肌電和視覺誘發電位的產生要輕鬆的多，因此為了提高腦控系統的實時性和可靠性，直接將向左運動想像信號轉換為向左運動控制指令，向右運動想像信號轉換為向右運動控制命令，眼電\肌電和視覺誘發電位轉換為向前運動控制指令，這種意念活動和運動控制指令的對應方式也使系統使用者的腦控過程更為直觀、輕鬆。
[0049]本發明中運動想像特徵對應於向左運動控制指令或向右運動控制指令，視覺誘發電位特徵和眼電\肌電特徵應於向前運動控制指令。具體情況如下:
[0050](a)當選擇眼電\肌電特徵識別模塊時:
[0051]若二者均不存在(既不存在運動想像特徵也不存在眼電\肌電特徵)，則形成的運動控制指令為空指令(即不操作)，
[0052]若二者都存在時，則形成的運動控制指令為向左運動控制指令或向右運動控制指令，向左運動想像特徵對應於向左運動控制指令，向右運動想像特徵對應於向右運動控制指令，
[0053]否則，形成的運動控制指令與存在的信號特徵相對應:
[0054]若存在運動想像特徵，則形成的運動控制指令為向左運動控制指令或向右運動控制指令，向左運動想像特徵對應於向左運動控制指令，向右運動想像特徵對應於向右運動控制指令，
[0055]若存在眼電\肌電特徵，則形成的運動控制指令為向前運動控制指令；
[0056](b)當選擇視覺誘發電位特徵識別模塊時，
[0057]若二者均不存在(既不存在運動想像特徵也不存在視覺誘發電位特徵)，則形成的運動控制指令為空指令(即不操作)，
[0058]若二者都存在時，則形成的運動控制指令為向前運動控制指令，
[0059]否則，形成的運動控制指令與存在的信號特徵相對應:
[0060]若存在運動想像特徵則形成的運動控制指令為向左運動控制指令或向右運動控制指令，向左運動想像特徵對應於向左運動控制指令，向右運動想像特徵對應於向右運動控制指令，
[0061]若存在視覺誘發電位特徵，則形成的運動控制指令為向前運動控制指令。
[0062]所述的控制傳輸模塊包括:[0063]閃屏模塊，用於輸出閃屏指令；
[0064]信息收發模塊，用於接收微型傳感器採集到的環境信息並轉發給交互設備；
[0065]運動指令模塊，用於將所述的運動控制指令生成形成相應的刺激參數，並將刺激參數發送給電子背包。
[0066]閃屏模塊認為是一個獨立形成閃屏的指令(即一段程序)，需要通過顯示設備進行可視化(顯示)才能被使用者用於生成視覺誘發電位特徵。運動控制指令編碼形成的刺激參數主要包括:刺激強度，刺激間隔以及刺激方式等。
[0067]本發明還提供了一種動物機器人的腦控方法，包括:
[0068]( I)採集使用者的腦電信號，並對採集得到的腦電信號進行格式轉化，得到標準腦電信號；
[0069](2)對所述的標準腦電信號進行預處理，並根據使用者的訓練狀態通過以下步驟對預處理後的信號進行特徵識別:
[0070]若使用者偏向使用視覺誘發電位信號，則:
[0071]對預處理後的標準腦電信號進行視覺誘發電位特徵識別，判斷所述的腦電信號中是否存在視覺誘發電位特徵，
[0072]對預處理後的標準腦電信號進行運動想像信號特徵識別，判斷所述的腦電信號是否存在運動想像信號，
[0073]若使用者偏向使用眼電/肌電信號，則:
[0074]對預處理後的標準腦電信號進行眼電\肌電特徵識別，判斷所述的腦電信號是否存在眼電\肌電特徵，
[0075]對預處理後的標準腦電信號進行運動想像特徵識別，判斷所述的腦電信號是否存在運動想像信號；
[0076](3)根據特徵識別的識別結果進行衝突處理得到運動控制指令，所述的運動控制指令包括向前運動控制指令、向左運動控制指令和向右運動控制指令；
[0077](4)對所述的控制指令進行顯示，並將所述的運動控制指令生成相應的刺激參數，並發送給電子背包以控制動物機器人運動。
[0078]在實際應用中，在正式對動物機器人實施腦電控制之前，需要對使用者進行訓練，得到使用者的訓練狀態(即通過訓練得到使用者偏向使用眼電\肌電信號還是視覺誘發電位信號)。
[0079]所述的動物機器人的腦控方法還包括以下步驟:
[0080]所述的微型傳感器採集動物機器人所述的環境信息，並顯示給使用者，使用者根據所述的環境信息做出運動決策並形成相應的腦電信號。
[0081]使用者通過顯示設備觀測動物機器人所處的環境信息，並根據觀測到的環境信息做出相應路徑決策(向左走、向右走、向前走)，根據決策結果進行眨眼(或咬緊牙齒等)、運動想像，或者注視顯示設備上的閃屏刺激，從而產生相應的腦電信號。本發明中若向前走，系統使用者可以通過眨眼(或咬緊牙齒等)，或者注視交互界面上的閃屏；若向左走，系統使用者可以通過運動想像左；若向右走，系統使用者可以通過運動想像右。
[0082]所述步驟(I)中的格式轉化將採集到的腦電信號轉化為同一標準格式。
[0083]所述步驟(2)中對標準腦電信號進行預處理時依次對標準腦電信號進行電極通道選擇、平均參考、去除直流成分、消除基線漂移、偽跡剔除和濾波。通過預處理大大消除了標準腦電信號中的噪聲，提高信號信噪比，保證後續生成的運動控制指令準確性，從而提高該腦控方法的可靠性。
[0084]所述步驟(2)中的特徵識別包括:
[0085](2-1)將預處理後的標準腦電信號複製為2個信號片段，分別為用於視覺誘發電位信號特徵識別和運動想像信號特徵識別的第一信號片段和第二信號片段，或者為用於眼電\肌電特徵識別和運動想像特徵識別的第三信號片段和第二信號片段，
[0086]其中第一信號片段按照交叉重疊進行處理，第二和第三信號片段無交叉重疊；
[0087](2-2)分別對各個信號片段進行相應的特徵識別，其中:
[0088]對於第一信號片段，計算第一信號片段的功率譜密度，並與設定的閾值比較，若大於閾值則識別結果為，所述的腦電信號中存在視覺誘發電位特徵，否則，得到的識別結果為所述的腦電信號中不存在視覺誘發電位特徵，
[0089]對於第二信號片段，計算第二信號片段的空域特徵，並利用分類器對所述的空域特徵進行分類得到識別結果為所述的腦電信號中存在向左運動想像特徵，或為所述的腦電信號中存在向右運動想像特徵，或為所述的腦電信號中不存在向右運動想像特徵和無運動想像特徵，
[0090]對於第三信號片段，計算第三信號片段的信號幅值，並與設定的閾值進行比較，若大於閾值，則得到的識別結果為所述的腦電信號中存在眼電\肌電特徵，否則，得到的識別結果為所述的腦電信號中不存在眼電\肌電特徵。
[0091]其中第一信號片段按照有交叉重疊進行處理，第二和第三信號片段無交叉重疊，其中第一信號片段長度為1.0s左右，第二和第三信號片段長度為0.03s左右。
[0092]將經過預處理後的腦電信號在線複製為同樣的2個，並實時存儲到信號片段緩存區以供特徵識別模塊處理(第一信號片段的緩存區長度為1.0s，第二信號片段和第三信號片段的緩存區長度為0.03s)，其中對第一信號片段的交叉重疊的處理方法為:前1.0s長度的信號片段與後1.0s長度的信號片段有0.5s重疊的信號片段，即，若前一個信號片段為Ts至IJ(T+1.0) s時間區的腦電信號片段，則後一個信號片段為(T+0.5)s到(T+1.5) s時間區的腦電信號片段。
[0093]SSVEP特徵識別主要米用獨立分量分析(Independent Component Analysis, ICA)得到混合矩陣和解混矩陣，並選取SSVEP特徵較為明顯的獨立源信號成分。在線判斷時，預處理後的信號片段(第一信號片段)與解混矩陣相乘得到源信號，再將所選取的獨立源信號成分與混合矩陣相乘得到獨立的源信號，根據該信號的功率譜密度判斷是否有明顯的SSVEP特徵，以閃屏刺激的閃爍頻率為15Hz為例，若15±0.5Hz頻率範圍內的功率譜密度的最大值和最小值的比值大於5分貝，則存在明顯的SSVEP特徵，此時腦電信號片段中存在視覺誘發電位。
[0094]運動想像特徵識別主要計算腦電信號的空域特徵，首先對第二信號片段進行去除眼電的操作，然後對去除眼電後的第二信號片段經過共空間模式(Common SpatialPattern, CSP)特徵提取,再用線性判別分析(Linear Discriminant Analysis, LDA)分類器進行分類，輸出檢測結果:運動想像左、運動想像右，或無運動想像信號。
[0095]眼電\肌電特徵識別主要計算原始信號(第三信號片段)的幅值，並與設定的閾值(一般為100微伏)進行比較，若大於閾值，則得到的識別結果為所述的腦電信號中存在眼電\肌電特徵，否則，得到的識別結果為所述的腦電信號中不存在眼電\肌電特徵。
[0096]本發明的腦控動物機器人系統採用2種控制模式，分別為基於腦電信號的眼電\肌電特徵與運動想像特徵的混合控制模式，和基於視覺誘發電位特徵和運動想像特徵的混合控制模式，根據使用者的狀態選擇合適的控制模式，本發明中通常在開始實施控制前，需要對使用者的狀態進行訓練學習，得到合適的控制模式，以便提高控制的實時性和可靠性。不同於傳統基於動作或者語音的人機互動方式，本發明腦控動物機器人系統及動物機器人的腦控方法，可以讓殘障人士和非殘障人士只通過想像左、右運動，並結合主動誘發某種眼電或者肌電(如眨眼、咬緊牙齒等)，或者注視閃屏，來遙控動物機器人在三維空間內移動，從而為人類服務，適用對象廣，並能夠利用動物機器人攜帶的微型傳感器探索未知環境，這在機器人未知環境探索、腦功能機制研究、腦對腦網絡通信、殘疾人生活輔助和娛樂方面具有諸多價值。
【專利附圖】
【附圖說明】
[0097]圖1為本實施例的腦控動物機器人系統結構圖。
【具體實施方式】
[0098]下面結合附圖以及具體實施例對本發明進行詳細描述。
[0099]本發明腦控動物機器人系統和方法可以應用於多個領域，如機器人未知環境探索、腦功能機制研究、腦對腦網絡通信、殘疾人生活輔助和娛樂等方面。需要注意的一點是，無論是處於訓練過程還是使用過程，一旦系統使用者出現明顯的精神疲勞，應停止使用，進行適當的休息，否則會造成系統輸出準確率大幅下降。
[0100]—種腦控動物機器人系統,包括:
[0101]微型傳感器，用於採集動物機器人的所處的環境信息；
[0102]腦電信號採集裝置，用於採集使用者的腦電信號；
[0103]數據處理及傳輸裝置，
[0104]用於對該腦電信號進行格式轉化，得到標準腦電信號，
[0105]還用於輸出閃屏指令，
[0106]還用於接收並轉發所述的環境信息，
[0107]還用於對標準腦電信號進行預處理，對預處理後的標準腦電信號進行特徵識別，根據特徵識別結果進行衝突處理得到相應的運動控制指令，根據該運動控制指令生成相應的刺激參數發送給電子背包，並將該運動控制指令發送給顯示設備，
[0108]其中，對預處理後的標準腦電信號進行特徵識別時:
[0109]若使用者偏向使用視覺誘發電位信號，則對預處理後的標準腦電信號進行視覺誘發電位特徵和運動想像特徵識別，
[0110]若使用者偏向使用眼電\肌電信號，則對預處理後的標準腦電信號進行眼電\肌電特徵和運動想像特徵識別；
[0111]電子背包，接收運動控制指令，並對動物機器人(本發實施例的動物機器人為大鼠機器人)進行控制；[0112]顯示設備，
[0113]用於接收來自數據處理及傳輸裝置的環境信息並顯示給使用者，
[0114]還用於接收閃屏指令並輸出相應的閃屏刺激，
[0115]還用於接收並顯示所述的運動控制指令；
[0116]其中運動控制指令包括向如運動控制指令、向左運動控制指令和向右運動控制指令。
[0117]本實施例中的腦電信號採集裝置為有線腦電採集設備(NeuroScan的SynAmps2放大器系統及相應的Quick-Cap電極帽)使用的電極通道一般為:FP1、FP2、AF3、AF4、F7、F5、F3、F1、FZ、F2、F4、F6、F8、FT7、FC5、FC3、FCU FCZ, FC2、FC4、FC6、FT8、T7、C5、C3、Cl、CZ、C2、C4、C6、T8、TP7、CP5、CP3、CPU CPZ, CP2、CP4、TP8、P7、P5、P3、PU PZ, P2、P4、P6、P8、P07、P05、ΡΟΖ, P04、P06、P08、01、0Z、02、CB2、VEOG,參考電極置於鼻尖處，腦電信號的數位化採樣率一般設為1000Hz。
[0118]本實施例中的微型傳感器為微型攝像頭，採集到的環境信息為視頻數據，直接通過顯示設備進行視頻播放。微型傳感器實時採集動物機器人所處的環境信息，並以數據處理及傳輸裝置進行中轉，發送給顯示設備顯示給使用者，使用者根據動物機器人所處的環境變化及時做出應變(運動決策)。
[0119]本實施例中的數據處理及傳輸裝置包括格式轉化模塊、腦電信號分析模塊和控制傳輸模塊。其中格式轉化模塊包括有線腦電信號採集帽適配器、無線腦電信號採集帽適配器和數據標準化模塊。有線腦電信號適配器用於將有線多導電極設備採集的腦電信號進行採樣等操作；無線腦電信號適配器用於將無線多導電極設備採集的腦電信號進行採樣等操作；數據標準化模塊用於將適配器處理後的腦電信號的數據格式轉換為同一標準格式(該標準格式為CSV格式，使得數據存儲單元的行向量和列向量的所代表的含義一致)，並轉發給腦電信號分析模塊。其中，適配器還用於將採集帽採集到的原始腦電信號發送給顯示設備，通過顯示設備進行顯示，從而便於使用者觀察，以初步判斷得到的腦電信號是否穩定、有效。
[0120]本實施例的腦控動物機器人系統中的腦電信號分析模塊包括:
[0121]信號預處理模塊，用於對標準腦電信號進行預處理；
[0122]特徵識別模塊，用於對預處理後的標準腦電信號進行特徵識別，包括:
[0123]用於識別視覺誘發電位特徵的視覺誘發電位特徵識別模塊，
[0124]用於識別運動想像特徵的運動想像特徵識別模塊，
[0125]以及用於識別眼電\肌電特徵的眼電\肌電特徵識別模塊；
[0126]其中，特徵識別模塊通常包括視覺誘發電位特徵識別模塊、眼電\肌電特徵識別模塊和運動想像特徵識別模塊，各自獨立識別預處理後的標準腦電信號中相應的特徵。通常運動想像特徵識別模塊除了識別是否具有運動想像特徵外，還確定該運動想像特徵是向左還是向右。眼電\肌電特徵識別模塊與視覺誘發電位特徵識別模塊二選一，實際運行的特徵識別模塊為2個並行的模塊組成，可以為視覺誘發電位特徵識別和運動想像特徵識另O，或者為眼電\肌電特徵識別和運動想像特徵識別。
[0127]衝突協調模塊，用於對特徵識別模塊的識別結果進行衝突處理得到運動控制指令，並將該運動控制指令發送給顯示設備。[0128]本實施的控制傳輸模塊包括:
[0129]閃屏模塊，用於輸出閃屏指令；
[0130]信息收發模塊，用於接收微型傳感器採集到的環境信息並轉發給交互設備；
[0131]運動指令模塊，用於將運動控制指令生成形成相應的刺激參數，並將刺激參數發送給電子背包。
[0132]閃屏模塊認為是一個獨立形成閃屏的指令(一段程序)，需要通過顯示設備進行可視化(顯示)才能被使用者用於生成視覺誘發電位特徵。本實施例中的閃屏刺激通過DirectDraw技術實現，其閃爍頻率為15Hz，閃爍方式有黑白翻轉，且閃爍中心有用作眼睛著眼點的標記，為英文字母「a」。運動控制指令編碼形成的刺激參數主要包括:刺激強度，刺激間隔以及刺激方式等。
[0133]本實施例在正式使用前還對使用者進行訓練學習，根據訓練學習結果，選擇將預處理後的信號輸入到視覺誘發電位特徵識別模塊和運動想像特徵識別模塊，從而特徵識別結果為存在(或不存在)視覺誘發電位特徵或存在運動想像特徵(或不存在)，且設定衝突協調處理模塊生成運動控制指令時各個信號特徵的優先級別從高到低依次為視覺誘發電位特徵，運動想像特徵和眼電\肌電特徵。具體情況如下:
[0134](a)當選擇眼電\肌電特徵識別模塊時:
[0135]若二者均不存在(既不存在運動想像特徵也不存在眼電\肌電特徵)，則形成的運動控制指令為空指令(即不操作)，
[0136]若二者都存在時，則形成的運動控制指令為向左運動控制指令或向右運動控制指令，向左運動想像特徵對應於向左運動控制指令，向右運動想像特徵對應於向右運動控制指令，
[0137]否則，形成的運動控制指令與存在的信號特徵相對應:
[0138]若存在運動想像特徵則形成的運動控制指令為向左運動控制指令或向右運動控制指令，向左運動想像特徵對應於向左運動控制指令，向右運動想像特徵對應於向右運動控制指令，
[0139]若存在眼電\肌電特徵，則形成的運動控制指令為向前運動控制指令；
[0140](b)當選擇視覺誘發電位特徵識別模塊時，
[0141]若二者均不存在(既不存在運動想像特徵也不存在視覺誘發電位特徵)，則形成的運動控制指令為空指令(即不操作)，
[0142]若二者都存在時，則形成的運動控制指令為向前運動控制指令，
[0143]否則，形成的運動控制指令與存在的信號特徵相對應:
[0144]若存在運動想像特徵則形成的運動控制指令為向左運動控制指令或向右運動控制指令，向左運動想像特徵對應於向左運動控制指令，向右運動想像特徵對應於向右運動控制指令，
[0145]若存在視覺誘發電位特徵，則形成的運動控制指令為向前運動控制指令。
[0146]使用者通過注視閃屏刺激誘發穩態視覺誘發電位特徵，或者通過眨眼、咬緊牙齒等臉部動作形成眼電\肌電特徵來控制動物機器人向前運動，通過運動想像控制機器人向左或向右運動。
[0147]佩戴以及訓練完畢後，將大鼠機器人放置在任務環境中進行探索。該腦控方法具體如下:
[0148](I)採集使用者的腦電信號，並對採集得到的腦電信號進行格式轉化，得到標準腦電信號。格式轉化將採集到的腦電信號轉化為同一標準格式，得到的標準腦電信號的格式為CSV格式。
[0149](2)對標準腦電信號進行預處理，對標準腦電信號進行預處理時依次對標準腦電信號進行電極通道選擇、平均參考、去除直流成分、消除基線漂移、偽跡剔除和濾波。通過預處理大大消除了標準腦電信號中的噪聲，提高信號信噪比。
[0150]並根據使用者的訓練狀態通過以下步驟對預處理後的標準信號進行特徵識別:
[0151]若使用者偏向使用視覺誘發電位特徵，則:
[0152]對預處理後的標準腦電信號進行視覺誘發電位特徵識別，判斷腦電信號中是否存在視覺誘發電位特徵，
[0153]對預處理後的標準腦電信號進行運動想像信號特徵識別，判斷腦電信號是否存在運動想像信號，
[0154]若使用者偏向使用眼電/肌電特徵，則:
[0155]對預處理後的標準腦電信號進行眼電\肌電特徵識別，判斷所述的腦電信號是否存在眼電\肌電特徵，
[0156]對預處理後的標準腦電信號進行運動想像特徵識別，判斷所述的腦電信號是否存在運動想像信號，
[0157]其中，特徵識別包括:
[0158](2-1)將預處理後的標準腦電信號複製為2個信號片段，分別為用於視覺誘發電位信號特徵識別和運動想像信號特徵識別的第一信號片段和第二信號片段，或者為用於眼電\肌電特徵識別和運動想像特徵識別的第三信號片段和第二信號片段，
[0159]其中第一信號片段按照交叉重疊進行處理，第二和第三信號片段無交叉重疊；
[0160](2-2)分別對各個信號片段進行相應的特徵識別，其中:
[0161]對於第一信號片段，計算第一信號片段的功率譜密度，將設定頻率範圍內的功率譜密度的最大值和最小值的比值與設定的閾值進行比較，若大於閾值則識別結果為，所述的腦電信號中存在視覺誘發電位特徵，否則，得到的識別結果為所述的腦電信號中不存在視覺誘發電位特徵。
[0162]本實施中，由於閃屏刺激的閃爍頻率為15Hz，因此設定頻率範圍為15±0.5Hz，且設定的閾值為5分貝。
[0163]對於第二信號片段，計算第二信號片段的空域特徵，並利用分類器對所述的空域特徵進行分類(通過線性判別分析(Linear Discriminant Analysis,LDA)分類器進行分類實現)得到識別結果為所述的腦電信號中存在向左運動想像特徵，或為所述的腦電信號中存在向右運動想像特徵，或為所述的腦電信號中不存在向右運動想像特徵和無運動想像特徵；
[0164]對於第三信號片段，計算第三信號片段的信號幅值，並與設定的閾值(為100微伏)進行比較，若大於閾值，則得到的識別結果為所述的腦電信號中存在眼電\肌電特徵，否貝U，得到的識別結果為所述的腦電信號中不存在眼電\肌電特徵。
[0165]其中第一信號片段按照有交叉重疊進行處理，第二和第三信號片段無交叉重疊，其中第一信號片段長度為1.0s左右，第二和第三信號片段長度為0.03s左右。
[0166]將經過預處理後的腦電信號在線複製為同樣的2個，並實時存儲到信號片段緩存區以供特徵識別模塊處理(第一信號片段的緩存區長度為1.0s，第二信號片段和第三信號片段的緩存區長度為0.03s)，其中對第一信號片段的交叉重疊的處理方法為:前1.0s長度的信號片段與後1.0s長度的信號片段有0.5s重疊的信號片段，即，若前一個信號片段為Ts到(T+1.0)s時間區的腦電信號片段，則後一個信號片段為(T+0.5)s到(T+1.5)s時間區的腦電信號片段。
[0167](3)根據特徵識別的識別結果進行衝突處理得到運動控制指令，運動控制指令包括向前運動控制指令、向左運動控制指令和向右運動控制指令；
[0168](4)對控制指令進行顯示，並將所述的運動控制指令生成相應的刺激參數，並發送給電子背包以控制動物機器人運動。本實施的刺激參數包括刺激強度，刺激間隔以及刺激方式。
[0169]且在整個腦控動物機器人的過程中，動物機器人攜帶的微型攝像頭將採集到的視頻信息通過無線網絡(如1.2GHz頻段)傳輸到計算機上，並在計算機顯示器上進行實時播放。使用者通過觀察交互界面上的任務環境的視頻做出路徑決策(向左走、向右走、向前走)。當路徑決策為向前走，使用者可以選擇眨眼，或者注視交互界面上的閃屏刺激；若向左走，系統使用者可以通過運動想像左；若向右走，系統使用者可以通過運動想像右，根據使用者的反應生成相應的腦電信號。
[0170]本申請實施例的各模塊或各步驟可以用通用的計算裝置來實現，可選地，它們可以用計算裝置可執行的程序代碼來實現，從而可以將它們存儲在存儲裝置中由計算裝置來執行，或者將它們分別製作成各個集成電路模塊，或者將它們中的多個模塊或步驟製作成單個集成電路模塊來實現。因此，本申請實施例不限制於任何特定的硬體和軟體結合。
[0171]以上公開的僅為本發明的具體實施例，但是本發明的保護範圍並不局限於此，任何熟悉本領域的技術人員可以對本發明進行各種改動和變型而不脫離本發明的精神和範圍，都應涵蓋在本實用發明的保護範圍之內。
【權利要求】
1.一種腦控動物機器人系統，其特徵在於，包括: 微型傳感器，用於採集動物機器人的所處的環境信息； 腦電信號採集裝置，用於採集使用者的腦電信號； 數據處理及傳輸裝置， 用於對該腦電信號進行格式轉化，得到標準腦電信號， 還用於輸出閃屏指令， 還用於接收並轉發所述的環境信息， 還用於對標準腦電信號進行預處理，對預處理後的標準腦電信號進行特徵識別，根據特徵識別結果進行衝突處理得到相應的運動控制指令，根據該運動控制指令生成相應的刺激參數發送給電子背包，並將該運動控制指令發送給顯示設備， 其中，對預處理後的標準腦電信號進行特徵識別時: 若使用者偏向使用視覺誘發電位信號，則對預處理後的標準腦電信號進行視覺誘發電位特徵和運動想像特徵識別， 若使用者偏向使用眼電\肌電信號，則對預處理後的標準腦電信號進行眼電\肌電特徵和運動想像特徵識別； 電子背包，接收運動控制指令，並對動物機器人進行控制； 顯示設備， 用於接收來自數據處理及傳輸裝置`的環境信息並顯示給使用者， 還用於接收閃屏指令並輸出相應的閃屏刺激， 還用於接收並顯示所述的運動控制指令； 所述的運動控制指令包括向前運動控制指令、向左運動控制指令和向右運動控制指令。
2.如權利要求1所述的一種腦控動物機器人系統，其特徵在於，所述的數據處理及傳輸裝置包括格式轉化模塊、腦電信號分析模塊和控制傳輸模塊。
3.如權利要求2所述的一種腦控動物機器人系統，其特徵在於，所述的格式轉化模塊包括有線腦電信號採集帽適配器、無線腦電信號採集帽適配器和數據標準化模塊。
4.如權利要求3所述的一種腦控動物機器人系統，其特徵在於，所述的腦電信號分析模塊包括: 信號預處理模塊，用於對標準腦電信號進行預處理； 特徵識別模塊，用於對預處理後的標準腦電信號進行特徵識別，包括: 用於識別視覺誘發電位特徵的視覺誘發電位特徵識別模塊， 用於識別運動想像特徵的運動想像特徵識別模塊， 以及用於識別眼電\肌電特徵的眼電\肌電特徵識別模塊； 衝突協調模塊，用於對特徵識別模塊的識別結果進行衝突處理得到運動控制指令，並將該運動控制指令發送給顯示設備。
5.如權利要求4所述的一種腦控動物機器人系統,其特徵在於，所述的控制傳輸模塊包括: 閃屏模塊，用於輸出閃屏指令； 信息收發模塊，用於接收微型傳感器採集到的環境信息並轉發給交互設備；運動指令模塊，用於將所述的運動控制指令生成形成相應的刺激參數，並將刺激參數發送給電子背包。
6.一種動物機器人的腦控方法，其特徵在於，包括: (1)採集使用者的腦電信號，並對採集得到的腦電信號進行格式轉化，得到標準腦電信號; (2)對所述的標準腦電信號進行預處理，並根據使用者的訓練狀態通過以下步驟對預處理後的信號進行特徵識別: 若使用者偏向使用視覺誘發電位信號，則: 對預處理後的標準腦電信號進行視覺誘發電位特徵識別，判斷所述的腦電信號中是否存在視覺誘發電位特徵， 對預處理後的標準腦電信號進行運動想像信號特徵識別，判斷所述的腦電信號是否存在運動想像信號， 若使用者偏向使用眼電/肌電信號，則: 對預處理後的標準腦電信號進行眼電\肌電特徵識別，判斷所述的腦電信號是否存在眼電\肌電特徵， 對預處理後的標準腦電信號進行運動想像特徵識別，判斷所述的腦電信號是否存在運動想像信號； (3)根據特徵識別的識別結果進行衝突處理得到運動控制指令，所述的運動控制指令包括向前運動控制指令、向左運動控制指令和向右運動控制指令； (4)對所述的控制指令進行顯示，並將所述的運動控制指令生成相應的刺激參數，並發送給電子背包以控制動物機器人運動。
7.如權利要求6所述的動物機器人的腦控方法，其特徵在於，還包括以下步驟: 所述的微型傳感器採集動物機器人所述的環境信息，並顯示給使用者，使用者根據所述的環境信息做出運動決策並形成相應的腦電信號。
8.如權利要求7所述的動物機器人的腦控方法，其特徵在於，所述步驟(1)中的格式轉化包括將採集到的腦電信號轉化為同一標準格式。
9.如權利要求8所述的動物機器人的腦控方法，其特徵在於，所述步驟(2)中對標準腦電信號進行預處理時依次對標準腦電信號進行電極通道選擇、平均參考、去除直流成分、消除基線漂移、偽跡剔除和濾波。
10.如權利要求9所述的動物機器人的腦控方法，其特徵在於，所述步驟(2)中的特徵識別包括: (2-1)將預處理後的標準腦電信號複製為2個信號片段，分別為用於視覺誘發電位信號特徵識別和運動想像信號特徵識別的第一信號片段和第二信號片段，或者為用於眼電\肌電特徵識別和運動想像特徵識別的第三信號片段和第二信號片段， 其中第一信號片段按照交叉重疊進行處理，第二和第三信號片段無交叉重疊； (2-2)分別對各個信號片段進行相應的特徵識別，其中: 對於第一信號片段，計算第一信號片段的功率譜密度，並與設定的閾值比較，若大於閾值則識別結果為，所述的腦電信號中存在視覺誘發電位特徵，否則，得到的識別結果為所述的腦電信號中不存在視覺誘發電位特徵，對於第二信號片段，計算第二信號片段的空域特徵，並利用分類器對所述的空域特徵進行分類得到識別結果為所述的腦電信號中存在向左運動想像特徵，或為所述的腦電信號中存在向右運動想像特徵，或為所述的腦電信號中不存在向右運動想像特徵和無運動想像特徵， 對於第三信號片段，計算第三信號片段的信號幅值，並與設定的閾值進行比較，若大於閾值，則得到的識別結果為所述的腦電信號中存在眼電\肌電特徵，否則，得到的識別結果為所述的腦電信號中不存在眼電\肌電`特徵。
【文檔編號】G05D1/02GK103885445SQ201410105028
【公開日】2014年6月25日 申請日期:2014年3月20日 優先權日:2014年3月20日
【發明者】俞一鵬, 潘綱, 錢存樂, 吳朝暉 申請人:浙江大學