基於腦電信號的虛擬鍵盤和機器人控制系統的製作方法
2023-06-09 19:12:11 2
專利名稱：基於腦電信號的虛擬鍵盤和機器人控制系統的製作方法
技術領域：
本發明屬於生物醫學工程技術領域，涉及一種虛擬鍵盤和機器人控制系統，在全系統中將生物神經系統的電生理(腦電信號)與計算機和機器人相結合，具體涉及了腦電生理、資料庫、機器人、數位訊號分析和處理和控制方法等技術領域。
背景技術：
目前國外一些學者在實驗室內研究基於腦電的腦-計算機接口(Brain-ComputerInterface)技術，主要的目的是作為殘疾人的障礙補助方式，其系統主要有利用慢波腦電位(Cz電位參考文獻有IEEE Trans Rehab Eng 2000；8190-192)、P300腦電位(參考文獻有IEEETrans Rehab Eng 2000；8174-179)、mu或beta波腦電位(參考文獻有Trans Rehab Eng 2000；8203-204)來控制計算機和周圍的電子儀器；所採用的虛擬鍵盤輸出文字的功能也是使用被動的方式，即必須有特定的光刺激受試者的視覺系統，並且只能輸出英文。
發明內容
為了解決目前腦-計算機接口技術功能之不足，本發明的目的是提供一種基於腦電信號的虛擬鍵盤和機器人控制系統，建立了一套獨特的系統，即是用大腦運動區的C3和C4處的誘發電位來實現對虛擬鍵盤和機器人進行控制，並且在虛擬鍵盤輸出文字時採用的是主動的方式，它使受試者的視覺系統不需要受任何外界的刺激，這樣使受試者更加自如，本發明可以實現下述目的不僅可以用虛擬鍵盤輸出英文，還可以輸出中文；用特定思維誘發的腦電信號實現對開關電路的控制，對屏幕上光標的控制，對語音系統的控制，使不能說話的殘疾人能夠將內心世界通過語言表達出來；用特定思維誘發的腦電信號實現對機器人行為的控制(讓機器人定向移動，讓機器人唱歌等)；利用特定思維誘發的腦電信號實現在計算機的顯示器上輸出中文文字和英文文字(虛擬鍵盤打字)；利用特定思維誘發的腦電信號實現對計算機顯示器上的圖像進行放大和縮小。
總之，基於腦電信號的虛擬鍵盤和機器人控制系統是一種供殘疾人(特別是癱瘓病人)使用的電子機械裝置，即它可供思維正常但有運動功能障礙的人對外界表達內心世界，對外界環境進行交流和控制，如向外界表達想要吃飯、進行戶外活動或聽音樂等的想法，以及控制收音機和電扇等外界環境，實現一定程度上的生活自理。
它還可為健康的人們提供在特殊環境下控制外界的環境，如幫助人們在高輻射區外對該區內部設備的控制等，也可為人們提供一種新的服務方式，如通過腦電信號指揮機器人來幫助人們做事情等。
本發明的技術方案是這樣實現的它是一種基於特定思維誘發的腦電信號來表達內心世界和控制周圍環境的裝置，該裝置通過特製的硬體平臺和控制程序組成，硬體平臺由一臺PC機、腦-計算機接口控制器、機器人、電燈等周圍電器四部分組成，其聯接是PC機通過串行接口分別與機器人和腦-計算機接口控制器聯接，此控制器輸入端與腦傳導電極聯接，同時PC機與外部設備顯示器聯接，腦-計算機接口控制器與電燈及其它電器聯接，腦傳導電極與受試者聯接(如圖1所示)。
腦電信號通過電極採集送入腦-計算機接口控制器，腦-計算機接口控制器對腦電信號進行濾波、放大等預處理，處理後的腦電數據，通過串行口實時傳送到計算機當中，計算機接收到預處理的腦電數據後，實時對接收到的腦電數據進行分析，從中提取特徵信號，用來判斷大腦的思維活動，實現相應的控制動作，即通過顯示器顯示虛擬鍵盤輸出的結果；可以通過音效卡進行語音表達；還可以通過計算機的串行口發出控制指令，傳送給機器人，使機器人按照指定的程序實現預定的一些動作和唱歌；還可以將指令傳回給接口控制器，控制外圍的電燈及周圍電器等。
本系統硬體腦-計算機接口控制器主要由五部分組成，分別為輸入保護部分，前級放大部分，信號隔離部分，後級信號放大濾波部分，以及微計算機(Inter 80C196KC)採集控制部分(如圖2所示)，各部分的結構與工作原理如下輸入保護部分本部分主要由穩壓二極體和輸入保護電阻組成，另外在輸入前置放大器INA128的輸入端也有一定的保護作用；前級放大部分本部分有兩種功能模塊，共三個部分，分別由INA128和LM324構成，前半部分的放大採用差動放大方法，以提高輸入信號的共模抑制比，後半部放大使用的負反饋放大電路，為了有效的抑制工頻幹擾，在兩極放大器中間，設有一個雙T網絡濾波器，以避免工頻信號在放大過程中使信號溢出，其增益在80dB附近可調；信號隔離部分隔離級由TLP521-2構成，通過設置其輸入電流大小，實現信號1∶1放大的隔離，由於隔離級的加入，使得前端的信號測量在電氣上與後端完全隔離，來提高系統的安全性，同時也提高了信號的抗幹擾性能；信號放大濾波部分放大器採用了LM324和OP07，前部是一個四階的低通濾波器，由LM324構成。後部接一個負反饋放大電路，最後是一個電平調整電路，其增益在20dB附近可調。
本系統(如圖3所示)通過串口，將外部計算機提取過的腦電特徵信號送入中央處理器，中央處理器對輸入的腦電特徵信號進行判斷，並負責程序的執行，實現對電機和喇叭的控制，電機驅動用來驅動直流電機，帶動輪子，實現機器人的行走；音頻放大器用來放大音頻信號，提供給喇叭，實現機器人的發聲，主程序及子程序都保留在外部存儲器中。
腦電信號對機器人控制的方法是通過電腦程式來實現的腦電信號對機器人控制的電腦程式控制方法包括以下步驟(程序流程圖如圖4所示)程序啟動後，先檢查單片機內部的串行通訊控制寄存器1(SCCR1)、串行通訊控制寄存器2(SCCR2)、波特率寄存器(BAUD)相應位的設置，並將其設置到程序需要的狀態，實現單片機的初始化(4010)；接著檢查串行通訊狀態寄存器(SCSR)的狀態，判斷是否接收到特徵腦電數據，如果收到數據(4020)，將結果保存到Cmd變量中(4030)，用於後面的判斷，如果此時已有進程啟動(4040)，就先將原來的進程關掉(4050)，然後判斷Cdm變量的內容；對應不同的命令，啟動不同的進程(4070 4090 4110)，執行唱歌、轉身和前進的動作，程序循環返回，重新等待串口的輸入。
對腦電信號進行識別的電腦程式由總體程序流程圖構成，該程序包括以下幾個部分(如圖5所示)該程序包括有用戶界面的設計裝置、數據的輸入裝置、數據的存儲裝置、腦電數據的處理與顯示、列印裝置、英文和中文的顯示裝置、圖像大小的控制和屏幕上小球移動的控制裝置。
程序及控制方法包括以下步驟系統開始運行時，首先判斷是在線分析還是離線分析(5020 5040)，如果是在線分析，先初始化串口，然後接收數據，再對接受到的數據進行相應的處理，以得到相應的腦電數據(5030)；如果是離線分析，則先打開相應的數據文件，然後讀取數據，再對得到的數據進行相應的處理，最後得到相應的腦電數據(5050)；接著對獲得的腦電數據進行平滑化處理(5060)，以除去腦電波形中的毛刺；再後對腦電數據進行濾波處理(5070)，除去腦電信號中的高頻幹擾，以便下一步進行判斷(5090)；接著進行特徵波形的採樣(5080)，此步驟可以進行多次，以得到最佳的判斷結果(5090)；在採樣完成後，根據採樣得到的特徵，進行相應判斷(5090)，接著對做出的判斷進行校正(5100)，對偽判斷進行更正；以上步驟可以實現如下功能1)對屏幕上小球的運動進行控制，可以使其向上或向下運動，並有相應的聲音提示(5110)；2)對屏幕上圖像的大小進行控制，可以使其放大或縮小，並有相應的聲音提示(5130)3)對判斷進行編碼，當編碼到達規定長度時，對編碼進行檢索，然後顯示編碼對應的英文或中文文字(5150 5160)；4)對機器人的行為進行控制(5120)；5)對周圍電器的開關進行控制(5140)。
在本程序中，對腦電信號的識別算法是這個系統的核心部分，在這部分中需要經過標準特徵採樣後根據得到的特徵來判斷兩種特徵波形，對誤判進行校正，數據處理完輸出。
腦電信號的識別算法控制方法包括以下步驟(程序流程如圖6所示)。
首先進行標準特徵波形的採樣(6010)，如果採樣效果不佳，還可以進行重新採樣(6020)，使判斷的效果達到最佳；接著對進入判斷區的腦電數據進行特徵提取(6040)，根據已得到的標準特徵波形進行特徵1和特徵2的判斷(6050，6080)，接著對判斷進行校正(6110)，除去其中的誤判和對正確的判斷進行細微的調整；如果數據處理結束(6120)，可以退出核心判斷，如果沒有，程序返回，重新採樣(6020)。
腦電信號控制虛擬鍵盤中文漢字輸出的程序控制方法是首先選擇資料庫建立名字為bciword.mdb的資料庫，並在其中建立名字為bciword的表，表中建立bci欄位，類型為text，建立word欄位，類型為text。然後將中文文字輸入word欄位中，利用中文輸入法，將對應的代碼輸入到bci欄位中，此時要注意bci欄位中的內容應該是唯一的，作為查詢的標準，這樣，就建立了一個特殊輸入法的漢字庫。
其次組成數字代碼在系統中，對26個英文字母進行了二進位的編碼，每個字母佔五位，00001代表a，00010代表b等，此外，我們用00000代表R，表示開始執行查詢，用11110代表B，表示刪除一個中文文字。
本程序包括以下步驟(程序流程圖如圖7所示)在程序運行開始時，首先連接ODBC數據源，這裡我們調用自定義的ConfigAccess函數來自動連接，接下來就根據腦電信號來判斷將要輸出的漢字了。當腦電信號輸入時(7010)，首先判斷這個信號是1還是0(7020)，判斷後把信號值添加在m_charindexstring變量尾部(7030或7040)，當有連續5個信號輸入就可以用自定義的GetStrFromIndex函數查出其對應的值(7050 7060)。如果對應的值為小寫字母則把值加到m_strchoose變量尾部(7080)，當得到的值為「R」(7090)，即連續輸入的腦電信號為00000，則根據m_strchoose在資料庫中查出對應的漢字(7120)，並顯示出來；當得到的值為「B」，即連續輸入的腦電信號為11110，則刪除上一個漢字；當得到的值為「D」，即連續輸入的腦電信號為11011，則刪除上一個小寫字母，打出一個漢字或一個小寫字母後，相應的變量初始化(7140)，以便下一次查詢。
在我們的系統中的二進位編碼如下所示a 00001 q 10001b 00010 r 10010c 00011 s 10011d 00100 t 10100e 00101 u 10101f 00110 v 10110
g 00111 w10111h 01000 x11000i 01001 y11001j 01010 z11010k 01011 刪除一個字母 11011l 01100 刪除一個漢字 11110m 01101 開始查詢 00000n 01110 空格 11111o 01111p 10000本發明的優點在腦電信號採集中，僅採用了兩個導聯(C3-A1，C4-A1)就可得到所需的信號；控制的硬體系統性能穩定，適合於殘疾人；用PC機為平臺的軟體系統識別率高，該系統可以實現虛擬鍵盤的功能，使不同的腦電信號可以用文字表達出來，並且在虛擬鍵盤輸出文字時採用的是主動的方式，它使受試者的視覺系統不需要受任何外界的刺激，這樣使受試者更加自如，不僅可以用虛擬鍵盤輸出英文，還可以輸出中文；該系統可以實現腦電信號對機器人行為的控制，根據發出的思維腦電信號使機器人為人們提供一些服務。
圖1為本發明基於腦電信號的虛擬鍵盤和機器人控制系統硬體聯接框圖；圖2為本發明腦-計算機接口控制器電原理圖；圖3為腦電信號控制的機器人硬體結構框圖；圖4為機器人中腦電信號控制程序流程圖；圖5為本發明總體程序流程圖；圖6為本發明核心腦電信號的識別算法流程圖；圖7為本發明腦電信號控制虛擬鍵盤中文漢字輸出流程圖。
具體實施例方式
首先在受試者的頭部安裝腦傳導電極，讓受試者進行幾分鐘的訓練後就可以正式運行了。受試者可以睜開眼睛，也可以閉上眼睛，這完全取決於受試者本人的意願。受試者用思維去想眼球向上或向下而產生誘發腦電信號，來完成不同的功能，如果希望在計算機顯示器上輸出中文或英文文字，可以用腦電信號調出相應的代碼(如00001輸出「a」，00110 0001110101輸出「去」)來完成不同文字的輸出(如「Hello」，「我要吃飯」等)。
例如，「去」的輸入法是fcu，在系統中對f的編碼為00110，對c的編碼為00011，對u的編碼為10101，再加上00000表示開始查詢。當連續輸入腦電信號00110 00011 1010100000，就可以在屏幕上打出「去」字。
相應的內容還可以用語音系統播放出；如果希望控制機器人的行為，可以用腦電信號調出相應的代碼讓機器人移動或唱歌等；如果希望讓計算機顯示器上的圖像不斷放大，可以用思維去想眼球多次向上；如果希望讓計算機顯示器上的圖像不斷縮小，可以用思維控制眼球多次向下。如果希望控制電器開關，可以用腦電信號調出相應的代碼讓電器開關開或關。總之，根據受試者的要求可以實現如下功能在計算機顯示器上虛擬鍵盤輸出中、英文文字，控制機器人的行為，控制周圍電器的開和關(如電燈、電視、空調和電扇等)，放大或縮小計算機顯示器上圖像的大小，用語音系統表達內心想法等等。
權利要求
1.一種基於腦電信號的虛擬鍵盤和機器人控制系統，該系統由硬體平臺和控制程序組成，其特徵在於硬體平臺由一臺PC機、腦-計算機接口控制器、機器人、電燈等周圍電器四部分組成，其聯接是PC機通過串行接口分別與機器人和腦-計算機接口控制器聯接，此控制器輸入端與腦傳導電極聯接，同時PC機與外部設備顯示器聯接，腦-計算機接口控制器與電燈等其它電器聯接，腦傳導電極與受試者聯接，計算機對機器人控制是通過電腦程式進行的。
2.按權利要求1所述控制系統，其特徵在於本系統硬體腦-計算機接口控制器主要由五部分組成，分別為輸入保護部分，前級放大部分，信號隔離部分，後級信號放大濾波部分，以及微計算機(Inter 80C196KC)採集控制部分。
3.按權利要求1、2所述控制系統，其特徵在於本系統前級放大部分有兩種功能模塊，共三個部分，分別由INA128和LM324構成，前半部分的放大採用差動放大方法，以提高輸入信號的共模抑制比，後半部放大使用的負反饋放大電路，為了有效的抑制工頻幹擾，在兩極放大器中間，設有一個雙T網絡濾波器，以避免工頻信號在放大過程中使信號溢出，其增益在80dB附近可調。
4.按權利要求1、2所述控制系統，其特徵在於本系統信號隔離部分隔離級由TLP521-2構成，通過設置其輸入電流大小，實現信號1∶1放大的隔離，由於隔離級的加入，使得前端的信號測量在電氣上與後端完全隔離，來提高系統的安全性，同時也提高了信號的抗幹擾性能。
5.按權利要求1、2所述控制系統，其特徵在於本系統信號放大濾波部分放大器採用了LM324和OP07，前部是一個四階的低通濾波器，由LM324構成，後部接一個負反饋放大電路，最後是一個電平調整電路，其增益在20dB附近可調。
6.一種腦電信號對機器人控制的方法，其特徵在於機器人中腦電信號電腦程式控制方法包括以下步驟程序啟動後，先檢查單片機內部的串行通訊控制寄存器1(SCCR1)、串行通訊控制寄存器2(SCCR2)、波特率寄存器(BAUD)相應位的設置，並將其設置到程序需要的狀態，實現單片機的初始化(4010)；接著檢查串行通訊狀態寄存器(SCSR)的狀態，判斷是否接收到特徵腦電數據，如果收到數據(4020)，將結果保存到Cmd變量中(4030)，用於後面的判斷，如果此時已有進程啟動(4040)，就先將原來的進程關掉(4050)，然後判斷Cdm變量的內容；對應不同的命令，啟動不同的進程(4070 4090 4110)，執行唱歌、轉身和前進的動作，程序循環返回，重新等待串口的輸入。
7.按權利要求6所述控制方法，其特徵在於對腦電信號進行識別的電腦程式控制方法包括以下步驟系統開始運行時，首先判斷是在線分析還是離線分析(5020 5040)，如果是在線分析，先初始化串口，然後接收數據，再對接受到的數據進行相應的處理，以得到相應的腦電數據(5030)；如果是離線分析，則先打開相應的數據文件，然後讀取數據，再對得到的數據進行相應的處理，最後得到相應的腦電數據(5050)；接著對獲得的腦電數據進行平滑化處理(5060)，以除去腦電波形中的毛刺；再後對腦電數據進行濾波處理(5070)，除去腦電信號中的高頻幹擾，以便下一步進行判斷(5090)；接著進行特徵波形的採樣(5080)，此步驟可以進行多次，以得到最佳的判斷結果(5090)；在採樣完成後，根據採樣得到的特徵，進行相應判斷(5090)，接著對做出的判斷進行校正(5100)，對偽判斷進行更正。
8.按權利要求6所述控制方法，其特徵在於腦電信號識別算法控制方法包括以下步驟首先進行標準特徵波形的採樣(6010)，如果採樣效果不佳，還可以進行重新採樣(6020)，使判斷的效果達到最佳；接著對進入判斷區的腦電數據進行特徵提取(6040)，根據已得到的標準特徵波形進行特徵1和特徵2的判斷(6050，6080)，接著對判斷進行校正(6110)，除去其中的誤判和對正確的判斷進行細微的調整；如果數據處理結束(6120)，可以退出核心判斷，如果沒有，程序返回，重新採樣(6020)。
9.按權利要求6所述控制方法，其特徵在於腦電信號控制虛擬鍵盤中文漢字輸出的程序控制方法是首先選擇資料庫這裡是用腦電信號來調用資料庫中的漢字，其資料庫是採用目前電腦中已有的，系統中首先建立名字為bciword.mdb的資料庫，並在其中建立名字為bciword的表，表中建立bci欄位，類型為text，建立word欄位，類型為text，然後將漢字輸入word欄位中，利用漢字輸入法，將對應的代碼輸入到bci欄位中，此時要注意bci欄位中的內容應該是唯一的，作為查詢的標準，這樣就建立了一個特殊輸入法的漢字庫。其次組成數字代碼在系統中對26個英文字母進行了二進位的編碼，每個字母佔五位，在系統中的二進位編碼如下a 00001q 10001b 00010r 10010c 00011s 10011d 00100t 10100e 00101u 10101f 00110v 10110g 00111w 10111h 01000 x 11000i 01001 y 11001j 01010 z 11010k 01011 刪除一個字母11011l 01100 刪除一個漢字11110m 01101 開始查詢00000n 01110 空格11111o 01111p 10000
10.按權利要求6所述控制方法，其特徵在於腦電信號控制虛擬鍵盤中文漢字輸出的程序控制方法的步驟為在程序運行開始時，首先連接ODBC數據源，這裡我們調用自定義的ConfigAccess函數來自動連接，接下來就根據腦電信號來判斷將要輸出的漢字了，當腦電信號輸入時(7010)，首先判斷這個信號是1還是0(7020)，判斷後把信號值添加在m_charindexstring變量尾部(7030或7040)，當有連續5個信號輸入就可以用自定義的GetStrFromIndex函數查出其對應的值(7050 7060)，如果對應的值為小寫字母則把值加到m_strchoose變量尾部(7080)，當得到的值為「R」(7090)，即連續輸入的腦電編號為00000，則根據m_strchoose在資料庫中查出對應的漢字(7120)，並顯示出來，當得到的值為「B」，即連續輸入的腦電信號為11110，則刪除上一個漢字；當得到的值為「D」，即連續輸入的腦電信號為11011，則刪除上一個小寫字母，打出一個漢字或一個小寫字母後，相應的變量初始化(7140)，以便下一次查詢。
全文摘要
本裝置涉及一種生物醫學工程領域的虛擬鍵盤和機器人控制系統，其結構由特製的硬體平臺及控制程序組成，硬體平臺由一臺PC機、腦－計算機接口控制器、機器人、周圍電器組成，計算機通過串口與腦－計算機接口控制器聯接，腦電信號通過計算機中央處理器實現對虛擬鍵盤和機器人的控制，其控制方式是通過電腦程式實現的，優點是控制硬體系統性能穩定，適合於殘疾人；軟體系統識別率高，可實現虛擬鍵盤的功能，使不同的腦電信號可用文字表達出來，並在虛擬鍵盤輸出文字時採用主動的方式，受試者的視覺系統不會受任何外界的刺激，使受試者更加自如，虛擬鍵盤不僅可輸出英文,也可輸出中文，該系統可以實現腦電信號對機器人的控制，根據發出的思維腦電信號使機器人為人們提供服務。
文檔編號G06F19/00GK1538340SQ20031010487
公開日2004年10月20日 申請日期2003年10月21日 優先權日2003年10月21日
發明者宏 王, 王宏, 王志宇, 龐小飛, 葉檸 申請人:東北大學