基於p300腦電電位的中文輸入bci系統的製作方法

2023-05-04 08:42:46 2

專利名稱：基於p300腦電電位的中文輸入bci系統的製作方法
技術領域：
本發明涉及一種醫療康復實驗裝置，具體是指一種利用人類頭皮腦電 圖實現對外界電子機械設備控制的腦機接口 (BCI)系統。
背景技術：
腦機接口技術(BCI )，研究的是如何通過非自然的方法溝通腦內信息 和外界環境。它為大腦和環境提供了信息傳輸通道，外界信息能從仿生傳 感器輸入到神經系統，神經信號也可以用於控制外部電子機械裝置。該項 技術可以修復、改善甚至擴展神經系統原有功能，提供一種嶄新的信息交 互模式。
頭皮腦電圖(EEG)最先被用於BCI系統研究。上世紀七十年代，美 國國防部ARPA機構最早開始重視人與計算機之間沉浸式、緊密的交互技 術的研究。到了九十年代中後期，隨著科學家對大腦功能原理的更深入了 解、高性能的電子產品的飛速發展、社會對殘疾病人的更大關注，BCI 技術的研究出現了新的高潮。直至今天，基於EEG的BCI系統依然是BCI 研究的重要一環，並且由於其無創傷、安全易用的特性，處於BCI實用化 研究的前端。
頭皮腦電圖通過與頭皮接觸的金屬或金屬化合物電極採集得到，電極 和頭皮間需要填充導電媒介物以保證良好接觸。目前在實驗中一般採用電 極帽的方式採集腦電圖信號，電極帽就是將多個電極以 一定空間分布嵌在 彈性帽子上，以簡化定位和準備工作。
奧地利Graz科技大學的BCI小組在G. PfUrtscheller的領導下於1991 年最早開始了基於動作想像的BCI研究。2003年他們實現了用EEG結合 功能性電刺激來幫助癱瘓病人恢復手臂功能，極大地推動了 BCI的實用化 發展。他們還設計了基於EEG的虛擬鍵盤進行英文的輸入。
美國Wadworth Center也是BCI領域的領軍之一。他們研究的重點是運動感覺的自發節律控制。他們研發的BCI系統可以讓用戶通過自主控制μ節律，控制屏幕上的滑鼠進行2維運動。自2001年以來，他們用研發 的BCI系統實現了讓高度癱瘓者自行完成文字拼寫、收發電子郵件、簡單 語音交流等日常操作。
其他的BCI研究機構包括南佛羅裡達大學、德國Tiibingen大學、臺 灣國立交通大學等。在這些研究機構的努力和合作下，已經產生了數種動 作想像控制、虛擬輸入鍵盤和虛擬場景漫遊的BCI模型。
P300是一種事件相關電位(ERP),是一種和心理認知事件有關的EEG 響應，可以通過聽覺視覺等各種刺激誘發， 一般在實驗對象期望的事件發 生時出現。產生P300電位的兩個前提是l.對象期望的事件必須是一個 小概率事件；2.此事件的具體發生時刻應該是隨機的。

發明內容
本發明提供一種基於P300腦電電位的中文輸入BCI系統，擁有實用 BCI系統的完整功能，可以在線地讓使用者依靠心理活動實現向計算機輸 入中文。
一種基於P300腦電電位的中文輸入BCI系統，包括
用於採集帶P300成分的腦電信號並進行放大和數位化的腦電採集系統；
用於將經腦電釆集系統放大和數位化的腦電信號進行增強處理和 P300成分檢測的腦電信號分析模塊；
用於誘發使用者腦電信號並將腦電信號分析模塊的檢測結果轉化為 中文輸入的用戶界面模塊；
用於顯示用戶界面模塊產生的中文輸入的顯示裝置。
其中，所述的腦電採集系統包括
用於從使用者頭部直接採集多通道腦電信號的多導電極帽； 用於將多導電極帽採集的腦電信號進行;改大、增強、濾波處理的腦電放大器；
用於將腦電放大器處理後的腦電信號轉發給腦電信號分析模塊的放 大器控制模塊。
腦電放大器通過多導電極帽從使用者頭部直接採集多通道的腦電信 號。放大器對信號進行放大、增強、濾波後，以一定採樣率將信號數位化，
並通過USB連線將信號傳輸到PC機上。運行於PC機上的放大器控制模 塊接收到腦電信號後將其轉發給腦電信號分析模塊。
所述的腦電信號分析模塊由信號處理模塊和P300成分才企測模塊。 信號處理模塊用於將經腦電採集系統放大和數位化的腦電信號(即來自腦 電採集系統的腦電放大器)進行P300成分凸顯，工作時以數位訊號處理 技術抑制腦電信號中的幹擾和噪聲，去除信號基線漂移，突顯腦電信號中 可能存在的P300成分；
P300成分檢測模塊用於通過信號處理模塊凸顯出的P300成分判定使 用者意圖，即判斷腦電信號中P300成分存在時刻。P300成分檢測模塊運 用隨機信號的模板相關度匹配技術估計腦電信號中不同時間段P300成分 存在的概率，根據概率值判定P300成分發生時刻，根據發生時刻信息確 定使用者意圖(用戶的輸入選項)。檢測程序用於對待分析的腦電信號時 間段進行匹配的模板依據使用者個人的P300信號特點製作；
另外腦電信號分析模塊還可以包括顯示記錄模塊，顯示記錄模塊可在 必要時實時顯示使用者的腦電信號波形和P300成分分析結果，供研究人 員觀察。此模塊同時保存採集到的腦電信號數據，包括原始數據和處理後 數據，供後期分析研究使用者習慣，評估系統運行。
所述的用戶界面模塊包括
用於誘發使用者腦電信號的P300視覺誘發界面模塊；
用於將腦電信號分析模塊的檢測結果(來自腦電信號分析模塊中的 P300成分檢測模塊。)轉化為中文輸入的中文輸入控制模塊。
用戶界面模塊是整個中文輸入BCI系統的控制和配置中心，可以讓輔 助人員通過快捷鍵控制系統的啟停和工作狀態切換等需要人工參與的工 作，並將用戶和中文輸入BCI系統的配置參數發送給腦電信號分析模塊使 之能根據當前使用者的特點自動調整。
P300視覺誘發界面模塊通過視覺提示來誘發使用者的P300電位。
P300視覺誘發界面模塊通過顯示裝置為使用者提供多個輸入選項，輸入 選項以選項框形式出現，選項框在屏幕上形成特定的空間分布。P300 視
覺誘發界面模塊通過選項框的變色彩閃爍形成提示事件，誘發使用者的P300事件誘發電位。選項框的內斜艮據中文輸入狀態變化。
中文輸入控制模塊控制漢字筆畫和字符的輸入通過中文筆畫的選擇 產生候選漢字，通過功能鍵實現筆畫選擇和漢字字符選擇之間的切換，通 過字符的選擇從候選漢字中產生使用者需要的漢字。
用戶界面模塊作為Windows程序運行於PC機上，通過顯示裝置(可 以是普通PC機顯示器)將相關信息顯示出來。
本發明的中文輸入BCI系統具有"使用"和"訓練"兩種工作模式。 使用模式為使用者提供中文輸入服務，訓練模式為用戶提供了進行適應性 使用訓練的環境，能幫助使用者熟悉系統操作。在訓練才莫式下，系統還可 完成P300檢測程序所用模板的製作，這一功能包括在P300成分檢測模塊 中，由其根據系統使用者在訓練過程中的腦電信號生成模板並保存。
本發明的中文輸入BCI系統具有充分的可配置性，可以根據系統工作 模式、使用者的腦電信號特點和使用者個人偏好改變系統的特性。可供配 置的內容包括
P300視覺誘發界面模塊中的輸入選項框空間分布位置和模式；背景、 選項框、文字輸入框配色方案；提示閃爍色彩、閃爍頻率；
腦電信號分析模塊的降噪、去漂移算法；匹配模板的時間長度；上一 選項輸入完畢到下一選項開始輸入的等待時間；
系統使用的腦電電極的數量和位置。
所述的用戶界面可以將每個用戶的偏好參數和模板以獨立文件的方 式保存，文件後綴為bupd。
所述的用戶界面模塊和腦電信號分析模塊可以運行在同一臺PC機 上，也可以分布地運行於多臺PC機上。用戶界面模塊和腦電信號分析模 塊之間通過Socket連接交互控制指令和數據信息。
本發明的中文輸入BCI系統的工作過程為用戶界面模塊通過顯示裝 置利用視覺刺激讓使用者產生帶P300成分的腦電信號，腦電採集系統採 集此信號後進行放大和數位化，並將信號數據傳輸到腦電信號分析模塊， 腦電信號分析模塊實時地對腦電信號進行增強處理和P300成分檢測，並 將數據保存備份，用戶界面模塊採集腦電信號分析模塊的檢測結果後將其轉化為中文輸入並再通過顯示裝置顯示。
本發明中文輸入BCI系統通過用顯示裝置為使用者提供中文輸入的 環境，並誘發使用者的事件相關P300電位，利用腦電採集系統獲取使用 者腦電信號，運用信號分析程序從EEG中提取P300成分，並在解讀P300 與中文輸入的關係後將解讀結果反饋給用戶界面以顯示。系統具有使用模 式和訓練模式兩種工作狀態，既能用於漢字輸入也為用戶提供適應訓練的 環境。
本發明中文輸入BCI系統可以為身體癱瘓且語言功能受損的嚴重殘 疾病患提供與他人進行交流的途徑，並且對其外圍功能加以延伸後可以讓 患者實現對電腦程式和電子機械裝置的控制。這在醫療康復、醫學生理 實驗、腦功能機制探索方面具有諸多價值。


圖1為本發明中文輸入BCI系統的原理框圖2為本發明中文輸入BCI系統用戶界面模塊輸出到顯示裝置的示意
圖3為訓練模式下的用戶界面模塊輸出到顯示裝置的示意圖4為筆畫輸入狀態下的用戶界面模塊輸出到顯示裝置的示意圖5為漢字選擇狀態下的用戶界面模塊輸出到顯示裝置的示意圖6為漢字輸入後的用戶界面模塊輸出到顯示裝置的示意圖7為腦電信號分析模塊中的信號處理模塊的工作流程圖8為腦電信號分析模塊中的P300成分檢測模塊的工作流程圖。
具體實施例方式
參見圖1，本發明基於P300事件誘發電位的中文輸入BCI系統，包 括包括用戶界面模塊、顯示裝置、腦電採集系統、腦電信號分析模塊。
用戶界面模塊控制中文輸入過程，誘發使用者P300腦電成分，腦電 被腦電釆集系統採集，經腦電信號分析模塊處理解讀，反饋至用戶界面模 塊轉化為符合使用者意念的輸入並通過顯示裝置顯示。
中文輸入BCI系統用戶界面模塊輸出到顯示裝置的示意圖如圖2所示。各個選項框以隨機順序輪流閃爍以使每個選項框的閃爍事件都滿足誘
發P300電位的兩個條件，其閃爍的具體組織方式為所有選項框都閃爍 一次算作一輪閃爍；進行若干輪閃爍後系統將其作為一次輸入。其中要保 證各框閃爍的概率相等，閃爍順序應儘量隨機化，^旦需要避免同一個選項 框連續閃爍。
腦電採集系統在使用時，可採用現有技術中通用的採集方法，具體如 電極帽的電極與使用者頭皮間的接觸電阻以控制在20kQ以下為宜。使用 的電極通道默認為FZ、 FCZ、 CZ、 CPZ、 PZ,參考電極置於鼻尖處。此 外還需要接有雙極垂直眼電電極以幫助消除眨眼對信號的影響。腦電放大 器的數位化採樣率一般設為250Hz，並應用上限為50Hz的低通模擬濾波 器。
放大器需同時記錄EEG信號和用用戶界面模塊產生的事件代碼。兩 者合併後輸出的數位訊號經USB連線輸入PC機，由放大器在PC端的控 製程序讀取。此控制程序必須具有軟體埠把解碼後的信號數據以一定格 式發送給腦電信號分析程序。
如圖7所示，腦電信號分析模塊的信號處理才莫塊對EEG的處理流程 包括去除直流成分、消除基線漂移、消除眼電幹擾、濾波、依據事件代 碼對EEG進行分段。消除基線漂移使用減去取樣點之間的三次樣條曲線 的方法，消除眼電幹擾使用眼電信號相關消減算法。濾波過程採用 15 20Hz的低通數字濾波器進行。
如圖8所示，腦電信號分析模塊的P300成分檢測模塊將已經按事件 代碼分段的EEG分別與P300模板進行匹配。匹配算法可以是任意的距離 度量計算，只要其產生的度量值能表徵實際的EEG信號與P300模板的差 異程度。
對於一位從未接觸過本系統的使用者，首先需要讓其對P300電位的 產生機制獲得一定的感性認知。 一般需要讓使用者了解一些受到輸入界面 刺激提示後產生P300信號的心理技巧。最常用的技巧是讓使用者在其所 期望的選項閃爍時，默念某一數字。
訓練模式的用戶界面如圖3，此模式下系統不會產生輸出，並且選項 框閃爍無停頓。使用者首次使用系統時，應將系統置於此模式下，進行適應性訓練和模板採集。訓練模式下，經過2 3次的預練習後，開始製作模 板的過程。讓使用者依次將不同的輸入選項框作為期望輸入。此時信號分 析程序只運行信號處理模塊，並將處理後波形數據保存。在經過至少20 次輸入，每次至少IO輪閃爍後，由操作人員人工剔除一些失敗的實驗數 據，將剩下的數據按"各輪閃爍中具有相同事件代碼的數據段進行合併" 的原則作平均疊加，使每一次輸入都得到一組關於各個選項的含P300電 位的平均數據段。然後再根據使用者個人的P300電位特點從中截取長度 從200ms 400ms的 一段，形成模板。
訓練結束後，使用者已基本掌握系統使用技巧，初步模板也已完成。 這時可以把系統切換到使用模式，其界面如圖2所示。使用者可以開始進 行實際中文輸入。此時系統每執行一次輸入所需的若干輪閃爍後會暫停閃 爍，待系統分析完信號，將P300電位對應的選項輸出到界面，然後繼續 閃爍開始下一個輸入。基於選項輸入的實際打字過程如下
1. 選擇中文筆畫，產生候選漢字，此時用戶界面如圖4。
2. 當候選漢字區出現需要輸入的漢字時，選擇"En"鍵切換到漢字 選擇狀態，此時用戶界面如圖5。
3. 選擇需要的漢字，實現輸入，此時用戶界面如圖6。
4. 期間若有錯誤輸入，選擇"BK"鍵可刪除錯誤輸入。 從訓練到使用整個過程可能無法在一次試驗中完成。在使用過程中輔助操作者應該定期選入一些波形較明顯的數據更新才莫板，以適應使用者由 於對系統的逐漸熟悉而產生的P300電位加強。當系統輸入的準確率達到 標準後，即可停止更新模板，由使用者完全接管系統。
需要注意的一點是，無論處於訓練過程還是使用過程， 一旦使用者出 現明顯的精神疲勞，應停止使用，進行休息，否則會造成系統輸入準確率 大幅下降。
權利要求
1、一種基於P300腦電電位的中文輸入BCI系統，其特徵在於，包括用於採集帶P300成分的腦電信號並進行放大和數位化的腦電採集系統；用於將經腦電採集系統放大和數位化的腦電信號進行增強處理和P300成分檢測的腦電信號分析模塊；用於誘發使用者腦電信號並將腦電信號分析模塊的檢測結果轉化為中文輸入的用戶界面模塊；用於顯示用戶界面模塊產生的中文輸入的顯示裝置。
2、 如權利要求1所述的中文輸入BCI系統，其特徵在於所述的腦 電釆集系統包括用於釆集腦電信號的多導電極帽；用於將多導電極帽採集的腦電信號進行放大、增強、濾波處理的腦電 放大器；用於將腦電放大器處理後的腦電信號轉發給腦電信號分析模塊的放 大器控制模塊。
3、 如權利要求1所述的中文輸入BCI系統，其特徵在於所述的腦 電信號分析模塊包括用於將經腦電採集系統放大和數位化的腦電信號進行P300成分凸顯 的信號處理模塊；用於通過信號處理模塊凸顯出的P300成分判定使用者意圖的P300成 分檢測模塊。
4、 如權利要求1所述的中文輸入BCI系統，其特徵在於所述的用 戶界面模塊包括用於誘發使用者腦電信號的P300視覺誘發界面模塊； 用於將腦電信號分析模塊的檢測結果轉化為中文輸入的中文輸入控 制模塊。
全文摘要
本發明公開了一種基於P300腦電電位的中文輸入BCI系統，包括用於採集帶P300成分的腦電信號並進行放大和數位化的腦電採集系統，用於將經腦電採集系統放大和數位化的腦電信號進行增強處理和P300成分檢測的腦電信號分析模塊，用於誘發使用者腦電信號並將腦電信號分析模塊的檢測結果轉化為中文輸入的用戶界面模塊，用於顯示用戶界面模塊產生的中文輸入的顯示裝置。本發明中文輸入BCI系統可以為身體癱瘓且語言功能受損的嚴重殘疾病患提供與他人進行交流的途徑，並且對其外圍功能加以延伸後可以讓患者實現對電腦程式和電子機械裝置的控制。這在醫療康復、醫學生理實驗、腦功能機制探索方面具有諸多價值。
文檔編號G06F3/01GK101201696SQ200710164418
公開日2008年6月18日 申請日期2007年11月29日 優先權日2007年11月29日
發明者邊 吳, 莊越挺, 張劍慧, 昕 李, 煜 蘇, 鄭筱祥, 陳衛東 申請人:浙江大學