一種實時監控視頻誘導的運動想像BCI系統的製作方法

2023-07-04 18:11:41

本發明設計了一種基於實時監控視頻誘導的運動想像實驗範式，屬於腦機接口(Brain-Computer Interface，BCI)技術領域。其技術流程是：設計新範式實驗和對比實驗，搭建好實驗所需的腦電信號採集裝置，然後在實驗系統的指導下，採集被試的腦電信號數據，將其存儲後再進行一定的預處理、特徵提取，然後再將新範式實驗的實驗數據和對照組的實驗數據的腦電特徵進行對比，分析其差異性和顯著性。

背景技術：

目前基於腦電信號的BCI主要有穩態視覺誘發電位(SSVEP)BCI、事件相關P300誘發電位BCI、想像動作BCI、慢皮層電位BCI四種。基於運動想像的BCI因其不需要任何外界刺激，操作方便，只要求受試者能進行正常的大腦思維活動，適用人群更廣，且運動想像BCI能真正實現純意念控制而無需肢體運動，故基於運動想像的BCI成為了當前研究的熱門領域之一。

運動想像(Motor lmagery，MI)是一個認知處理過程，想像者想像自己執行一個動作，但是沒有肢體的活動，甚至沒有肌肉的收縮。運動想像，是一種想像的運動，大腦根據指示，在大腦中想像指揮相應肢體進行運動，而不實際產生運動的一種思維過程。在進行運動時，大腦會發出相應的腦電信號影響運動中的肌肉組織，而當大腦有意識的反覆模擬訓練某一動作，但肢體並不活動時，大腦的響應運動皮層區仍然保持活躍狀態，通過特殊設備採集運動想像的腦電波，就能分析響應的運動想像。在腦機接口領域中，人類試圖通過識別不同的MI，實現大腦與外界的通訊。

一般將運動想像分為動覺運動想像(Kinesthetic Motor lmagery，MIK)和視覺運動想像(Visual Motor lmagery，MIV)兩類。MIK是指在大腦中模擬與運動相關的動作的感覺，以感知自身本體感覺為主，想像者感覺到自己實際完成了整個動作，又稱為第一方想像或內在想像。MIV是指想像者好像在一定距離處看到了自己或者他人完成了整個動作，作為自身肢體動作或外部運動圖像的旁觀者，MIV以視覺感官意向為主且與空間的環境密切相關，又稱為第三方想像或外在想像。兩種運動想像類別最重要的差異在於，在MIK中，受試者必須想像自我執行動作，而在MIV中，要事先想像一個執行動作的任務，在控制條件方面，需監測「真實的運動」，尤其是動作執行(Motor Execution，ME)和肢體運動的觀察。

運動想像BCI雖優點多，但是傳統的運動想像BCI也存在諸多不足，例如可識別的任務種類數少，能輸出的有效指令種類少，信息提取效率低；運動想像腦電信號不易產生，其幅值非常微弱，且隨機性強，不穩定，信源質量差，在運動想像BCI中難以採集到優質的運動想像腦電信號，且信號的特徵提取困難；大部分使用者需要較長時間訓練，才能達到理想的執行效果，無訓練用戶的操作的執行正確率較低，且個體之間執行的效果差異大，存在一部分不適用人群。執行效果容易受到受試者主觀因素(情緒、疲勞、注意力等)和客觀因素(身體條件、神經類型等)影響，而且有大約15％-30％的人屬於Ml-BCI文肓，即該人群不易產生出足夠的特徵腦電信號來執行有效操作。所有以上種種缺點，都成為了制約運動想像BCI發展和應用的瓶頸。

技術實現要素：

本發明引入實時視頻監控技術設計了一套通過實時監控視頻誘導的運動想像實驗範式。在本實驗範式中，提出了一種全新的運動想像模式，被試在想像自己抬腿的同時，還可以看到實時監控視頻呈現給自己的含有自己真實腿部狀態的畫面。在本實驗範式中，實時視頻刺激系統是在肢體運動障礙者(被試)前方的電腦顯示器上實現，其中實時監控視頻畫面直接呈現給被試，被試在進行運動想像的時候只需直視前方，便可看到自己的真實肢體。本發明裝置既可用於運動想像BCI控制系統的訓練，用以取得較為優質的EEG運動想像信號，又可應用於運動康復領域，幫助患者取得良好的康復效果。

本發明的技術路線圖如圖1所示，腦電採集系統分別採集被試在有實時監控視頻平臺誘導下的抬腿運動想像信號和被試在沒有實時監控視頻誘導下，只進行單純地抬腿運動想像下的腦電信號，並對採集到的信號進行離線處理，比較和分析兩種實驗方式下的腦電信號差異。

本發明提到的技術方案如下：

1.建立了一種全新的實驗範式，被試在想像抬腿的同時，還可以看到實時監控視頻呈現給自身的含有自己真實腿部狀態的畫面，即被試受在進行運動想像的同時，還受實時監控視頻的誘導。

2.為印證新的實驗範式，即實時監控視頻誘導的運動想像實驗範式，所誘發的腦電信號ERD現象是否更為顯著，設計了對照組實驗，即沒有實時監控視頻誘導的相同任務模式的運動想像實驗，被試單純地想像抬腿的實驗範式，對採集到的這兩種實驗範式下的腦電信號進行信號處理，比較這兩種實驗範式下腦電信號的差異。

3.實時監控視頻誘導平臺由基於Direct show的VMR技術實現，實驗中的單次實驗時序，均是由E-prime軟體編程的程序語音來實現，語音「準備」提示被試做好實驗準備，語音「嘀」提示被試開始進行運動想像，語音「嗒」提示被試可以停止想像，進行休息。

4.在進行信號處理過中，先進行時頻圖譜分析，可以直觀地觀察出兩種實驗模式誘發的腦電的ERD現象的顯著度，並通過ERD特徵明顯的頻率段內的單位頻率內ERD變化率來比較兩種腦電的ERD特徵明顯度。

相對於單純的視覺運動想像，本發明裝置多了一個實時監控視頻的誘導，有利於降低被試進行運動想像的疲勞感，而相對於單一的文字，語音，圖片類刺激或者其他不含自己真實肢體運動情況的視頻刺激的視覺運動想像而言，患者在使用本裝置進行康復訓練的時候，可以通過實時視頻能及時方便，且又直觀地看到自己運動障礙肢體的康復情況(如被試在不停地進行想像運動訓練的時候，若受損傷的肢體發生了輕微挪動，則患者可以通過實時視頻及時看到)，提高了被試參與實驗的熱情和積極性，加快了受損的神經通路的康復效果。因此，可將本發明應用於運動康復領域，幫助患者取得良好的康復效果。本實驗範式提供的含有自己的真實肢體畫面場景的視頻，可以增加被試參與實驗的沉浸性，而已有的研究表明，在想像運動BCI實驗過程中，受試者的沉浸度越高，其產生的EEG信源質量越好。另外，實時監控視頻增強了被試的視覺運動想像效果，相比單一的純視覺運動想像，本實驗範式能誘發信源質量較好的運動想像腦電信號。因此本發明提出的實驗範式，可以顯著贈強運動想像腦電信號的ERD/ERS特徵信息，提高運動想像腦電信號的信源質量。可將本發明應用於運動想像BCI控制系統的訓練，用以取得較為優質的EEG運動想像信號。

本發明用到的實時監控視頻技術和腦電信號處理技術主要如下：

實時監控視頻誘導的實現

採用大恆圖像公司生產的DH-HV3151UC攝像頭實現實時視頻的採集，將該攝像頭固定在一個支架上，並通過USB接連線連接一臺筆記本電腦，在該電腦上編程實現視頻的實時採集與顯示，並將顯示直觀地呈現給被試。視頻實時採集的編程實現主要採用了基於Directshow的VMR(Video Mixer Render視頻混合渲染)技術。VMR在清晰、流暢顯示視頻的同時，可以靈活地捕獲圖像幀。VMR有兩個版本VMR-7和VMR-9。VMR-9是Directshow SDK9.0中的視頻渲染技術，採用Direct3D技術。VMR-9對作業系統要求更高，但其功能更強，效果更好，它使用了最新的圖像APl函數提供了最好的顯示性能。視頻顯示根據有無窗口可分為有窗口模式和無窗口模式，Video Renderer只支持窗口模式VMR支持有窗口和無窗口模式默認支持有窗口模式。在無窗口模式中，可把視頻和應用程式主界面的窗口捆綁。

視頻捕獲系統的整體框架如圖2所示。Directshow的基本原理是多媒體數據在過濾器圖表中流動，通過過濾器圖表中各過濾器實現其功能，最終實現多媒體數據在渲染過濾器中的顯示與回放。

本實驗範式中，視頻誘導顯示界面能完整地呈現被試的下肢場景，具有良好的視覺呈現舒適性和廣闊性，且視頻顯示程序具有廣泛的硬體視頻採集設備的適用性，適用於任何攝像頭設備，增加了系統的適用性和廣泛性。呈現實時視頻畫面的顯示器位於被試正前方1米左右處。實驗用到的實時錄製被試腿部視頻信息的設備則固定在攝像頭三腳支架上，位於被試在想像抬腿時候，所用到的那條腿的那一側，與被試的雙腿保持平行，攝像頭通過USB連接線與顯示器所在的電腦相連接，實驗時根據視頻顯示界面顯示的被試腿部情況，實時調整攝像頭三腳支架與被試之間的位置，確保最後的視頻顯示界面能完整的顯示被試要發出想像動作的那一條腿。

腦電信號的離線處理：

1.預處理：對採集到的兩類信號進行降採樣，濾波，截取有效數據等處理工作，方使今後進行特徵提取。

2.腦電信號的特徵提取：

時頻圖譜分析法

想像動作誘發的腦電信號，是非平穩的隨機信號，且ERD/ERS特徵是與特定時間段的特定頻段相關的。在這種情況下，採用同時提取時域與頻域信息的時頻分析方法分析其特徵變化，能夠比較直觀地分析想像動作誘發的腦電信號特徵。短時傅立葉變換(Short Time Fourier Transform，STFT)是時頻分析的一種，其假設腦電信號在一定的時間範圍內是平穩的。短時傅立葉變換是首先使用一個有限寬度的觀察窗W(t)對信號x(t)進行觀察，然後對加窗後的信號進行傅立葉變換

式中：ω是角頻率；W*(τ-t)是W(τ-t)的復共軛函數。觀察窗W(τ-t)隨時間t平移，對信號x(t)進行截取，然後用傅立葉變換對截取到的信號進行處理，得到局部信號的頻譜。通過時頻圖譜，可以找到ERD/ERS特徵比較明顯的頻率段和時間段。能量-頻率圖分析法

運動想像BCI的主要研究機理為運動想像能改變大腦皮層內的功能連通性，以產生事件相關去同步(ERD)和事件相關同步(ERS)現象，這兩種現象涉及的腦電頻帶範圍在8-14Hz之間的羅蘭迪氏μ節律和14-30Hz的beta節律，其中，ERS對應於相關想像動作模式下，特定頻帶範圍內腦電節律能量的上升過程，ERD則表現為能量的衰減過程。目前學術界普遍採用學者Pfurtscheller的ERD/ERS強度係數理論來研究ERD和ERS，其ERD/ERS強度係數定義為

其中A為進行想像動作時，特徵頻段內的腦電能量，R是進行想像動作前該頻段在參考時間段內的能量均值。在本發明專利中，參考時間段取為2s，通過腦電的時頻圖譜，對各個頻率的腦電節律在0-5s內的實際想像動作時間內，對其ERD能量求平均，並求其相對於2s時間的基線期ERD強度係數，即可得到兩類腦電的能量-頻率圖。

本發明的有益效果包括：

本發明提出了一種全新的實時監控視頻誘導的運動想像實驗範式，被試在實時監控視頻誘導下可產生ERD特徵更為明顯的運動想像腦電信號，可將本發明用於運動想像BCl控制系統的訓練，用以取得較為優質的EEG運動想像信號。同時，實時監控視頻能提供給肢體運動障礙者良好的沉浸性以及正向反饋激勵性，故可將本發明應用於康復醫學領域，結合功能電刺激FES或者護理機器人一起使用，增強使用者的主動性以及加快受損神經系統的恢復，有利於使用者的大腦重塑。

附圖說明

圖1本發明的總體技術線路圖

圖2視頻捕獲系統的整體框架圖

圖3兩類實驗差異對比圖

圖4實驗時序圖

圖5兩類腦電的時頻圖對比圖

圖6兩類腦電的能量-頻率對比圖

具體實施方式

該設計包括腦電採集帽和腦電放大器等腦電採集設備，實時監控視頻誘導平臺和計算機離線數據處理模塊等部分。實驗中使用Neuroscan公司生產的64導腦電採集系統採集腦電，在進行想像動作實驗時候，要求被試安靜地坐於距顯示視頻的電腦顯示器約1m的靠椅上，實驗分為兩大類實驗進行，即無視頻刺激對照組和有視頻刺激實驗組。兩類實驗環境和實驗步驟均相同，唯一不同的是，有視頻誘導實驗組，被試一邊看著視頻一邊進行運動想像，而無視頻誘導對照組則是被試只進行純粹的抬腿運動想像。兩者的差異對比如圖3(a)和圖3(b)所示。在每一類實驗中被試在進行運動想像時，均只需進行想像抬腿，而無需進行想像左右手的運動。在每一類實驗裡面均含有含有2組實驗，每一組實驗裡面包含30個試驗次數(trial)，其中第一組實驗被試僅需進行抬腿訓練，發出抬腿這一實際動作，而無需進行抬腿想像。而第二組實驗則要求被試進行抬腿想像，而無需發出抬腿這一 實際動作。

每一個trial裡面的實驗時序如圖(4)所示，E-Prime軟體通過聲音提示被試完成實驗，一個trial包含10s，在實驗開始的時候，通過聲音提示」開始」提示被試該實驗試次即將開始，需調整呼吸均勻以及自己的身體和精神狀態，做好想像動作實驗的準備，在第2s鐘的時候，通過聲音提示「嘀」表示想像動作實驗開始，被試開始進行抬腿想像，想像動作期為5s，在這5s的時間內，要求被試連續地想像抬腿兩次。被試在進行思維任務作業時，一邊看著實時視頻，一邊進行想像，在第7s鐘的時候，系統發出聲音提示「嗒」，表示想像動作期結束，被試可以停止進行想像，開始進行休息，休息時間為2s，待這2s時間結束後，又開始進行下一個實驗循環。

實驗結束後，對採集到的這兩種實驗模式所誘發的腦電先進行預處理，然後再進行時頻圖譜分析和能量-頻率圖分析。

兩種實驗模式所誘發的腦電的時頻圖譜如圖5(a)和圖5(b)所示，圖5(a)為無視頻誘導時腦電的時頻圖譜，圖5(b)為有監控視頻誘導時腦電的時頻圖譜，由對比可知，有監控視頻誘導時ERD現象涉及的頻段更廣，更為普遍，證明其誘發的ERD現象更為顯著。

兩種實驗模式所誘發的腦電的能量-頻率圖如圖6所示，橫坐標對應各腦電頻率，單位為Hz，縱坐標對應各腦電頻率在5s想像任務時期內的平均能量相對於2s的基線期的變化值，單位為dB。其中虛線表示沒有視頻誘導，被試單一地想像抬腿的能量頻率圖，實線表示有視頻誘導時，被試想像抬腿的能量-頻率圖.通過對比發現，在足部運動有關的12-14Hz和21-23Hz頻段內，兩種信號均出現了ERD現象，且實線下滑坡度比虛線下滑坡度大，若將ERD變化率定義為單位頻率內ERD值的變化量，則說明實線所代表的有實時監控視頻誘導下的抬腿運動想像腦電信號ERD變化率比較大，ERD特徵信息更加明顯。

經過結果分析表明，本發明所提出的實時監控視頻誘導的運動想像實驗範式其誘發的運動想像腦電信號效果明顯，既可用於運動想像BCI控制系統的訓練，用以取得較為優質的EEG運動想像信號。也可用於康復醫學領域，結合功能電刺激FES或者護理機器人一起使用，用於肢體運動障礙者，如中風患者、脊椎損傷患者、帕金森病患者、頑固性疼痛患者等的康復治療。