基於運動想像腦‑機接口的無人機虛擬控制方法及系統與流程

2023-05-21 21:12:21

本發明涉及腦-機接口領域，具體涉及一種基於運動想像腦-機接口的無人機虛擬控制方法及系統，滿足無人機飛控手腦電控制無人機的訓練需求。

背景技術：

第一屆腦-機接口(braincomputerinterface，bci)國際會議把腦-機接口定義為一種不依賴大腦正常神經和肌肉輸出通路的腦-機通信系統。許多研究表明，特定的想像任務能夠產生特定的腦電信號，比如想像肢體某側運動，可以引起大腦對側區域腦電信號的某些成分同步減弱或者增強，這種想像被稱為時間相關同步和時間相關去同步。基於該原理，運動想像成為腦-機接口控制的重要範式。隨著腦電採集和處理技術的發展，bci系統功能大大增強，其應用範圍也越來越廣泛。bci技術用於無人機控制領域，將提高無人機的控制性能。但是控制無人機並不容易，每個無人機飛控手都需要大量的遙控飛行練習，而對於剛接觸腦電的無人機飛控手來說，利用腦電控制無人機無疑增加了控制難度。針對這一問題，有必要建立虛擬控制平臺對無人機飛控手進行訓練，並根據結果評價飛控手的利用腦電控制無人機的能力。

技術實現要素：

本發明的目的在於針對上述現有技術中的問題，提供一種基於運動想像腦-機接口的無人機虛擬控制方法及系統，模擬真實無人機的控制策略(場景)，滿足訓練的需求。

為了實現上述目的，本發明基於運動想像腦-機接口的無人機虛擬控制方法包括以下步驟：

1)實驗開始，被試者觀看虛擬無人機界面，想像不同的肢體運動，採集腦電信號；

2)依次經過時間濾波、空間濾波、特徵提取和特徵轉化將腦電信號轉化為控制信號；

3)腦電控制信號傳遞到虛擬無人機控制程序，通過虛擬無人機控制程序控制虛擬無人機飛行，通過虛擬無人機界面呈現反饋的無人機飛行狀態，被試者實時監視自己的控制效果，調整運動想像狀態，直至成功完成虛擬無人機飛行任務或者觸發失敗條件。

通過blender軟體進行虛擬無人機界面的建模，通過scan4.5軟體採集腦電信號，通過bci2000軟體將腦電信號轉化為控制信號。

腦電信號採集設備使用neuroscan研製的synamps2放大器以及64導溼電極腦電帽，且腦電帽的電極排布方式按照國際10-20系統進行排列。

所述腦電信號的空間濾波利用拉普拉斯空間濾波器，簡化為在每個時間點t，中心電機的點位減去4個向量的電極的加權和：

式中權重wh,i是目標電極h和它附近電極i之間距離dh,i的函數。

所述腦電信號的特徵提取採用自回歸最大熵譜法將mu節律和beta節律從時域信號轉化為頻域特徵，所述的mu節律為8hz-12hz，beta節律為18hz-25hz。

所述腦電信號的特徵轉化包括分類識別和歸一化處理；分類識別引入fisher鑑別準則表達式，使投影后的樣本具有最大的類間離散度和最小的類內離散度；歸一化處理通過對控制信號進行線性變換，使輸出的控制信號處於特定範圍內。

腦電控制信號通過udp無連接的傳輸協議發送到信號中轉軟體中，信號中轉軟體讀取本地埠的腦電控制信號，然後通過內存映射傳遞到blender虛擬環境當中。

本發明基於運動想像腦-機接口的無人機虛擬控制系統包括：虛擬無人機界面以及用於採集被試者想像不同肢體運動時所產生腦電信號的腦電採集設備；用於將腦電信號轉化為控制信號的信號處理模塊；以及用於將腦電控制信號傳遞到虛擬無人機虛擬環境的接口。

腦電採集設備採集到的腦電信號通過腦電信號放大器傳輸至信號處理模塊。

與現有技術相比，本發明基於運動想像腦-機接口的無人機虛擬控制方法及系統具有如下的有益效果：通過被試者觀看虛擬無人機界面，熟悉運動想像流程，在實驗開始前，被試者需要了解虛擬無人的控制規則，本方案中假設虛擬無人機勻速向前飛行，當想像左手運動，無人機向左運動，想像右手運動，無人機向右運動，想像雙手同時運動，無人機向上運動，想像雙腿運動，無人機向下運動。利用腦電採集設備來採集產生的腦電信號，腦電信號轉化為控制信號傳遞到虛擬無人機控制程序，通過虛擬無人機控制程序控制虛擬無人機飛行。本發明能夠訓練被試者控制虛擬無人機，從而為控制真實無人機做準備，能夠用於電子娛樂、工業控制等領域，並能夠得到完善的腦-機接口系統，有望獲得客觀的社會經濟效益。

附圖說明

圖1本發明腦-機接口的結構示意圖；

圖2本發明腦-機接口的軟體連接示意圖；

圖3本發明腦-機接口的信號處理流程和控制方式示意圖；

圖4本發明虛擬無人機界面示意圖。

具體實施方式

下面結合附圖對本發明做進一步的詳細說明。

參見圖1，本發明基於運動想像腦-機接口的無人機虛擬控制系統包括虛擬無人機界面以及用於採集被試者想像不同肢體運動時所產生腦電信號的腦電採集設備；用於將腦電信號轉化為控制信號的信號處理模塊；以及用於將腦電控制信號傳遞到虛擬無人機虛擬環境的接口。鑑於無人機控制的複雜性，被試者在進行本發明方法之前需進行一定的一維運動想像訓練，熟悉運動想像流程。在實驗開始前，被試應了解虛擬無人的控制方法(規則)：假設虛擬無人機勻速向前飛行，當想像左手運動，無人機向左運動；想像右手運動，無人機向右運動；想像雙手同時運動，無人機向上運動；想像雙腿運動，無人機向下運動。

參見圖2，本發明腦電採集軟體為scan4.5，腦電處理軟體為bci2000，虛擬無人機界面(相當於簡單的遊戲)建模軟體為blender。其中所建立的虛擬無人機模型為四旋翼無人機，並且利用blender自帶的遊戲引擎編寫控制程序。實驗進行時虛擬無人機勻速向前飛行，並根據控制信號向左、右轉向，上升或者下降。腦電採集設備使用的是由neuroscan研製的synamps2放大器，64導溼電極腦電帽，腦電帽的電極排布方式按照國際10-20系統進行排列。當實驗開始時，被試者觀看虛擬無人機界面，想像不同的肢體運動。通過腦電信號放大器以及腦電帽採集到腦電信號，scan4.5讀取腦電信號，通過tcp/ip協議將信號傳遞給bci2000軟體，bci2000軟體對信號進行一系列的處理。

1)bci2000接收scan4.5傳遞過來的所有腦電信號，但我們實際只關注與運動想像相關的13個電極c3、c4、c5、cz等的信號。因此進行信號處理的為這13個通道的信號。此外還需要關注的屬性為數據塊(sampleblock)大小和採樣頻率(samplerate)。bci2000軟體內部各模塊之間數據並非實時傳遞，而是按照數據塊(sampleblock)大小進行傳遞。

2)進行空間濾波，空間濾波的目的是為了減少空間模糊的影響，提高信號的保真度。本發明利用拉普拉斯空間濾波器，簡化後的算法為在每個時間點t，中心電機的點位減去4個向量的電極的加權和：

式中權重wh,i是目標電極h和它附近電極i之間距離dh,i的函數。在本實驗中，採用更簡單的實現方式，即用中心電勢減去四個最近電極的平均值。

3)然後特徵提取，理論研究表明，運動想像會是mu(8hz-12hz)或beta節律(18hz-25hz)頻帶產生變化。特徵提取的一般目的就是把mu節律和beta節律從時域信號轉化為頻域特徵。bci要求系統能夠在一秒鐘提供多次反饋，這裡基於自回歸模型的最大熵法mem在給定的頻率解析度比fft和小波變換有更好地時間解析度，更適合bci系統，因此這裡採用的是自回歸最大熵譜進行特徵提取。最大熵外推自相關函數的方法與自回歸分析法是等價的。下

面介紹自回歸分析法的使用：

由時間序列分析，均值為零的平穩隨機限號序列{xk}其n階自回歸信號模型[ar(n)]為：

公式中，wn為具有零均值和單位方差的白噪聲，g為其增益係數，ak(k＝1,2,…,n)為自回歸係數，為xn的一步預測值。選擇合適的ar模型階次是ar譜估計中的一個重要問題,階次選擇太低會產生較大偏差,太高則會導致虛假譜峰,並造成譜估計方差性能的下降，根據腦電信號處理經驗，選擇模型階次為16。

因此gwn相當於預測誤差，回歸係數可用誤差的最小均方差法求得，即令

對ak的導數為0，可得yule-walker方程：

公式中，r(0),r(1),…,r(n)為信號的自相關函數，係數ak(k＝1,2,…,n)可由解此方程得出。由前可知將此方程寫成z變換的形式，得故傳遞函數為

由於h(z)的有理式是全極點的，故將這種信號模型成為全極點式的。因此自回歸信號模型為全極點式地。其功率譜為：

公式中，還有g2未知，現在進行推導。

當前自回歸分析方法和最大熵譜分析都應用了與預測誤差濾波方法，這種方法直接從所得信號序列數據，估算一個最小香味預測誤差濾波器，使其輸出為白噪聲化序列。

預測誤差即為：

其傳遞函數為

由於預測誤差濾波器的輸出為白噪聲化序列，故e{enxn-k}＝0(k＞0)。

可得其輸出功率為：

r(0),r(1),…,r(n)為信號的自相關函數，係數ak(k＝1,2,…,n)由解yule-walker方程方程得出。

預測誤差濾波器的頻率特性：

其功率譜為s(w)|a(w)|2＝p；

即

若預測五把或濾波器輸入信號和自回歸信號功率譜相同，則g2＝p；

這樣就解決了g2的問題。由此可計算出信號的功率譜。

4)特徵提取後緊接著就需要對提取的特徵進行分類識別，其主要過程是把一系列的腦電信號特徵轉化為一系列的控制信號。傳統的分類/回歸方法可以實現這一轉化。

下面介紹線性判別式分析(lineardiscriminantanalysis,lda)。

這種方法的基本思想是將高維的模式樣本投影到最佳鑑別矢量空間，以達到抽取分類信息和壓縮特徵空間維數的效果，投影后保證模式樣本在新的子空間有最大的類間距離和最小的類內距離，即模式在該空間中有最佳的可分離性。

具體步驟如下：經特徵提取後的數據時一個n*1的列向量，假設已經得到m個樣本，並且樣本總共屬於c個類別。首先計算類i的樣本均值；

同理得到總體樣本均值；

定義類間離散度矩陣和類內離散度矩陣：

lda作為一個分類的算法，我們當然希望它所分的類之間耦合度低，類內的聚合度高，即類內離散度矩陣的中的數值要小，而類間離散度矩陣中的數值要大，這樣的分類的效果才好。這裡我們引入fisher鑑別準則表達式：

其中，為任一n維列矢量。

fisher線性鑑別分析就是選取使得達到最大值的矢量作為投影方向，其物理意義就是投影后的樣本具有最大的類間離散度和最小的類內離散度。經過推導最終得到，滿足fisher條件的列向量即為，矩陣sw-1sb最大的特徵值所對應的特徵向量。

5)特徵轉化後的輸出信號範圍不確定，為了控制的穩定性，還需要對輸出信號進行歸一化處理，歸一化對控制信號進行線性變換，使輸出的控制信號在特定範圍內。在bci2000在線操作時使用如下轉換：在bci2000中使用數據緩衝區保存歸一化之前的輸入信號，對於每個通道，歸一化就是將通道數據減去一個偏移量並乘以一個增益值。偏移為數據的平均值，增益則為數據的標準差的逆。假設第i個通道緩衝了n個數據：

outputi＝(inputi-normalizeroffseti)×normalizergaini；

最終得到的輸出信號具有零均值和單位方差。

6)至此完成腦電信號處理部分。接下來將控制信號輸出到無人機虛擬環境中。

首先在線控制要求外部應用程式接口的設計應儘可能的簡潔高效，因此採用udp無連接的傳輸協議，將腦電處理後的信號傳輸出來。這裡採用的方式是通過udp協議將bci2000處理後的腦電信號發送到信號中轉軟體中，信號中轉軟體方便的讀取本地埠的控制信號，然後通過內存映射傳遞到blender虛擬環境當中，如圖2所示。

blender中的無人機模型按照既定的策略進行飛行，如圖3、圖4所示。