基於腦機接口全自動控制網頁瀏覽方法
2023-05-28 20:27:36
基於腦機接口全自動控制網頁瀏覽方法
【專利摘要】本發明公開了一種基於腦機接口全自動控制網頁瀏覽方法。本方法利用P300腦電電位控制想要在瀏覽器中觀看的新聞位置，利用眨眼檢測對將要打開的新聞進行確認，在新聞位置得到確認後，進入新聞內容界面，閱讀相關詳細內容時利用SSVEP作為信號檢測的指標，對新聞進行上翻，下翻以及返回操作，對感興趣的新聞進行詳細瀏覽，返回新聞列表頁面以及退出瀏覽器。本發明的優點是，操作簡單，適用範圍廣，並為殘障人士提供瀏覽網際網路信息的機會，可在由於外界或自身因素無法移動身體或計算機滑鼠情況下使用。
【專利說明】基於腦機接口全自動控制網頁瀏覽方法
【技術領域】
[0001 ] 本發明涉及一種基於腦機接口全自動控制網頁瀏覽方法。
【背景技術】
[0002]現實生活中有不少運動功能缺失的殘障人士，其中的全身癱瘓者，雖已喪失了通過語言或肢體與外界溝通的能力，但有完整的意識。因此如何提高他們的生活質量已成為被廣泛關注的問題。在無法修復這類損傷的情況下，「腦-計算機接口(Brain-ComputerInterface, BCI) 」是一種不依賴於正常的由外圍神經和肌肉組成的輸出通路的通訊系統，是一種全新的人-機交互系統，它可以把大腦發出的信息直接轉換成能夠驅動外部設備的命令，並代替人的肢體或語言器官實現人與外界的交流以及對外部環境的控制。這對患有嚴重肢體障礙而喪失活動能力的患者(如腦幹中風、肌萎縮性側索硬化等)的輔助治療和語言功能、行為能力的恢復，對特殊環境中外部設備的控制，甚至對娛樂方式的改進都具有非常重要的意義。
[0003]目前腦機接口技術存在著侵入式與非侵入式兩大類。侵入式腦機接口直接植入到大腦的灰質，因而所獲取的神經信號的質量比較高，易於分析處理，但需要對使用者進行開顱手術，容易對使用者的腦部造成感染或損傷，危險性較大。非侵入式腦機接口方便佩戴於人體，雖然其獲取的腦信號噪聲大，但相對容易獲取，不會對使用者腦部造成傷害。基於腦磁圖(MEG)、功能核磁共振成像(fMRI)以及腦電圖(EEG)都已成功實現非侵入式腦機接口。事件相關電位(event-related potential, ERP)是一項基於腦電圖技術的特殊的腦誘發電位，通過有意地賦予刺激以特殊的心理意義，利用多個或多樣的刺激所引起的腦的電位。這種電位可以被顱外記錄，並憑藉濾波和信號疊加技術，從腦電信號中被提取出來。
[0004]使用基於事件相關電位的腦機接口技術進行網際網路瀏覽器的開發為我們提供了另一種與外界交流的途徑，它無需經過常規的神經肌肉控制，在一些特殊情況下(如飛行員、太空人等)提供了另一種輸出的方法。同時在我們生活中存在著一部分肢體障礙而喪失活動能力的患者，仍具有完整的意識，無法通過正常的神經傳導、肌肉運動與外界環境進行信息交流。網際網路作為當今人類最開闊的信息交流平臺，如果能夠讓這一類人群參與其中，將會從很大程度上改善他們的生活質量。不僅讓殘疾人體會到技術創新帶來的樂趣，方便殘疾人生活，而且能夠找到自己適合的工作，發揮自身價值，融入社會。
[0005]因此，需要發明一種可實現連續控制，並且容易使用，學習時間短的基於腦機接口控制的網際網路瀏覽器。
【發明內容】
[0006]為了克服上述的不足，本發明提供一種基於事件相關電位技術的腦電波控制瀏覽器，可使用腦電信號控制瀏覽器。涉及的具體內容如下:
[0007]本發明所採用的技術如下:一種基於腦機接口全自動控制網頁瀏覽方法，如下:
[0008](I)創建適合腦控的自主腦控瀏覽器:腦控瀏覽器所顯示的內容自動抓取自所要瀏覽的網頁源碼，將廣告信息過濾掉並整合當前時間、當前瀏覽的網站名稱、當前網站首頁所對應的新聞總條數和每條新聞的標題、摘要與正文並顯示除新聞正文外的所有內容而得來的，腦控瀏覽器每次抓取新聞後會將副本保存到本地，能夠離線使用；
[0009](2)腦控瀏覽器系統的組成:腦控瀏覽器系統分為三個子模塊，分別為腦電信號採集模塊、腦電信號處理模塊和腦控瀏覽器界面模塊；腦電信號採集模塊、腦電信號處理模塊、腦控瀏覽器界面模塊依次連接；
[0010]腦電採集模塊負責採集用戶的腦電信號；腦電信號處理模塊負責對採集到的腦電信號進行分析，從中解析出控制命令，並對腦控瀏覽器界面進行控制；腦控瀏覽器界面模塊用來呈現網頁內容；
[0011](3)腦控瀏覽器系統的初始化
[0012]腦電信號採集模塊的初始化:腦電信號採集模塊包括採集腦電信號的電極帽，連接好電極帽，使用者帶上電極帽後調整其位置，使電極帽中所有電極均處在國際10-20系統的標準電極位置，然後在指定的需要獲取腦電信號的位置打入導電膏並確定導電性良好；
[0013]腦電信號處理模塊和腦控瀏覽器界面模塊的初始化:打開腦控瀏覽器界面抓取最新的實時新聞，將瀏覽器界面與信號處理模塊配置完善，測試兩個模塊之間通信正常，證明初始化完畢；
[0014](4)選取想要瀏覽的新聞:
[0015]瀏覽器的每個界面每次呈現三條新聞，通過上翻、下翻瀏覽更多新聞；上翻、下翻按鈕為不同頻率閃爍的方塊，用戶通過注視閃爍的方塊，產生不同頻率的穩態視覺誘發電位(SSVEP)，腦電信號處理模塊根據檢測出的頻率，控制腦控瀏覽器界面進行上翻、下翻從而獲取新的新聞內容，找到感興趣的新聞內容後，通過眨眼進行確認進入P300電位信號檢測模式；
[0016]P300電位信號的檢測採用面向瀏覽內容的多個刺激按鈕單個輪流刺激誘發方法(BSCF)，用戶只需注視想要瀏覽的新聞連結，並在連結改變閃爍顏色時默數，此時腦電採集模塊將採集到的腦電信號傳送給腦電信號處理模塊，腦電信號處理模塊根據識別出的P300電位成分，得出被試想要觀看的新聞位置；
[0017](5)新聞位置正誤判斷:待P300電位的新聞位置確定後，腦控瀏覽器系統對將要打開的信息進行提示，被試對提示信息進行判斷，打開的新聞確實是被試所感興趣的內容則利用眨眼檢測進入新聞頁面，繼續步驟(6)，否則被試忽略提示重新進入步驟(4)；
[0018](6)新聞閱讀:新聞閱讀過程中的上翻、下翻、返回的實現方法與⑷相同，在瀏覽器界面布局中，右上為上翻，右下為下翻，左上為返回，三個控制鍵被賦予了不同的頻率，用戶通過注視不同頻率的閃爍方塊，來對瀏覽的新聞內容進行上翻、下翻操作，瀏覽結束後返回新聞摘要界面；
[0019](7)返回新聞摘要界面:步驟(6)中閱讀完新聞後，返回新聞摘要界面需腦電信號處理模塊使用(4)的方法進行相應頻率的檢測，並發出控制指令，此處仍採用(5)步驟的眨眼方法進行信息確認，確認後返回新聞摘要界面，若關閉腦控瀏覽器不再閱讀，此時界面的返回頻率窗口相當於關閉功能，用來關閉腦控瀏覽器界面。
[0020]本發明具有如下優點:[0021]1.精煉提取了瀏覽器的瀏覽模式，使用(列表/內容)構架實現了瀏覽器的主要功能，瀏覽模式更加簡化，信息呈現更加簡捷，使瀏覽器更加適合在腦機接口技術下使用；
[0022]2.針對腦控瀏覽器實際問題提出的BSCF (即Browser SCF)範式，使P300的誘發更有效。同時保證了界面的美觀和適合瀏覽閱讀；
[0023]3.用於按鈕控制的SSVEP，單次檢測時間僅需2秒，提高了按鈕點擊的效率和實時性；
【專利附圖】
【附圖說明】
[0024]圖1為腦控瀏覽器的控制示意圖；
[0025]圖2為腦控瀏覽器系統的組成模塊；
[0026]圖3為濾波前後EEG信號的比較圖；
[0027]圖4為標題瀏覽界面示意圖；
[0028]圖5為內容瀏覽界面示意圖；
[0029]其中1、退出瀏覽器按鈕；2上翻按鈕；3下翻按鈕；4、返回上一頁按鈕。
【具體實施方式】
[0030]實施例1
[0031]以下是結合附圖對本發明腦控瀏覽器的具體說明:
[0032](I)準備工作:使用者按照標準的10-20系統電極位置帶好髮帶或電極帽，確保FPl、FP2、Cz、0z四個電極處於接通狀態(對於髮帶，確保乾電極與頭皮接觸良好；對於電極帽，打入導電膏，確保阻抗在5千歐以下)。打開腦控瀏覽器程序，使腦控瀏覽器停留在如圖1所示的列表瀏覽界面。
[0033](2)標題列表的瀏覽:在系統的初始化工作完成以後，系統即處於列表瀏覽界面。此時，使用者可以對網頁中的標題列表進行瀏覽。在每個頁面中呈現給使用者三條新聞，使用者可以通過上下翻頁來瀏覽更多的標題。當使用者想進行翻頁操作時(上翻頁或下翻頁)，只需注視標識瀏覽器右側代表相應操作的閃爍著的方塊(有上三角和下三角標識)，進行上下翻頁的操作，以瀏覽更多的新聞標題。
[0034](3)閱讀具體內容:當使用者發現自己感興趣的標題，想要閱讀具體內容時，使用者可以通過兩次眨眼，使系統切換到內容選擇狀態。通過檢測腦電中的P300信號判斷出使用者注視的目標，打開注視標題的具體內容。為了使系統有更大的容錯性，在瀏覽器狀態切換前，會彈出「確認」提示框，使用者可以通過眨眼來選擇「確認」或「取消」連結的打開。若選擇確認，瀏覽器切換到內容瀏覽界面，使用者可以在此界面中瀏覽具體的內容。如果內容超過一屏，使用者可以通過步驟(2)的方法，進行上下翻頁來瀏覽完整的內容。
[0035](4)返回與退出:當使用者想要從內容瀏覽界面退回到列表瀏覽界面時，可以注視界面左上角的閃爍方塊完成操作。
[0036](5)退出:退出操作關係到系統穩定性，對其可靠性的要求比較高，因此採用兩次SSVEP順次輸入的方法來實現。即使用者先注視瀏覽器左上角代表退出的閃爍方塊，在檢測到退出信號後，再注視右上角的閃爍方塊確認退出。
[0037]實施例2[0038](I)、面向腦機接口技術的瀏覽策略
[0039](1.1)列表/內容瀏覽架構
[0040]腦控瀏覽器在需求上與普通瀏覽器有很大不同，它更加側重於瀏覽模式的簡化及信息呈現的簡捷。本發明在設計上精煉提取了瀏覽器的瀏覽模式，使用(列表/內容)構架實現了瀏覽器的主要功能。
[0041]常規的網站包含著豐富的信息，這些信息被以不同的形式顯示在不同的頁面之中，最終形成了海量的瀏覽頁面。儘管如此，眾多的瀏覽頁面可以被歸納為兩個類型，即信息的標題頁面和信息的內容頁面。僅通過這兩個頁面，使用者就可以完成全部網站信息的瀏覽。根據這一特點，並考慮到腦際接口技術的應用特點，本發明實現了一種面向腦機接口技術的瀏覽策略。
[0042]本發明腦控瀏覽器中的列表瀏覽界面和內容瀏覽界面的示意圖如圖4、圖5所示。列表瀏覽界面用來顯示所有信息的標題和部分摘要。在列表瀏覽界面中，使用者可以瀏覽信息的標題，當標題數量較多時，需要進行翻頁操作。當對某個標題的內容感興趣時，通過點擊此標題連結跳轉到內容瀏覽界面。因此，在列表瀏覽界面，需要兩種控制元素:一是用來顯示標題和實現跳轉的連結，二是進行翻頁及退出功能的按鈕。
[0043]在內容瀏覽界面中，用戶可以瀏覽標題所對應的的具體內容，瀏覽完成後，需要回退到標題瀏覽界面。同樣地，對於內容較多的情況，需要進行翻頁操作。因此，在內容瀏覽界面，只需要按鈕這一種控制元素來完成翻頁及回退功能。
[0044]綜上所述，在(列表/內容)的瀏覽框架下，需要連結和按鈕兩種控制元素來實現腦控瀏覽器的控制。根據具體腦機接口技術的特點，本發明採用SSVEP技術實現按鈕點擊的功能，採用P300技術實現點擊連結的功能。考慮到腦控瀏覽器運行的流暢性和穩定性，本發明採用眨眼檢測技術來進一步保證和加強瀏覽器的功能運轉。在列表瀏覽頁面，通過眨眼檢測來進行兩種輸入命令的切換。在兩個頁面需要跳轉時，通過眨眼檢測進行確認。
[0045](1.2)腦控瀏覽器的實現方式
[0046]腦控瀏覽器的實現分為兩部分:顯示控制和指令控制。
[0047]顯示控制用於將傳統網頁的信息轉化為適合(列表/內容)瀏覽架構的腦控瀏覽器網頁信息。即瀏覽器所顯示的內容自動抓取自所要瀏覽的網頁源碼，它是將廣告等信息過濾掉並整合當前時間，當前瀏覽的網站名稱，當前網站首頁所對應的新聞總條數和每條新聞的標題、摘要與正文並顯示除新聞正文外的所有內容而得來的。腦控瀏覽器每次抓取新聞後會將副本保存到本地，可以離線使用。
[0048]指令控制負責腦控指令與瀏覽器狀態的交互。腦控瀏覽器在後臺運行指令監聽的服務，當有控制指令到達，會顯示出來向用戶詢問是否確定執行，確定指令到達後開始執行。指令控制由socket實現。
[0049](2)基於P300電位的連結功能設計
[0050](2.1)P300電位刺激誘發
[0051]基於P300電位的腦-機接口最早由美國的Farwell和Donchin提出並實現的英文打字系統，26個英文字母和10個數字構成6x6的字符矩陣，採用視覺閃爍作為P300電位的誘發方式，以行、列作為刺激誘發按鈕(RCF範式，row / column flash paradigm),通過隨機順序輪流閃爍誘發P300電位，數據處理模塊檢測出帶有P300電位的行和列，兩者的交集即為目標字母/數字。但是當實際應用刺激按鈕個數遠小於36個時，RCF範式存在其局限性，特別是當刺激按鈕只有4-6個時無法通過RCF範式進行刺激界面設計。在刺激誘發按鈕較少的應用場景中，採用SCF範式(single character flash paradigm,即多個刺激按鈕單個輪流刺激誘發)的設計能提供更好的實驗效果。RCF誘發範式由於刺激中包含的元素多使實驗任務變得相對複雜，產生的P300電位並不顯著，而在SCF誘發範式下被試的P300電位能夠明顯地被檢測到。此外，6x6矩陣在顯示器上所佔面積較大且閃爍較快，容易使被試在實驗過程中產生不自覺的眼睛運動而幹擾EEG信號。因此，在腦控瀏覽器設計中，對於新聞條目的閃爍，我們採用SCF刺激範式，多條新聞輪流閃爍誘發P300電位。
[0052]僅僅採用SCF刺激範式誘發P300還能滿足腦控瀏覽器的需求，其存在兩個問題:一是為了配合SSVEP完成腦控瀏覽器的功能，P300誘發方式不能採用與SSVEP —樣的閃爍誘發方式，需要另外找到一個有效刺激誘發方法。另外一個問題是雖然多條新聞輪流閃爍誘發P300電位，但是為了界面美觀，需要設計一個更加合理的輪換方式。為了解決以上兩個問題，我們對SCF刺激範式進行了進一步改進，提出針對腦控瀏覽器實際問題的BSCF( SPBrowser SCF)範式。BSCF範式與傳統的SCF範式區別主要有一下兩點:
[0053](2.1.1)P300刺激誘發方式採用形狀變化差別。在腦控瀏覽器中我們採用字體變大的方式來代替閃爍，採用顏色變化的方式來區分標準刺激和靶刺激。
[0054](2.1.2)P300新聞輪換方式
[0055]針對腦控瀏覽器新聞顯示的特殊問題，如果每條新聞單獨顯示，即先閃爍第一條新聞，然後再閃爍第二條新聞，這種方式不美觀，用戶體驗性差。我們採取時分復用的思想，設置一個長為1000ms的時間片，新聞一在前500ms閃動，新聞二在後500ms閃動，這樣兩條新聞交替閃動，界面美觀。對於用戶注視任意一條新聞刺激都是間隔1000ms並隨機閃動，符合P300誘發原理。
[0056](2.2) P300信號特徵 提取
[0057]P300所處理數據主要來自與Pz電極，每次處理數據長度為20s，每隔5s處理一次(即取最近20s數據處理)。特徵提取步驟為:
[0058](2.2.1)從Buffer中取得待處理數據，以及所對應的事件代碼。(由於採集腦電較小，此處對原始數據放大1000000倍，此操作參考BCI2000)
[0059](2.2.2)按事件碼進行分段，對每段數據進行一下操作:
[0060](2.2.3)漂移矯正:對每段數據求均值average，然後用每個數據點減去均值，即
[0061]Xa =X-X(I)
[0062](2.2.4)基線調整:求出前100個點的均值作為基線base，然後用每個數據點減去基線，即
[0063]Xb = Xa —( 2 )
n ,=I
[0064](2.2.5)數據歸一化:為了方便處理將數據歸一化到[_1，1]區間。歸一化方法為:
[0065]Xc = ^-_^-χ2-?(3)
maxmin
[0066](2.2.6)濾波:採用簡單，速度快的butterworth濾波器，如濾波參數為[b，a]=butter(3，30 / 500)。左圖為P300原始EEG信號，右圖為C++濾波後結果。
[0067](2.2.7)疊加平均:為了加快處理速度，做到實時檢測，每檢測出P300事件(第一條新聞或第二條新聞)，就分別累加起來，求出均值作為P300檢測特徵保存起來。
[0068](2.3)對P300信號分類識別
[0069]近年來，為了準確地分辨信號中是否含有P300，人們提出了多種算法，如基於小波變換的識別算法、基於獨立分量分析的識別算法、基於支持向量機的識別算法等。由於信號低信噪比和非平穩隨機的特點，即使對於同一個被試者，誘發的信號也可能存在著一定的差異。解決的方法有2種:一是多個分類器組合起來對信號分類；另一個方法是對不同的trail進行疊加平均，然後用多次平均後的數據進行分類。我們選用的是後一種辦法，對多次平均後的數據進行分類，分類特徵採用時域能量熵的方法。根據資訊理論中香儂熵的定義，定義時域能量熵的計算方法如式:
[0070]
【權利要求】
1.一種基於腦機接口全自動控制網頁瀏覽方法，其特徵在於，方法如下: (1)創建適合腦控的自主腦控瀏覽器:腦控瀏覽器所顯示的內容自動抓取自所要瀏覽的網頁源碼，將廣告信息過濾掉並整合當前時間、當前瀏覽的網站名稱、當前網站首頁所對應的新聞總條數和每條新聞的標題、摘要與正文並顯示除新聞正文外的所有內容而得來的，腦控瀏覽器每次抓取新聞後會將副本保存到本地，能夠離線使用； (2)腦控瀏覽器系統的組成:腦控瀏覽器系統分為三個子模塊，分別為腦電信號採集模塊、腦電信號處理模塊和腦控瀏覽器界面模塊；腦電信號採集模塊、腦電信號處理模塊、腦控瀏覽器界面模塊依次連接； 腦電採集模塊負責採集用戶的腦電信號；腦電信號處理模塊負責對採集到的腦電信號進行分析，從中解析出控制命令，並對腦控瀏覽器界面進行控制；腦控瀏覽器界面模塊用來呈現網頁內容； (3)腦控瀏覽器系統的初始化 腦電信號採集模塊的初始化:腦電信號採集模塊包括採集腦電信號的電極帽，連接好電極帽，使用者帶上電極帽後調整其位置，使電極帽中所有電極均處在國際10-20系統的標準電極位置，然後在指定的需要獲取腦電信號的位置打入導電膏並確定導電性良好； 腦電信號處理模塊和腦控瀏覽器界面模塊的初始化:打開腦控瀏覽器界面抓取最新的實時新聞，將瀏覽器界面與信號處理模塊配置完善，測試兩個模塊之間通信正常，證明初始化完畢； (4)選取想要瀏覽的新聞: 瀏覽器的每個界面每次呈現三條新聞，通過上翻、下翻瀏覽更多新聞；上翻、下翻按鈕為不同頻率閃爍的方塊，用戶通過注視閃爍的方塊，產生不同頻率的穩態視覺誘發電位，腦電信號處理模塊根據檢測出的頻率，控制腦控瀏覽器界面進行上翻、下翻從而獲取新的新聞內容，找到感興趣的新聞內容後，通過眨眼進行確認進入P300電位信號檢測模式； P300電位信號的檢測採用面向瀏覽內容的多個刺激按鈕單個輪流刺激誘發方法，用戶只需注視想要瀏覽的新聞連結，並在連結改變閃爍顏色時默數，此時腦電採集模塊將採集到的腦電信號傳送給腦電信號處理模塊，腦電信號處理模塊根據識別出的P300電位成分，得出被試想要觀看的新聞位置； (5)新聞位置正誤判斷:待P300電位的新聞位置確定後，腦控瀏覽器系統對將要打開的信息進行提示，被試對提示信息進行判斷，打開的新聞確實是被試所感興趣的內容則利用眨眼檢測進入新聞頁面，繼續步驟(6)，否則被試忽略提示重新進入步驟(4)； (6)新聞閱讀:新聞閱讀過程中的上翻、下翻、返回的實現方法與(4)相同，在瀏覽器界面布局中，右上為上翻，右下為下翻，左上為返回，三個控制鍵被賦予了不同的頻率，用戶通過注視不同頻率的閃爍方塊，來對瀏覽的新聞內容進行上翻、下翻操作，瀏覽結束後返回新聞摘要界面； (7)返回新聞摘要界面:步驟(6)中閱讀完新聞後，返回新聞摘要界面需腦電信號處理模塊使用(4)的方法進行相應頻率的檢測，並發出控制指令，此處仍採用(5)步驟的眨眼方法進行信息確認，確認後返回新聞摘要界面，若關閉腦控瀏覽器不再閱讀，此時界面的返回頻率窗口相當於關閉功能，用來關閉腦控瀏覽器界面。
【文檔編號】G06F3/01GK103543836SQ201310542530
【公開日】2014年1月29日 申請日期:2013年10月28日 優先權日:2013年10月28日
【發明者】李海峰, 張瑋, 薄洪健, 李嵩, 高暢, 馬琳, 吳明權, 楊大易, 房春英 申請人:哈爾濱工業大學