一種集成視覺監控的多模式無線腦機交互裝置的製作方法

2023-07-13 17:17:16 2

專利名稱：一種集成視覺監控的多模式無線腦機交互裝置的製作方法
技術領域：
本發明屬於醫學技術領域的一種裝置，特別涉及一種集成視覺監控的多模式無線腦機交互(BCI)裝置，該裝置採用無線連接方式，能同時對實驗動物的行為進行視頻記錄。尤其適用於對自由活動狀態的動物進行不同模式的刺激，對其行為進行訓練控制。
背景技術：
BCI是一種基於腦電信號實現大腦與計算機或其他電子設備通訊和控制的系統，是一種新的人機互動方式。近年來，BCI的研究逐漸興起，並取得了一些實用性的進展。如1、人工耳蝸及人工眼由體外信號處理器、傳輸電路、體內刺激產生電路以及電極組成，實現聽覺或視覺編碼刺激，是外界與聽覺或視覺皮層的信息交流。2、外部信號遙控動物是外刺激信號與動物大腦的交流。3、腦電波控制機器利用電極探測大腦活動時產生的電信號，通過計算機對這些信號進行分析從而控制機器裝置，如輪椅等，這是人腦與外界的交流。BCI研究說明，人工腦與生物腦在信息處理上機理相近，經過合適的中介即可交流，這一點給申請人帶來如下的啟發。
第一，生物腦的解讀對電腦的發展將會有重大影響，因此，一個可能的研究方向，就是應重視生物腦的解讀對電腦發展的作用。第二，應當看到，生物腦與人工腦有重大區別，由於載體不同，兩者在模式、速度、邏輯與形象等方面有較大區別，故兩者可以互補。因此，另一可能的研究方向，是生物腦與人工腦的結合，這將是一個全新的領域。第三，因為生物腦是生物進化的結果，如果將人工腦與人工生命結合，是否可得出人工腦也可由進化機理而發展？這就引出了第三個研究方向對人工腦進化機理的研究。目前，人腦與人工腦最大的差別仍在創造性、概念的抽象、形象思維等方面。這可能與複雜系統、非線性出現的「突現」性質有關，即生物腦具有複雜系統的「突現」性質，而人工腦尚未達到。由此，可得到第四個研究方向人工腦的複雜系統性質的研究。這樣，我們就深入到智能的「本質」——信息、複雜系統的本質。可以發現從生命本質到智能本質，都與信息的本質有關。人工生命、人工智慧將會有一個更活躍的時期。其特點是不再只持黑箱的觀點，而是持信息機理一致的觀點，即人工腦與生物腦將不只是功能模仿，而是具有相同的特性。這兩者的結合將開闢一個全新的領域，開闢很多新的研究方向。
電刺激是神經電生理學研究中一種常用的方法，並用於各種神經及精神疾病治療，目前已有較多的研究成果及相關專利[CN86100247，CN90106839.X，CN99800901.6，CN99803675.7]。近來，神經電生理學與行為科學的結合——「動物機器人」及人工智慧的研究興趣日增，如日本「蟑螂機器人」[Proc IEEE/RSJ Inter Conf 1997；31514-1519]及美國「大鼠機器人」[Nature，2002；41737-38]等。然而，其大腦神經與外部之間的通訊仍然為單向方式，即動物神經僅接收外部的電信息，而其本身的相關神經信息無法傳遞出來。其刺激模式單一，不具有靈活性。而目前文獻報導的神經信息採集系統仍然局限於有線方式，即大腦電信號通過電纜連接，從而限制動物的自由活動，動物只能處於在非常狹小的實驗空間，許多實驗的結果只能反映動物在特殊條件下的生理及行為特性，難以探討自由運動動物行為的神經基礎，而在開放環境中自由活動的動物是否與在這種限定條件下的結果相一致還存在很大的疑問。儘管目前也有通過無線方式傳遞神經信息的系統報導，然而其方式是通過模擬的方式進行，且也是僅能單向傳遞。研究人員一直希望能利用無線通訊裝置來控制BCI，以擺脫導線的困擾。現在，他們已經初步做到了這一點。如在猴子大腦裡植入了一塊集成電路晶片。這塊晶片可以完成對神經元電活動的監測和分析工作，並且能將分析結果無線發送到幾米遠的一臺筆記本電腦上。不過，到目前為止，BCI還僅限於腦電信號的獲取和分析，而不能模擬產生出輸入給大腦的電信號。
總之，目前的神經電信息與外部的電子信息之間的連接要麼是有線的連接方式，要麼是單向的通訊方式，還沒有無線雙向的傳輸方式，而這也正是目前的研究方向。更為重要的一點是，動物在實驗過程中的行為特性無法進行定量的分析，而傳統的方法僅靠人工的記錄分析，或者首先錄像記錄然後再進行離線分析，而這種方法由於無法保證不同系統間的同步，其可靠性也存在很大問題，因此，使得這些研究缺少完整性。

發明內容
為了克服現有的腦機交互裝置用於自由活動小動物的困難及現有實驗方法的局限性。本發明的目的在於，提供一種新型的，可遠距離無線遙控的集成視覺監控的多模式無線腦機交互裝置。
已有實驗結果表明，對神經直接刺激所需的電流比對肌肉的刺激電流小100多倍，因此可以用數字電路直接產生用於神經直接刺激的脈衝。微電子技術及片上系統(SoC)技術的發展為申請人提供了良好的平臺。
為了實現上述任務，本發明採用如下的解決技術方案一種集成視覺監控的微型多模式無線雙向腦機交互裝置，其特徵在於，該裝置包括一個CCD數字攝像機，用於圖像的採集，CCD攝像機固定在觀測區域的上方，並將採集的圖像信息送入圖像採集卡中；圖像採集卡是基於PCI總線，採用PAL制式，解析度為768×576×24位，採集速率為30幀/秒；它位於計算機測控及分析系統中；一微推電極，用於外部電信號與腦電信號之間的轉換；一採集放大及無線傳輸電路，用於微推電極產生刺激信號及對採集的腦電活動信號進行放大，並實現與計算機測控及分析系統之間的交互，它包括信號濾波放大電路及位於採集端的無線數字通訊處理模塊，其中無線數字通訊處理模塊中嵌入有控制器，控制器上有串口、數據埠、PWM埠及模數轉換埠；一計算機測控及分析系統，用於與採集放大電路進行交互並對CCD攝像機採集的圖像信息分析與處理，該系統包括圖像採集卡、微型計算機和基於串口的無線傳輸模塊，其中微型計算機內設有支持神經電信息的採集、外部刺激參數、圖像跟蹤及分析它們相互之間關係的計算機軟體，基於串口的無線傳輸模塊中同樣嵌入有控制器，控制器上有串口。
各種刺激模式或參數及通訊控制均通過微型計算機上人機界面軟體設定，經與微型計算機相連的基於串口的無線傳輸模塊發送到遠端電路；遠端電路上的控制器對命令正確解碼後，依據指令驅動數字埠產生刺激脈衝作用於微推電極或由PWM埠驅動揚聲器發出不同頻率特性的聲音，並通過數據埠驅動不同的LED發光管進行同步指示；同時動物的腦電信息由微推電極採集，經放大、濾波及數模轉換後以無線方式傳輸到微型計算機中，動物的行為也同時由視覺圖像採集部分採集並同步記錄到微型計算機中。神經電信息的處理模式，外部刺激參數及行為表現之間的關係由計算機軟體完成，從而實現對行為及神經電信息之間的無線雙向同步記錄分析。
本發明裝置採用SoC晶片設計出基於無線雙向傳輸的神經信息採集及刺激系統，同時和基於機器視覺的圖像處理系統集成在一起，並通過LED發光管發光指示來保證刺激、記錄及行為之間的同步；符合機體生理要求、且具有體積小、重量輕、可遙控、多刺激模式等特點。


圖1是本發明的裝置原理框圖。
圖2是微推電極的結構圖。
圖3是信號濾波放大電路圖。
圖4是無線數字傳輸電路圖。
圖5是信號採集的程序流程圖。
下面結合附圖和實施對本發明進一步說明。
具體實施例方式
本發明由CCD攝像機、微推電極、採集放大及無線傳輸電路，計算機測控及分析系統構成，原理框圖如圖1所示。
計算機測控及分析系統包括圖像採集卡、微型計算機和基於串口的無線傳輸模塊，其中微型計算機內設有支持神經電信息的採集、外部刺激參數、圖像跟蹤及分析相互之間關係的計算機軟體；基於串口的無線傳輸模塊中同樣嵌入有控制器，控制器上有串口；計算機測控及分析系統用於完成如下功能1)施加給動物的外部刺激模式的設置及控制；2)腦電信息的採集及動物行為圖像的採集控制及結果記錄；3)外部刺激，動物行為及腦電記錄等系統間的同步控制及通訊控制；4)外部刺激，動物腦電信息及行為特性的結果分析；實驗所需的各種刺激模式及通訊參數等在PC機上設定，經PC串口相連的無線數字通訊處理模塊發送到動物背負的採集放大及無線傳輸電路中，採集放大電路中有信號濾波放大電路(圖3)，及無線數字通訊處理模塊(圖4)，前端電路上控制器對命令正確解碼後，依據指令產生刺激脈衝作用於圖2中的微電極，或由PWM埠驅動揚聲器(圖4)發出不同頻率特性的聲音，並可通過數據埠驅動不同的LED發光管(圖4)同步顯示；而動物的神經電信息，經過圖2中微推電極採集，被放大，濾波及模數(A/D)轉換後從採集端的無線數字通訊處理模塊傳輸到微型計算機(PC)中，而動物的行則由基於視覺的監控系統(圖1中CCD攝像機)採集並同步記錄到PC機中；外部刺激特性，神經電信息模式及行為表現之間的關係由PC機軟體完成，從而實現對行為及神經電信息之間的無線雙向同步記錄及分析。
微推電極結構如圖2所示，它包括微電極1，定位套管2，接插件3，柔性屏蔽線4，滾珠筆頭5，注射器6，螺母7，螺杆8；定位套管2採用外徑為50um的不鏽鋼套管，注射器6選用醫用1ml注射器，上端固定一螺距為1mm的螺母7，螺母7上有推進的螺杆8，螺杆8每旋轉一圈微電極1向下推進300um，為了克服在微電極及推進器在旋轉過程中的電極旋轉，在螺杆8的下部安裝一滾珠筆頭5。微電極1通過柔性屏蔽線4連接到一個標準接插件3上，定位套管2及微電極1的長度應保持在微電極1的長度應保持在能到達的部位2mm左右。微電極1採用外徑10um的外塗特富龍的金屬絲的外塗特富龍的金屬絲微電極作為記錄微電極，為了能使其具有較好的韌性，在其外部套入外徑50um不鏽鋼製成的定位套管2內，微電極1的尖端實驗前鍍金，以增加電極的穩定性，記錄電極連同動物腦組織的阻抗通過示波器測量為2.0～2.5MΩ。
採集放大及無線傳輸電路，用於產生刺激信號及採集放大腦電信號，並實現與微型計算機之間的交互，它包括圖3所示的電子元件構成的濾波放大電路，及圖4中所示的無線數字通訊處理模塊(模塊有一片nRF24E1晶片及輔助電子元件構成，nRF24E1作為無線通訊控制晶片的依據具有較寬的工作電壓範圍，低功耗，有效距離可達400-500米，波特率最高可達1Mbps，且具有較高的靈敏度；系統嵌入有微控制器，控制器上有串口、數據埠、PWM埠及模數轉換埠；具有較小的封裝尺寸)；所選用電路的電子元件均採用表面貼封裝，因此具有體積小，重量輕；刺激模式可以任意設置(物理刺激聲音頻率及幅度可調；電刺激脈衝串個數，寬度，頻率，個數，幅度，極性等可調)。由於刺激脈衝的波形及極性對神經衝動的發放有直接的影響，且電荷的積累將使機體組織產生永久性損傷，因此，刺激脈衝應採用雙極脈衝。本發明通過對控制器nRF24E1的PO口的口線(U4的10，11腳)，進行對稱配置，通過使這對口線的兩根電極輪流出現高低電平形成雙極刺激脈衝，避免了雙電源對電路所帶來的複雜性及刺激器體積和重量的增加，方便實用。另外，也提供單極刺激脈衝輸出。微推電極與信號濾波放大電路的連接採用柔性連接線及可拆卸接頭，具有簡單，穩定和可靠等特點。圖3所示為前端濾波放大電路，為了克服動物運動所帶來的肌電幹擾，前置放大器採用高輸入阻抗，高共模抑制比的差分儀表放大器U1(INA118)，放大倍數由U1的1，8腳之間電阻R1調節，設置為10倍；為了降低直流共模電壓的變化，引入交流耦合(圖3中U2/A，R2，C1構成，放大器U2採用寬帶低功耗的OPA4227晶片)，前置放大器的輸出信號首先經過一高通濾波(圖3中U2/B，C2，C3，R3，R4構成2階Sallen-Key高通濾波器，R5，R6用於調節增益，設定為10倍)；然後，再經過一低通濾波(圖3中U2/C，C4，C5，R7，R8構成2階Sallen-Key低通濾波器，R9，R10用於調節增益，設定為10倍)；系統的通帶範圍為100-10,000Hz，為了降低市電(50Hz)的幹擾，再經過50Hz陷波濾波(圖3中U2/D，C6，C7，C8，C9，R11，R12，R13構成)，從而，得到較為穩定的增益1000倍的神經電信號；對其進行模數(圖4中U3的24腳)轉換，然後進行數字濾波及檢測，並把結果通過射頻的方式(圖4中U3的C21-C25，L1，L2構成射頻天線)發送到計算機分析處理系統中。圖5中，25A320為程序存儲器，存儲用於控制、處理及通訊的程序；C12，C13，X1及R15為系統時鐘產生模塊；其它電容起到濾波作用。為了能對刺激信號進行直觀顯示以便可以進一步與監控記錄系統同步，在不同刺激時進行不同的LED顯示(圖4中U3的LED1，LED2)，圖像採集可以以此為同步信號。另外，PWM埠(圖4中U3的13腳)驅動揚聲器發出不同特性的聲音。為了能夠儘可能減前端接口部分的重量及體積對動物行為的影響，所選電子元器件儘可能採用表面貼封裝。空閒的口線都置為低電平，以降低控制器空閒口線處於懸浮狀態時的噪聲幹擾並降低吸收功耗。
CCD攝像機採用TL-402S(Sony Com.)，其解析度為480線，觀察視角390，具有很高的靈敏度，最低照度0.05Lux，即使在非常昏暗的光線下也能拍攝到高品質的圖像。圖像採集卡選用DH-CG300(DaHeng Image Com.)，它是基於PCI總線，採用PAL制式，解析度為768×576×24位，採集速率為30幀/秒。CCD攝像機固定於觀測區域的上方2.5m，能有效的觀察直徑3m的圓形實驗場地。運行於PC機上的視覺監控及人機界面軟體採用VC++6.0進行編寫，完成刺激參數設置及結果分析控制等。視覺跟蹤算法採用基於顏色的方法，即首先通過把背景塗成與動物顏色有明顯區分的色彩；在圖像界面上設定及編輯不同迷宮或感興趣區域，設定實驗參數；首先對被跟蹤動物圖像的顏色灰度信息進行分析，以得到上下閾值(Tlow，Thigh)；然後對圖像內感興趣區域(跟蹤窗)的象素進行分割(即Tlow≤I(i，j)≤Thigh)，慮去幹擾噪聲之後，對物體的質心進行實時跟蹤；然後進一步計算出其動物運動的速度，加速度，運動距離，運動時間長度，進入感興趣區域的次數及停留的時間，以及處於不同區域時的動作電位的放電頻率，放電時間等特性並對其進行分析。
基於串口的無線傳輸模塊參見圖4所示，PC機串口經過電壓調節晶片(圖4中Max202，C26-C30)與無線數字通訊模塊的串口(U3的7，8腳)相連，轉換電路的電源由PC機的USB埠經過3.0V穩壓晶片輸出。PC機收發數據的數據包由數據頭，指令串(或數據)及校驗和構成(64bits)，如表1，在波特率設定為19200Baud時其的傳輸延遲小於3.5ms，能夠滿足實驗要求。為了能完成雙向的無線數字通訊，需要對雙方的nRF24E1進行配置，數據報協議格式如表2。
表1串口通訊協議

表2無線通訊協議

裝置使用過程的手術埋置及連接方式在腦立體定位儀上參考腦圖譜完成微推電極的埋置。刺激電極通過柔性細導線直接和微推電極相連，記錄電極的引線通過短的柔性屏蔽細導線連接到前置放大器的輸入端，再電極周圍顱骨上固定三到四個螺釘(連接參考電極引線)。刺激模式(聲音或電刺激)及其參數(聲音頻率及強度；脈衝個數，脈衝串長度，頻率，強度，極性等)由PC機設置。微推電極埋置前經過消毒及短路測試，在腦立體定位儀下進行微推電極的定位，並採用牙科水泥固定於顱骨；負責電刺激脈衝轉換及神經電信號的採集，通過柔性細導線及接插件連接到採集放大電路上。
系統工作程序首先，在PC機上設置刺激模式，參數等。由於nRF24E1僅能採用單工方式進行通訊，因此，必須為收發雙方分配不同的時隙，各自在接收及發送時隙內完成收發。在計算機分析處理系統的基於串口的無線傳輸模塊設為主站，初始化為發送狀態，而在採集放大電路的無線數字通訊模塊初始化為同步接收狀態。採集的程序流程如圖5所示。初始化階段完成晶片系統的無線通訊配置及與主站的同步接收狀態；雙方同步後，接收PC的命令數據包，如果數據包有效，解碼數據包的命令並產生相應的刺激脈衝或聲音，並給出發光指示，以便用於視頻採集的同步；同時，對來自電極的神經放電信號進行放大濾波後送入採集前端的無線數字通訊模塊的模數轉換埠(圖4中U3的34腳)；在數字濾波後進行幅度閾值檢測，如果幅值高於某一設定的閾值及認為是一動作電位並記錄結果，然後在其發送時隙內將其發送到計算機內。同時，基於機器視覺的圖像採集系統，採集並記錄動物的運動行為(速度，時間，位置等)。最後，通過分析軟體來對刺激參數，動物的行為及神經放電特性進行分析。
權利要求
1.一種集成視覺監控的微型多模式無線雙向腦機交互裝置，其特徵在於，該裝置包括一個CCD攝像機，用於圖像的採集，CCD攝像機固定在觀測區域的上方，並將採集的圖像信息送入圖像採集卡中；圖像採集卡是基於PCI總線，採用PAL制式，解析度為768×576×24位，採集速率為30幀/秒；它位於計算機測控及分析系統中；一微推電極，用於外部電信號與腦電信號之間的轉換；一採集放大及無線傳輸電路，用於微推電極產生刺激信號及對採集的腦電活動信號進行放大，並實現與計算機測控及分析系統之間的交互，它包括信號濾波放大電路及採集前端的無線數字通訊處理模塊，其中無線數字通訊處理模塊中嵌入有控制器，控制器上有串口、數據埠、PWM埠及模數轉換埠；一計算機測控及分析系統，用於和採集放大電路進行交互並對CCD攝像機採集的圖像進行分析與處理，該系統包括圖像採集卡、微型計算機和基於串口的無線傳輸模塊，其中微型計算機內設有支持神經電信息的採集、外部刺激參數、圖像跟蹤及分析相互之間關係的微型計算機軟體，基於串口的無線傳輸模塊中同樣嵌入有控制器，控制器上有串口。
2.如權利要求1所述的裝置，其特徵在於，所述的CCD攝像機的解析度為480線，觀察視角390。
3.如權利要求1所述的裝置，其特徵在於，所述的微推電極包括微電極(1)，定位套管(2)，接插件(3)，柔性屏蔽線(4)，滾珠筆頭(5)，注射器(6)，螺母(7)，螺杆(8)；微電極(1)安裝在定位套管2內，並設置注射器(6)的最下端，接插件(3)通過微電極(1)上連接的柔性屏蔽線(4)從注射器(6)的側壁上引出，注射器(6)上端固定有螺母(7)，螺母(7)上有螺杆(8)，螺杆的下部安裝有滾珠筆頭(5)，由螺杆(8)推進螺杆(7)旋轉帶動微電極(1)向下推進。
4.如權利要求1所述的裝置，其特徵在於，所述的無線數字通訊處理模塊和基於串口的無線傳輸模塊均選用nRF24E1晶片。
5.如權利要求1所述的裝置，其特徵在於，所述的微推電極進行外部電刺激及腦電信號的採集為埋置式。
6.如權利要求1所述的裝置，其特徵在於，所述的外部刺激參數包括可調的聲音及電子刺激模式，即多模式刺激、電刺激強度、刺激頻率、刺激脈衝寬度、串內脈衝個數、刺激串個數、刺激極性可任意設置；聲音頻率強弱可調。
7.如權利要求3所述的裝置，其特徵在於，所述的微電極(1)的尖端鍍金。
全文摘要
本發明涉及一種集成視覺監控的微型多模式無線雙向腦機交互裝置，包括CCD攝像機，微推電極，採集放大及無線傳輸電路，計算機測控及分析系統，各種刺激模式或參數及通訊控制在測控及分析的微型計算機上設定，經與微型計算機相連的基於串口的無線傳輸模塊發送到遠端電路；同時動物的神經電信息由微推電極採集，經放大、濾波及數模轉換後以無線方式傳輸到微型計算機中，動物的行為也同時由CCD攝像機採集並同步記錄到微型計算機中。尤其適用於對自由活動狀態的動物的神經進行不同模式的刺激，並對其行為進行訓練控制，符合機體生理要求、且具有體積小、重量輕、可遙控、多刺激模式等特點；並通過發光管發光指示來保證刺激、記錄及行為之間的同步。
文檔編號A01K15/00GK1848951SQ20061004190
公開日2006年10月18日 申請日期2006年3月9日 優先權日2006年3月9日
發明者宋衛國, 王瑩 申請人:西安交通大學