一種人體腦電信號與動作行為信號同步採集系統及方法
2023-10-05 11:12:09
一種人體腦電信號與動作行為信號同步採集系統及方法
【專利摘要】一種人體腦電信號與動作行為信號同步採集系統及方法，所述採集系統由Kinect體感設備、計算機、無線網卡、腦電帽、腦電信號採集裝置和Wi-Fi無線發射模塊組成，分為腦電信號採集部分和動作行為信號採集部分；通過Kinect體感設備採集人體的動作信號並將信號傳輸至計算機；通過腦電採集裝置收集被測人員的腦電信號並通過Wi-Fi無線發射模塊將信號發至計算機。本發明具有無線傳輸功能、同步採集信號、可對不同頻率的兩種信號進行時間上的精確匹配等優點。
【專利說明】一種人體腦電信號與動作行為信號同步採集系統及方法
【技術領域】
[0001]本發明涉及醫學信息處理領域，尤其涉及一種採集腦電信號和動作行為信號的同步採集系統及方法。
【背景技術】
[0002]隨著微軟Kinect體感設備的出現，體感技術也慢慢走入了人們的生活。通過Kinect體感設備,用戶可以僅憑肢體動作與計算機進行「交流」。Kinect體感設備能實時地捕捉人體的姿態，提取人體骨架信息，然後再與一些其他的技術相結合運用到相關領域，t匕如虛擬實境交互技術以及醫療上面的肢體康復項目等。
[0003]腦電信號是人體重要的生理信號，腦電圖作為臨床醫學中不可缺少的輔助檢查方法，對神經系統疾病的診斷具有很高的價值。現在已經有很多的腦電信號採集裝置和方法，但是還沒有一種系統能夠有效利用Kinect體感設備和腦電採集裝置同步實現對腦電信號與動作行為信號進行採集的系統或裝置。
【發明內容】
[0004]本發明目的在於提供一種利用kinect體感設備獲取人體各關節點位置信息、利用腦電採集裝置收集腦電信號、通過計算機進行同步採集的人體腦電信號與動作行為信號同步採集系統及方法。
[0005]為實現上述目 的，採用了以下技術方案:
[0006]本發明所述的一種人體腦電信號與動作行為信號同步採集系統，由Kinect體感設備、計算機、無線網卡、腦電帽、腦電信號採集裝置和W1-Fi無線發射模塊組成，分為腦電信號採集部分和動作行為信號採集部分；
[0007]腦電信號採集部分包括腦電帽、腦電信號採集裝置、W1-Fi無線發射模塊、無線網卡和計算機；腦電帽與腦電信號採集裝置連接，腦電信號採集裝置中安裝W1-Fi無線發射模塊，W1-Fi無線發射模塊與無線網卡無線連接，無線網卡安裝在計算機上，腦電信號採集裝置接收腦電帽採集到的信號，通過W1-Fi無線發射模塊將信號發送至無線網卡接收端，通過無線網卡再將信號輸入計算機的資料庫中；
[0008]動作行為信號採集部分包括Kinect體感設備和計算機；Kinect體感設備實時捕捉人體的骨架信息，通過數據線將骨架信息傳輸至計算機的資料庫中。
[0009]所述計算機的軟體系統包括時間校準模塊、通過W1-Fi接收腦電信號及時間模塊、探測動作行為模塊、行為信息歸一化模塊、動作行為及時間記錄模塊、腦電信號與動作行為信號匹配模塊。
[0010]本發明所述的一種人體腦電信號與動作行為信號同步採集方法，包括如下步驟:
[0011](I)在系統工作前，確保計算機與腦電信號採集裝置中的W1-Fi無線發射模塊已成功連接，再將Kinect體感設備通過數據線與計算機連接；腦電信號採集裝置與計算機進行通訊來校準時間，確保腦電信號和動作行為信號的同步採集；[0012](2)被測人員佩戴腦電帽後,在Kinect體感設備正前方2~3米處站立,將Kinect體感設備調整仰角，確保Kinect體感設備可以捕捉到被測人員的完整骨架信息；腦電帽採集被測人員的腦電信號，通過腦電信號採集裝置中的W1-Fi無線發射模塊將腦電信號發送至計算機；Kinect體感設備採集被測人員的骨架信息，通過數據線將骨架信息傳輸至計算機；計算機把腦電信號以及相應時間的動作行為信號保存到對應的資料庫中；
[0013](3)在計算機上運行該系統，Kinect體感設備實時捕捉被測人員的骨架信息，判斷被測人員是否被追蹤到，如果被追蹤到，則提取人體20個關節點在骨骼坐標系中的x、y、z的坐標值，然後根據小孔模型將這些坐標值轉換為空間坐標系的坐標值> y ; > z ;；其中，X' =xXz/f、y' = yXz/f>z/ = z, f是Kinect體感設備的焦距；選定參考點(x0,yO, z0)，用得到的空間坐標系的坐標值與參考點的坐標值相減得到最終的坐標值，再將這些關節點的數據信息以及相應的時間存儲至計算機資料庫中，完成對被測人員動作行為信號的採集；
[0014]在動作行為信號採集的同時，腦電採集裝置也將腦電信號通過W1-Fi無線發射模塊發送給計算機，為保證傳輸的可靠性，兩者採用TCP協議進行通訊。
[0015]另外，為實現兩種不同頻率信號在窗體中同步顯示，首先要對腦電信號和動作行為信號進行匹配；具體的匹配方法如下:
[0016]先從資料庫中取出腦電信號和動作行為信號這兩種信號在某一秒內的數據記錄信息，然後分別統計出這一秒內這兩種信號的個數，假設腦電信號的個數為m個，動作行為信號的個數為η個；由於腦電信號的採集頻率高於動作行為信號的頻率，所以m>n，以動作行為信號的頻率為標準，其中動作行為信號的第一條記錄，對應於腦電信號的個數為m/n四捨五入的整數部 分21個，第二條記錄對應的腦電信號的個數為(m-Zl)/(n-l)四捨五入的整數部分Z2個，以此類推，最後一條記錄對應的腦電信號的個數為On-Z1-…-Zlri)個。
[0017]與現有技術相比，本發明具有如下優點:
[0018]1、採用W1-Fi模塊傳輸方式，大大減少腦電信號採集裝置的線路對人體活動的限制；
[0019]2、實現腦電信號和動作行為信號的同步採集與顯示，有助於人們分析對比數據；
[0020]3、系統可將一段時間內人體腦電信號與動作行為信號同時記錄下來，然後對這兩種不同頻率的信號進行時間上的精確匹配，為研究這兩種信號的潛在關係提供了依據。
【專利附圖】
【附圖說明】
[0021]圖1為本發明人體腦電信號與動作行為信號同步採集系統的硬體原理圖。
[0022]圖2為本發明人體腦電信號與動作行為信號同步採集系統的上位機軟體原理圖。
【具體實施方式】
[0023]下面結合附圖對本發明做進一步說明:
[0024]如圖1所示的本發明的硬體原理圖中，本發明所述採集系統由Kinect體感設備、計算機、無線網卡、腦電帽、腦電信號採集裝置和W1-Fi無線發射模塊組成，分為腦電信號採集部分和動作行為信號採集部分；計算機搭載Wind0ws7作業系統，裝有Kinect ForWindows SDK及無線網卡驅動程序；[0025]腦電信號採集部分包括腦電帽、腦電信號採集裝置、W1-Fi無線發射模塊、無線網卡和計算機；腦電帽與腦電信號採集裝置連接，腦電信號採集裝置中安裝W1-Fi無線發射模塊，W1-Fi無線發射模塊與無線網卡無線連接，無線網卡安裝在計算機上，腦電信號採集裝置接收腦電帽採集到的信號，通過W1-Fi無線發射模塊將信號發送至無線網卡接收端，通過無線網卡再將信號輸入計算機的資料庫中；
[0026]動作行為信號採集部分包括Kinect體感設備和計算機；Kinect體感設備實時捕捉人體的骨架信息，通過數據線將骨架信息傳輸至計算機的資料庫中。
[0027]所述計算機的軟體系統包括時間校準模塊、通過W1-Fi接收腦電信號及時間模塊、探測動作行為模塊、行為信息歸一化模塊、動作行為及時間記錄模塊、腦電信號與動作行為信號匹配模塊。計算機軟體系統的流程圖如圖2所示。
[0028]本發明所述的人體腦電信號與動作行為信號同步採集方法，包括如下步驟:
[0029](I)在系統工作前，確保計算機與腦電信號採集裝置中的W1-Fi無線發射模塊已成功連接，再將Kinect體感設備通過數據線與計算機連接；腦電信號採集裝置與計算機進行通訊來校準時間，確保腦電信號和動作行為信號的同步採集；
[0030](2)將Kinect體感設備放在試驗臺上，被測人員佩戴腦電帽後，在Kinect體感設備正前方2~3米處站立，將Kinect體感設備調整仰角，確保人體完整地出現在鏡頭裡面，用以保證Kinect體感設備可以捕捉到被測人員的完整骨架信息；腦電帽採集被測人員的腦電信號，通過腦電信號採集裝置中的W1-Fi無線發射模塊將腦電信號發送至計算機；Kinect體感設備採集被測人員的骨架信息，通過數據線將骨架信息傳輸至計算機；計算機把腦電信號以及相應 時間的動作行為信號保存到對應的資料庫中；
[0031](3)在計算機上運行該系統，Kinect體感設備實時捕捉被測人員的骨架信息，判斷被測人員是否被追蹤到，如果被追蹤到，則提取人體20個關節點在骨骼坐標系中的x、y、z的坐標值，然後根據小孔模型將這些坐標值轉換為空間坐標系的坐標值> y ; > z ;；其中，X' =xXz/f、y' = yXz/f>z/ = z, f是Kinect體感設備的焦距；選定參考點(x0,yO, z0)，用得到的空間坐標系的坐標值與參考點的坐標值相減得到最終的坐標值，再將這些關節點的數據信息以及相應的時間存儲至計算機資料庫中，完成對被測人員動作行為信號的採集；
[0032]在動作行為信號採集的同時，腦電採集裝置也將腦電信號通過W1-Fi無線發射模塊發送給計算機，為保證傳輸的可靠性，兩者採用TCP協議進行通訊。
[0033]另外，系統還提供用戶調取查看某一個時間段內的兩種信號的功能。為實現兩種不同頻率信號在窗體中同步顯示的目的，首先要對這兩種信號進行匹配。具體的匹配方法如下:
[0034]先從資料庫中取出腦電信號和動作行為信號這兩種信號在某一秒內的數據記錄信息，然後分別統計出這一秒內這兩種信號的個數，假設腦電信號的個數為m個，動作行為信號的個數為η個；由於腦電信號的採集頻率高於動作行為信號的頻率，所以m>n，以動作行為信號的頻率為標準，其中動作行為信號的第一條記錄，對應於腦電信號的個數為m/n四捨五入的整數部分21個，第二條記錄對應的腦電信號的個數為(m-Zl)/(n-l)四捨五入的整數部分Z2個，以此類推，最後一條記錄對應的腦電信號的個數為On-Z1-…-Zlri)個。
[0035]以上所述的實施例僅僅是對本發明的優選實施方式進行描述，並非對本發明的範圍進行限定，在 不脫離本發明設計精神的前提下，本領域普通技術人員對本發明的技術方案做出的各種變形和改進，均應落入本發明權利要求書確定的保護範圍內。
【權利要求】
1.一種人體腦電信號與動作行為信號同步採集系統，其特徵在於:所述採集系統由Kinect體感設備、計算機、無線網卡、腦電帽、腦電信號採集裝置和W1-Fi無線發射模塊組成，分為腦電信號採集部分和動作行為信號採集部分； 腦電信號採集部分包括腦電帽、腦電信號採集裝置、W1-Fi無線發射模塊、無線網卡和計算機；腦電帽與腦電信號採集裝置連接，腦電信號採集裝置中安裝W1-Fi無線發射模塊，W1-Fi無線發射模塊與無線網卡無線連接，無線網卡安裝在計算機上，腦電信號採集裝置接收腦電帽採集到的信號，通過W1-Fi無線發射模塊將信號發送至無線網卡接收端，通過無線網卡再將信號輸入計算機的資料庫中； 動作行為信號採集部分包括Kinect體感設備和計算機；Kinect體感設備實時捕捉人體的骨架信息，通過數據線將骨架信息傳輸至計算機的資料庫中。
2.根據權利要求1所述的一種人體腦電信號與動作行為信號同步採集系統，其特徵在於:所述計算機的軟體系統包括時間校準模塊、通過W1-Fi接收腦電信號及時間模塊、探測動作行為模塊、行為信息歸一化模塊、動作行為及時間記錄模塊、腦電信號與動作行為信號匹配模塊。
3.一種基於權利要求1的人體腦電信號與動作行為信號同步採集方法，其特徵在於，包括如下步驟: (1)在系統工作前，確保計算機與腦電信號採集裝置中的W1-Fi無線發射模塊已成功連接，再將Kinect體感設備通過數據線與計算機連接；腦電信號採集裝置與計算機進行通訊來校準時間，確保腦電信號和動作行為信號的同步採集； (2)被測人員佩戴腦電帽 後,在Kinect體感設備正前方2~3米處站立,將Kinect體感設備調整仰角，確保Kinect體感設備可以捕捉到被測人員的完整骨架信息；腦電帽採集被測人員的腦電信號，通過腦電信號採集裝置中的W1-Fi無線發射模塊將腦電信號發送至計算機；Kinect體感設備採集被測人員的骨架信息，通過數據線將骨架信息傳輸至計算機；計算機把腦電信號以及相應時間的動作行為信號保存到對應的資料庫中； (3)在計算機上運行該系統，Kinect體感設備實時捕捉被測人員的骨架信息，判斷被測人員是否被追蹤到，如果被追蹤到，則提取人體20個關節點在骨骼坐標系中的X、1、z的坐標值，然後根據小孔模型將這些坐標值轉換為空間坐標系的坐標值X '、！丨>z ;;其中，X' = xXz/f> y' =yXz/f、z' = z, f是Kinect體感設備的焦距；選定參考點(x0, y0,zO)，用得到的空間坐標系的坐標值與參考點的坐標值相減得到最終的坐標值，再將這些關節點的數據信息以及相應的時間存儲至計算機資料庫中，完成對被測人員動作行為信號的米集； 在動作行為信號採集的同時，腦電採集裝置也將腦電信號通過W1-Fi無線發射模塊發送給計算機，為保證傳輸的可靠性，兩者採用TCP協議進行通訊。
4.根據權利要求3所述的人體腦電信號與動作行為信號同步採集方法，其特徵在於，為實現兩種不同頻率信號在窗體中同步顯示，首先要對腦電信號和動作行為信號進行匹配；具體的匹配方法如下: 先從資料庫中取出腦電信號和動作行為信號這兩種信號在某一秒內的數據記錄信息，然後分別統計出這一秒內這兩種信號的個數，假設腦電信號的個數為m個，動作行為信號的個數為η個；由於腦電信號的採集頻率高於動作行為信號的頻率，所以m>n，以動作行為信號的頻率為標準，其中動作行為信號的第一條記錄，對應於腦電信號的個數為m/n四捨五入的整數部分21個，第二條記錄對應的腦電信號的個數為(m-Zl)/(n-l)四捨五入的整數部分Z2個，以此類推， 最後一條記錄對應的腦電信號的個數為On-Z1-…-Zlri)個。
【文檔編號】A61B5/0476GK104013401SQ201410247781
【公開日】2014年9月3日 申請日期:2014年6月5日 優先權日:2014年6月5日
【發明者】趙彥濤, 李龍生, 付美玲, 梁振虎, 蔣振洲, 李小俚 申請人:燕山大學