基於眼動跟蹤的視覺假體圖像採集裝置的製作方法

2023-05-08 21:51:26

專利名稱：基於眼動跟蹤的視覺假體圖像採集裝置的製作方法
技術領域：
本發明涉及生物醫學工程領域，尤其涉及一種基於眼動跟蹤的用於視覺假體的圖像採集裝置。
背景技術：
視覺假體是一種植入 式醫用電子設備，能夠在一定程度上恢復重度失明患者的視覺。它利用大多數失明患者往往只有視覺通路的一部分發生病變，而其餘部分神經組織的結構和功能尚完好的特點，對視覺通路的完好部位施加特定的人工電刺激，來興奮神經細胞，模擬自然光刺激的效果，讓使用者產生視覺感受。視覺假體系統通常包括位於使用者體外圖像採集裝置(通常為微型攝像頭)、圖像處理裝置、電刺激編碼裝置和植入使用者體內(通常為視覺神經系統)的微電極陣列，通過將圖像採集裝置獲取的外界圖像信息進行處理、編碼，並通過微電極陣列對視覺神經系統進行刺激，從而在使用者的視皮層產生視覺，讓使用者復明。一般地，正常人的單眼視覺的視野範圍的視角大約為上60°、下75°、外95°及內60°，即135° X 155° (視野範圍的高X視野範圍的寬)，而雙眼視覺的視野範圍的視角更是能達到135° X190°。另外，正常人的視覺焦點在黃斑區對應的視野範圍中，此時的視角約20° X20°。如果視野範圍內有其它引起注意的事件，正常人會通過控制眼肌使眼球轉動，使該注意區域落在黃斑區對應的視野範圍內。目前，視覺假體中用於圖像採集的攝像頭視角範圍僅有40°X40°左右，遠小於正常人的單眼視覺的視野範圍。因此如果將攝像頭固定在使用者所配戴的鏡架上，使用者需通過轉動頭部或身體來獲得不同注意區域的圖像，這增加了使用者的使用負擔。可見，現有技術的視覺假體沒有很好地實現對人眼視覺及眼動功能的仿生，不能充分利用人眼通過眼動對目標快速搜索、定位的生理特點。考慮到視網膜病變的失明患者的眼肌及控制眼肌的神經很可能完好，而且植入視覺假體不會損傷眼肌及控制眼肌的神經，因此患者依舊擁有控制眼球轉動的能力。另外由於人眼的轉動具有協同性，兩眼會同時轉向目標註意區域，所以即使植入視覺假體的過程中對眼肌及控制眼肌的神經造成一定損傷，另一側眼球依舊具有完好的眼動能力。因此，本領域的技術人員致力於開發一種視覺假體的圖像採集裝置，基於使用者的眼動信號實現對目標圖像的定位採集。

發明內容
有鑑於現有技術的上述缺陷，本發明所要解決的技術問題是提供一種視覺假體的圖像採集裝置，通過採集使用者的眼動信號，控制圖像採集裝置的攝像頭轉向目標的方向，米集目標圖像。為實現上述目的，本發明提供了一種視覺假體的圖像採集裝置，其特徵在於，包括眼動信號採集及處理模塊、攝像頭和轉動雲臺；所述眼動信號採集及處理模塊採集眼球的眼動信號，根據所述眼動信號獲取所述眼球的轉動方向，並發出控制信號以控制所述轉動雲臺的轉動，使固定在所述轉動雲臺上的所述攝像頭轉向所述眼球的所述轉動方向並採集所述轉動方向的圖像。進一步地，眼動信號採集及處理模塊包括眼動攝像頭和眼動視頻接收及處理單元；所述眼動信號採集及處理模塊採集所述眼球的所述眼動信號的過程為所述眼動攝像頭拍攝所述眼球的瞳孔的視頻；所述眼動信號採集及處理模塊根據所述眼動信號獲取所述眼球的所述轉動方向的過程為所述眼動 視頻接收及處理單元接收所述眼球的所述瞳孔的所述視頻並通過所述視頻獲取所述眼球的所述轉動方向。進一步地，所述眼動信號採集及處理模塊還包括LED單元以對所述瞳孔進行照明。進一步地，所述LED單元包括至少一個LED，所述LED單元的發光強度不小於400mcdo進一步地，所述眼動信號採集及處理模塊和所述轉動雲臺固定在眼鏡上；所述眼動攝像頭設置在所述眼鏡的一個鏡片上，所述眼動視頻接收及處理單元設置在所述眼鏡的眼鏡腿上，所述眼鏡腿與所述鏡片同側或者不同側；所述轉動雲臺設置在所述眼鏡的鼻梁架上。進一步地，所述眼鏡上還設置有電源以向所述眼動信號採集及處理模塊和所述攝像頭供電。進一步地，所述眼鏡是墨鏡。進一步地，所述眼動攝像頭的外徑不大於8mm且所述眼動攝像頭具備微焦距拍攝功能。進一步地，所述轉動雲臺的所述轉動對於所述眼動信號採集及處理模塊發出的所述控制信號的響應延遲在毫秒量級。進一步地，所述攝像頭的外徑不大於12mm，所述攝像頭的視角不小於30°，所述攝像頭的巾貞率不小於24fps。在本發明的較佳實施方式中，本發明的視覺假體的圖像採集裝置設置在失明患者配戴的墨鏡上，包括眼動信號採集及處理模塊、攝像頭和轉動雲臺。攝像頭固定在轉動雲臺上，轉動雲臺設置在墨鏡的鼻梁架上，攝像頭朝向外。眼動信號採集及處理模塊包括眼動攝像頭、LED單元、眼動視頻接收及處理單元和數據線。眼動攝像頭和LED單元設置在墨鏡的一個鏡片上，眼動攝像頭朝向內。使用時，失明患者配戴該墨鏡，開啟電源後，本發明的視覺假體的圖像採集裝置即開始工作。眼動攝像頭啟用微焦距拍攝功能，自動對焦到使用者的眼球的瞳孔部位並拍攝該瞳孔的移動的視頻。眼動攝像頭把拍攝的視頻通過數據線實時地傳送給眼動視頻接收及處理單元，眼動視頻接收及處理單元對該視頻進行分析，從瞳孔的移動情況獲取眼球的轉動方向並向轉動雲臺發出相應的控制信號。轉動雲臺接收到該控制信號後發生轉動，帶動攝像頭一起轉動到該方向。由此攝像頭就可以採集到該方向的圖像。由此可見，本發明的視覺假體的圖像採集裝置通過實時獲取眼球轉動的方向進而控制轉動雲臺帶動攝像頭轉向該方向來採集該方向的圖像，使攝像頭可以獲得比現有技術中的固定式的攝像頭更廣闊、接近於人眼的視野範圍，並可以充分利用人眼通過眼動對目標快速搜索、定位的生理特點，很好地實現對人眼視覺及眼動功能的仿生，使使用者獲得更加接近正常視覺的假體視覺體驗。本發明採用的是非侵入式的眼動信號的採集方法，可以快速準確地獲得使用者的眼動信號。本發明的視覺假體的圖像採集裝置輕便易攜，可以使使用者獲得很好的使用體驗。以下將結合附圖對本發明的構思、具體結構及產生的技術效果作進一步說明，以充分地了解本發明的目的、特徵和效果。


圖I是本發明的視覺假體的圖像 採集裝置的結構示意圖。圖2是圖I所示的視覺假體的圖像採集裝置的眼動攝像頭和LED單元部分的放大的結構示意圖。圖3是圖I所示的視覺假體的圖像採集裝置的攝像頭和轉動雲臺部分的放大的結構示意圖。
具體實施例方式如圖1-3所示，在本發明的一個實施例中，本發明的視覺假體的圖像採集裝置設置在失明患者配戴的墨鏡上，包括眼動信號採集及處理模塊、攝像頭20和轉動雲臺30。其中，攝像頭20固定在轉動雲臺30上，轉動雲臺30設置在墨鏡的鼻梁架53上。攝像頭20朝向外(即朝向離開配戴該墨鏡的患者的方向)，轉動雲臺30接收由眼動信號採集及處理模塊發出的控制信號並發生相應的轉動，其轉動時將帶動攝像頭20 —起轉動。眼動信號採集及處理模塊包括眼動攝像頭11、LED單元12、眼動視頻接收及處理單元13和數據線14。其中，眼動攝像頭11和LED單元12設置在墨鏡的一個鏡片51上，眼動攝像頭11朝向內(即朝向配戴該墨鏡的患者的方向)並且眼動攝像頭11在鏡片51上的位置可以使其採集到配戴該墨鏡的使用者的眼球的瞳孔的移動的視頻。可以通過在鏡片51上打多個孔，使用緊固件或粘合劑將眼動攝像頭11和LED單元12固定在這些孔的位置上而實現眼動攝像頭11和LED單元12在鏡片51上的固定。較佳地，眼動攝像頭11設置在鏡片51中間位置處。LED單元12設置在眼動攝像頭11旁，以在需要的時候對眼動攝像頭11拍攝的部位進行照明。在本實施例中，LED單元12是6個LED構成的陣列，該陣列圍繞眼動攝像頭11均勻分布在鏡片51上。在本發明的其它實施例中，LED單元12也可以是單個的LED，或者多個LED構成的陣列。眼動視頻接收及處理單元13設置在墨鏡的眼鏡腳52上，攝像頭11採集到的瞳孔的移動的視頻通過數據線14被傳送到眼動視頻接收及處理單元13並被處理。在本實施例中，眼鏡腳52和鏡片51處於該墨鏡的同側(如圖1、2所示的墨鏡的右側)，但在本發明的其它實施例中，也可以使安裝有眼動視頻接收及處理單元13的眼鏡腳和安裝有眼動攝像頭11及LED單元12的鏡片處於墨鏡的不同側，只要合適地設置數據線以實現將攝像頭11採集到的瞳孔的移動的視頻傳送到眼動視頻接收及處理單元13即可。在眼鏡腳52上還設置有電源40，以向眼動信號採集及處理模塊的眼動攝像頭11、LED單元12、眼動視頻接收及處理單元13以及攝像頭20供電。本實施例中，攝像頭20的外徑不大於12mm，攝像頭20的視角不小於30°，攝像頭20的幀率不小於24fps。眼動攝像頭11的外徑不大於8mm，且眼動攝像頭11具備微焦距拍攝功能。LED單元12的發光強度不小於400mcd。轉動雲臺30是一個多維度的轉動雲臺，其轉動維度向左不小於45°、向右不小於45°、向上不小於30°、向下不小於30°，其在接收到眼動信號採集及處理模塊發出的控制信號後發生的相應的轉動對於該控制信號的響應延遲在毫秒量級。在使用本發明的視覺假體的圖像採集裝置時，失明患者配戴設置有本發明的視覺假體的圖像採集裝置的墨鏡，開啟電源40後，本發明的視覺假體的圖像採集裝置即開始工作。眼動攝像頭11啟用微焦距拍攝功能，自動對焦到鏡片51所對應的使用者的眼球的瞳孔部位，如圖1、2所示的本實施例的眼動攝像頭11自動對焦到使用者的右眼的瞳孔部位，然後拍攝該瞳孔的移動的視頻，即採集該瞳孔 的移動信息以獲得該眼球的眼動信號。眼動攝像頭11把拍攝的瞳孔的移動的視頻通過數據線14實時地傳送給眼動視頻接收及處理單元12。眼動視頻接收及處理單元12包含微處理器，以對接收的視頻進行分析，從瞳孔的移動信息獲取眼球的轉動方向。眼動視頻接收及處理單元12可以判斷環境亮度，在環境亮度較暗的情況下，眼動視頻接收及處理單元12通過數據線14向LED單元12發出控制信號以開啟LED單元12對眼動攝像頭11的拍攝部位(即瞳孔)進行照明；在環境亮度較好的情況下，則不需要開啟LED單元12。眼動視頻接收及處理單元12根據獲取的眼球的轉動方向確定攝像頭20的轉動方向並向轉動雲臺30發出相應的控制信號，轉動雲臺30接收到該控制信號後發生轉動，帶動攝像頭20 —起轉動到該方向。這樣攝像頭20就可以採集該方向的圖像了，繼而將該圖像發送給視覺假體的圖像處理裝置，使使用者產生關於該圖像的假體視覺。以上詳細描述了本發明的較佳具體實施例。應當理解，本領域的普通技術人員無需創造性勞動就可以根據本發明的構思做出諸多修改和變化。因此，凡本技術領域的技術人員依本發明的構思在現有技術的基礎上通過邏輯分析、推理或者有限的實驗可以得到的技術方案，皆應在由權利要求書所確定的保護範圍內。
權利要求
1.一種視覺假體的圖像採集裝置，其特徵在於，包括眼動信號採集及處理模塊、攝像頭和轉動雲臺；所述眼動信號採集及處理模塊採集眼球的眼動信號，根據所述眼動信號獲取所述眼球的轉動方向，並發出控制信號以控制所述轉動雲臺的轉動，使固定在所述轉動雲臺上的所述攝像頭轉向所述眼球的所述轉動方向並採集所述轉動方向的圖像。
2.如權利要求I所述的視覺假體的圖像採集裝置，其中所述眼動信號採集及處理模塊包括眼動攝像頭和眼動視頻接收及處理單元；所述眼動信號採集及處理模塊採集所述眼球的所述眼動信號的過程為所述眼動攝像頭拍攝所述眼球的瞳孔的視頻；所述眼動信號採集及處理模塊根據所述眼動信號獲取所述眼球的所述轉動方向的過程為所述眼動視頻接收及處理單元接收所述眼球的所述瞳孔的所述視頻並通過所述視頻獲取所述眼球的所述轉動方向。
3.如權利要求2所述的視覺假體的圖像採集裝置，其中所述眼動信號採集及處理模塊還包括LED單元以對所述瞳孔進行照明。
4.如權利要求3所述的視覺假體的圖像採集裝置，其中所述LED單元包括至少一個LED，所述LED單元的發光強度不小於400mcd。
5.如權利要求2到4中任何一個所述的視覺假體的圖像採集裝置，其中所述眼動信號採集及處理模塊和所述轉動雲臺固定在眼鏡上；所述眼動攝像頭設置在所述眼鏡的一個鏡片上，所述眼動視頻接收及處理單元設置在所述眼鏡的眼鏡腿上，所述眼鏡腿與所述鏡片同側或者不同側；所述轉動雲臺設置在所述眼鏡的鼻梁架上。
6.如權利要求5所述的視覺假體的圖像採集裝置，其中所述眼鏡上還設置有電源以向所述眼動信號採集及處理模塊和所述攝像頭供電。
7.如權利要求6所述的視覺假體的圖像採集裝置，其中所述眼鏡是墨鏡。
8.如權利要求7所述的視覺假體的圖像採集裝置，其中所述眼動攝像頭的外徑不大於8mm且所述眼動攝像頭具備微焦距拍攝功能。
9.如權利要求8所述的視覺假體的圖像採集裝置，其中所述轉動雲臺的所述轉動對於所述眼動信號採集及處理模塊發出的所述控制信號的響應延遲在毫秒量級。
10.如權利要求9所述的視覺假體的圖像採集裝置，其中所述攝像頭的外徑不大於12mm,所述攝像頭的視角不小於30° ,所述攝像頭的巾貞率不小於24fps。
全文摘要
本發明公開了一種視覺假體的圖像採集裝置，包括眼動信號採集及處理模塊、攝像頭和轉動雲臺。眼動信號採集及處理模塊採集眼球的眼動信號並根據該信號發出控制信號以控制轉動雲臺的轉動，使固定在轉動雲臺上的攝像頭轉向該眼球的轉動方向並採集該方向的圖像。其中，眼動信號採集及處理模塊包括眼動攝像頭以拍攝該眼球的瞳孔的移動的視頻，還包括眼動視頻接收及處理單元以接收該視頻並通過該視頻獲取眼球的轉動方向。本發明通過實時獲取眼球轉動的方向進而控制轉動雲臺帶動攝像頭轉向該方向並採集該方向的圖像，很好地實現對人眼視覺及眼動功能的仿生，使使用者獲得更加接近正常視覺的假體視覺體驗。
文檔編號H04N5/232GK102813574SQ20121027580
公開日2012年12月12日 申請日期2012年8月3日 優先權日2012年8月3日
發明者柴新禹, 吳開傑, 古隕, 雷旭平 申請人:上海交通大學