用於監控眼睛運動的生物傳感器、通信器、和控制器及其使用方法
2023-05-30 10:20:31 5
專利名稱:用於監控眼睛運動的生物傳感器、通信器、和控制器及其使用方法
技術領域:
本發明大體而言涉及用於監控人眼睛的運動的裝置、系統和方法,例如,用於監控疲勞、故意通信,和/或用於基於眼睛、眼瞼、和/或人的一隻眼睛或雙眼的其他組件的運動來控制裝置的設備、系統和方法。
背景技術:
已建議使用人眼睛的運動來監控無意識狀態,諸如人的覺醒或者瞌睡狀態。例如,美國專利第3,863,243號披露了一種裝置,其能夠發出警報來警告正使用該裝置的即將開始入睡的人。該裝置包括類似於一組鏡片的其上安裝有光纖和光電元件(photocell)的鏡框,其中,當戴上該鏡框時,鏡片正對著用戶的眼睛。光電元件檢測由人眼睛反射出的光的強度,即,閉上眼睛時通過眼瞼或者睜開眼睛時通過眼表(eye surface)所反射的光的強度。計時器在正常眨眼和眼睛閉上期間的持續時間(即,表示人入睡的時間)之間進行區分。當經過臨界時間時,發出警報來通知和/或叫醒用戶。
另一種裝置是MTI Research Inc.的Alterness Monitor,其可以被安裝在安全玻璃上,並且沿著關鍵位置處(在該位置處,除了眨眼期間外,射束不會被睫毛中斷)的眼瞼軸發出連續的紅外光束,從而使其具有測量眨眼頻率的能力。諸如美國專利第5,469,143號和第4,359,724號中所披露的那些其他裝置直接使用用戶的眼瞼或者眉毛來檢測眼睛的運動並且當檢測到瞌睡狀態時會啟動警報。這樣的裝置可以包括機械裝置,例如,機械臂、或者靠在眼瞼上的壓電膜。
已建議在車輛的儀錶板、頂、或其他位置上安裝相機或其他裝置來監控司機的意識。然而,這樣的裝置需要用戶眼睛保持持續與相機接觸。另外,如果用戶將其頭部向側面或者向下轉動、迴轉、伸出車輛,如果用戶快速地來回移動,或者如果相機相對於人而移動,那麼它們就不能監控眼瞼的運動。另外,這樣的相機可能會侵犯隱私和/或存在看穿眼鏡、太陽鏡、乃至隱形眼睛的問題,並且其在日光下不能有效操作。
發明內容
本發明涉及用於監控對象的一個或多個眼睛、眼瞼、和/或瞳孔的運動的設備、系統、和方法。通常,人類每分鐘至少眨眼大約5-30次,或者每天眨眼大約7,000-43,000次。每次無意識反射的眨眼持續大約200-300毫秒,總地平均下來是大約250毫秒,每天由於無意識眨眼而閉眼的時間總計大約1,750-10,800秒。當發生疲勞或者睏倦時,眨眼可能更長且更慢和/或眨眼率可能變化,和/或眼瞼可能由於小幅度的眼瞼眨動而開始逐漸下垂,例如,直到眼睛開始由於短期「微睡」(即,持續大約3-5秒或更長的睡眠狀況)而閉上,或者由於長時間的睡眠而閉上。另外,瞳孔可能收縮得更加緩慢,表現出大小的不穩定波動、直徑逐漸收縮,和/或像睏倦和疲勞前進一樣對閃光表示出延遲反應(即,延遲瞳孔反應潛伏期)。另外,會出現瞌睡的其他視覺表現,諸如,當在上或在下拍攝目標的情況下,對(例如)刺激的緩慢或延遲的跳視眼睛跟蹤反應(即,延遲的跳視反應潛伏期),和/或無論雙眼會合或發散、眼位偏移、或者內隱斜與否都無法定向凝視。
在一個實施例中,提供了用於監控眼瞼、瞳孔、和/或眼睛運動的設備,其包括裝置,用於戴在用戶頭部上;光源,用於當戴上裝置時將光導向人的眼睛;以及連接到裝置的第一和第二光纖束,第一束用於觀察戴上裝置的人的第一隻眼睛,第二光纖束用於觀察戴上裝置的人的第二隻眼睛。該設備還可以包括連接至第一和第二光纖束的相機,用於獲取第一和第二隻眼睛的圖像。
任選地,該設備還可以包括第三光維束,其遠離用戶定位,例如,用於觀察用戶頭部將轉向的區域。另外或者可選地,該設備可以具有一個或多個空間傳感器。相機可以連接至第一和第二光纖束,用於獲取第一和第二隻眼睛的圖像,還可以連接至第三光纖束,用於獲取用戶頭部和/或眼睛所朝向的區域的圖像。空間傳感器可以允許同時測量或者跟蹤(例如)相對於用戶眼睛運動的用戶頭部運動。另外,連接至相機的發射器和/或傳感器陣列可以允許測量一隻眼睛或雙眼的各種眼睛運動參數,諸如眼瞼的速率、加速度和減速度、眨眼頻率、「PERCLOS」(眼瞼張開的時間的百分比)、瞼裂的垂直高度(即,眼瞼之間沒有覆蓋瞳孔的區域),例如,與完全張開的眼睛有關的距離或者百分比等等。
在另一個實施例中,提供了一種整裝裝置,用於檢測人的眼瞼的運動,該整裝裝置包括裝置,用於戴在人頭部上;發射器,位於裝置上,用於當戴上裝置時將光導向人眼睛;以及相機,用於檢測來自發射器的光。傳感器產生指示人眼睛何時打開或者閉上的輸出信號,然後將在鏡框上的發送器連接至傳感器,用於將輸出信號無線發送至遠程位置。鏡框還可以包括處理器,用於將輸出信號與預定臨界進行比較,以檢測瞌睡導致的眼瞼運動。與先前實施例類似,發射器和傳感器可以是用於發射並檢測紅外線的固態生物傳感器裝置,或者可選地是陣列,例如,在鏡框上預定配置的發射器和/或傳感器的一維或者二維陣列,例如,朝向一隻眼睛或雙眼定位的一個以上發射器和/或傳感器的垂直、水平、對角線、或者其他線性或其他幾何陣列。具體地,發射器和/或傳感器陣列可以允許測量眼睛運動參數,諸如在本文中所識別的那些眼睛運動參數。
發射器和/或傳感器可以固定到鏡框上的多個點處,例如,在鏡片周圍和/或鼻梁中,或者可選地在沿著鏡框的任何位置處,包括在鏡框的護鼻部分、鏡框的鏡腿件的配件、和/或被安裝在眼鏡的鏡片上的表面的附近或者在它們的上面。可選地,可以將發射器和/或傳感器安裝到眼鏡的鏡片中,以便它們能夠通過鏡片來操作。因而,可以將發射器和/或傳感器安裝在眼睛鏡框上,以便它們可以隨著佩戴者的頭部運動而運動,並且一直集中在任何體位的用戶眼睛上,無論該用戶是在車上、戶外還是任何其他環境下。
在另一個實施例中,提供了一種系統,用於監控人眼睛的運動。該系統包括裝置,用於戴在人頭部上;一個或多個發射器,位於該裝置上,用於當戴上該裝置時,將光導向人眼睛;以及相機,例如,CCD或CMOS裝置。發射器可以用於將參考系朝向眼睛投射。相機可以朝向眼睛定位,用於監控眼睛相對於參考系的運動。可以將相機設置在裝置上,或者可以設置在遠離裝置的位置處,但是相對地要更加靠近用戶。
來自發射器的光可以射向戴著裝置的用戶的眼睛,以照亮用戶的眼睛,同時將參考系投射到眼睛之上。發射器可以將光「不可見地」投射向用戶,即,投射在正常視覺的暗視(夜視)或者適光(明視)範圍之外,例如,在紅外光範圍內,從而使照明和/或參考系基本上不會干擾用戶視覺。相機可以成像由發射器所產生的光,例如,在紅外線範圍內的光,從而檢測所投射的光作為光點、光帶或其他「反光」。眼睛相對於參考系的運動可以使用相機來監控。可以監控(例如)相對於投射到眼睛上的參考系的由相機所監控的運動的圖形輸出。例如,來自發射器的紅外線可以從視網膜反射出來,在白光情況下反射出來的為「紅光反射」、在紅外光情況下反射出來的為白色或者暗黑色瞳孔(包括使用現有技術中已知的減色方法的暗瞳孔的圖像)。
例如,使用這些方法中的一個或多個的處理器可以檢測眼睛瞳孔的運動,例如,測量相對於參考系的運動。這個運動可以被圖形顯示,從而示出眼睛的瞳孔相對於參考系的運動。任選地,來自一個或多個傳感器的輸出信號可以與視頻信號相關聯,該視頻信號由監控眼睛相對於參考系的運動的相機產生,例如,以確定人的瞌睡等級、或者與關於意識的心理或神經-生理認知、情感、和/或警惕性相關的狀態。
在另一個實施例中,提供了一種方法,用於使用戴在用戶頭部上的裝置來控制計算裝置或者其他電子或電子-機械裝置(例如廣播、電視、輪椅、電話、警報系統、聽覺、視覺或觸覺警報系統,等等)。該裝置可以包括一個或多個組件,與本文中所述的其他實施例相類似,組件包括具有聚焦在用戶的至少一個眼睛上的至少一個物鏡的相機。計算裝置可以包括顯示器,該顯示器包括顯示器上所顯示的指針。顯示器可以包括抬頭或低頭顯示器,連接至戴在用戶頭部上的裝置,或者連接用戶頭部或者放在用戶頭部上;臺式計算機監控器,放在用戶前面,將圖像數字投射在屏幕上(例如,像在駕駛或者飛行模擬器中一樣),等等。用戶眼睛的運動可以使用相機來監控,並且眼睛的運動可以與顯示器上的指針相關聯,以使得指針能夠跟隨眼睛的運動,例如,與計算機滑鼠類似。任選地,相機可以監控用戶眼睛的預定眼睛活動,例如,預定時間長度的眨眼,這可能相當於用於執行由顯示器上的指針所識別的一個或多個命令的指令,例如,與計算機滑鼠的「雙擊」相類似。
通過以下結合附圖的詳細描述將更加了解本發明的其他方面和特徵。
圖1是在醫院中戴著用於基於患者眼睛和/或眼瞼的運動來監控患者的設備的實施例的患者的透視圖;圖2是包括檢測裝置和處理箱的圖1實施例的放大透視圖;圖3是用於發送對應於一系列眼瞼運動的輸出信號的電路的示例性實施例的示意圖;圖4是用於響應於與一系列眼瞼運動對應的輸出信號來控制裝備的電路的示例性實施例的示意圖;圖5是用於檢測眼瞼運動的電路的示例性實施例的示意圖;圖6A-圖6C是用於朝向張開眼睛的表面發射光以及檢測從張開眼睛的表面反射的光的裝置的可選實施例的截面圖和正面圖;圖7A-7C分別是圖6A-6C中用於朝向閉上的眼瞼發出光以及檢測從閉上的眼瞼反射的光的裝置的截面圖和正面圖;圖8是用於基於用戶眼睛和/或眼瞼的運動來監控用戶的系統的另一個實施例的透視圖和框圖;圖9是用於基於用戶眼睛和/或眼瞼的運動來監控用戶的系統的另一個實施例的組分的框圖;圖10A是用於基於用戶眼睛和/或眼瞼的運動來監控用戶的系統的又一個實施例的透視圖;圖10B是圖10A所示的系統的一部分的示意性詳圖;
圖10C是可以設置在諸如圖10A中的眼睛鏡框的鼻梁上的發射器和傳感器的示例性陣列的詳圖;圖10D是圖10C中所示的用於發射光和檢測從眼睛反射的光的發射器和傳感器的陣列的截面圖;圖11A是用於基於眼瞼運動從遠程位置來選擇性地控制多個裝置的系統的示意圖;圖11B是可以由圖11A中所示的系統來控制的附加裝置的示意圖;圖12A是示出了當眼睛在打開與閉上狀態之間變化時,如圖10A-10D中所示的傳感器陣列的啟動與由該陣列監控的眼睛之間關係的表格;圖12B是示出了由如圖10A-10D中所示的傳感器陣列所提供的數據流的圖表,該圖表示出了作為時間函數的眼睛視野的百分比(「PERCLOS」);圖12C是正由包括諸如圖10A-10D所示的裝置的系統監控的人的多個生理參數(包括PERCLOS)的圖形顯示;圖12D是示出了當眼睛在打開與閉上狀態之間變化時,在二維傳感器陣列的啟動與正被監控的眼睛之間關係的表格;圖13是用於基於用戶眼睛和/或眼瞼運動來監控用戶的另一個系統的透視圖;圖14是圖13所示的鏡框上的相機的詳圖;
圖15A-15I是可以使用圖13所示的系統來監控的多個參數的圖形顯示;圖16是從圖13所示的鏡框上的相機輸出的視頻的詳圖;圖17是示出了用於處理來自五元傳感器陣列的信號的電路的示例性實施例的示意圖;圖18A和圖18B示出了插入飛行員頭盔中用於監控眼睛運動的設備的另一個實施例;圖19是可以包括在圖18A和圖18B所示的設備中的相機的示意圖;圖20A和圖20B是示出了從分別示出了用戶眼睛打開和閉上的多個相機機同時輸出的圖形圖像;圖21A-21C是示出了被創建以識別瞳孔周長從而方便監控眼睛運動的橢圓形圖形的圖形顯示;圖22是示出了用於警惕性測試戴著用於監控用戶眼睛運動的設備的用戶的方法的流程圖;圖23是示出了用於基於眼睛運動來控制計算裝置的方法的流程圖;以及圖24A和圖24B分別是用於經皮發射光到眼睛以及檢測從眼睛瞳孔出來的發射光的設備的正面圖和側面圖。
具體實施例方式
參考附圖,圖1示出了在病床12上的戴著檢測裝置30的患者10,其中,該檢測裝置用於檢測患者10的眼睛和/或眼瞼運動。檢測裝置30可以包括本文所述的任意生物傳感器裝置,其可以用於監控(例如)用於有意傳達信息的眼睛的故意運動、用於監控無意的眼睛運動(例如,瞌睡或其他狀態)、和/或用於控制一個或多個電子裝置(未示出)。檢測裝置30可以連接至用於將檢測到的眼睛和/或眼瞼運動轉換成數據流、可懂消息、和/或轉換成其他信息的處理箱130,其可以(例如)使用視頻顯示器50來與醫療護理提供者40通信。
參考圖2、圖6A、和圖7A,示出的設備或系統14的示例性實施例包括可連接至常用的一對眼鏡20的可瞄準且可聚焦的檢測裝置30。眼鏡20包括連接至鏡框22的一對鏡片21,鏡框22包括在鏡片21之間延伸的架橋(bridgework)24、以及支撐耳承(ear piece)26的側梁(side member)或鏡腿件(temple piece)25,它們都是常用的。可選地,因為鏡片21並非必需的,所以鏡框22也可以不具有鏡片21。
檢測裝置30包括用於連接至一個側梁25的夾具(clamp)或其他機構27以及其上安裝有一個或多個發射器32和傳感器33(未示出)的可調臂31。以預定關係安裝發射器32和傳感器33,以使發射器32可以向戴著眼鏡20的人的眼睛300發出信號並且使傳感器33可以檢測從眼睛300的表面和眼瞼302反射的信號。在圖6A和圖7A所示的示例性實施例中,發射器32和傳感器33可以彼此鄰近地安裝。
可選地,例如,如圖6B和圖7B所示,發射器32』和傳感器33』可以彼此分離地安裝在鏡框上,以使發射器32』和傳感器33』基本上相對於彼此基本上橫向地放置。在另一個替代中,如圖6C和圖7C所示,發射器32」和傳感器33」可以在軸線方向中彼此軸向對準地跨過眼睛300來安裝。當眼瞼302閉上時,它可能使被傳感器33」檢測的射束340中斷。
在一個實施例中,發射器32和傳感器33分別產生和檢測連續或脈衝光,例如,在紅外線範圍內,以最小化對佩戴者的正常視覺的擾亂或者幹擾。發射器32可以發射預定頻率的脈衝光,傳感器33用於檢測該預定頻率的光脈衝。這個脈衝操作可以降低發射器32的能量損耗和/或可以最小化與其他光源的幹涉。可選地,可以使用超出可見光譜或在可見光譜內的其他預定頻率範圍的光,諸如紫外光,或者其他能量形式,諸如無線電波、聲波等。
處理箱130通過包括一條或多條金屬線(未示出)的線纜34連接至檢測裝置30。如圖9所示,處理箱130可以包括中心處理單元(CPU)140和/或其他電路,諸如圖3-圖5中所示的示例性電路,其用於從傳感器33接收和/或處理輸出信號142(諸如光強度信號)。處理箱130還可以包括用於控制發射器32和/或傳感器33的控制電路141,或者CPU 140可以包括內部控制電路。
例如,在一個實施例中,控制電路141可以控制發射器32,以產生以預定頻率脈動(高達每秒數千個脈衝至僅僅每秒4-5個脈衝,例如,每秒最少要大約5-20個脈衝)的閃爍紅外信號,從而方便對每眨眼僅僅約為200毫秒的無意或有意眨眼的檢測。傳感器33可以被控制來檢測僅以發射器32的閃爍頻率所特定的(specific to)預定頻率脈動的光脈衝。因而,通過將發射器32和傳感器33同步到預定頻率,可以在多種環境條件下使用系統10,而輸出信號142基本上不會受到(例如)明亮的日光、全黑、周圍的紅外光背景、或者以不同閃爍頻率操作的其他發射器的影響。閃爍頻率可以被調節,以在保持能量損耗最小的同時,最大化每單元時間的眨眼次數(例如,每分鐘大約十到二十次眨眼)、每次眨眼的持續時間(例如,大約200毫秒到大約300毫秒)、和/或PERCLOS(即,完全或部分閉上眼瞼的時間的百分比)的有效測量,或者最大化系統的效率。
控制電路141和/或處理箱130可以包括手動和/或軟體調節裝置(未示出),用於調節由發射器32發出的光的頻率、焦點、或強度,以關閉或打開發射器32、調節傳感器33的臨界靈敏性、和/或供與離開閉合眼瞼的最大紅外反射的自聚焦使用,這些是本領域技術人員都將會了解的。
另外,處理箱130還可以包括電源160,用於向發射器32、傳感器33、CPU 144、和/或處理箱130中的其他組件提供電源。處理箱130可以由常用的DC電池來供電(例如,九伏電池或可再充電的鋰、鎘、或氫發電電池)、和/或由連接至系統14或內置在系統中的太陽能電池來供電。可選地,可以將適配器(未示出)連接至處理箱130,諸如常用AC適配器或者十二伏車輛點火適配器。
CPU 140可以包括定時器電路146,用於將輸出信號142的單個分量的長度與預定臨界進行比較,以在正常眨眼和其他眼瞼運動之間進行區分。定時器電路146可以是獨立的分立元件或者可以內置在CPU 140內,這些本領域技術人員都將會了解。CPU 140可以將輸出信號142轉換成可以用於與其他人或裝備進行通信的數據流144。例如,由CPU 140產生的數據流144可以是二進位信號,諸如Morse(莫爾斯)碼或ASCI碼。可選地,CPU 140可能能夠產生其他的輸出,例如,合成語音信號、用於裝備的控制信號、或圖形表示。
為了方便通信,處理箱130可以包括各種用於使用數據流144的輸出裝置。例如,可以設置能夠產生警報音或合成語音的內部揚聲器150。可以設置輸出埠148,其可以通過硬連線直接連接至各種裝備,諸如圖1中所示的視頻顯示器50。
另外或者可選地,處理箱130可以包括連接至CPU 144的發送器152,用於數據流144與遠程位置的無線通信。例如,如圖9所示,系統14可以包括接收和處理單元154,諸如計算機或者其他控制或顯示系統。發送器152可以是能夠產生短程信號(例如,即使經過牆或障礙物,也能到達最多大約一百英尺或更遠、或者可選地到達大約四十五英尺到五十英尺)的射頻(「RF」)發送器。可選地,可以設置其他發送器,例如,紅外發送器。
發送器152也可以連接至放大器(未示出),以使得能夠(例如)使用藍牙或其他RF協議來將數據流發送數百或數千英尺或更遠。例如,放大器和發送器152可以經由電話通信線路、衛星等等來通信,以將數據流發送至距離系統較大距離的遠程位置,在此處可以對數據進行監控、實時分析、或存儲(例如,存儲在載重汽車或航行器「黑盒子」記錄器中)用於將來或回顧分析。該系統可以包括、或者可以連接至全球定位系統(GPS),用於監控佩戴檢測裝置30的個人的位置、移動、和/或認知警惕性、覺醒、睏倦的狀態、或情緒/行為表現和/或安全。
接收和處理單元154可以包括用於接收由發送器152發送的信號153的接收器156(例如,射頻接收器),該信號包括數據流。處理器158連接至接收器156,用於翻譯、存儲、和/或使用數據流中的信息,處理器158連接至存儲器電路160、通信裝置162、和/或控制系統164。例如,接收和處理單元154可以包括存儲器電路160,處理器158可以僅將用於隨後檢索和分析的數據流存儲在該存儲器電路中。
處理器158可以通過(例如)將數據流中的二進位碼轉換成可懂消息(即,一連串的字母、詞、和/或命令)來翻譯數據流,和/或可以使用大型通信裝置或軟體(諸如KENX或Words Plus)來方便通信。所得到的消息可以被顯示在通信裝置162上,通信裝置可以包括用於顯示文本、圖畫和/或符號的視頻顯示器、用於提供電子語音的合成語音模塊等等。
可選地,可以將數據流作為「實時」消息信號用圖表數字地顯示在計算機顯示屏或其他電子顯示裝置上(例如,顯示眨眼率、眨眼持續時間、PERCLOS等等),或者用類似於EKG或EEG跟蹤的圖形來顯示。另外,如圖12C所示,數據流可以連同其他生理數據一起顯示,諸如皮膚電導率、體溫、心血管相關數據(例如,心率、血壓)、呼吸相關數據(例如,呼吸率、血液中氧和二氧化碳的水平)、肌電圖(EMG)和/或活動變化記錄數據集(即,身體運動、位置)、和/或其他多導睡眠圖(PSG)或腦電圖(EEG)變量。可選地,可以將數據流與用於監控汽車或機械運行(例如,車速、加速度、剎車功能、轉矩、搖動或傾斜、發動機或電機速度,等等)的控制器結合,以根據路面和/或車輛狀況、以及與司機或機器操作者的知覺、覺醒、注意力、和/或實時表現的警戒反應的狀態有關的機能,作出關於減速還是加速車輛的理智決定。
另外,消息可以由處理器158來翻譯,用於指導控制系統164控制一件或多件機器或裝備。例如,數據流可以包括用於指導控制系統164來控制繼電器開關或其他裝置關掉和打開電氣裝置(諸如用具、電輪椅、發動機、光、警報、電話、電視、計算機、觸覺振動座位等等)、或者用於操作由眼睛觸發的計算機滑鼠或其他控制器的命令。
可選地,處理器158可以使用數據流來控制PC、IBM、Macintosh、和其他計算機、和/或兼容的計算機軟體和/或硬體,例如,以與類似於滑鼠、「回車」鍵、和/或「操縱杆」的輸入設備相互作用。例如,數據流可以包括命令,用於啟動市場上可買到的通常使用的軟體和計算機遊戲、以及特殊通信軟體(諸如WORDS-PLUS或者Ke:Nx)中所使用的可以從中選擇子菜單或單個項的一連串菜單。處理器158可以控制、滾動、或者選擇計算機軟體程序的項,操作印表機、或其他外圍裝置(例如,選擇字體、段落、標記、或其他符號操作符,選擇諸如「編輯」、「查找」、「格式」、「插入」、「幫助」的命令,或者控制CD-ROM或磁碟驅動器的操作,和/或其他Windows和非Windows功能)。
可選地,接收器156可以直接連接至各種裝置(未示出),諸如無線電或電視控制器、燈、風扇、加熱器、電機、震動觸覺座位、遠程控制車輛、車輛監控或控制裝置、計算機、印表機、電話、救生索單元、電子玩具、或大型通信系統,以在用戶和裝置之間提供直接連接。
在使用期間,可以將檢測裝置30安放在用戶的頭部上,即,可以通過如圖1所示地佩戴上眼鏡20來將檢測裝置放在用戶頭部上。可調臂31和/或夾具27可以被調節,以將發射器32和傳感器33最佳定向為朝向用戶的眼睛300(圖6A-圖6C和圖7A-圖7C中示出)。發射器32可以被啟動,從而將光束340從發射器32引導向眼睛300。接下來,可以調節發射器32的強度和/或頻率和/或傳感器33的臨界靈敏度或者其他焦點(例如,手動或自動使用自調節特徵)。
由於眼睛300本身的表面和眼瞼302的反射特徵不同,所以眼睛300反射的光的強度取決於眼睛300是打開還是閉上。例如,圖6A和圖6B示出了眼睛打開的情況,其中,由發射器32產生的光射線340打到眼睛300本身的表面,然後如射線350所示擴散。因而,由傳感器33檢測的所產生的光強度相對較低,就是說,傳感器33可能不接收任何實際反饋信號。
在圖7A和圖7B中,示出了眼瞼302閉上時的眼睛300,當正常眨眼、瞌睡的時候、有意眨眼、或者其他眼瞼運動時,眼瞼可能閉上。因為光340打到眼瞼302上,所以光基本上都反射回了傳感器33,如射線360所示,從而導致傳感器33檢測到相對較高的光強度。可選地,如圖7C所示,當閉上眼睛300時,光束340可以被眼瞼302中斷或切割。
因此,傳感器33產生光強度信號,其指示眼睛300何時打開或閉上,即,分別對應於傳感器33未檢測到或檢測到反射光的時間。通常,從眼瞼表面反射的紅外光的強度基本上不受皮膚色素的影響。如果需要調節從眼瞼反射的光的強度,則可以應用金屬薄片、閃光劑、反射保溼膏等等來增加反射率,或者可以應用黑色眼線筆、吸收或反射膏等等來降低反射率。
參考圖9,傳感器33檢測到的光強度生成包括一連串隨時間變化的光強度信號的輸出信號142(例如,如圖12B所示)。通過連接至傳感器33的CPU 140來接收輸出信號142,其將(例如)對應於閉眼狀態的每個光強度信號142的時間長度與預定臨界值進行比較。定時電路146可以為CPU 140提供用於從有意識和/或其他無意識的眼瞼運動中區分出正常眨眼的臨界時間,然後CPU 140從其中濾出輸出信號142。接著,CPU 140產生可以用於有意和/或無意通信的數據流144。
在一個有用應用中,檢測裝置30可以用於通過用於觸發警報來向用戶及其所處場所中的其他人報警及用於監控瞌睡開始的處理箱130,來檢測用戶接近瞌睡或者「微睡眠」(即,進入覺醒的睡眠狀態持續了幾分鐘)。定時電路146的臨界值可以被調節,以使CPU 140可以檢測相對較長的閉眼時期,諸如當人入睡時候可能發生的那樣。
例如,因為正常眨眼時間是比較短的,所以可以將臨界值設定為從接近零秒到幾秒範圍的時間,例如,在大約二百到三百毫秒(200-300ms),或者,在其他實施例中,例如,大約兩百五十毫秒(250ms),以從瞌睡引起的眼瞼運動中區分出正常眨眼。當CPU140檢測到瞌睡狀態時,即,檢測到超過預定臨界時間的高亮度強度信號時,其可能啟動警報裝置。警報裝置(諸如揚聲器150)可以包括在處理箱130中,或者可選地(例如)通過在鏡框上安裝警報燈(未示出)或警報揚聲器(圖9中未示出,參見圖10C)設置在鏡框上。在另一個可選實施例中,警報裝置可以是觸覺裝置,例如,在文中別處描述的振動座位等等。
可選地,檢測裝置30可以用於通過CPU來悄悄記錄或者監控瞌睡引起的眼瞼運動,其中,CPU 140產生可以由傳送器152傳送到接收和處理單元154(圖9)的數據流144。例如,裝置30可以用於與車輛安全系統結合來監控司機的意識或者注意力水平。數據流144可以被傳送到安裝在車輛中的接收和處理單元154,其可以存儲關於司機瞌睡的數據和/或可以通過預定算法響應來使用數據作出決定,以控制車輛,例如,調節車輛速度,甚至關掉車輛發動機。因而,檢測裝置30可以用於監控卡車司機、計程車司機、船員或飛行員、列車長或工程師、雷達或機場控制塔操作員、重型裝備或工廠器械的操作員、潛水員、學生、太空人、娛樂參與者或觀察員等等。
檢測裝置30和系統14也可以用於醫療診斷、治療、研究、或專業設置中,以監控覺醒、睡眠模式、和/或壓力狀態或興奮劑(例如,咖啡因、尼古丁、右旋苯異丙胺、哌醋甲酯、莫達非尼)、鎮靜劑(例如,苯化重氮、安比恩)的交感神經和副交感神經影響、或者光和黑暗或退黑素的晝夜節律興奮影響,這些可以影響患者或車輛操作者的眨眼率、眨眼速度、眨眼持續時間、或PERCLOS。可以實時存儲並分析關於隨時間測量的趨勢的改變的信號,以預測使用裝置的個人的瞌睡效應。
與上述方法類似,CPU 140可以產生數據流144,發送器可以將其發送到遠程的接收和處理單元154。接收和處理單元154可以將數據流144存儲在存儲電路160中,用於稍後研究人員、醫藥專業人員、或者安全人員的檢索和分析(例如,與將飛行記錄器數據存儲在航行器「黑盒子」記錄器中的方式類似)。接收和處理單元154還可以顯示數據流144,例如在看護站處,作為附加參數來持續監控患者的身體、精神、或者情緒狀態。單元154可以例如,通過一連串的算法來存儲和/或產生一個必須在預定時間內被響應(例如,表現警惕性監控)以防止假陽性和假陰性的信號。
可以通過檢測裝置30和系統14來監控多種內科疾病,諸如癲癇小發作(其中,眼睛以大約每秒3圈的速率眨動)、癲癇大發作或心理測定儀發作(此處,眼睛可以以跳視方式重複凝視或閉合)、肌陣攣發作(其中,眼瞼可以以跳視方式打開和閉合)、或者痙攣、或其他的諸如具有Tourette’s綜合病症人會遇到的眼睛運動。該系統可以用於監控由於正或負重力效應導致的飛行員的g-LOC(意識喪失)、由於失去機艙壓力導致的飛行器中的乘客或全體工作人員的低氧血症、潛水者的氮麻醉或屈肢症、或氣體、化學製品、麻藥、和/或生物製劑對軍人或其他人的影響。
該系統還可以用於監控心理狀態,例如,在催眠期間,檢測壓力或人是否在撒謊(例如,當撒謊時,會閉上或者移動他們的眼睛),以監控注意力,從而測量以下的一項或多項在眼睛的功能受到危害的情況下麻藥或者藥劑的「負面」副作用和/或「正面」治療效果(例如,在Parkinson症中改進眨眼速率的L-dopa;用於治療諸如ALS或重症肌無力的眼睛痙攣或者神經肌肉障礙的麻藥);以關聯的眼睛測量為基礎的麻藥或酒精指標(例如,對閃光的眼球震顫或者延遲瞳孔反應);抗驚厥劑、麻藥、酒精、毒素的負面作用、或者缺氧或充氧的效果等。還可以監控所有年齡的患者的神經狀況,其可以影響眼睛或眼瞼的神經作用或機械作用,諸如患有Parkinson症、肌肉疾病(例如,肌強直、肌緊張的肌肉萎縮症、臉痙攣)、恐光症或光敏感性、腦病、發作、Bell』癱瘓的患者,或者其中,該狀況可以引起視覺喪失(例如,黃斑變性)、眼瞼下垂或垂瞼症(諸如第三顱神經癱瘓或局部麻痺)、腦幹損害或中風、瘤、傳染病、代謝病、創傷、變性狀況(例如,多發性硬化)、肌萎縮側索硬化、多神經病、重症肌無力、食物中毒、破傷風、手足抽搐、遲發性運動障礙、腦幹腦炎,以及其他原發性的眼瞼狀況,諸如突眼、甲狀腺毒症或其他甲狀腺。以類似方式,可以以流動方式使用檢測裝置30,以研究以上神經眼科和眼科障礙中的任一項的進展和/或倒退。
類似地,檢測裝置30可以用於生物反饋應用中,例如,用於某些疾病(例如,抽動性疾病)的生物反饋、催眠、或心理治療。檢測裝置30可以產生刺激(例如,啟動燈或揚聲器),並且可以預先接收響應(例如,特定順序的眨眼)、然後在預定時間內確定刺激來監控用戶的眼瞼運動。如果用戶沒能響應,則處理器可以存儲響應,例如,包括響應時間,和/或可以自動發送諸如警報信號的信號。
另外,檢測裝置30可以用於監控處於非醫療環境中的個人,諸如在用戶家中或其他任何地方的正常行動期間。例如,可以監控患有無意識醫學疾病(諸如癲癇症或嗜眠病)的個人,或者可以監控諸如嬰兒和兒童、獄囚、精神病患者(例如,患有Alazheimer症)、法律實施人員、軍人、銀行出納員、店員、娛樂場工作人員、學生、中班或夜班工作者等等。可以將類似應用應用於睡眠試驗中,用於在多項睡眠記錄檢查程序(例如,PSG、MSLT或MWT)期間,監控睡眠的患者,以測量諸如睡眠開始、睡眠潛伏、眼瞼打開或閉上的時間、在晚上驚醒的時間等等的參數,應用於將眨眼、瞳孔改變、和/或慢或快的眼睛運動作為研究方面的動物測試中,或者應用於嬰兒的視覺神經開發活動中。
檢測裝置30可以用於研究或監控指定藥物(例如,興奮劑)、酒精或其他違禁麻藥、毒素、毒物、以及其他放鬆、鎮靜或警報技術或裝置的瞌睡、覺醒、或者警報效果。類似地,可以將用戶的表現和警惕能力作為PERCLOS的正函數,或與PERCLOS有關地來測試和分析。
當CPU 140檢測到特殊眼瞼運動出現時,諸如長時間的眼睛閉合,其可能發生在(例如)癲癇發作、暈厥期間、發作性睡(眠)病期間,或者在開車或工作同時打瞌睡的時候,CPU 140可以產生啟動警報的輸出信號。可選地,發送器152可以發出輸出信號以關掉正在使用的電源、以通知醫療人員,諸如通過自動啟動電話來撥通應急服務、以用信號通知遠程站點,諸如警察局、救護車、車輛控制中心、管理員等等。
系統14還可以為有意通信提供有效應用。戴著檢測裝置30的用戶可以有意識地以預定模式來眨眼,例如,以Morse碼或其他眨眼碼,以向人或設備傳遞可懂消息(例如,通知緊急情況)。CPU 140可以將從傳感器33接收到的並且對應於眨眼碼的光強度信號142轉換成數據流144,或者可能將其直接轉換為包括字母、詞和/或命令的不可懂消息。
接下來,可以將數據流144顯示在連接至輸出端148的視頻顯示器50上(參見圖1),或者作為合成語音在內部揚聲器150上發出。可以通過發送器152經由信號153將數據流144發送至接收和處理單元154,該接收和處理單元154用於顯示消息、或控制連接至控制系統164的設備,諸如家用設備。除了居住環境外,系統14還可以被就醫的或護理照料的人使用,例如,被插管、通氣、約束(restrain)、癱瘓或虛弱的患者使用,以與主治醫護人員通信和/或有意識地向護士站傳遞信號。這些人包括了所有的患者,他們不具有體能來口頭交流,但是保留了使用一隻或兩隻眼睛的眨眼來通信的能力(例如,患有肌萎縮側索硬化症、橫貫性脊髓炎、阻塞綜合症、腦血管中風、晚期肌肉萎縮症、和那些插上呼吸器的患者)。
該裝置可以用於任何環境或領域,例如,用在水或者其他基本上透明的液體中。另外,裝置30還可以用作緊急通知和/或分立安全用具。如果發生正常交流(即,講話)不是可行選項的情況,則能夠正常說話的人可以戴上裝置30。例如,正被搶劫或者正處於犯罪行為現場的銀行或零售僱員可以不連續地眨出經過預先編程的警報來通知保安人員或者呼叫執法人員。可選地,患有某些醫學疾病的人如果喪失身體能力,即,不能移動來呼叫緊急醫療護理,但是仍然能夠主動移動他們的眼睛,那麼他們可以戴上這個裝置。在這種情況下,可以通過預定眨眼碼組或預先編程的消息來將預先記錄的消息或識別數據(例如,用戶名稱、位置、緊急事件的類型)發送到遠程位置。以此方式,檢測裝置30可以用於監控處於ICU環境中的患者、戴呼吸器的患者、囚犯、年老或殘疾人、重型設備操作員、卡車司機、駕車者、船舶和飛機駕駛員、火車司機、雷達或飛行器控制塔操作員,或者用作用於軍隊警衛、執勤銀行出納員、店員、計程車司機進行通信的無需語言的或潛意識的工具等等。檢測裝置30還可以用作娛樂裝置,例如,作為類似於對講機的兒童玩具,或者用於操縱遠程控制玩具車。
另外,需要CPU 140來執行附加的臨界值比較,以確保能夠持續使用檢測裝置30。例如,附加的定時電路可以連接至CPU 140,從而CPU 140可以將從傳感器33接收到的光強度信號與由定時電路提供的第二預定臨界值進行比較。第二預定臨界值可以對應於人正常眨眼的時間周期。如果CPU 140不能在這個時間周期內檢測到正常眨眼或者如果用戶不能響應預定刺激(例如,閃光或聲音),則CPU 140可以產生信號,從而啟動揚聲器150或者使用發送器152來發送警報。
例如,如果檢測裝置30被犯罪期間的罪犯卸下,但由於醫學事件的發生而跌落的話,則這對於防止「假警報」或測量用戶的「注意力狀態」可能是很有用。可選地,用戶需要執行警惕人物來確定所發送的信號是有意義的還是「假警報」信號、測量用於生物反饋的注意或瞌睡水平、還用於測量戴著該裝置的用戶的順從性。
可選地,輸出信號142的極性可以顛倒,以使數據流僅在眼睛睜開時產生,例如,當監控睡眠試驗室中的病人以測量睡眠開始、睡眠潛伏期、眼瞼閉上的時間等等,或者監控睡著的囚犯。本領域技術人員應了解,對於這些使用來說,CPU 140可以僅在檢測倒張開眼睛的狀態時啟動警報。
參考圖8,示出了檢測裝置30的另一個實施例。在本實施例中,發射器和傳感器都是單獨固態的發光和檢測生物傳感器裝置132,它們被直接安裝在眼鏡20上。產生並檢測紅外光的生物傳感器裝置132可以小到2毫米乘以4毫米(2mm×4mm)並且僅重幾克,從而增強了檢測裝置30的方便性、舒適性和/或辨別力。由於尺寸很小,所以生物傳感器裝置133可以直接安裝在鏡片21中,如圖8所示,安裝在鏡片21的外表面或內表面上,安裝在架橋24中或安裝在鏡架22上有利於眼睛運動檢測的另一個位置處。生物傳感器裝置132可以測量小於大約5毫米乘以5毫米的表面面積,並且可以僅重約一盎司,從而提供了可以不觸目、便攜、並且可以方便地併入輕質眼睛鏡框中的發射器/傳感器組合。因為整個系統可以整裝在鏡框上,所以無論用戶觀察的方向如何,其都可以隨著用戶移動,並且可在白天或夜晚、水下等多種情況或領域中操作。
Hamamatsu製造各種紅外發射器以及監測器裝置,其可以用作生物傳感器裝置132,諸如Model第L1909號、第L1915-01號、第L2791-02號、第L2792-02號、L2959號、以及5482-11號,或者可選地,可以使用無線電室紅外發射器(Radio Shack infraredemitter),Model第274-142號。適於使用的多分量射線(例如,線性光掃描傳感器射線)可以從Plano、TX的Texas AdvancedOptoelectronic Solutions公司(TAOS)獲得,諸如Model第TSL 201號(64像素×1像素)、第TSL 202號(128×1)、第TSL 208(512×1)號、第TSL 2301(102×1)號。這些傳感器可以與鏡片陣列結合使用,以有利於檢測光的聚焦,諸如由CA的Irvine的NSG America公司製造的用於行掃描應用的Selfoc鏡片陣列。
另外,可以在眼鏡20上設置多個生物傳感器裝置132,例如,如圖8所示,可以設置一對生物傳感器裝置132,用於檢測用戶(未示出)每隻眼睛的眼瞼運動。線纜134可以從每個生物傳感器裝置132延伸至與上述的處理箱130相類似的處理箱130。處理箱130的CPU 140(圖8中未示出)可以接收來自每個生物傳感器裝置132的輸出信號並且將輸出信號進行比較,以進一步促進區分其他眼瞼運動與正常的眨眼。
本領域技術人員應該明白,該對生物傳感器裝置132可以允許用戶使用更加複雜的碼,例如,單獨或一起眨每隻眼睛,用於更加有效或便利地通信。一種形式,一隻眼睛的眨動可以對應一個「點」,而另一隻眼睛的眨動對應於「破折號」,以方便Morse碼的使用。從每隻眼睛輸出的信號可以被CPU 140翻譯,然後轉換成可懂信息。
在另一種形式中,右眼眨動(或連續眨動)可以使得電動輪椅向右移動,左眼眨動(或連續眨動)可以向左移動,兩次同時的右眼和左眼眨動可以使得輪椅向前移動,和/或四次同時的左眼和右眼眨動可以使得輪椅向後移動。眼睛眨動的類似組合或順序可以用於控制開/關功能、或者電視機的音量或頻道控制、AM/FM廣播電臺、VCR、磁帶錄音機或其他電子或機電裝置、任何大型通信或控制裝置、或任何可由簡單「開/關」開關來操作的裝置(例如,無線電視遠程控制單個開關的電視控制單元、通用遠程控制器、具有AC插頭/壁裝電源插座或壁裝開關模塊的單個開關多應用單元、計算機輸入適配器、點燃發信號蜂鳴器或震動信號箱、所有類型的開關模塊、視頻遊戲娛樂控制器開關模塊和用開關控制的電子玩具)。
在另一種選擇中,可以設置一個或多個透鏡或濾光器,用來控制由生物傳感器裝置、單個發射器、和/或檢測器所發射和/或檢測的光。例如,可以利用稜鏡或其他透鏡來改變所發射的光的角度、或可以通過狹縫來匯聚或聚焦光,以產生指向眼睛的預定形狀的光束或接收傳感器所反射的光。可以設置可調節的透鏡陣列,以控制所發射的光束的形狀(例如,寬度)、或調節傳感器的靈敏度。本領域技術人員將理解,可以用塑料等將透鏡與發射器包裝在一起,或將透鏡作為獨立的附件來設置。
參考圖10A,示出的系統414的另一個實施例包括具有生物傳感器裝置432的鏡框422,其中,生物傳感器裝置具有直接設置在鏡框422上的關聯處理器和發送器電路430,例如,鏡框422用於增加系統414的便利性和判斷力。鏡框422可以包括架橋424和一對耳撐423、425,其中,生物傳感器裝置432可以固定地、可移動地、和/或可調節地安裝在架橋424上。
其中的一個耳撐423可以具有比另一個耳撐425大的尺寸,例如,以容納插入或安裝在其上的處理器和發送器電路430。可以將與前述的處理箱130中的CPU 140相似的處理器440設置在鏡框422上,並可以將諸如鋰電池460的電源插入或附在支架423上。將包括天線453的射頻或其他發送器452(例如,使用藍牙或其他協議)設置在耳撐423上,其中,天線可以沿著耳撐423嵌入或固定在鏡框422中的鏡腿件中或其他位置處。
系統414還可以包括鏡框422上的耳撐423或其他位置處的手動調節裝置(未示出),例如,以關掉和開啟電源、或調節生物傳感器432的強度和/或臨界值。所以,系統414基本上可以整裝在可以包括或不包括類似於鏡片的透鏡(未示出)的鏡框422上。可以去除外部的線纜或電線,從而提供用於通信和/或監控用戶的更方便且更舒適的系統。
在另一種可選實施例中,如圖10B、圖10C、和圖10D所示,發射器532和傳感器533的線性陣列530可以經過設置,例如,以垂直排列的方式安裝到眼睛鏡框522的鼻梁524上。CPU 540、電池460、發送器天線543、和警報指示器550也可以設置在鏡框522上,例如,在鏡腿件525上,與先前所述實施例相類似。LED 542或類似刺激裝置也可以設置在鏡框522上的預定位置處,以能夠從用戶獲得常規生物反饋響應。另外,可以設置接收器544,用於接收由CPU 540生成並由發送器543發送的數據流。
如圖10C中特別示出的,傳感器533和發射器532中的每個都可以連接至CPU 540或其他用於控制發射器532和/或用於處理由傳感器532產生的光強度信號的其他控制電路。因而,CPU 540可以循環通過陣列530中的傳感器533,繼而處理來自每個傳感器533的信號,此與本文中其他地方描述的處理器相類似。如圖10D所示,發射器532包括鏡片534,用於將光束(由各條射線360a、360b表示)聚焦到眼睛300上,例如,朝向瞳孔301。傳感器533被包括在鼻梁524內,並且為每個傳感器設置一個狹縫535,狹縫535具有預定尺寸以控制由每個傳感器533所檢測到的反射光。因而,每個傳感器535可以檢測經過眼睛300的特定部分的眼瞼302的運動,例如,如圖12A所示,測量PERCLOS。傳感器或發射器可以具有鏡片或聚焦裝置來聚焦發射或反射光。
除了輕微的眼睛閉合之外,線性陣列530還有助於測量與眼瞼運動有關的其他參數,例如,以測量眼瞼打開或閉合的速度,即,眼睛閉合的速率,CPU 540可以比較在連續傳感器533的啟動過程之間的時間延遲。另外,可以處理從傳感器553輸出的信號,以測量作為時間函數的眼瞼302的瞳孔覆蓋的百分比(例如,由於部分眼睛閉合),例如,監控眼睛何時部分地而不是完全地閉合,和/或以監控相對於用戶的最大睜眼基準的眼睛閉合時間的百分比(PERCLOS),如圖12A-圖12C所示。
參考圖12D,在另一個實施例中,可以設置二維的傳感器陣列。雖然將5×5陣列633和9×11陣列733作為示範性實施例示出,但是也可以設置在陣列中包括任何數量的元件的其他陣列。例如,如以下將進一步描述的,傳感器可以呈CMOS或CCD裝置的模式,其包括數百或數千個柵格或其他式樣的像素。然後,可以使用傳感器633、733來測量來自發射器632的光的表面區域反射率,即,處理器(未示出)可以處理來自陣列633、733中的每個傳感器的信號,以產生表示由眼瞼302覆蓋的眼睛300的表面區域的百分比和/或瞳孔的相對位置的數據流。
陣列633、733中的傳感器可以充分靈敏或者具有足夠的解析度,使得其可以檢測由於通過瞳孔301從視網膜反射的光的反射而產生的「紅色反射」或等效的紅外線「亮瞳孔」反射。因而,傳感器可以產生包括基本上為零的值(其表示沒有紅色反射或明亮瞳孔)、低輸出(表示紅色反射或白色瞳孔反射)、和高輸出(表示閉合眼瞼302的反射)的光強度信號。紅色反射可以表現為明亮的白光瞳孔(由當眼瞼張開時來自發射器的從視網膜反射的紅外光產生,或者如果處理器使用減法,則表現為暗或「黑色瞳孔」)。處理器可以處理光強度信號,以檢測瞳孔301何時被眼瞼302覆蓋,即,在哪個時間點處,即使用戶眼睛300沒有完全被眼瞼302覆蓋,用戶仍不能夠看到,通常這個PERCLOS值佔原來凝視時的百分比為50-75。可選地,當眼瞼、眼睛、和瞳孔下垂時,即使PERCLOS測量可以達到75-80的百分比或更大,傳感器也可以檢測到紅色反射或明亮瞳孔,例如,在這個時候,眼睛仍然可以在向下凝視時,通過像縫隙一樣窄的瞼裂來觀看。
在另一種可選實施例中,處理器和/或發送器電路(諸如圖2所示的處理器箱130中的CPU 140、或圖10A和圖10B所示的CPU440、540)可以包括作為分離的存儲器片或其他電路元件、或存在於CPU本身內部的一個識別電路(未示出)。識別電路可以使用固定識別碼來預先編程或者是可編程的,例如,以包括所選擇的識別信息,諸如用戶的身份、用戶位置、用戶特有的生物統計測量(例如,唯一的虹膜或視網膜圖案、指紋、聲音標識)、及用於各個檢測裝置的識別碼等等。
CPU可以有選擇地添加識別信息到所發送的數據流553,或者識別信息可以自動或周期性地、連續或不連續地包括在數據流553中,從而使得數據流553能夠與特定檢測裝置、個性用戶、和/或特定位置相關聯。識別信息可以被處理器(例如,遠程位置處的處理器)使用,以在從多個檢測裝置接收到的數據流之間進行區分,然後,可以如上所述,對識別信息進行存儲、顯示等等。因而,當使用該系統時,檢測裝置可以不要求用戶有意識地傳送某個識別或其他標準信息。
如圖11A所示,接收器544可以允許用戶通過單開關多應用控制單元550來控制連接至接收器544的一個或多個裝置。控制單元550包括其自身的適合於發送開/關或其他控制信號(這些信號可以被各個控制模塊552a-55sf接收)的發送器。用戶10可以眨眼來產生要發送的包括打開和關閉命令的數據流553,或使用控制單元550和控制模塊552a-552f控制所選擇的裝置,諸如收音機554、電視機556、燈558a、由壁裝開關560控制的燈562、及插頭插入壁裝插座564中的風扇566等等。
可選地,如圖11B所示,接收器554可以與其他系統連接,諸如計算機570和印表機572、車輛整合系統574、救生索單元576、GPS或其他衛星發射器578等等。所發送的數據流553可以單獨或與諸如其他車輛傳感器信息573、和/或人的因素的其他數據一起處理,以進一步增強對諸如遠距離卡車司機的用戶的監控,其中,人的因素例如為EKG、EEG、EOG、脈衝、血壓、呼吸速率、測氧法、活動變化記錄、頭部位置、語音分析、體溫、皮膚電導率、自評估測量和表現警惕性反應、其他人通過固定的不可戴控制板或頭盔安裝相機系統進行的觀察等等。
參考圖13,示出了用於監控眼睛運動的系統810的另一個實施例。一般,系統810包括鏡框812,其可包括架橋814和一對耳撐(ear support)816;一個或多個發射器820;一個或多個傳感器822;和/或一個或多個相機830、840。鏡框812可以包括一對鏡片(未示出),諸如規則、修色、或保護鏡片,雖然其可以被省略。可選地,可以將該系統設置在可以戴在用戶頭上的其他裝置(諸如飛行員的氧氣罩、保護性眼睛裝置、患者呼吸器、水中呼吸器或遊泳罩、頭盔、帽子、頭箍、頭盔、保護性頭部裝置)上、或者設置在用於保護頭部和/或面部的密封服內等等(未示出)。該系統的組件可以設置在裝置上的通常能最小化對用戶視覺和/或對裝置的正常使用的幹擾的多種位置處。
如圖所示,發射器820的陣列以例如垂直陣列820a和水平陣列820b的形式設置在鏡框812上。另外或者可選地,發射器820可以以其他配置(諸如環形陣列(未示出))來設置,且可以包括或不包括濾光器和/或散射器(也未示出)。在示例性實施例中,發射器820是用於以預定頻率發射脈衝的紅外發射器,與本文中別處描述的其他實施例類似。可以將發射器820設置在鏡框上,以使其將參考系投射到包括用戶的一隻眼睛的區域之上。如圖所示,參考系包括將區域分成了四個象限的一對交叉帶850a、850b。在示例性實施例中,可以將交叉帶的交叉點置於基本上對應於原始凝視時(即,當用戶基本向前直視時)的眼睛瞳孔的位置處。可選地,可以設置其他參考系,例如,包括垂直和水平分量、角形和徑向分量、或其他直角分量的參考系。可選地,甚至基本上保持固定的一個或兩個參考點都可以提供用於確定眼睛的相對運動的充分的參考系,如以下的進一步闡述。
也可以將傳感器822的陣列設置在鏡框812上,用於檢測來自發射器820的反射出用戶眼瞼的光。傳感器822可以產生具有用於識別眼瞼是閉合還是打開的強度的輸出信號,與本文中別處描述的其他實施例相類似。傳感器822可以靠近各個發射器820放置,用於檢測反射出眼瞼各個部分的光。可選地,傳感器822可以僅設置在垂直陣列中(例如,沿著架橋814),用於監控眼瞼閉合的次數,與本文中別處描述的實施例相類似。在另一個可選實施例中,發射器820和傳感器822可以為固態生物傳感器(未示出),該固態生物傳感器在單個裝置中具有發射和傳感兩種功能。可選地,可以除去發射器820和/或傳感器822,例如,當相機830、840提供了足夠信息時,如以下的進一步闡述。
可以設置電路和/或軟體,用於使用傳感器陣列所產生的信號來測量PERCLOS或其他參數。例如,圖17示出了可用於處理來自五元陣列的信號(例如)以獲得PERCLOS測量或其他警報參數的示例性示意圖。
參考圖13,系統810還包括一個或多個通常朝向用戶的一隻或兩個眼睛定位的相機830。每個相機830可以包括光纖束832,光線束包括安裝在架橋814上或靠近架橋(或者安裝在鏡框812上的其他地方,例如,在最小化與用戶視覺的幹擾的位置)的第一端、以及連接至可以將圖像轉換為數字視頻信號的檢測器838(例如,CCD或CMOS傳感器)的第二端837。如圖14所示,例如,可以將物鏡834設置在光纖束832的第一端上,以將圖像聚焦在光纖束832之上。可選地,還是如圖14所示,光纖束832可以包括一個或多個靠近透鏡834終止以設置發射器836的照明光纖。可以將照明光纖連接至光源(未示出),例如,類似於圖22中所示以及以下進一步描述的實施例。雖然在圖13中僅示出了一個相機830(例如,用於監控用戶的左眼),但是應該理解的是,可以以對稱結構設置包括類似部件(例如光纖束、透鏡、發射器、和/或檢測器(儘管如下所述,相機可以共享共同的檢測器))的另一個相機(未示出),用於監控用戶的另一隻眼睛(例如,右眼)。可選地,需要有多個(例如)從面向眼睛的不同角度朝向每隻眼睛的相機(未示出)。可選地,這些相機可以包括光纖延伸部分、稜鏡片、和/或反射鏡(例如,反射紅外光)、在透鏡面對眼睛的側面上不可透過或封閉的鏡面,等等。可以設置這些附件,用於彎曲、旋轉、反射、或顛倒以理想方式發送到相機的眼睛的圖像。
相機830可以用於檢測由發射器820和/或836發射的光(例如,紅外光或可見範圍之外的其他光)的頻率。任選地,如果光纖束832包括用於發射器836的一個或多個照明光纖,那麼就可以去除鏡框812上的發射器820。在這個實施例中,也有可能去除傳感器822,並使用相機830來監控用戶眼睛的運動,例如,如下的進一步闡述。可選地,例如,系統810可以包括朝向遠離用戶頭部的方向定位的第二相機840,用於監控用戶的周圍環境,這樣的區域在用戶面部的正前方。相機840可以包括類似於相機830的組件的組件,例如,光纖束841、透鏡(未示出)、和/或發射器(也未示出)。可選地,相機830可以足夠敏感,以在周圍的照明條件下產生圖像,並且可以省略發射器。如圖13所示,相機840可以連接至獨立的監測器839,或者可以與相機830共用檢測器838,如以下的進一步描述。
例如,光纖束832、841中的每個可以包括數目在五千到十萬之間(5,000-100,000)的像素光載光纖,或者包括數目在一萬到五萬之間(10,000-50,000)的光纖。光纖的數目可以視給定應用的特殊需求(例如,在所獲得的用戶眼睛(即,用於「內部相機」光纖)及周圍環境(即,用戶「外部相機」光纖)的圖像中提供期望的光學解析度)而定。可選地,光纖束的光纖可以包括一個或多個照明光纖。在示例性實施例中,可以使用具有五千(5,000)條光纖(提供75×75的像素解析度)、一萬(10,000)條光纖(提供100×100的像素解析度)、五萬(50,000)條光纖(提供224×224的像素解析度)、以及十萬(100,000)條光纖(提供316×316的像素解析度)的光纖束。得到的光纖束832、841可以具有例如,3到5毫米之間(3-5mm)的直徑,具有或不具有覆層。光纖束832、841可以沿著鏡框812固定或者可以設置在鏡框812之內。例如,鏡框812可以形成為具有一條或多條例如,從架橋814延伸到耳撐816的通道,用於接收通過其的光纖束832、841。可選地,光纖束832、841可以被澆鑄、熔合、或嵌入在鏡框812中,例如,在製造鏡框812時。可選地,光纖束832、841可以從鏡框812延伸到與鏡框812相分離的檢測器和/或處理器(未示出),類似於以下參考圖18A和圖18B所述的實施例。
一個或兩個耳撐816可以包括用於安放一個或多個部件(例如,控制器或諸如示例性處理器842的處理器)的面板818、發送器844、天線845、檢測器838,389、和/或電池846。處理器840可以連接至發射器820、傳感器822、和/或相機830、840(例如,連接到檢測器838、839),用於控制其操作。如下所述,發送器844可以連接至例如,用於接收傳感器822和/或相機830、840的輸出信號的處理器842和/或檢測器838、839,以將信號發送至遠程位置。可選地,發送器844可以從傳感器822和/或相機830、840直接連接到輸出引線。例如,鏡框812還可以包括在耳撐816上的手動控制件(未示出),例如,以接通和斷開電源,或者調節傳感器822、相機830,840、和/或發射器820的強度和/或臨界值。
例如,對與用戶的感知、情緒、和/或行為狀態有關的附加生物或神經生理數據的綜合和交互關聯性來說,如果需要,系統810還可以在鏡框812上包括一個或多個附加傳感器(例如,生理傳感器)。傳感器可以連接至處理器842和/或發送器844,以便對來自傳感器的信號進行監控、記錄、和/或將其發送至遠程位置。例如,可以設置一個或多個位置傳感器852a、852b,例如,用於確定鏡框812的空間定向、從而確定用戶頭部的空間定向。例如,可以設置變化記錄傳感器來測量頭部的傾斜或運動,例如,監控用戶的頭部是向前低垂還是向側面傾斜。可以設置聲敏傳感器(例如,麥克風854),用於檢測環境噪音或由用戶所產生的聲音。
另外或者可選地,例如,對生理系統綜合和/或交互關聯性來說,鏡框812可以包括一個或多個傳感器,用於測量用戶的一個或多個身體特徵。例如,EEG電極856可以設置在耳撐816上、在鼻根之上或之下、在耳後乳突上、在枕骨區域、和/或其他區域上,其他區域可以接觸用戶皮膚(例如,潮溼表面接觸電極)、或者可以不接觸用戶皮膚(例如,乾燥無線電極),以測量和發送範圍從大約一到五百赫茲(1-500Hz)的不同頻率的大腦活動(例如,醒著、瞌睡、或與睡眠有關的其他大腦活動),用於視覺、短期、或長期的空間和/或時間趨勢分析(例如,快速傅立葉或光譜分析)。可以設置能夠通過皮膚接觸點測量心搏的EKG電極(未示出)。可以使用脈衝傳感器(未示出)測量心血管的搏動,或者使用測氧傳感器858測量氧飽和度。電熱調節器或其他傳感器可以測量(例如)通過用戶鼻子的呼吸氣流。可以設置電熱調節器、熱電偶、或其他溫度傳感器(未示出),用於測量用戶的皮膚溫度。可以設置溼氣檢測器(sweat detector)(未示出),用於測量用戶皮膚上的溼度,和/或可以將麥克風或其他聲敏傳感器(也未示出)連接至鏡框812,以檢測用戶的口聲或呼吸聲音。可以設置一個或多個接觸期望區域處的用戶皮膚的眼動電圖描記(EOG)電極,以測量在眼睛運動期間電勢的波動。
另外,系統810可以在鏡框812上包括一個或多個反饋裝置。這些裝置可以向用戶提供反饋,例如,以當檢測到預定條件時(例如,瞌睡或缺乏意識的狀態),警告和/或叫醒用戶。反饋裝置可以連接至用於控制其啟動的處理器842。例如,可以通過皮膚接觸來提供觸覺震動刺激的機械震動裝置860可以設置在可以接觸用戶的位置處,例如,設置在耳撐816上。可以設置能夠產生相對較低功率的電刺激的電極(未示出)。可以在期望位置處,例如,在架橋814上設置諸如一個或多個LED的可視白色或彩色光發射器。可選地,可以設置諸如蜂鳴器或其他警報器的音頻裝置862,與本文中別處描述的其他實施例類似。在另一個可選實施例中,可以將氣味發射器設置在鏡框810上,例如,設置在架橋814上或靠近架橋。
另外或者可選地,可以設置與鏡框812相分離的一個或多個反饋裝置,但是要以能夠向用戶提供反饋響應的方式設置。例如,可以在用戶的附近設置音頻、視頻、觸覺(例如,振動座位)、或嗅覺發射器,諸如本文中別處描述的任意裝置。在另一個可選實施例中,可以設置能夠對用戶產生溫度刺激的生熱或冷裝置,例如,遠程控制的風扇或空氣調節單元。
系統810還可以包括遠離鏡框812的組件,與本文中別處描述的其他實施例類似。例如,系統810可以在遠離鏡框812的位置處(例如,在相同的房間中、在附近的監控站、或者在較遠的位置處)包括接收器、處理器、和/或顯示器(未示出)。接收器可以接收由發送器842發送的信號,包括來自傳感器822、相機830、840、或者設置在鏡框812上的任意其他傳感器輸出的信號。
處理器可以連接至用於分析來自鏡框812上的組件的信號的接收器,例如,以調製用於圖形顯示的信號。例如,處理器可以調製來自傳感器822和/或相機830、840的信號,用於在監控器上顯示,從而使用戶能夠被其他人監控。同時,可以在單個或者分離的顯示器上顯示其他參數。例如,圖15A-圖15I示出了指示可以設置在鏡框812上的各種傳感器的輸出,該輸出可以沿著共用時間軸來顯示,或者相反,例如,與用戶眼睛的運動和/或瞌睡程度相關聯。處理器可以重疊或者相反同時顯示視頻信號連同其他感覺參數,以使醫生或其他人能夠進行監控並親自將這些參數與用戶行為相關聯。
在另一個可選實施例中,處理器可以自動處理信號以監控和/或研究用戶行為。例如,處理器可以使用輸出信號來監控與眼睛運動有關的各種眼睛運動參數,諸如眨眼持續時間(EBD)、眨眼頻率、眨眼速率、眨眼加速度、內部眨眼(interblink)時間(IBD)、PERCLOS、PEROP(眼瞼打開的百分比)、瞳孔大小的波動、眼睛凝視和眼球運動,等等,如美國專利第6,542,081中所述,其全部內容結合於此作為參考。
可以處理來自相機830的視頻信號,以監控各種眼睛參數,諸如瞳孔大小、位置(例如,在由交叉帶850所限定的四個象限內)、眼睛跟蹤運動、眼睛凝視距離,等等。例如,因為相機830能夠檢測從發射器822發出的光,所以相機830可以檢測由發射器投射到用戶眼睛的區域上的參考系。圖16示出了來自包括在系統中的相機的示例性視頻輸出,該系統具有垂直排列放置的20個發射器。相機可以檢測排列為垂直帶的二十個不連續光區。相機還可以檢測「閃爍」點G、和/或移動的明亮瞳孔P。因而,可以相對於閃爍點G、和/或相對於垂直帶1-20來監控瞳孔運動。
因為發射器822被固定在鏡框812上,所以參考系850可以相對於用戶保持基本固定。因而,處理器可以根據關於參考系850的直角坐標(例如,x-y或角度範圍)來確定瞳孔的位置。可選地,如果去除掉參考系,那麼就可以確定瞳孔相對於用戶眼睛上的任意固定靜止的「閃爍」點或其他預定參考點的位置。例如,相機830本身可以將光點投射在眼睛上,其中,該光點可以被相機反射和檢測。因為相機830固定在鏡框812上,所以這個「閃爍」點可以保持基本固定,從而提供了能夠據其確定眼睛的隨後運動的期望參考點。
另外,來自與鏡框812相分離的遠程相機的視頻信號可以從遠方(例如,在汽車的儀錶盤、驅動器、班機、或其他模擬器上,或在聲納、雷達、或其他監控站中)成像用戶的面部,例如,以監控各種面部測量(諸如面部表達、打哈欠的頻率等等),另外,或者可選地,監控來自發射器的投射光的參考系。另外或者可選地,可以處理並聯繫來自其他傳感器的參數,諸如頭部定向、傾斜、身體移動、生理參數,等等。在一個實施例中,處理器可以使這些參數中的兩個或多個相關聯,以生成複合的疲勞指數(「COFI」)。例如,當眨眼或由眼瞼覆蓋瞳孔的時間超過臨界持續時間時,處理器可以監控位置傳感器以檢測頭部傾斜和/或關於大腦活動的生理傳感器,有可能指示用戶正睡著或相反變得能夠驅動或操作設備。處理器可以使用存儲在存儲器中的經驗算法來為這些參數分配數值,然後將參數加起來或者相反使這些參數相關聯,以為用戶的當前狀態分配數字的COFI。
當超過預定COFI臨界值時,系統810可以啟動警報或者相反通知用戶和/或遠程位置處的另一方。因而,系統810可以提供更加有效的方式來監控用戶的疲勞、瞌睡、警惕性、精神狀態,等等。在另一個可選實施例中,系統810可以用於產生預定輸出,例如,以啟動或停用設備,諸如當系統810確定預定條件(例如,COFI值)時,正由用戶操作的車輛。
可選地,處理器可以設置在鏡框812上,例如,作為處理器842的一部分,用於監控關於將發生的預定事件的參數,諸如超過預定的COFI臨界值。在另一個可選實施例中,上述的眼睛跟蹤參數可以由遠程相機來監控,例如,在用戶前面的固定位置中,諸如車輛的儀錶板等等。遠程相機可以直接或經過其特有的發送器來連接至處理器,其還可以整合到COFI確定中和/或由第三方連同算法限定的響應測量來監控。關於各種裝置、系統及其使用方法的附加信息在美國專利第6,163,281(2000年12月19日公開)、6,246,344(2001年6月12日公開)、和6,542,081(2003年4月1日公開)號中有所描述,其上的全部內容專門結合於此作為參考。
參考圖13,在可選實施例中,可以將相機832、840連接至單個檢測器(未示出),類似於圖22中所示的配置。光纖束832、841可以連接至一個或多個用於將來自相機830、840的圖像傳送和/或聚焦在檢測器的各個區域上的透鏡。檢測器可以為具有例如橫截面介於5到10毫米(5-10mm)的有效成像區域的CCD或CMOS晶片。在示例性實施例中,檢測器的有效成像區域可以為正方形、矩形、圓形、或橢圓形,只要其有足夠區域來接收來自相機830和相機840的同步圖像。在圖20A和圖20B中示出了顯示來自相機830、840的同步視頻圖像的示例性輸出,並且在以下將進一步描述。在這個可選實施例中,由於具有了足夠的解析度和處理,所以有可能從系統810中去除發射器820和/或傳感器822。
參考圖18A和圖18B,示出了裝置910的另一個實施例,用於監控戴著裝置910的人的眼瞼運動。如本文中別處所述,裝置910可以用作生物傳感器、通信器、和/或控制器,和/或可以包括在系統中,例如,用於監控用戶的一隻或兩隻眼睛的有意和/或無意運動。
如圖所示,裝置910包括可以戴在用戶頭上的頭盔912、和生物傳感器組件920。頭盔912可以是標準的飛行員頭盔,諸如直升機或噴氣式飛機飛行員所使用的那些頭盔,例如,包括安裝在其上的一對夜視管或其他護目鏡914。可選地,頭盔912可以包括一個或多個危險警告顯示器,例如,在一隻或兩隻眼睛前面或靠近一隻或兩隻眼睛安裝的小型平板LCD。可選地,頭盔912可以用鏡框(未示出,例如,參見圖13)代替,其包括架橋、在每隻眼睛之上或周圍延伸的邊框、和/或一對耳撐,類似於本文中所述的其他實施例。鏡框可以包括一對透鏡(也未示出),諸如規則、修色、和/或保護透鏡,雖然它們對於裝置的運行來說並不是必須的。可選地,可以用顯示器(例如,如以下的進一步闡述、可以用作模擬器和/或娛樂裝置的相對小型的平板LCD)來取代一個或兩個透鏡。在另一個可選實施例中,裝置910可以包括可以戴在用戶頭上的其他裝置,諸如帽子、帽狀物、頭帶、頭盔、保護眼睛和頭部的裝置、面罩、氧氣罩、通風罩、呼吸器或遊泳罩等等(未示出)。
可以將裝置910的組件設置在頭盔912(或者其他戴在頭上的裝置)上的各種位置處,例如,以一般最小化當戴著裝置910時對用戶視覺和/或正常活動的幹擾。如圖所示,生物傳感器組件920包括例如,使用Velcro、帶子、和/或其他臨時或可移動連接件(未示出)安裝在頭盔912的頂上的相機922。這使得相機922當未被使用時可以被去除。可選地,相機922可以基本上永久地連接至頭盔912,直接結合到頭盔912(或其他框架)中,連接至頭部安裝的電視機,LCD監控器,或其他數字顯示器等等,與本文中所述的其他實施例類似。
生物傳感器組件920還可以包括一個或多個光纖束924,該光纖束從相機922延伸至頭盔912的前面,以提供一個或多個用於成像用戶眼睛的「內部相機」。如圖所示,示出了一對從相機922延伸到護目鏡914的各個管的光纖束924。在示例性實施例中,光纖束924可以足夠長(例如介於12至18英寸長)以從相機922延伸到護目鏡914,或者可選地,光纖束924可以更長(例如,長度在大約2到4英尺之間),或者可以更短,這取決於相機922在頭盔910上的位置(或者如果將相機922與頭盔910分離放置)。
光纖束924的末端926可以永久地或可移動地連接至護目鏡914,例如,連接至連接到護目鏡914或相反從護目鏡914延伸的支架916。可選地,光纖束924可以使用夾子、扣件、黏合劑等(未示出)臨時或基本上永久地束縛在護目鏡914上。如圖所示,將光纖束924的末端926安裝在護目鏡914之下並向上地朝向用戶的眼睛傾斜。末端926的角度可以是可調節的,例如,從大約四十五度的底角向上或向下調節大約15度。可選地,光纖束924的末端926可以被設置在頭盔912和/或護目鏡914上的其他位置處,但還是要直接朝向用戶的眼睛。
另外參考圖19,每個光纖束924可以包括光纖像導928(即,光學成像光纖束)、和照明光纖束930(例如,被裝入在相機922和光纖束924的末端926之間延伸的收縮管(未示出)中)。每個照明光纖束930可以包括一個或多個連接至光源的光纖,例如,在相機922的內部。例如,相機922可以包括具有一個或多個LED934(為了簡潔示出一個)的發光二極體(LED)殼932,照明光纖束930可以連接至LED殼932,以將光傳遞到末端926。
由光源934發出的光可以超出正常人視力範圍,例如,在紅外線範圍中(例如,具有大約840和880毫微米(840-880nm)之間的極小的輸出波長),使得所發出的光基本上不會干擾用戶的正常視覺。光源可以產生基本連續的光或期望頻率的光脈衝,與本文中別處描述的實施例相類似。可選地,可以設置用於照亮用戶面部和/或一隻或兩隻眼睛的其他光源來取代照明光纖束930。例如,與本文中別處描述的其他實施例相類似,可以設置一個或多個發射器(未示出),例如,沿著頭盔912和/或護目鏡914的一個或多個區域放置的發射器陣列。
每個光纖束924的末端926可以包括一個或多個透鏡,例如,能夠以期望方式,例如,朝向用戶眼睛聚焦像導928的物鏡936(圖18A中示出)。每個像導928可以具有向前的視線(零度(0°)視場),物鏡936可以提供更寬的視場,例如,大約四十五度(45°)。可選地,視線可以是可調節的,例如,通過調節物鏡936在大約30和60度之間(30-60°)調節。另外,物鏡936可以最優化視距,例如,到大約2英寸(2in.),從而改進用戶眼睛上的聚焦。因而,像導928可以通過光纖束924將用戶眼睛的圖像傳送到相機922。
如圖19所示,相機922可以包括一個或多個透鏡(例如,放大部928),用於將來自像導928(和/或相機944)的圖像傳送和/或聚焦到成像裝置940的有效顯示區域942之上。成像裝置940可以是多種已知裝置(其提供用於接收圖像的二維有效顯示區域),例如,CMOS或CCD檢測器。在示例性實施例中,成像裝置940可以是CMOS裝置,諸如Sensovation製造的Model cmos SamBaHR-130、或Micron Imaging製造的Fast Camera 13、ModelMI-MV13。放大部938可以通過C膠紙或其他連接件(未示出)與相機922機械配對。
在示例性實施例中,每個像導928都能夠提供多達一萬到五萬(10,000到50,000)個像素的圖像數據,例如,類似於本文中別處描述的光纖束,它們都可以被投影到成像裝置940的有效顯示區域942上。對於圖18A和圖18B中所示的裝置910來說,來自兩個光纖束924的圖像被投影到單個成像裝置940上,如圖19所示,就是說,使得來自用戶的每隻眼睛的圖像佔有小於有效顯示區域942的一半的區域。
可選地,裝置910可以包括遠離用戶頭部定位的「外部相機」944,例如,以監控用戶的周圍環境,與本文中別處描述的實施例相類似。例如,如圖18A所示,可以設置從相機922延伸的另一個光纖束945。如圖所示,光纖束945「向前」定向,即,總地沿著與當用戶一直向前看時相同的方向,並且終止在微型透鏡946。光纖束945可以相對較短和/或基本上固定,以使其視場相對於頭盔912來說保持基本不變。可選地,外部相機944可以設置在頭盔912和/或護目鏡914上的其他位置處,例如,包括柔性光纖束,與上述外部相機840相類似。因而,外部相機944可以提供遠離用戶的圖像,例如,在用戶面部的直前方。
外部相機944可以包括或不包括一個或多個照明光纖,但是可以包括(例如)通過放大部938或單獨地連接至成像裝置940的像導。因而,來自外部相機944的圖像可以作為從像導928接收到的每隻用戶眼睛的圖像傳送到相同的有效顯示區域942上,與本文中描述的其他實施例相類似。這種配置可以允許或促進時間和/或空間同步,或者通過「三角測量」或其他用於眼睛跟蹤的算法,相對於用戶頭部的方向位置來識別用戶眼睛看向「哪裡」、在看「什麼」、和/或看了「多久」(凝視的持續時間)。
因而,相機922可以同時捕獲來自一個或多個「內部相機」,即,來自光纖束924和來自外部相機944的圖像。這可以確保每個裝置所捕獲的圖像都彼此同步,即,同時連接在一起,從而使得在特定時間拍攝的一隻眼睛的圖像對應於基本同時拍攝的另一隻眼睛的圖像。另外,這些圖像可以與來自其他傳感器(例如,一個或多個生理傳感器)的數據基本同步,這可以增強監控和/或診斷用戶、和/或預知用戶行為的能力。由於這個同步,可以以相對較高的速率(例如,在大約每秒五百到七百五十幀或Hertz之間(500-750Hz))來捕獲圖像數據。可選地,可以設置單獨的檢測器,其捕獲可以被(例如)接收數據的處理器同步的圖像數據。在這個可選實施例中,可以使用更慢的捕獲速率(例如,在大約30到60Hertz之間(30-60Hz)),以促進處理器或之後用於捕獲的其他裝置的同步。可選地,相機922和/或相關處理器可以能夠捕獲相對較慢的視覺,例如,以每秒在大約十五到六十之間(15-60)幀的速率。
圖20A和圖20B示出了接收來自兩個內部相機2010和一個外部相機2020(或來自用於編譯來自單個相機和/或傳感器的圖像的裝置)的同步圖像信號的相機的示例性輸出。如圖所示,內部相機朝向用戶的每隻眼睛,以及外部相機向外指向用戶的周圍環境(即,通常在用戶面部的直前方)。在圖20A中,用戶的兩隻眼睛2010L、2010R都是打開的,並且外部圖像2020示出了用戶前方的房間的水平視圖。相反,在圖20B中,用戶的一隻眼睛2010L完全閉合,並且另一隻眼睛2010R部分閉合,使得眼瞼覆蓋了大部分瞳孔。外部圖像2020示出了用戶的頭部開始向左傾斜並向前低垂。可選地,附加信息可以與這些圖像(諸如來自裝置910上的其他傳感器的實時數據)一起顯示和/或存儲,與圖12A-12C或圖15A-15I所示的相類似。
參考圖18A、圖18B、和圖19,來自相機922(和/或相機944)的圖像可以從裝置910通過線纜948發送(最好參見圖18A)。例如,成像裝置940可以將來自有效顯示區域942的光學圖像轉換為電信號,該電信號可以經由線纜948發送到一個或多個處理器和/或控制器(未示出),與本文中別處描述的其他實施例相類似。可選地,來自光纖束924和/或外部相機944的圖像可以從裝置910發送到一個或多個遠程裝置,例如,相機、檢測器、和/或處理器(未示出),類似於本文中描述的其他實施例。在這個可選實施例中,光纖束924的長度可以在大約2到6英尺之間,例如,用於提供足夠的長度以使用戶能夠正常運動但仍保持與遠程裝置連接。
可選地或另外,裝置910可以包括可以(例如)使用藍牙或其他協議連接至相機922的無線發送器(未示出),諸如短程或長程射頻(RF)發送器。發送器可以位於相機922中或者在頭盔912上的其他位置。發送器可以發送表示圖像數據的圖像信號到遠程位置處的接收器,與本文中別處描述的其他實施例相類似。在另一個可選實施例中,除了發送器和/或線纜948之外,裝置910還可以包括用於存儲圖像數據的存儲器(也未示出),或者可以用存儲器來取代發送器和/或線纜。例如,可以將數據存儲在記錄器裝置中,例如,類似於在航行器中所使用的「黑盒子」記錄器,以便在稍後的時間重新找回記錄器,例如,用於在發生車輛事故、醫藥事件等等之後進行分析。
可選地,裝置910可以包括一個或多個控制器(未示出),例如,在相機922內、和/或在頭盔912中,用於控制裝置910的各種組件。例如,控制器可以連接至一個或多個LED 934,以使LED 934發出預定頻率的脈衝,例如,以減少裝置910的能量消耗。另外,裝置910可以包括一個或多個電源,例如,電池和/或線纜,用於為裝置910的一個或多個組件提供電源。例如,可以在相機922中設置一個或多個電池(未示出),用於為成像裝置940和/或LED 934提供電源。
如果需要,裝置910還可以包括一個或多個附加傳感器(未示出),例如,位於頭盔910上。傳感器可以連接至生物傳感器組件920、線纜948、和/或無線發送器(未示出)(如果包括),以使來自傳感器的信號可以被監控、記錄、和/或送至遠程位置。例如,可以設置一個或多個位置傳感器,例如,用於確定頭盔912的空間定向,從而確定用戶頭部的空間定向,如本文中別處所述。另外或者可選地,裝置910可以包括一個或多個生理傳感器(未示出),例如,用於測量用戶的一個或多個身體特徵;諸如一個或多個EEG電極、EKG電極、EOG電極、脈衝傳感器、測氧傳感器、電熱調節器、熱電偶、或其他溫度傳感器,例如,用於測量用戶皮膚的溫度;溼氣檢測器,用於測量用戶皮膚的溼度;和/或用於測量呼吸氣流(例如,通過用戶鼻子)的傳感器。
另外,裝置910可以包括一個或多個反饋裝置(也未示出),例如,以警告和/或叫醒用戶,諸如可以通過皮膚接觸提供觸覺振動刺激的機械振動裝置、可以產生相對較低功率的電刺激的一個或多個電極、一個或多個發光器(諸如LED)、音頻裝置、氣味發射器等等。可選地,反饋裝置可以與裝置910分開設置,但是要以能夠向用戶提供反饋響應的方式放置。例如,可以將音頻、視頻、觸覺(例如,振動座位)、或氣味發射器設置在用戶附近,諸如上述裝置中的任一個。在另一個可選實施例中,可以設置能夠對用戶產生溫度刺激的生熱或生冷裝置,例如,遠程控制的風扇或空氣調節單元。
包括裝置910的系統可以包括遠離裝置910的組件,與本文中別處描述的其他實施例相類似。例如,系統可以包括一個或多個接收器、處理器、和/或顯示器(未示出),位於遠離裝置910的遠程位置處,例如,在相同的房間內、在附近的監控站、或者在更遠的位置。接收器可以接收由裝置910上的發送器所發送的信號,其包括來自相機922的圖像信號和/或來自裝置910上的其他傳感器的信號。
處理器可以連接至接收器,用於分析來自裝置910的信號,例如,以準備用於圖形顯示的信號。例如,處理器可以準備來自相機922的視頻信號用於在監控器上進行顯示,與圖20A和圖20B中所示的圖像相類似,從而使得用戶能夠被第三方監控(例如,醫生、管理者、或其他同事等等)。同時,可以顯示其他參數,在單個監控器上或在分開的顯示器上,類似於本文中別處描述的其他實施例。處理器可以重疊或同時顯示用戶眼睛和/或外部相機圖像的顯示視頻信號本身或與其他感應參數一起顯示,以使得醫生或其他人能夠監控這些參數以及親自使這些參數與用戶的行為相關聯。
在另一個可選實施例中,處理器可以自動處理信號以監控或研究用戶行為。例如,處理器可以使用輸出信號來監控與眼睛運動有關的各種參數,諸如眨眼持續時間(EBD)、眨眼頻率、眨眼速率、眨眼加速度、內部眨眼時間(IBD)、PERCLOS、PEROP(眼瞼打開的百分比)等等。來自相機922的視頻信號可以被處理,以連續或不連續和/或順序地以任何獲取的組合或模式來監控單個或多個眼睛參數,諸如瞳孔尺寸、相對位置、眼睛跟蹤運動、眼睛凝視距離等等,如本文中別處的描述。因而,裝置910和/或系統可以監控一個或多個視覺或其他參數,諸如在美國專利第6,542,081中的披露,其內容結合於此作為參考。
為了方便監控瞳孔尺寸(例如,睜大、收縮、和/或離心)和/或眼睛運動,該系統可以包括與相機922通信的處理器,用於處理視頻信號以及從視頻信號識別眼睛的瞳孔。例如,利用更高解析度的相機(諸如CMOS和CCD檢測器),處理器可以識別瞳孔的邊緣,從而可以識別瞳孔的圓周、直徑、和/或截面面積。可以將顯示器連接至處理器,用於從處理器所處理的視頻信號來顯示眼睛的視頻圖像。
另外,參考圖21A-圖21C,處理器可以在顯示器上將圖形重疊在(例如)視頻圖像上,以方便識別和/或監控眼睛300的瞳孔301。如圖所示,因為瞳孔301的邊緣和周圍虹膜304之間的差異,所以處理器可以模擬這個邊界,並產生可以被重疊在一隻眼或雙眼的圖像數據上的圖形暈圈、橢圓、或其他圖形306(為了簡潔,在圖21A-21C中僅示出了一隻眼睛300)。觀察者可以使用這個圖形306以方便監控裝置910的用戶。
另外或者可選地,處理器可以自動分析與瞳孔301(或圖形306)的尺寸和/或形狀有關的信息,從而使視頻信號相關聯以確定人的瞌睡程度或其他身體和/或精神狀態。這個分析可以包括監控瞳孔的相對位置、瞳孔的尺寸、和/或瞳孔的偏心率,例如,隨時間變化。例如,處理器可以隨時間變化地監控瞳孔300的直徑,其可以以圖表形式顯示,例如,如圖15E中所示,其作為時間函數存儲在存儲器中、和/或(例如)實時地重疊在眼睛的圖像上。
例如,圖21A可以示出在周圍條件下處於放鬆狀態的瞳孔301,例如,對應於具有直徑「d1」的圖形306。如圖21B中所示,如果用戶眨眼或閉上眼睛300,則瞳孔310可以睜大,以便當眼睛300再睜開時使瞳孔301開始睜大,如具有直徑「d2」的圖形306所示。處理器可以比較圖形306或瞳孔301本身的直徑變化,以確定瞳孔301的延遲,用於在眨眼或其他眼睛閉合之後返回到直徑「d1」。對可見或不可見閃光的反應的這個延遲或損失可以至少部分地表示瞌睡的程度、損傷的程度,例如,中毒、和/或醫藥事故的發生,這包括諸如由於血氧不足、血糖過低、中風、心肌梗塞、毒素、毒藥等等所引起的腦損傷或腦死亡的致命或晚期事件。
另外或者可選地,處理器可以確定瞳孔的近似偏心率,例如,當其被眼瞼302部分覆蓋時。例如,如圖21C所示,當眼瞼302部分閉合時,疊加在圖像上的暈圈306可以採用對應於瞳孔301的露出部分的寬度「w」和高度「h」的橢圓形狀。高度「h」可以與直徑「d1」有關,即,高度「h」與直徑「d1」的比率可以等於或小於1(h/d1≥1),作為瞳孔301被眼瞼302覆蓋的程度的指示。例如,當瞳孔301被眼瞼302完全覆蓋時,這個比率可以從1降到0。
類似地,寬度「w」也可以與直徑「d1」相關(w//d1≥1),作為瞳孔301被眼瞼302所覆蓋的程度的指示,例如,當眼瞼302開始覆蓋超過瞳孔301的一半的時候。另外或者可選地,高度和寬度的比率(h/w≥1)可以(例如)基於眼瞼302的覆蓋,與瞳孔301的離心率信息相關。可以單獨、整體、和/或與其他眼睛運動和/或生理參數結合來分析這些參數,以監控、分析、和/或預測用戶的進一步行為。可以將數據與通過處理器保留或存取的經驗或其他數據進行比較,以提供關於用戶狀態的信息(例如,COFI值),與本文中別處描述的一樣。
例如,如果用戶瞳孔的分析導致用戶警惕級別降到預定級別之下的決定,那麼可以向用戶和/或一名或多名第三人提供警報,與本文中所述的其他實施例相類似。這些方法還可以用於確定用戶是否正受麻藥、酒精、和/或醫學疾病的影響,如本文中別處的描述。
另外,作為臨界和/或為了測試用戶的警惕性,諸如本文中所述的任何裝置或系統可以測試用戶的瞳孔反應。當戴著裝置時,這樣的測試可以確認用戶是活動的,即,沒有睡著,乃至死亡。例如,如果光源在用戶眼睛處閃了預定的持續時間和/或脈衝頻率,那麼用戶的瞳孔可以從其放鬆狀態暫時睜大(以環境光為基礎),然後在可預知的時間周期內收縮回放鬆狀態。
參考圖22A,示出了用於測試本文中描述的任何裝置和系統的用戶的警惕性的示例性方法。例如,用戶可以戴上圖18中所示的用於監控用戶的一隻或兩隻眼睛的裝置810(如上的進一步描述)。在步驟2210,可以在相關狀態下確定用戶眼睛的基礎或參數。例如,可以在環境條件下測量或監控瞳孔的放鬆直徑。
在步驟2220,可以向眼睛發出一個或多個光脈衝,這可以使得眼睛從放鬆狀態開始,以(例如)與脈衝光閃爍的頻率基本相同的頻率睜大和/或收縮。例如,可以以預定順序來啟動裝置810上的一個或多個發射器,以使得眼睛睜大。此後,在步驟2230中,例如,可以使用相機830或傳感器822來下意識地或無意識地監控用戶的眼睛,以確定眼睛返回到放鬆狀態的反應時間。可以將反應時間與經驗資料庫或其他數據進行比較,以確認用戶是有意識的、清醒的、和/或活著的。如果需要,可以將步驟2220和2230重複一次或多個,以確定反應時間和/或提供平均的反應時間,如果需要,例如,以避免錯誤的消極決定。
如果光源在可見光範圍之外,例如,在紅外線範圍內,則瞳孔仍然可以以此方式來對閃光作出反應。使用紅外光的一個優點在於,其不會轉移或打擾用戶,因為用戶將不會有意識地觀察光。然而,瞳孔仍然可以對這樣的閃光作出足夠的反應,從而使得用於監控眼睛的系統可以識別何時瞳孔響應於這些閃光而睜大和收縮。
例如,在臨界測試期間,足以產生一束閃光以及監控瞳孔反應。或者,可以使用一連串閃光來監控隨時間變化的瞳孔反應,例如,以研究趨勢或清除可以由單束閃光產生的錯誤數據。對於一連串閃光來說,脈衝頻率應該大於瞳孔在響應於閃光睜大之後自然返回其放鬆狀態所需要的時間,例如,至少在大約五十和一百毫秒之間(50-100ms)。可選地,可以將光脈衝,例如,靠近紅外光的光(具有大約640-700納米之間的波長)導向用戶眼睛處。系統可以檢測在瞳孔反應過程中的節奏波動。這些反應可以由最初的視覺反應產生,可能與夜視有關,例如,在黑暗中「看」或在黑暗中感覺紅外光。
這樣的瞳孔反應測試還可以用於識別錯誤的肯定,例如,當用戶已死時,系統並沒有檢測到任何眼睛閉合和/或運動。類似地,瞳孔反應測試還能夠確定用戶是睡著還是無意識。另外,瞳孔反應測試可以用於確定用戶是否處於酒精、麻藥等的影響之下,這些可能影響瞳孔在響應閃光而睜大之後收縮回其放鬆狀態的速率。另外或者可選地,瞳孔反應測試還可以用於根據動眼測試與對應的科學確定的血濃度之間的關係,來確定用戶體內的麻藥或酒精的血藥濃度或數量。
參考圖22B,示出了用於測試臨界警惕性的另一種方法。這個方法總地包括步驟2240,提供用於指示用戶以期望方式故意移動他們的眼睛的刺激;以及步驟2250,監控眼睛,例如,用於確認用戶已按照指令以期望方式來移動他們的眼睛的故意運動。本文中所述的任意裝置可以包括一個或多個刺激裝置,例如,揚聲器、燈、振動性、或其他觸覺型裝置。可選地,可以遠離用戶設置這些裝置,例如,在車輛上的儀錶板、視頻顯示器等上。
例如,如果啟動裝置上的可見光,那麼可以指示用戶將他們的眼睛閉上預定的時間。一旦光被啟動,系統就可以監控眼睛,以確認用戶在預定時間範圍內和/或以預定方式作出反應(例如,以預定順序眨眼一次或多次)。可選地,可以提供其他刺激來取代閃光,諸如顯示器(在裝置上或遠離裝置)上的可視指示、可聽信號(例如,來自裝置上或裝置附近的揚聲器的語言命令)、觸覺信號等等。在這些實施例中,可以指示用戶執行一連串的動作,例如,向上或向下看、向左或向右看、以期望順序眨眼、在收到指示之前閉眼、追隨顯示器上的指針等等。例如,這樣的測試可以用於確認測試對象在一連串測試期間或在執行各種動作時是清醒的、有意識的、和/或警惕的。
在另一實施例中,如本文中別處描述的那些裝置和系統可以用於控制計算機系統,例如,類似於計算機滑鼠、操縱杆等等。例如,參考圖13所示和描述的裝置810,相機830可以用於監控用戶瞳孔的位置,以指示和/或觸發計算機屏幕或其他顯示器上的滑鼠指針。用於接收來自相機922的圖像數據的處理器可以分析圖像數據,以確定監測器940的有效顯示區域942內的瞳孔的相對位置。可選地,可以相對於置於用戶的一隻或兩隻眼睛的視場中或前的鏡框812來固定一個或多個顯示器。例如,可以用平板LCD或其他顯示器(未示出)取代透鏡安裝在鏡框812上。這樣的裝置可以用作例如,醫學或其他研究設施內的仿真,還可以用作娛樂使用,例如,作為視頻遊戲控制器,等等。
參考圖23,示出了一種示例性方法,用於基於使用本文中所述的任意裝置或系統檢測到的眼睛運動來控制計算裝置。例如,可以使用圖18A中所示的裝置910,其包括用於成像用戶的一隻或兩隻眼睛的光纖束924。可選地,如以下的進一步闡述,裝置還可以帶有一個或多個外部相機,例如,鄰近用戶的一隻或兩隻眼睛放置,其可以沿著用戶的前向視野向外定位。首先,在步驟2310,需要初始化包括這樣裝置的系統,即,建立參考系,諸如基礎或參考位置、具有正交分量的參考系等等。例如,可以指示用戶看顯示器上的指針或其他預定位置,從而維持用戶眼睛的狀態,從而保持用戶瞳孔基本不變。當用戶眼睛基本不變時,處理器可以分析來自相機830的圖像數據,例如,以確定圖像上瞳孔的對應於參考點或「基位置」的位置。例如,可以將指針或基位置基本筆直地定位在用戶瞳孔的前面。可選地,可以指示用戶順序觀看顯示器上的兩個或多個已識別位置,從而提供關於用戶眼睛的相對運動的標尺。在這個可選實施例中,需要讓用戶看顯示器的相對角,例如,以識別相對於顯示器的適當的眼睛運動的界限。
一旦完成初始化,用戶可以自由移動他們的眼睛,例如,相對於顯示器的指針和/或休止符,(例如)向左和向右、向上和向下移動眼睛。步驟2320,系統可以監控這樣的眼睛運動,即,處理器可以分析圖像數據,以確定用戶瞳孔從基位置開始的相對位置。例如,如果用戶從基位置開始向上和右移動他/她的眼睛,即,相對於計算機屏幕上的指針向上和右移動,則處理器可以確定這個運動。響應於此,步驟2330,處理器可以將指針向上和右移動,即,從而跟蹤用戶的凝視。當用戶停止移動他/她的眼睛時,一旦指針到達用戶當前在顯示器上所看到的位置,那麼處理器就使該指針停止。
可選地,步驟2340,一旦指針移動到顯示器上的期望位置,那麼用戶就能夠執行一個命令,例如,與觸發滑鼠上的按鈕相類似。例如,處理器可以監控關於來自用戶的信號的圖像數據,例如,預定順序的一次或多次有意的眨眼。這可以像預定持續時間(例如,幾秒鐘長)的單次眨眼一樣簡單,也可以是複雜順序的眨眼,例如,包括一隻或兩隻用戶眼睛的眨眼。可選地,信號可以是沒有任何眨眼的預定周期,例如,三秒、五秒、或更多秒長。當處理器識別該信號時,處理器可以觸發命令。例如,當到達顯示器上的圖標、消息命令等時,用戶可以停止移動他們的眼睛,並且處理器可以移動指針,直至其放在或位於圖標或命令處。用戶可以接著眨眼或做動作,如上所述,類似於計算機滑鼠上的按鈕的「雙擊」,從而指示處理器完成所選擇的命令或者將所選擇的命令發送到期望的接收方。例如,所選擇的命令可以導致電腦程式的執行、或者一件設備或其他裝置的觸發、停用、或以期望方式受控制。因而,系統可以用於完成從控制連接到處理器和/或顯示器的計算機裝置,到打開或關閉電燈開關或車輛的各種任務。這樣的裝置和/或系統從而可以提供用於自動使用計算機,即,僅使用用戶眼睛的移動的方法。
例如,在一個應用中,該系統可以用於操縱車輛(諸如直升機、噴氣機、或其他飛機),例如,以觸發或控制武器、航行、或其他機載系統。在另一個應用中,該系統可用於視頻遊戲或其他模擬中,例如,以增強虛擬的真實感。例如,該系統可以使用戶能夠通過多個菜單、場景、或其他行為來快速定位,同時用戶的手能夠自由執行其他的功能,例如,執行除了眼控功能之外的其他行為或與眼控功能同時執行其他行為,這可以允許同時執行更多和/或更複雜的任務。
另外,一個或多個外部相機可以用於增強和/或促進追蹤眼睛相對於顯示器上的指針的移動。例如,可以將外部相機靠近至少一隻眼睛來放置,例如,離眼睛預定距離或者與眼睛有其他關係,其朝向顯示器定向。因而,外部相機可以提供顯示器的圖像,例如,實時(可以與使用內部相機監控的眼睛的運動同步)示出指針的運動。處理器可以使用三角測量或其他算法來描述這個數據,以增加使用眼睛運動來跟蹤指針的準確性。這可以確保當用戶想要通過眨眼使用命令上的指針來執行命令時,實際上選擇預期命令的準確性,例如,當顯示器示出多條可用命令時。
另外,這樣的系統和方法可以用於醫學或其他診斷程序(諸如警惕性測試)中。例如,處理器可以分析來自內部相機和外部相機的數據,以使眼睛的運動與顯示器上的圖像相關聯,從而研究各種動眼參數,諸如緩慢滾動眼睛運動、壞眼固定和/或跟蹤、恍惚凝視、增加眨眼、催眠凝視、延長的眼瞼下垂或眨眼、慢速眼瞼打開和閉合、震驚的眼瞼打開速率、長期瞳孔收縮改變、不穩定瞳孔參數、喚起模糊視覺的瞳孔反應、和/或本文中別處所述的其他參數。這些程序可以用於研究個人面對各種環境、酒精或麻藥引誘、和/或其他情況的反應。
參考圖24,在另一個實施例中,可以設置裝置2410,用於經皮地照亮戴著裝置2410的用戶的眼睛300。裝置2410通常可以類似於本文中所描述的任意實施例,諸如圖13中所示的鏡框812。如圖所示,裝置2410可以包括接觸用戶頭部308(例如,靠近一隻或兩隻眼睛300(為簡潔,示出一隻)的用戶的太陽穴)的一個或多個發射器或其他光源2422。另外,裝置2410可以包括一個或多個傳感器,諸如,終止在透鏡2434的光纖束2430,用於獲取用戶眼睛300的圖像。
在一個示例性實施例中,可以將紅外發射器2422固定地或可調節地安裝在鏡框2412的一個或兩個耳承2422上,以使發射器2422接觸用戶皮膚並向用戶皮膚傳送光。例如,發射器2422可以包括多個LED,其可以發射平行、非連貫(非雷射)的紅外光。發射器2422通常可以朝向眼睛300定位,以便來自發射器2422的光可以通過或沿著用戶的頭部308傳播到眼睛300中,如虛線箭頭2450所示。例如,已發現皮膚或其他組織可以至少對某些頻率的光是透明(半透明)的,諸如紅外光。因而,至少某些來自發射器2422的光可以經皮地沿著或通過用戶皮膚和/或其他組織來發送,直到至少一些光進入眼睛300。
光可以從眼睛300內的視網膜(未示出)中反射出來,以使至少一些光射出瞳孔301,如箭頭2452所示。透鏡2434和光纖束2430可以將眼睛的圖像傳遞到檢測器(未示出),與本文中描述的其他實施例相類似,其由於光2452而可以識別瞳孔301作為圖像上的亮點。連接至檢測器的處理器或其他裝置可以使用(例如)本文中別處描述的「白瞳孔」或「暗瞳孔」技術來監控瞳孔301,諸如其在圖像上的相對位置、尺寸、和/或形狀,與本文中描述的其他實施例相類似。另外或者可選地,經皮光可以照亮整個眼睛300,尤其是視網膜,這些可以從用戶面部的前面觀察到,例如,作為具有瞳孔301(示出為被調光器形狀包圍的亮點)的調光器球面或其他形狀。
這個實施例可以具有以下優點,一個或多個發射器並不必需定位在用戶眼睛的前面,其可以部分阻隔或轉移用戶的視場。另外,因為這個系統使用獨立於入射紅外光的角度操作的紅外傳感相機和/或檢測器,所以這個實施例可以排除由發射器到檢測器的適當定位的損失而產生的技術難題。另外,在眼睛前面沒有了發射器,就可以清除遠離眼睛的閃爍或反射,這可以促進圖像數據分析。
應了解,根據實施例的預期使用,可以用其他實施例來添加、刪除、和/或代替使用特定實施例描述的各種組件和特性。例如,臨時申請序號第60/559,135中的附錄A和B(其內容結合於此作為參考)提供了關於可能結構特性的信息、和/或用於使用本文中描述的裝置和系統的方法。附錄A和B的全部披露內容清楚地結合於此作為參考。
雖然本發明容易受到各種修改、和替代形式的影響,但是其特定實例已在附圖中示出並且在本文中進行了詳細描述。應了解,本發明並不限於本文中所披露的特定形式或方法,而是相反,在附加權利要求的範圍內,本發明覆蓋所有的修改、等效和替代。
權利要求
1.一種用於監控人的眼睛的運動的設備,其包括裝置,用於戴在人的頭部上;光源,用於當所述裝置被戴上時,將光導向所述人的所述眼睛;第一像導和第二像導,其包括固定在所述裝置上的第一端,所述第一像導被定位成用於觀察戴有所述裝置的所述人的第一隻眼睛,所述第二像導被定位成用於觀察戴有所述裝置的所述人的第二隻眼睛;以及相機,連接至第一束和第二束,用於獲得所述第一隻眼睛和所述第二隻眼睛的圖像。
2.根據權利要求1所述的設備,其中,所述相機包括CCD或CMOS檢測器,以及其中,在所述檢測器的有效顯示區域上同時接收來自所述第一像導和所述第二像導的圖像。
3.根據權利要求1所述的設備,其中,所述光源包括一個或多個用於發射紅外光的紅外發射器。
4.根據權利要求1所述的設備,其中,所述光源包括分別由所述第一像導和所述第二像導所承載的第一照明光纖和第二照明光纖。
5.根據權利要求1所述的設備,進一步包括連接至所述相機的線纜,用於遠離所述設備來傳送表示所述第一隻眼睛和所述第二隻眼睛的所述圖像的輸出信號。
6.根據權利要求1所述的設備,進一步包括發送器,其位於所述裝置上,用於將輸出信號從所述相機無線發送到遠程位置。
7.根據權利要求1所述的設備,進一步包括第一透鏡和第二透鏡,分別位於所述第一像導和所述第二像導的所述第一端上,用於分別聚焦在所述第一隻眼睛和所述第二隻眼睛上。
8.根據權利要求1所述的設備,其中,所述裝置包括以下至少一種眼鏡框、帽子、頭盔、面盔、和面具。
9.根據權利要求1所述的設備,其中,所述裝置包括頭盔,所述頭盔包括一對護目鏡,所述相機安裝在所述頭盔上,並且所述第一像導和所述第二像導的所述第一端連接至所述護目鏡。
10.根據權利要求1所述的設備,進一步包括第三像導,所述第三像導包括安裝在遠離所述人的所述裝置上的第一端,所述第三像導連接至所述相機,用於獲取所述人的周圍環境的圖像。
11.根據權利要求1所述的設備,進一步包括位於所述裝置上的一個或多個傳感器,用於測量用戶的一個或多個生理特徵。
12.根據權利要求11所述的設備,進一步包括顯示器,其連接至所述相機和所述一個或多個傳感器,所述顯示器用於同時顯示所述用戶的所述第一隻眼睛和所述第二隻眼睛的圖像以及所述一個或多個生理特徵。
13.根據權利要求1所述的設備,進一步包括發送器,其連接至所述相機,用於將包括所述第一隻眼睛和所述第二隻眼睛的所述圖像的信號發送至遠程位置。
14.一種用於監控人的眼睛的運動的設備,其包括裝置,用於戴在人的頭部上;光源,用於當所述裝置被戴上時,將光導向所述人的所述眼睛;在所述裝置上的第一透鏡和第二透鏡,所述第一透鏡指向戴有所述裝置的所述人的第一隻眼睛,所述第二透鏡指向戴有所述裝置的所述人的第二隻眼睛;第三透鏡,位於所述裝置上,定位於遠離戴有所述裝置的所述人,用於獲取所述人的周圍環境的圖像;以及相機,連接至所述第一透鏡、第二透鏡和第三透鏡,用於同時獲取來自所述第一透鏡和所述第二透鏡的所述第一隻眼睛和所述第二隻眼睛的圖像以及來自所述第三透鏡的圖像。
15.根據權利要求14所述的設備,其中,所述相機包括CCD或CMOS檢測器,以及其中,在所述檢測器的有效顯示區域上同時接收來自所述第一像導和所述第二像導的圖像。
16.根據權利要求14所述的設備,其中,所述光源包括一個或多個紅外發射器,用於發射紅外光。
17.根據權利要求14所述的設備,其中,所述第一透鏡和所述第二透鏡分別通過所述第一像導和所述第二像導連接至所述相機。
18.根據權利要求17所述的設備,其中,所述光源包括分別由所述第一像導和所述第二像導所承載的第一照明光纖和第二照明光纖。
19.一種用於監控人的眼睛的運動的設備,其包括裝置,用於戴在人的頭部上;第一光纖束和第二光纖束,其包括固定在所述裝置上的第一端,所述第一光纖束定位於觀察戴有所述裝置的所述人的第一隻眼睛,所述第二光纖束定位於觀察戴有所述裝置的所述人的第二隻眼睛;以及相機,連接至所述第一光纖束和所述第二光纖束,用於同時獲取來自所述第一光纖束和所述第二光纖束的所述第一隻眼睛和所述第二隻眼睛的圖像。
20.根據權利要求19所述的設備,進一步包括外部相機,其位於所述裝置上,定位於遠離戴有所述裝置的所述人,用於獲取所述人的周圍環境的圖像,所述外部相機連接至所述相機,所述相機用於同時獲取來自所述外部相機的圖像以及來自所述第一光纖束和所述第二光纖束的所述圖像。
21.一種用於監控人的眼睛的運動的系統,其包括裝置,用於戴在人的頭部上;光源,用於當所述裝置被戴上時,將光導向所述人的眼睛;相機,其位於所述裝置上,用於監控所述眼睛的運動,所述相機用於產生表示由所述相機獲取的所述眼睛的視頻圖像的視頻信號;處理器,與所述相機通信,用於處理所述視頻信號並從所述視頻信號中識別所述眼睛的瞳孔;以及顯示器,其連接至所述處理器,用於從由所述處理器所處理的所述視頻信號來顯示所述眼睛的視頻圖像,所述顯示器將圖形疊加到所述視頻圖像上,以識別所述瞳孔。
22.根據權利要求21所述的系統,其中,所述處理器還用於使所述視頻信號相關聯,以至少部分地根據對由所述處理器識別的所述瞳孔進行的分析來確定所述人的身體或精神狀態。
23.根據權利要求22所述的系統,其中,所述處理器用於分析所述視頻信號,以監控以下至少一種所述瞳孔的相對位置、所述瞳孔的尺寸、以及所述瞳孔的離心率。
24.根據權利要求21所述的系統,其中,所述相機包括CCD或CMOS檢測器、以及至少一根光纖束,所述光纖束包括安裝在所述裝置上的第一端,以便當所述裝置被戴上時,使所述第一端朝向所述人的眼睛定位。
25.根據權利要求24所述的系統,其中,所述光源包括至少一個由所述光纖束所承載的照明光纖。
26.根據權利要求21所述的系統,進一步包括發送器,其位於所述裝置上,用於將來自所述相機的輸出信號無線發送到遠程位置。
27.根據權利要求26所述的系統,其中,所述處理器位於遠離所述裝置的位置處,所述處理器連接至用於接收由所述發送器發送的所述輸出信號的接收器。
28.根據權利要求21所述的系統,其中,所述處理器被設置在所述裝置上。
29.根據權利要求21所述的系統,進一步包括一個或多個傳感器,其位於所述裝置上,用於測量所述人的一個或多個生理特徵,所述處理器連接至所述一個或多個傳感器,用於使所述一個或多個生理特徵與所述視頻信號相關聯,以確定所述人的身體或精神狀態。
30.根據權利要求21所述的系統,進一步包括一個或多個傳感器,其位於所述裝置上,用於測量所述用戶的一個或多個生理特徵,所述處理器連接至所述一個或多個傳感器,用於在所述顯示器上顯示所述視頻圖像和所述一個或多個生理特徵。
31.一種用於使用生物傳感器組件來監控人的眼睛的運動的方法,所述生物傳感器組件包括光源,用於當所述生物傳感器組件被戴上時,將光導向所述人的眼睛;以及相機,朝向所述眼睛定位,所述方法包括從所述光源向所述眼睛發射光;使用所述相機來監控所述眼睛的運動,以產生所述眼睛的視頻圖像;以及產生由所述相機監控的所述運動的圖形輸出,所述圖形輸出包括疊加到所述眼睛的所述視頻圖像上的模擬圖像,以識別所述眼睛的瞳孔。
32.一種用於使用生物傳感器組件來監控人的眼睛的方法,所述生物傳感器組件包括用於將光導向所述人的眼睛的光源以及朝向所述人的眼睛定位的相機,所述方法包括從所述光源發射一個或多個光脈衝,使得所述眼睛從其放鬆狀態開始睜大;以及用所述相機來監控所述眼睛,以確定所述眼睛返回到其放鬆狀態的反應時間。
33.一種用於控制計算裝置的系統,其包括裝置,用於戴在人的頭部上;相機,其位於所述裝置上,用於監控所述人的至少一隻眼睛的運動,所述相機用於產生表示由所述相機獲取的所述眼睛的視頻圖像的信號;顯示器,靠近所述裝置放置,使得所述顯示器上的指針可以被戴著所述裝置的所述人看到;以及處理器,連接至所述相機,所述處理器用於處理所述信號,以監控所述眼睛相對於所述顯示器上的參考系的運動,所述處理器連接至所述顯示器,用於使得所述指針根據所述眼睛相對於所述參考系的運動,在所述顯示器上移動。
34.根據權利要求33所述的系統,其中,所述顯示器是抬頭顯示器,其被固定在所述裝置上,以便將所述顯示器放置在戴有所述裝置的所述人的所述眼睛前方的預定距離處。
35.根據權利要求33所述的系統,其中,所述處理器連接至所述相機,用於監控表示戴有所述裝置的所述人正觀看的所述顯示器上的特定位置處的視頻圖像的所述信號,所述處理器用於將所述指針移至所述特定位置。
36.根據權利要求35所述的系統,其中,所述處理器用於監控所述信號,以檢測視頻圖像,所述視頻圖像表示戴有所述裝置的所述人在看著所述特定位置的同時以預定順序眨眼來請求執行命令,所述處理器用於基於所述視頻圖像的檢測來在所述計算裝置上執行所述命令。
37.根據權利要求33所述的系統,進一步包括光源,用於當所述裝置被戴上時,將光導向所述人的眼睛。
38.根據權利要求37所述的系統,其中,所述光源用於將所述參考系投影在戴有所述裝置的所述人的所述眼睛上。
39.根據權利要求33所述的系統,其中,所述處理器用於將圖像顯示在所述顯示器的基位置處,所述處理器還用於監控所述信號,以檢測視頻圖像,所述視頻圖像表示戴有所述裝置的所述人正看著所述基位置處,從而提供所述眼睛相對於所述基位置的連續運動的所述參考系。
40.一種用於使用戴在用戶的頭部上的裝置來控制計算裝置的方法,所述裝置包括相機,所述相機包括指向所述用戶的至少一隻眼睛上的物鏡,所述計算裝置包括顯示器,所述顯示器包括在所述顯示器上所顯示的指針,所述方法包括使用所述相機來監控所述至少一隻眼睛的運動;以及使所述至少一隻眼睛的運動與所述顯示器上的所述指針相關聯,以使所述指針能夠跟隨所述至少一隻眼睛的運動。
41.根據權利要求40所述的方法,進一步包括當所述至少一隻眼睛看著所述指針時,確定所述至少一隻眼睛在所述相機的有效顯示區域上的基位置,以及其中,通過確定所述至少一隻眼睛在所述有效顯示區域上的位置相對於所述基位置的改變,使所述至少一隻眼睛的所述運動相關聯,以使得所述指針能夠響應位置的所述改變來移動。
42.根據權利要求40所述的方法,進一步包括監控所述至少一隻眼睛的預定順序的眼睛運動,從而提供信號來觸發由所述顯示器上的所述指針識別的命令。
全文摘要
本發明提供了用於監控人眼睛的運動的生物傳感器、通信器、和/或控制器設備、系統、和方法。該設備包括用於戴在用戶頭部上的裝置;將光導向用戶的一隻眼睛或者雙眼的光源;裝置上的用於觀察用戶的一隻眼睛或者雙眼的一個或多個像導;以及裝置所帶有的連接至像導的一個或多個相機,用於獲得眼睛和/或用戶的周圍環境的圖像。該設備可以包括線纜和/或發送器,用於將來自相機的圖像數據發送至遠程位置,例如,發送至用於分析和/或顯示該圖像數據的處理器和/或顯示器。包括該裝置的系統可以用於監控一個或多個眼睛運動參數,例如,瞳孔反應,和/或用於使用人眼睛代替滑鼠來控制計算機。
文檔編號G06K9/00GK1960670SQ200580017565
公開日2007年5月9日 申請日期2005年4月1日 優先權日2004年4月1日
發明者威廉·C·託奇 申請人:威廉·C·託奇