眼睛跟蹤器設備的製作方法

2023-05-24 04:43:16

專利名稱：眼睛跟蹤器設備的製作方法
技術領域：
本發明涉及確定眼睛的— 見線方向。
背景技術：
可使用人的視線方向來選擇計算機屏幕上顯示的選項。因而，可 使用提供有關視線方向的信息的眼睛跟蹤器設備，來作為例如替代計 算機滑鼠的定點和選擇設備。當光刺射到眼睛上時，在晶狀體、角膜和視網膜的邊界上發生若干反射。這些反射提供了稱為浦肯野像(Purkinje images)的反射斑 點。來自角膜外表面的反射提供了也被稱為反光點(glint)的第一浦 肯野像。可基於相對於第一浦肯野像的位置的瞳孔的位置來確定眼睛 的朝向。美國專利4836670公開了一種眼睛移動檢測器，其利用共軸地安 裝在紅外敏感的照相機的透鏡前面的紅外發光二極體，用於獲取眼睛 的圖像。反射光引起來自角膜表面的反光點。分析眼睛的圖像來確定 瞳孔中心位置和反光點相對於彼此的位置，以及使用此信息來確定視 線方向。發明內容本發明的目的在於提供用於確定視線方向的方法。本發明的目的 也在於提供用於確定視線方向的眼睛跟蹤器設備。本發明的進一步目 的是提供包括眼睛跟蹤器設備的便攜設備。本發明的目的也在於提供 實現所述方法的電腦程式產品。根據本發明的第一方面，具有用於檢測眼睛的視線方向的設備， 所述設備包括至少-成像單元，用來獲取所述眼睛的圖像，-至少一個照明單元，用來提供第一基本上校準的光束以及第二 基本上校準的光束，所述校準的光束具有相對於所述設備的不同的方 向，這樣，當從眼睛表面反射光時，所述第一校準的光束提供了第一 反射斑點，以及當從眼睛表面反射光時，所述第二校準的光束提供了 第二反射斑點，所述反射斑點出現在所述圖像中，以及-數據處理單元，用來基於所述圖像中所述第一反射斑點的位置， 基於所述圖像中所述第二反射斑點的位置，基於所述圖像中眼睛的瞳 孔和/或虹膜的位置，以及基於所述校準的光束的方向，確定眼睛相對 於所述設備的視線方向。根據本發明的第二方面，具有用於檢測眼睛的視線方向的方法，所述方法包4舌至少-使第一基本上校準的光束瞄準眼睛，以便當從眼睛表面反射光 時，提供第一反射斑點，-使第二基本上校準的光束瞄準眼睛，以便當從眼睛表面反射光 時，提供第二反射斑點，所述第二校準的光束具有不同於所述第一校 準的光束的方向的方向，-通過成像單元獲取眼睛的圖像，-基於所述圖像中所述第一反射斑點的位置，基於所述圖像中所 述第二反射斑點的位置，基於所述圖像中眼睛的瞳孔和/或虹膜的位 置，以及基於所述校準的光束的方向，確定眼睛相對於所述成像單元 的牙見線方向。根據本發明的第三方面，具有包括用於檢測眼睛的視線方向的 眼睛跟蹤設備的便攜設備，所述跟蹤設備包括至少 -成像單元，用來獲取所述眼睛的圖像，-至少一個照明單元，用來提供第一基本上校準的光束以及第二 基本上校準的光束，所述校準的光束具有相對於所述設備的不同的方 向，這樣，當從眼睛表面反射光時，所述第一校準的光束提供了第一 反射斑點，以及當從眼睛表面反射光時，所述第二校準的光束提供了第二反射斑點，所述反射斑點出現在所述圖像中，以及-數據處理單元，用來基於所述圖像中所述第一反射斑點的位置，基於所述圖像中所述第二反射斑點的位置，基於所述圖像中眼睛的瞳孔和/或虹膜的位置，以及基於所述校準的光束的方向，確定眼睛相對於所述跟蹤設備的糹見線方向。根據本發明的第四方面，具有基於由系統提供的數據用來確定眼睛的視線方向的電腦程式產品，所述系統包括-成像單元，用來獲取所述眼睛的圖像，以及-照明裝置，用來提供第一基本上校準的光束以及第二基本上校 準的光束，所述校準的光束具有相對於所述成像單元的不同的方向， 這樣，當從眼睛表面反射光時，所述第一校準的光束提供了第一反射 斑點，以及當從眼睛表面反射光時，所述第二校準的光束提供了第二 反射斑點，所述反射斑點出現在所述圖像中，所述電腦程式產品包括存儲在可讀介質中的電腦程式代碼 段，當由處理器執行時，其用來基於所述圖像中所述第一反射斑點的 位置，基於所述圖像中所述第二反射斑點的位置，基於所述圖像中的 眼睛的瞳孔和/或虹膜的位置，以及基於所述校準的光束的方向，確定 所述眼睛相對於所述成l象單元的一見線方向。對碎見線方向的確定充分獨立於眼睛和跟蹤設備之間的距離。所述 確定也充分獨立於眼睛的橫向移動和眼睛的大小。因而，眼睛可在較 大區域內移動，即，跟蹤器設備的位置無需相對於觀察者的頭而固定。通過下面給出的描述和示例，以及也通過所附的權利要求，本發 明的實施方式及其益處對本領域技術人員將變得顯然。


在下面的示例中，將通過參考附圖更詳細地描述本發明的實施方 式，其中圖1示意性地示出了相對於參考坐標系統的視線方向， 圖2示意性地示出了用於確定視線方向的眼睛跟蹤設備，圖3示意性地示出了光線通過成像光學系統的傳播， 圖4示意性地示出了來自角膜表面的光線反射， 圖5a示意性地示出了眼睛的圖像，所述圖像包括兩個反射斑點， 圖5b示意性地示出了反射點和瞳孔中心的角位置， 圖6是示出了從角膜表面朝向成像單元的光線反射的示意圖， 圖7是示出了關於確定視線方向的三角關係的示意圖， 圖8是示出了在一般的三維情況下，關於確定視線方向的矢量的 示意圖，圖9示意性地示出了包括兩個基於校準透鏡的照明單元的眼睛跟 蹤設備，圖10示意性地示出了包括一個基於校準透鏡的照明單元的眼睛 跟蹤設備，圖11示意性地示出了包括衍射擴束器和IR發射器的照明單元， 圖12示意性地示出了包括衍射擴束器和兩個IR發射器的照明單元，圖13示意性地示出了包括衍射擴束器的虛擬顯示單元， 圖14是包括衍射擴束器的虛擬顯示單元的示意性三維視圖， 圖15示意性地示出了包括虛擬顯示器的眼睛跟蹤設備， 圖16是包括虛擬顯示器的眼睛跟蹤設備的示意性三維視圖， 圖17示意性地示出了通過出口光闌(exit aperture)查看的虛像， 圖18示意性地示出了包括另外的IR發射器的虛擬顯示單元， 圖19通過舉例的方式示出了 IR發射器相對於微顯示器的位置， 圖20示意性地示出了包括另外的IR發射器和半透明反射鏡的虛 擬顯示單元，圖21示意性地示出了光學引擎和照明單元對於衍射擴束器的耦合，圖22示意性地示出了兩個堆疊的衍射擴束器， 一個顯示虛像， 以及另一個提供IR射束，圖23示意性地示出了適合於通過衍射擴束器監視眼睛的成像單元，圖24示意性地示出了包括虛擬顯示器、衍射擴束器和半透明反 射鏡的眼睛跟蹤設備，圖25示意性地示出了包括虛擬顯示器和半透明反射鏡的眼睛跟 蹤設備，圖26示意性地示出了包括半透明反射鏡的眼睛跟蹤設備，從所 述半透明反射鏡查看遠端顯示器，圖27示意性地示出了包括半透明反射鏡的眼睛跟蹤設備，從所 述半透明顯示器查看實際物體，圖28示意性地示出了包括眼睛跟蹤設備的便攜設備，以及圖29是被用作桌面設備的眼睛跟蹤設備的示意性的三維視圖。
具體實施方式
參看圖1，可通過相對於參考坐標系統方向SZ的水平視角a3和 垂直視角|33來定義眼睛100的視線方向GZD。方向SY定義了參考 坐標系統的垂直方向，以及方向S X定義了參考坐標系統的水平方向。眼睛100的實際形狀略微的非球形，但角膜的形狀是接近於球形 表面。這裡，眼睛100的中心O代表最佳擬合球體的中心，所述球體 與角膜表面相切合。這裡，眼睛100的半徑R代表所述最佳擬合球體 的半徑。由通過眼睛100的中心O和瞳孔120的最佳擬合中心的線來定義 視線方向GZD。瞳孔120被虹膜IIO所環繞。也可以部分地或完全地 基於虹膜110的位置來確定對瞳孔的最佳擬合中心的確定。參考線REF平行於參考坐標系統的方向SZ。眼睛100的位置可 以在方向SX、 SY和/或SZ上移動。參考線REF—般不通過眼睛100 的中心0。物體1002、 1003位於離眼睛100的相當大的距離或無窮遠的距 離處。物體1002、 1003可以是物體(例如，身體)，在遠端顯示器 屏幕上顯示的圖像，或由虛擬顯示器顯示的虛像。假設物體1002和1003相對於參考線REF上的點C的角坐標是 已知的，以及當與點C和眼睛中心O之間的距離相比較時，眼睛100 和物體1002、 1003之間的距離是非常大的。距離的比值可以是例如 大於10或等於10。因而，物體1002、 1003可以與視線方向相關聯。 因此，通過獲知一見角a3和P3,可以確定眼睛100正在注一見哪個物體， 即，眼睛100正在注視星形1002還是六邊形1003。參看圖2，由眼睛跟蹤器設備700確定視角a3和|33，其包括一 個或更多的照明單元300和一個成像單元200 (在圖2中僅示出了水 平角a3)。照明單元300提供了至少兩個基本上校準的光束LB1、 LB2,其瞄準眼睛100，以及射束LB1、 LB2具有不同的方向。成像 單元200提供眼睛100的圖像。可由射束LB1和參考線REF之間的水平角al和垂直角(31來標 識第一校準的射束LB1的方向。可由射束LB2和參考線REF之間的 水平角a2和P2來標識第二校準的射束LB2的方向(垂直角|31和|32 在圖2中未示出)。L2指示成像單元200和眼睛IOO之間的距離。參看圖3,成像單元200包括成像光學系統220和圖像傳感器210, 其可以是例如電荷耦合設備(CCD)。成像光學系統220和圖像傳感 器210之間的距離dl是已知的，以及因而，圖像傳感器210的像素 可以與各自的特徵的角位置相關聯。例如，將瞳孔中心P投影到具有 水平坐標X3的像素。可基於各自像素的坐標X3確定線REF和從瞳 孔中心P到成像光學系統220的投影中心(principal point) C的線PC 之間的角cp3。成像單元200可包括用於自動對焦的裝置。成像光學系統220的 非理想的屬性可引起圖像201的幾何失真。可以光學地和/或通過信號 處理來校正失真。參看圖4，從提供了多個反射光線的角膜表面反射的光束LBl, 其中反射光線以多個不同的方向傳播。從成像單元200的光闌接收反 射光線的窄扇面。這裡由單一射線NC來表達所述扇面，單一射線 NC是所述扇面的加權平均。射線NC是從眼睛100表面的反射點N向成像光學系統220的投影中心C反射的。光束LB2也是從角膜表面朝向成像單元200反射(在圖4中未示 出，請參看圖6)。由單一射線MC代表所反射的射線，其是從眼睛 IOO表面的反射點M向成像光學系統220的投影中心C反射的。圖5a示出了由成像單元200獲取的眼睛100的圖像201。第一校 準的光束LB1瞄準眼睛100,這樣，第一光束LB1的反射提供了呈現 在圖像201中的第 一反射斑點Gl 。第二校準的光束LB2瞄準眼睛100， 這樣第二射束LB2的反射提供了呈現在圖像201中的第二反射斑點 G2。可以應用圖像分析算法來確定圖像201中的瞳孔P的坐標X3， Y3,以及反射斑點G1、 G2的坐標X1， Yl， X2, Y2。反射斑點G1、 G2,即，第一浦肯野像，應當與從源於眼睛100內部的其他浦肯野圖 像有所區分。當改變^見線方向時，瞳孔120相對於反射斑點Gl、 G2移動。 參看圖5b,可基於坐標X1，Y1，X2,Y2，X3，Y3 (圖5a),根據在圖3中示出的原理，來計算眼睛lOO表面上的第一反射點N的角位置cpl、 51,第二反射點M的角位置q>2、 S2,以及瞳孔中心P的角位置cp3、 53。現在，首先使用簡單的二維方式來描述用於確定視線方向的算 法。參看圖6，光束LB1從點N反射，以及所反射的射線NC刺射在 成像單元200的光學系統的投影中心C。射束LB1相對於曲面法線 Nl的入射角yl等於光射線NC相對於曲面法線Nl的反射角yl。能 夠發現formula see original document page 14(1)2以及formula see original document page 14 (2)從點M反射光束LB2,以及被反射的射線MC刺射在成Y象單元 200的投影中心C。射束LB2相對於曲面法線N2的入射角等於光 線MC相對於曲面法線N2的反射角y2。能夠發現以及"督-^ (4)在圖6中，可標識兩個角，即角ONC和角OMC。這些角具有公 共邊OC,以及邊ON和OM的長度等於眼睛100的半徑R。現在可以使用三角法(例如，正弦規則)或矢量計算來基於角Tl和T2確定眼睛中心O的角位置cp7。參看圖7，可以標識三個角OPC、 ONC和OMC。當已知角cpl， cp2和(p7時，可以計算角cp5和(p6。點P是瞳孑L 120的中心。現在， 可基於角t1和cp5計算角a5。角OPC和ONC具有公共邊OC，以及 邊ON和OP的長度等於眼睛100的半徑R。現在，可使用三角法(例 如，正弦規則)或矢量計算，基於角t1和T3計算角a4。現在，可使 用角a4和眼睛中心0的角位置cp7計算水平^L角a3。參看圖8，可通過使用矢量計算在普通的三維情況中確定對應於 眼睛100的視角a3和(33的矢量OP。第一校準的射束LB1從點N反射到成像光學系統200的投影中 心C。第二校準的射束LB2從點M反射到投影中心C。在點N,曲 面法線是Nl,而在點M,曲面法線是N2。第一曲面法線N1的方向 矢量是第一校準的射束LB1的方向矢量和線CN的方向矢量的平均 (average)。第二曲面法線N2的方向矢量是第二校準的射束LB2的 方向矢量和線CM的方向矢量的平均。由於測量不精確，以及由於角膜的略微非球形，很可能曲面法線 Nl、 N2不相交。在此情況下，可確定輔助矢量GH來找到用於眼睛 中心O的估計。輔助矢量GH是連接表面法線N1、 N2的最短可能矢 量。輔助矢量GH垂直於矢量NG和MH。輔助矢量GH平行於矢量 NG和MG的叉積。可4吏用輔助矢量GH的中點作為對眼睛中心O的 估計。可使用輔助矢量GH的長度作為對測量精度的指示。現在，知曉了矢量CN、 NG、 GH、 HM和MC的方向。也已經知曉了矢量NG和HM的長度，其長度等於眼睛100的半徑R。可基於 矢量方程解出餘下的三個未知量，即矢量CN、 GH和MC的長度， 矢量方程表明五個矢量形成封閉路徑CN + NG + GH + HM + MC = 0. ( 5 )將方程(5)寫作一組三個線性方程，所述組的一個方程對應於 方向SX (圖1 )上的矢量分量， 一個對應於方向SY上的矢量分量， 以及一個對應於方向SZ上的矢量分量。有三個位置量和三個方程， 從中能夠計算出這些未知量。現在，根據眼睛半徑R而獲知了矢量CN、 NG、 GH、 HM和MC 的方向和長度。眼睛中心O的位置近似處在矢量GH的中點。眼睛中心O的位置 也可以接近於在矢量GH上的點。眼睛中心O的位置也可以接近於矢 量GH鄰近的點。接下來，計算線CP在何處與眼睛100的表面相交，眼睛100具 有中心O和半徑R。計算提供了兩個解。選擇對應於矢量CP的較短 長度的解，因為另一個解對應於在眼睛100後側的位置。現在，知曉了眼睛中心O和瞳孔中心P的位置，以及矢量OP的 方向直接給出了一見線方向。綜上，視線方向的確定包括下列步驟-通過成像單元200獲取的圖像201中反射斑點Gl、 G2的坐標， 確定在眼睛IOO表面的反射點N, M的角位置，-基於校準的光束LB1、 LB2的方向和矢量CN和CM的方向， 計算所述反射點N、 M的表面法線N1、 N2的方向，-通過計算所述表面法線Nl、 N2的方向矢量的叉積來確定輔助 矢量GH的方向，-計算矢量CN、 CM和GH的長度，-通過所述輔助矢量GH的中點，近似估計眼睛中心O的位置， -基於圖像201中的睡孔和/或虹膜的坐標確定矢量CP的方向， -計算瞳孔中心P的位置，以及-計算矢量OP的方向，所述方向是視線方向。參看圖9，眼睛跟蹤設備700可包括兩個照明單元300來提供 基本上校準的光束LB1、 LB2。由瞄準眼睛100的4交準光學系統330 校準紅外光(IR)發射器321、 322發出的不可見光。照明單元300的^f交準光學系統330可以是優化的組合透#;。才交 準光學系統330可包括菲涅爾透鏡。照明單元300的朝向相對於成像 單元200可以是固定的或可變的。所發射的光可以是處於可見的波長， 但經脈衝化使其基本上不可見。所發射的光可以是在UV (紫外)區 域，從而其不可見。參看圖10,眼睛跟蹤設備700也可包括僅一個照明單元300但 有兩個發射器321、 322來提供基本上校準的光束LB1、 LB2。參看圖11，可由衍射擴束器400來擴展由校準單元310提供的 校準的光束的寬度WjN。輸入光柵410耦合光來在波導基片405中傳 播。輸出光柵420將光從基片405耦合輸出，來提供校準的光束LB1。輸出光束的寬度WouT可以基本上大於初始寬度Win。例如，在美國專利US6580529中描述了衍射擴束器。校準單元310包括一個或多個 發射器321以及校準光學系統330。參看圖12，可使用單個衍射擴束器400來提供兩個校準的光束 LB1、 LB2。參看圖13，虛擬顯示單元500可包括光學引擎520和衍射擴束 器400。光學引擎520包括微顯示器510和察看(viewing)光學系統 530。通過將光學引擎520耦合到衍射擴束器400來相當大地增加察 看光闌的寬度。微顯示器510可以是發光二極體(LED)陣列、液晶陣列(LCD) 或微機械反射鏡設備(MEMS )。將由微顯示器510的像素形成的實像通過察看光學系統530轉 換為虛像。微顯示器510的每個點對應於從輸出光柵420傳送的校準 的光束。因而，觀察者的眼睛IOO看到在相當遠或在無窮遠處的虛像。虛擬顯示單元500也可以表現為照明單元300。可使用孩i顯示器的預定像素501 、 502來提供基本上校準的和調製的光束LB1 、LB2。 可以調製像素501、 502，使得可以從其他光中區分這些光束的光。像 素501、 502可以是IR發射。參看圖14,衍射擴束器典型地包括三個光柵410、 415和420。 輸入光柵410將光耦合到波導基片405。中間光柵415提供了在第一 方向SX的擴束。輸出光柵420提供了在第二方向SY的擴束，以及 將光束LB1、 LB2從衍射擴束器400耦合輸出。輸出光柵420也作為 用於光學引擎520顯示虛像的察看光闌。當使用平面衍射光柵410、 420時，在無限遠處形成虛像。然而， 虛像和觀察者之間的距離也可以短於無限遠。所述距離可以是例如在 1到2米的距離內。可使用專利申請PCT/IB2004/004094中公開的彎 曲衍射擴束器實現距離短於無限遠。所述衍射擴束器包括至少一個具 有有限曲率半徑的非平面衍射元件。參看圖15,眼睛跟蹤設備700可包括- 照明單元300,用來提供基本上校準的光束LB1、 LB2，- 虛擬顯示單元500， 畫成像單元200,- 數據處理單元600，畫命令接口 610,以及- 通信單元620。命令接口 610可以是按鍵設備、操縱杆或鍵盤，其允許用戶向 設備700發送命令。命令接口 610也可以是語音命令設備或手勢識別 設備。通信單元620可以是用於與計算機或行動裝置通信的接口模塊。 通信單元620也可以是光學或射頻發射機/接收機，其允許經由網際網路 或射頻網絡的通信。參看圖16,眼睛跟蹤設備700可以是緊湊的、便攜的和較輕的設備。參看圖17，用戶的眼睛IOO可以通過虛擬顯示器的輸出光闌察 看所顯示的虛像IOOO,例如，通過衍射擴束器的輸出光柵420。虛像1000可以包括所顯示的物體1002、 1003、 1004、 1005, 例如星形1002、六邊形1003、符號"OK"1005和問號"？ " 1004。虛像1000的物體或位置有利地與視線方向相關聯。因而，當眼 睛100注視著由用戶確定的物體或位置時，能夠基於一見線方向確定眼 睛正注糹見著哪個物體或位置。進一步地，每個物體或位置可與選項相 關聯，以及用戶可通過注:f見著分別的物體或位置而選才奪一個選項。用 戶可以通過按下命令接口 610 (圖15和16)的鍵來確認選擇。用戶 也可以通過眨眼，或通過盯住預定物體或位置一^:延長的時間來確認 選擇。例如，用戶可以通過指引他的視線，來在由物體1002 (星形) 或物體1003 (六邊形)所代表的選項之間選擇。如果選擇了六邊形 1003，其可以在選擇之後，通過閃爍提供可視的反饋。用戶可通過例 如注視著符號"OK"來確認選擇。但是，用戶可通過注視問號"？"來請 求進一步的信息。在軟體中，和/或在硬體水平，例如通過將物體的像素坐標轉換 為角坐標可將虛像1000的物體1002、 1003、 1004、 1005與^見線方向 相關聯。可將所顯示的物體的角坐標與視線方向作比較，來確定用戶 是否正注視著所述物體。可將可見或不可見光標1001適用於在虛像1000上跟隨著所確 定的眼睛100的視線方向而移動。光標1001幫助用戶來理解跟蹤設 備700實際上正跟隨著其視線。換句話說，光標1001提供了向用戶的可視反饋。可通過例如在虛像1000上移動閃爍的光標1001，以及請用戶 注一見著光標1001來核准所;險測的一見線方向。進一步地，當用戶實際 上正注視著光標1001時，可請求他按下命令接口 610的按4建。參看圖18和19，可將兩個或更多的紅外(IR)光發射器321、 322貼附在接近於虛擬顯示單元500的孩吏顯示器510。因而，虛擬顯 示單元500也可以表現為照明單元300, 4是供兩個或多個基本上校準 的光束LB1、 LB2。通過舉例的方式，圖19示出了 IR發射器321、 322、 323、 324 相對於微顯示器510的框架511的位置。通過使用此布置，照明單元 300可提供3個、4個或更多的基本上校準的光束，其在不同方向傳 播。第三光束和進一步的光束在由第一光束LB1和第二光束LB2的 方向定義的平面向外的方向中傳播。使用三個或更多光束可提供改進 的精度。曲率，即，眼睛100的半徑，在垂直方向和水平方向上可以 不同。因而，使用三個或更多的光束可以允許對由於眼睛IOO的非球 形所引起錯誤的糾正。參看圖20，可用半透明反射鏡350將來自紅外(IR)光發射器 321、 322的光與自微顯示器510所發出的光相組合。半透明反射鏡 350可以是分色鏡，其傳輸可見光並反射IR。半透明反射鏡350可以 是半透明鏡或極化反射鏡。參看圖21,光學引擎520和校準單元310邊對邊地耦合到同一 個衍射擴束器400。參看圖22，可以堆疊衍射擴束器400,這樣通過第二至少部分 地透明的擴展器來傳送由第一擴展器發射的光。第一擴展器可以發射 可見光，而第二擴展器可發射IR光。參看圖23，衍射擴束器400可以是部分地透明。可將成像單元 200適用於通過衍射擴束器400來監視眼睛100。參看圖24,眼睛跟蹤器設備700可以包括半透明反射鏡350, 來將由虛擬顯示單元500發射的光和由 一個或多個照明單元300提供 的光束LB1、 LB2相組合。虛擬顯示單元500可包括衍射擴束器400。 而且照明單元300可包括衍射擴束器400。跟蹤設備700可進一步地 包括數據處理單元，命令接口 610和通信單元620。參看圖25，眼睛跟蹤器設備700可包括半透明反射鏡350來將 由虛擬顯示單元500發射的光與校準的光束LB1、 LB2組合。可僅使 用透鏡光學系統530、 220、 330,即，不使用衍射擴束器，來提供虛 像和校準的光束LB1、 LB2。參看圖26，用戶也可以注視遠端屏幕900。可使用半透明反射鏡350將由遠端屏幕900發射的光與校準的光束LB1、 LB2組合。眼 睛跟蹤器設備700可進一步包括數據處理單元，命令接口 610和通信 單元620。跟蹤設備700的位置相對於遠端屏幕900可以是固定的。
可選地，跟蹤設備700可進一步包括成像單元250,來監視遠 端屏幕900相對於跟蹤設備700的角位置。需要此信息來將視線方向 與遠端屏幕900的位置相關聯。也可以將進一步成像單元250適用於監視在屏幕900上顯示的 物體相對於跟蹤設備700的角位置。
替代半透明反射鏡，用戶也可以通過擴束器注視屏幕900,擴 束器400在可見的波長範圍內是透明的。
參看圖27，用戶也可以通過半透明反射鏡350察看物體1002 (房屋)、1003 (汽車)。跟蹤器設備700的位置相對於物體可以是 固定的，或者其可以包括另外的成像單元250來監視物體相對於跟蹤 器設備700的角位置。因而，可將物體、物體的位置和/或風景 (landscape)的特徵與視線方向相關聯。例如，可確定用戶是否正注 視著房屋1002或汽車1003。進一步地，可將物體1002、 1003與選項 相關聯，這樣可通過注視分別的物體而選擇選項。參看圖28，便攜設備750可包括眼睛跟蹤器設備700。
眼睛100和跟蹤器設備700之間的距離可小於或等於0.2m。校 準的光束LB1、 LB2的寬度可大於或等於20mm,以允許跟蹤器設備 700相對於眼睛100自由移動。校準的光束LB1、 LB2的寬度也可以 大於或等於10cm。衍射擴束器允許實現寬光束，而無需考慮增加設 備700的尺寸和重量。
參看圖29，眼睛跟蹤器設備700可以用作桌面設備。可將眼睛 跟蹤器設備700適用於在一定距離監視眼睛100，距離例如是在離眼 睛0.5到1米的範圍內。用戶可注視著物體1002、 1003，其可以是顯 示屏900上顯示的圖像或實際物體。
當將視線方向信息與眼睛IOO相對於跟蹤器設備700的位置組 合時，所確定的視線方向可與物體1002、 1003之一相關聯。僅基於視線方向無法作出此關聯，除非當與眼睛100和跟蹤器設備700之間 的距離作比較時，是遠離物體1002、 1003的。也需要眼睛100的位 置，以便作出此關聯。可通過使用由距離監視器260提供的距離信息， 並分析由成像單元200提供的圖像，來確定眼睛的水平位置和垂直位 置，以及眼睛100到跟蹤器設備700的距離。距離監視器可以是例如 光學測距4義。也可以通過使用兩個成像單元，以及通過確定距離、水 平位置和垂直位置，由三角測量，基於由所述成像單元獲取的眼睛的 圖像來荻得位置信息。用戶的眼睛100可察看物體1002、 1003之一。使用視線方向信 息連同物體的像素坐標和眼睛100的位置來確定用戶正注視著哪個物 體，例如，用戶是否正注視著在屏幕900上顯示的星形1002或六邊 形1003。當作為桌面設備使用時，跟蹤器設備700可包括一個或多個擴 束器400，擴束器400具有較大的輸出光闌，以便允許用戶足夠自由 地移動其頭部。可選地，跟蹤器設備700可包括改變校準的光束LB1、 LB2的方向的裝置，這樣當用戶移動其頭部時，校準的光束LB1、 LB2 刺射在用戶的眼睛100上。可通過例如分析由成像單元200提供的圖 像來獲得為跟隨頭部的移動所需要的信息。眼睛跟蹤器設備700可以是從下列列表中選擇的設備，或其一 部分，或者連同從下列列表中選擇的設備的組合而使用便攜設備、 具有無線電信能力的設備、成像設備、圖像傳感器、數位照相機、移 動電話、遊戲設備、音樂記錄/播放設備(基於例如MP3格式)、遠 程控制發射機或接收機、手錶、指南針、心跳監視設備、醫療儀器、 用於殘疾人的器械、測量儀器、工業測量儀器、過程控制設備、目標 查找設備、瞄準設備、導航設備、個人數字助理(PDA)、通訊器、 便攜網際網路器械以及手持計算機。眼睛跟蹤器設備700可包括電池、 電信單元、音頻設備和/或數據存儲單元。可將眼睛跟蹤器設備700 附著在頭飾、帽子或頭盔上。也可以通過使用電腦程式產品來實現根據本發明的方法。可由包括成像單元200和用來提供校準的光束LB1 、 LB2的裝置的系統 來提供原始數據。原始數據可包括眼睛100的整個圖像201或僅有反 射斑點G1、 G2和曖孔P的坐標。計算才幾程序產品包括存卞者在可讀介 質中的電腦程式代碼段，當由處理器600執行時，其基於數據和光 束LB1、 LB2的方向來確定一見線方向。電腦程式產品可以是包括所述程序的例如CD-ROM盤，或存 儲器卡。產品的電腦程式代碼段是從網際網路網站可下載的。可將計 算機程序代安裝在例如連接到成像單元200的便攜計算機中。視線方向的跟蹤。用戶可通過指引其視線而以高速率給出命令。例如， 可通過視線選擇所顯示的字母、單詞或整句來寫入和處理文本。當將跟蹤器設備700附著在頭飾上時，可將視線方向信息與有 關頭相對於環境的位置和/或朝向的進一步的信息加以組合。可通過例 如使用GPS (全球定位系統)導航系統、指南針和/或適合於發送超 聲波、紅外或射頻跟蹤信號的參考信標來確定頭部相對於環境的位 置。可將眼睛跟蹤器設備700適用於顯示虛像，這樣用戶可基本上 同時地察看所顯示的虛像，以及實際物體。可將這種跟蹤器設備700 用作所討論的現實系統(reality system)的部分。可將眼睛跟蹤器設備700耦合到遠程計算機。可在遠程計算機 或數據處理單元執行與確定視線方向相關聯的信號處理。可使用虛擬顯示單元來顯示運動或靜止圖像，例如，電影、照 片、網頁(www-page)、圖表和/或文本。也可使用例如雷射器的光源實現照明單元300，其固有地發射 才交準的光束。擴束器可基於衍射光學系統、基於鏡頭組合、基於堆疊的稜鏡 和/或基於堆疊的半透明反射鏡。可使用周期性表面起伏圖樣(surface relief patterns )實現衍射 擴束器400。衍射擴束器400也可以是全息衍射擴束器，其包括折射率的周期性變化，由全息加工技術實現。專利申請US2004/0062502公開了 一種擴束器具有一個或多個 表面接口用來提高擴束器的顏色均一性，例如，當擴展時，對紅、綠和藍光束同時擴展。專利申請PCT/FI2003/000948公開了分裂的(split)衍射光柵元 件，用來均衡相對於入射角的變化的衍射效果。可以在衍射擴束器400 中使用所述元件。微顯示器510可以是反射、發射或傳輸二維光調製陣列 (transmissive two-dimensional light-modulation array。 微顯示器510 可以是發光二極體(LED，有機發光二極體，Organic Light Emitting Diode)陣歹'J，樣爻才幾才成反射4竟(micromechanical mirrors ) ( MEMS顯 示器)，或液晶單元(矽液晶)的陣列。也可以使用光機械掃描光束 (opto陽mechanically scanned light beams )實現孩吏顯示器510， 例如, 使用經調製的光束，通過旋轉反射鏡來使其偏轉或移動。眼睛跟蹤器設備700可包括兩個相鄰的虛擬顯示器， 一個用於 左眼， 一個用於右眼。可以分別地控制虛擬顯示器來顯示三維虛像。 當人正注視著所顯示的三維圖像時，可使用左眼視線方向和右眼視線 方向之間的差來提供關於所述圖像的距離信息。可以將眼睛跟蹤器設備700適用於分別監控左眼和右眼的視線 方向。當用戶正注視著遠端物體時，可使用在左眼的視線方向和右眼 的視線方向之間的差來提供關於所述物體的距離信息。可在所討論的 實際應用中使用此實施方式。對於本領域技術人員，應理解根據本發明對於所述設備和方法 的調整和變化是可知的。上述參考附圖所描述的特定實施方式僅為示 例性的，且並非意在限制本發明的範圍，該範圍由所附的權利要求書 力口以定義。
權利要求
1.一種用於檢測眼睛(100)的視線方向(α3，β3)的設備(700)，所述設備(700)包括至少-第一成像單元(200)，用來獲取所述眼睛100的圖像(201)，-至少一個照明單元(300)，用來提供第一基本上校準的光束(LB 1)以及第二基本上校準的光束(LB2)，所述校準的光束(LB1，LB2)具有相對於所述設備(700)的不同的方向，使得當從所述眼睛(100)的表面反射光時，所述第一校準的光束(LB1)提供第一反射斑點(G1)，以及當從所述眼睛(100)的表面反射光時，所述第二校準的光束(LB1)提供第二反射斑點(G2)，所述反射斑點(G1，G2)呈現在所述圖像(201)中，以及-數據處理單元(600)，用來基於所述圖像(201)中所述第一反射斑點(G1)的位置、所述圖像(201)中所述第二反射斑點(G2)的位置、所述圖像(201)中所述眼睛(100)的瞳孔(120)和/或虹膜(110)的位置以及所述校準的光束(LB1，LB2)的方向，確定所述眼睛100相對於所述設備(700)的視線方向(α3，β3)。
2. 根據權利要求1所述的設備(700)，進一步包括至少一個擴 束器，用來擴展校準的光束(LB1、 LB2)的寬度(WouT)。
3. 根據權利要求2所述的設備(700),其中所述擴束器是衍射 擴束器(400)。
4. 根據權利要求2或3所述的設備(700),其中所述第一成像 單元(200)適用於通過所述擴束器(400)來查看所述眼睛(100)， 所述擴束器(400)至少部分地對所述校準的光束(LB1, LB2)的波長透明。
5. 根據前述權利要求1到4中任一項所述的設備(700)，其中 所述第一校準的光束(LB1 )的所述寬度(Wout)大於或等於20mm。
6. 根據前述權利要求1到5中任一項所述的設備(700),其中 所述照明單元(300)包括至少一個半導體器件(321、 322)來發射不可見紅外光。
7. 根據前述權利要求1到6中任一項所述的設備(700),進一 步包括虛擬顯示單元(500)來顯示虛像(1000)。
8. 根據前述權利要求1到7中任一項所述的設備(700)，適用 於將物體(1002、 1003 )或位置與^L線方向相關聯。
9. 根據權利要求8所述的設備(700),進一步包括半透明反射 鏡(350)，適用於向所述眼睛(IOO)反射或傳送所述校準的光束(LBI， LB2),其中所述眼睛(100)可以經由所述半透明反射鏡(350)查 看所述物體(1002、 1003 )和/或所述位置。
10. 根據權利要求8或9所述的設備(700)，包括另外的成像單 元(250 )來監視所述物體(1002， 1003 )或位置相對於所述設備(700 ) 的所述角位置。
11. 根據前述權利要求1到10中任一項所述的設備(700)，進 一步包括命令接口 (610)來向數據處理單元(600)發送命令，以便 確認對與所述確定的糹見線方向(a3, |33 )相關聯的選項的選擇。
12. 根據前述權利要求1到11中任一項所述的設備(700)，進 一步包括用於確定所述眼睛(100)和所述第一成像單元(200)之間 距離(L2)的裝置(260)。
13. 根據前述權利要求1到12中任一項的所述設備(700),進 一步包括用來改變相對於所述設備(700 )的所述第一校準的光束(LB1)的方向和/或所述第二校準的光束(LB2)的方向的裝置。
14. 一種用於4企測眼睛(100)的^見線方向(a3， (33)的方法，所 述方法包括至少-使第一基本上校準的光束(LB1)瞄準眼睛(100)，以便當從 所述眼睛(100)的表面反射光時，提供第一反射斑點(Gl)，-使第二基本上校準的光束(LB2)瞄準眼睛(100),以便當從 眼睛(100)的表面反射光時，提供第二反射斑點(G2),所述第二 校準的光束(LB2)具有不同於所述第一校準的光束(LB1)的方向 的方向，-通過第一成像單元(200)獲取所述眼睛(100)的圖像(201 )， -基於所述圖像(201)中所述第一反射斑點(Gl)的位置，基 於所述圖像(201)中所述第二反射斑點(G2)的位置，基於所述圖 像(201 )中所述眼睛(100)的瞳孔(120)和/或虹膜(110)的位置， 以及基於所述校準的光束(LB1， LB2)的方向，確定所述眼睛(IOO) 相對於所述第一成像單元(200)的視線方向(a3， P3)。
15. 根據權利要求14所述的方法，其中使用一個或多個衍射擴束 器(400)提供所述校準的光束(LB1、 LB2)的至少一個。
16. 根據權利要求14或15所述的方法，其中所述校準的光束 (LB1、 LB2)的寬度(WouT)大於等於20mm。
17. 根據前述權利要求14到16中任一項所述的方法，其中所述 第一成像單元(200)和所述眼睛(100)之間的距離(L2)小於或等 於0.2m。
18. 根據前述權利要求14到17中任一項所述的方法，進一步包 括將物體(1002、 1003 )或位置與視線方向(a3, (33)相關聯。
19. 根據權利要求18所述的方法，進一步包括基於由另外的成像 單元(250)獲取的所述物體或位置的圖像而確定所述物體(1002、 1003 )或所述位置相對於所述第一成像單元(200)的角位置。
20. 根據前述權利要求14到19中任一項所述的方法，進一步包括-顯示虛像(1000),以及-將所述虛像(1000)的位置與視線方向相關聯。
21. 根據前述權利要求14到20中任一項所述的方法，進一步包 括基於所檢測的所述眼睛(100)的視線方向(a3， p3)，選擇選項 或目標。
22. 根據前述權利要求14到21中任一項所述的方法，進一步包 括改變所述第一校準的光束(LB1 )的方向和/或所述第二校準的光束(UB2)的方向。
23. 根據前述權利要求14到22中任一項所述的方法，其中使用微顯示器(510)的像素(501、 502)提供所述第一校準的光束(LB1 ) 和所述第二校準的光束(LB2)。
24. 根據前述權利要求14到23中任一項所述的方法，其中使用 發光半導體器件(321、 322 )提供所述第一校準的光束(LB1)和所 述第二校準的光束(LB2)。
25. 根據前述權利要求14到24中任一項所述的方法，進一步包 括向遠端數據處理單元(600)發送圖像數據，以及在所述遠端數據 處理單元(600)中執行所述確定。
26. —種包括用於^:測眼睛(100)的4見線方向(a3， (33)的眼睛 跟蹤設備的便攜設備(750)，所述跟蹤設備(700)包括至少-第一成像單元(200),用來獲取所述眼睛100的圖像(201), -至少一個照明單元(300 )，用來提供第一基本上校準的光束 (LB1 )以及第二基本上校準的光束(LB2)，所述校準的光束(LB1， LB2)具有相對於所述設備(700)的不同的方向，使得當從所述眼睛 (100)的表面反射光時，所述第一校準的光束(LB1 )提供第一反射 斑點(Gl),以及當從所述眼睛(100)的表面反射光時，所述第二 校準的光束(LB1)提供第二反射斑點(G2)，所述反射斑點(Gl、 G2)呈現在所述圖像(210)中，以及-數據處理單元(600),用來基於所述圖像(201)中所述第一 反射斑點(Gl)的位置，基於所述圖像(201)中所述第二反射斑點 (G2)的位置，基於所述圖像(201 )中所述眼睛(100)的瞳孔(120) 和/或虹膜(110)的位置，以及基於所述校準的光束(LB1， LB2) 的方向，確定所述眼睛100相對於所述跟蹤設備(700)的視線方向 U3， P3)。
27. 根據權利要求26所述的便攜設備(750),進一步包括無線 通信能力。
28. —種基於系統提供的數據用於確定眼睛(100)的視線方向 (a3, (33)的電腦程式產品，所述系統包括-第一成像單元(200),用來獲取所述眼睛(100)的圖像(201),以及-照明裝置，用來提供第一基本上校準的光束(LB1)以及第二 基本上校準的光束(LB2),所述校準的光束(LB1, LB2)具有相 對於所述成像單元(200)的不同的方向，使得當從所述眼睛(100) 的表面反射光時，所述第一校準的光束(LB1)提供第一反射斑點 (Gl),以及當從所述眼睛(100)的表面反射光時，所述第二校準 的光束(LB1)提供第二反射斑點(G2)，所述反射斑點(Gl、 G2) 呈現在所述圖像(201 )中，所述電腦程式產品包括存儲在可讀介質中的電腦程式代碼 段，當由處理器(600)執行時，其用於基於所述圖像(201 )中所述 第一反射斑點(Gl)的位置、基於所述圖像(201)中所述第二反射 斑點(G2)的位置、基於所述圖像(201 )中所述眼睛(100)的瞳孔 (120)和/或虹膜(110)的位置、以及基於所述校準的光束(LB1、 LB2)的方向，確定所述眼睛(100)相對於所述成像單元(200)的 視線方向(a3， (33)。
29.根據權利要求28所述的電腦程式產品，其中所述計算機代 碼段是用於-基於所述兩個反射斑點(Gl、 G2)的坐標，確定眼睛(100) 的表面上的第一反射點(N)的角位置和第二反射點(M)的角位置，畫基於所述校準的光束(LB1、 LB2)的方向和第一矢量(CN) 和第二矢量(CM)的方向，確定所述第一反射點(N)的第一表面法 線(Nl)和所述第二反射點(M)的第二表面法線(N2)，由所述 成像單元(200)的投影中心(C)和所述第一反射點(N)指定所述 第一矢量(CN),以及由所述成像單元(200)的投影中心(C)和 所述第二反射點(M)指定所述第二矢量(CM)，-確定第三矢量(GH),其基本上垂直於所述表面法線(Nl, N2)，-確定所述第一矢量(CN)、第二矢量(CM)和第三矢量(GH) 的長度，曙由在所述第三矢量(GH)上的點(O)近似估計眼睛中心的位 置，所述點優選地是所述第三矢量(GH)的中點，-基於所述圖像(201)中的瞳孔和/或虹膜的坐標確定第四矢量 (CP)的方向，所述第四矢量(CP)是由所述成像單元(200)的投 影中心(C)和瞳孔中心(P)所指定的，-確定瞳孔中心(P)的位置，以及-基於所述近似估計的眼睛中心(0)和所述瞳孔中心(P)的位 置，提供所述視線方向(a3, |33)。
全文摘要
將兩個校準的光束(LB1、LB2)瞄準眼睛(100)來提供兩個反射斑點(G1、G2)。有利地，通過衍射擴束器(400)提供校準的光束(LB1、LB2)。由成像單元(200)監視眼睛(100)的反射斑點(G1、G2)和瞳孔(120)。校準的光束(LB1、LB2)相對於成像單元(200)處在不同的角(α1、α2)。基於所述角(α1、α2)、反射斑點(G1、G2)的位置、以及瞳孔(120)的位置來確定視線方向(α3)。由於使用兩個校準的光束(LB1、LB2)，所檢測的視線方向基本上獨立於眼睛(100)的尺寸，獨立於眼睛(100)的橫向位置，也獨立於在成像單元(200)和眼睛(100)之間的距離(L2)。可使用所檢測的視角，在虛擬顯示器(500)顯示的選項之間進行選擇。
文檔編號G06F3/00GK101336089SQ200680051822
公開日2008年12月31日 申請日期2006年1月26日 優先權日2006年1月26日
發明者V·尼默拉 申請人:諾基亞公司