用於頭戴式顯示器的集成雙傳感光學結構的製作方法

2023-05-06 16:06:31

用於頭戴式顯示器的集成雙傳感光學結構的製作方法
【專利摘要】本發明披露了一種雙傳感光學系統，其能夠傳輸信號用於眼睛和物體更跟蹤和/或檢測，和/或能夠傳輸可見光到用戶眼睛，能夠傳輸非可見光用於眼動跟蹤和物體檢測和/或跟蹤。
【專利說明】用於頭戴式顯示器的集成雙傳感光學結構
【【技術領域】】
[0001]本發明涉及頭戴式顯示器，特別涉及雙傳感光學結構的頭戴式顯示器。
【【背景技術】】
[0002]頭戴式顯示器(HMD)是一種頭部佩戴式設備，能夠在用戶眼前的眼鏡鏡片上或屏幕上顯示圖像。有些HMD是非透視式的，因此用戶看不到他或她的周圍環境。其他有一些HMD可允許用戶看到全部的周圍環境或部分景色。例如，GOOGLE GLASS CR〕是一種類似於一副眼鏡的HMD設備，其眼鏡框內內置有一計算裝置，還包括一光學結構以引導可見光進入用戶的眼睛，以顯示各種信息。HMD設備諸如G00GLEGLASS?向用戶提供了一種可佩戴的計算裝置，能夠提供可見的覆蓋(overlay)，同時允許用戶觀看他或她的周圍環境。隨著設計者們要推出更薄、更小、和/或更輕的HMD設備，方便用戶交互的挑戰就變得更加重要，而且所述用戶交互既要不顯眼(例如，不需要用戶說出命令、物理觸摸按鈕和/或HMD設備的表面、和/或不提供可聽形式的信息給用戶等)又要準確。另外，要製作有這樣功能的、尺寸又足夠小到可以佩戴的HMD設備，也是一種挑戰。
【【專利附圖】

【附圖說明】】
[0003]將參照以下描述非限制性和非窮盡的實施例，其中相同的附圖標記指代相同的部分，除非另有規定進行說明。
[0004]圖1顯不一個實施例的雙傳感光學系統的方框不意圖。 [0005]圖2顯不一個實施例的雙傳感光學系統的方框不意圖。
[0006]圖3顯不一個實施例的雙傳感光學系統的兀件。
[0007]圖4顯不另一個實施例的雙傳感光學系統的兀件。
[0008]圖5顯不一個實施例的雙傳感光學系統的不例功能。
[0009]圖6顯不一個實施例的雙傳感光學系統的不例功能。
[0010]圖7顯示一個實施例的雙傳感光學系統的示例性眼動跟蹤功能。
[0011]圖8顯示一個實施例的雙傳感光學系統的示例性物體跟蹤功能。
[0012]圖9顯示一個實施例的跟蹤眼球運動的示例性方法。
[0013]圖10顯示一個實施例的跟蹤物體運動的示例性方法。
[0014]圖11顯不一個實施例的雙傳感光學系統的不例性功能方法。
【【具體實施方式】】
[0015]在以下詳細描述中陳述了許多具體細節，以對本發明主題有全面的了解。然而，所屬領域的技術人員將了解，可在沒有這些具體細節的情況下實踐本發明主題。在其它例子中，未詳細描述一般技術人員已知曉的方法、設備或系統，以免混淆本發明主題。
[0016]在整個說明書中，「一個實施例」或「一實施例」是指結合特定實施例而描述的特定特徵、結構或特性可包含在本發明主題的至少一個實施例中。因此，短語「在一個實施例中」或「一實施例」出現在整個此說明書中各個地方不一定意在指代同一實施例或所描述的任一特定實施例。此外，應了解，可在一個或一個以上實施例中以各種方式來組合所描述的特定特徵、結構或特性。當然，一般來說，這些和其它問題可隨用途的具體情形而變化。因此，描述的具體情形或者這些術語的用途可提供關於將對所述情形得出的推論的有益的指導。
[0017]圖1是本發明一個實施例的雙傳感光學系統100的方框不意圖。該雙傳感光學系統100包括一個雙傳感光學裝置112。雙傳感光學裝置112包括處理器102、傳感器104、和發射器106。處理器102、傳感器104、以及發射器106可以發送和/或接收信號。例如，處理器102能夠從雙傳感光學裝置112的其它部件和/或模塊接收的電信號，例如，這些部件和/或模塊可以發送電信號，包括指令，由處理器102去執行。處理器102也可以發送電信號到雙傳感光學裝置112的其他部件和/或模塊，如傳感器104和發射器106。在一個實施例中，傳感器104和發射器106被設置為發送信號到一傳輸路徑和/或從一傳輸路徑接收信號。例如，如果該傳輸路徑是一光傳輸路徑，那麼傳感器104和發射器106可以被設置為從該傳輸路徑接收光信號和/或發送光信號到該傳輸路徑。一種情況是，發送的或接收的光信號可以是一個特定波長範圍的電磁福射，例如可見光。
[0018]傳輸路徑也可以連接到或安排得與用戶眼睛108相關。在傳輸路徑上信號是一定波長範圍的可見光電磁輻射的情況下，眼睛108能夠在眼睛108的視網膜上接收該電磁輻射，使得用戶可以看到該電磁輻射。這種可見光傳輸可以允許用戶看到諸如一個用戶界面覆蓋(overlay)、一個圖像或其它這樣的可見的光表現。例如，該可見光可被配置成不阻止用戶去看他或她的周圍環境，這會在下文更詳細地進行說明。傳輸路徑上的信號還可以包括可見光波長範圍外的電磁福射。例如，信號可以包括紅外(IR)光波長的電磁福射。如果該信號包括紅外光，那麼紅外光可以做到的功能如眼動跟蹤(eye tracking)等等。例如，發射的紅外光可以反射回眼睛108的結構，通過傳輸路徑的傳輸，由傳感器104感測和/或捕獲。傳輸路徑能夠同時支持可見光和紅外光，和/或同時支持眼動跟蹤和目標檢測/跟蹤，這樣可提供的好處包括減小相關系統的尺寸、重量和複雜性，通過利用一個與檢測/跟蹤相關的功能計算(如物體檢測)用於另一個計算(如眼動追蹤)而降低計算需求，並方便校正和校準等。當然，以上描述僅僅是本發明支持的可能功能的示例。本領域普通技術人員將容易理解，本發明可以包括其他用途和功能。
[0019]傳輸路徑也可以連接到或安排得與一個物體110相關。物體110可以是用戶的手、觸筆或其他物體。經由傳輸路徑傳輸並和物體110相關的信號可以有以下功能，如物體檢測和/或跟蹤等等。例如，紅外光在傳輸路徑上行進到達物體110。傳輸的紅外光可被物體110反射回，反射光可被傳感器104感測和/或捕獲。
[0020]本領域普通技術人員將理解，發射器106可以是任何形式的能夠發射電磁輻射的發射器。雖然只通過一個單獨的方塊來表示，但是發射器106可以包括多個單獨的發射器，每一個都被配置為發射期望波長範圍、強度、和極性的電磁輻射。例如，在一個實施例中，雙傳感光學系統可包括兩個發射器(未不出)，例如，一個發射器被設置為發射可見光如LED,一個發射器被配置為發射紅外光。因此，本發明包括任何合適數量和類型的發射器106，以發射所需波長、強度、及極性的電磁輻射。
[0021]而且，傳感器104可包括任何適當類型或形式的傳感器，其被配置為從所述傳輸路徑接收和/或捕獲電磁輻射。例如，在一個實施例中，傳感器104可包括一個或多個單元，被設置成捕獲不同波長的IR光。在一個實施例中，傳感器104可包括一個或多個電荷耦合器件(CXD)、CMOS成像器，這僅僅是提供幾個例子。
[0022]在運行中，處理器102可以接收一個或多個信號。作為例子，所接收的信號可包括非臨時性計算機可讀指令。一種情況是，可以接收多個信號，所述多個信號包含能夠實現用戶界面、圖形覆蓋(graphical overlay)、物體檢測模式、和/或眼動跟蹤模式等的非臨時性計算機可讀指令。處理器102可以處理接收到的信號，並傳輸處理後的信號到發射器106和/或傳感器104。發射器106可從處理器102接收處理後的信號，並可發射電磁福射沿光傳輸路逕行進。例如，在一個實施例中，發射器106被配置以將處理後的信號轉換和/或變換為電磁福射，如包括可見光和紅外光。一種情況是，發射器106從處理器102接收的處理後的信號包括圖形覆蓋、眼動跟蹤、物體檢測/跟蹤的信號。在這種情況下，發射器106發射電磁輻射包括第一波長範圍的可見光以實現圖形覆蓋、第二波長範圍的紅外光以實現眼動跟蹤、以及第三波長範圍的紅外光以實現物體檢測/跟蹤。在另一個實施例中，發射器106可發射可見光波長範圍的電磁輻射，和非可見光波長範圍的電磁輻射。在這種情況下，發射的可見光波長範圍的電磁輻射可以實現圖形覆蓋。此外，發射的非可見光波長範圍的電磁輻射可以進一步根據波長、極性、強度、和/或時間序列被細分。例如，能夠實現眼動跟蹤的相應非可見光波長範圍的電磁輻射可以被隔離在相應非可見光波長範圍內的一個指定的子部分，可以被分配給一個指定的極性、一個指定的強度、和/或一個指定的時間序列。此夕卜，能夠實現物體跟蹤/檢測的相應非可見光波長範圍的電磁輻射可以被隔離在相應非可見光波長範圍內的一個指定的子部分，可以被分配給一個指定的極性、一個指定的強度、和/或一個指定的時間序列，以方便分離和/或分開用於眼動跟蹤的電磁輻射和用於物體跟蹤/檢測的電磁輻射。
[0023]在運行中，包括可見光波長的電磁輻射和包括非可見光(如IR光)波長的電磁輻射可以組合的方式都在傳輸路徑上輸送。因此，包括可見光和非可見光的電磁輻射可共同沿著傳輸路逕行進。因此，包含一個圖像的要發射到眼睛108的可見光可以和用於眼動跟蹤和物體110跟蹤/檢測的紅外光一起，沿著傳輸路徑傳送。所傳送的紅外光可被眼睛108和對象110反射回，穿過傳輸路徑，並被傳感器104感測和/或接收。在一個實施例中，傳感器104可以被設置以將接收到的光轉換和/或變換成電信號，然後被發送到處理器102進行處理。
[0024]圖2是雙傳感光學裝置212的元件和組件的方框示意圖。在一個實施例中，雙傳感光學裝置212可包括一個HMD。如圖1所討論的，雙傳感光學裝置212可包括處理器202、傳感器204、和一個發射器206。雙傳感光學裝置212還可以包括其它元件和部件，包括存儲器214、I/O模塊216、接口 218、以及控制器220等。處理器202、傳感器204、發射器206、存儲器214、I/O模塊216、接口 218和控制器220可全部經由總線222連接。
[0025]處理器202可以包括任何合適的處理模塊，可以是任何配置成處理信號的硬體和/或軟體組合。處理器可以獨立於控制器220，也可以是控制器220的一部分，或者控制器220是處理器202的一部分。處理器202可從雙傳感光學裝置212的其他組件和元件以非臨時性計算機可讀指令的形式接收信號，並發送信號到雙傳感光學裝置212的其他組件和元件。在一個實施例中，接收/發送的信號可以包括電信號、光信號、以及電磁輻射等等。
[0026]存儲器214可以是任何合適形式的存儲器，如短期和長期存儲模塊。在一個實施例中，存儲器214是RAM。在另一個實施例中，存儲器214是有磁碟或磁碟的硬碟驅動器。存儲器214也可以是電阻式存儲器、快閃記憶體、或能夠存儲比特(包括非短暫性計算機可讀指令和數據)的任何其它合適形式的存儲器。當然，存儲器214可以是能夠存儲數據的任何合適形式的存儲器。
[0027]I/O 216可以是能夠實現雙傳感光學裝置212輸入/輸出的任何合適的模塊。例如，I/O 216可以是實現雙傳感光學裝置212輸入和輸出相關功能的硬體和/或軟體組合。一種情況是，I/O 216可被配置成便於與各種I/O組件和元件相互通信如交換信號，例如與照相機、顯示器、揚聲器、麥克風、或觸摸板等通信連接。
[0028]接口 218可以是與用戶、設備和/或雙傳感光學裝置212其他模塊的接口相關的任何合適的模塊。例如，接口 218可以是便於與用戶交互的硬體和/或軟體的組合。在一個實施例中，接口 218可傳送和接收數據，這些數據包括和/或可以配置成使用戶可以交互的一個圖形用戶界面。在另一個實施例中，接口 218可以便於雙傳感光學裝置212與外部設備進行通信。例如，接口 218可以發送通信信號到雙傳感光學裝置212的外部設備和/或從雙傳感光學裝置212的外部設備接收通信信號。
[0029]控制器220可以是硬體、軟體、及其任何合適的組合。控制器220可以是能夠改變信號特性的一個模塊，所述信號包括但不限於包括可見光和/或紅外光波長範圍的電磁輻射。如上面關於處理器202的相關討論，控制器220可以獨立於處理器202運作，或可以與其聯合運作。例如，在一個實施例中，控制器220可以與處理器202、傳感器204、發射器206一起聯合運作，用於眼動跟蹤和物體檢測/跟蹤等。控制器220也可以控制或管理信號，使圖形覆蓋信號傳送到用戶的眼睛等。例如，控制器200能夠跟蹤眼球的位置和/或檢測/跟蹤物體(如用戶的手或手指)，並相應調整電磁輻射發送到用戶。當然，用於控制器220前面的和其它的功能可以由任何元件或部件來執行，控制器220可以被更廣義地認為是助於雙傳感光學裝置212運行的硬體和軟體的象徵性表示。
[0030]總線222能夠傳送數據到傳感器204、發射器206、控制器220、處理器202、存儲器214、I/O 216和接口 218，並從傳感器204、發射器206、控制器220、處理器202、存儲器214、I/O 216和接口 218接收數據，同時還傳送數據到雙傳感光學裝置212的外部設備和模塊。[0031 ] 在運行中，一個或多個信號可以沿著總線222傳輸。例如，用於實現用戶界面、眼動跟蹤、和/或物體檢測/跟蹤的一個或多個信號可以沿總線222傳送。例如，包括非臨時性計算機可讀指令的信號可從存儲器214沿總線222傳輸到處理器202，在處理器202中實施指令。作為響應，信號可通過總線222傳輸到控制器220，用於雙傳感光學裝置212的控制和功能實施。信號可以經由總線222傳輸至I/O 216，用於雙傳感光學裝置212的輸入/輸出。例如，一個或多個信號可以被傳送到雙傳感光學裝置212的相機模塊或無線收發器。信號也可以通過總線222傳輸到接口 218，用於用戶接口操作或功能。
[0032]在一個實施例中，一個或多個信號可從處理器202傳送到發射器206。發射器206可包括硬體和/或軟體，配置以發射電磁輻射，沿光傳輸路徑如圖1所示的光傳輸路徑，傳送到用戶的眼睛，用於顯示一個圖像覆蓋和/或眼動跟蹤，還可以傳送到另一個區域用於物體檢測/跟蹤。電磁輻射從用戶的眼睛和從物體(如手或手指)反射回，通過傳輸路徑傳輸，由傳感器204接收。傳感器204可以捕獲所接收的電磁輻射，所述接收的電磁輻射包括用戶眼睛的一個或多個圖像，以便於實現眼動跟蹤，還包括物體(如用戶的手)的一個或多個圖像，以便於實現物體檢測/跟蹤。所捕獲的電磁輻射可以被轉換或變換成信號並通過總線222發送到處理器202進行處理。
[0033]圖3顯不另一實施例的雙傳感光學系統300。在一個實施例中，雙傳感光學系統300包括一個或多個發射器306a和306b。例如，發射器面306a能夠發射第一波長範圍的電磁福射350a，第一波長範圍的電磁福射可以是可見光。電磁福射350a進入光學部件338，通過第一分光器324b、第二分光器324c,被反射鏡328反射,然後被第二分光器324轉向，因而到達眼308。如本文所用的，光學部件諸如光學部件338，可包括適於電磁輻射傳播的任何材料，包括但不限於玻璃、塑料、甚至空氣。在一個實施例中，光學部件338可以包括一個或多個表面，如表面341。至少一種情況是，表面341可以有塗層，其能夠允許特定波長的電磁輻射通過，但是反射其它波長的電磁輻射。如本文所用的，分光器可以包括任何能夠將電磁輻射分開或分隔的轉化成部分和/或重新引導電磁輻射的裝置。在一個實施例中，其中電磁輻射件350a可以包括可見光，眼308可接收電磁輻射350a並允許用戶看到一個圖形覆蓋或其他可見光。
[0034]發射器306b能夠發射第二波長範圍的電磁輻射350b，第二波長範圍的電磁輻射可以是IR光。為便於參考，發射器306b和電磁輻射350b、350c、350d、350e、以及反射圖案330a和330b在圖3中由虛線所示，表示與紅外光相關聯，將它們與關於可見光的圖形元素區分開來。電磁福射350b通過紅外分光器324a和一個透鏡兀件326,然後被第一分光器324b轉向。第二分光器324c將電磁福射350b拆分成第一部分350c和第二部分350d。第二分光器324c將電磁福射350b的第一部分350c轉向，朝向一指定區域,構成一檢測圖案(detection pattern)330b。在一個實施例中，檢測圖案330b是用於物體(如用戶的手指或手)的檢測和/或跟蹤的。第二分光器324c允許電磁輻射350b的第二部分350d穿過它並被反射鏡328反射，然後第二分光器324c將第二部分350d轉向，朝向眼308，形成檢測圖案330a。在一個實施例中，檢測圖案330a可以用於眼球308的跟蹤。
[0035]從檢測圖案330a和330b的光被反射回，經過第二分光器324c、第一分光器324b、透鏡元件326和紅外光分光器324a而朝向傳感器304。從檢測圖案330a和330b反射的光可以由電磁輻射350e表示，包括從眼睛308或一個物體反射的電磁輻射，並包括電磁輻射350b、第一部分350c、和/或第二部分350d。值得注意的是，雙傳感光學系統300是一個集成光學系統，使得用於眼動跟蹤的電磁輻射和用於物體檢測/跟蹤的電磁輻射都沿同一傳輸路徑傳輸，並且沿著同一傳輸路徑的電磁福射還包括可見光。
[0036]在運行時，電磁輻射350a包括含有圖形覆蓋或圖形顯示的可見光，由發射器306a發射。電磁福射350a可以與電磁福射350b組合,沿著同一傳輸路徑，至少一種情況是，沿著光學部件338至少一部分長度行進。在一個實施例中，在光學部件338的一個或多個表面如表面341上有塗層,這會有助於電磁福射的傳輸和/或反射，將在以下詳細描述。電磁福射350a經過第一分光器324b和第二分光器324c。然後電磁福射350a被反射器328和第二分光器324c引導朝向眼308，其中電磁輻射350a會影響的視網膜(未示出)，用戶看到一個圖形覆蓋和/或圖形顯示。同時，電磁輻射350b包括紅外光，經過紅外分光器324a、透鏡兀件326,然後被第一分光器324b轉向。電磁福射件350b因此與電磁福射350a組合。然後電磁福射件350b被第二分光器324c分成兩部分:第一部分350c和第二部分350d。在一個實施例中，在光學部件338的一個或多個表面如表面341上有塗層，這會有助於第二部分350d朝向眼睛308傳輸。也可以選擇塗層以減少第二部分350d波長以外的電磁輻射的傳輸。電磁輻射350b的第一部分350c可朝向一個區域傳輸，以實現物體檢測和/或跟蹤。在一個實例中，第一部分350c可傳送到用戶視野前面的一個區域，以檢測用戶的手並跟蹤其運動。例如，電磁輻射件350a可以對應於一個包含「是」與「否」按鈕的圖形覆蓋並反射到眼睛308。配合這個可見光，用戶可以移動他或她的手到他感知「是」與「否」按鈕的那個區域，然後嘗試與之交互。在這個例子中，電磁輻射350b的第一部分350c可以包括檢測圖案330b用於檢測和/或跟蹤用戶的手。第一部分350c的電磁輻射可被反射回來，分別通過第二、第一和IR分光器324c、324b、324a，到達傳感器304以記錄用戶手的運動。
[0037]在一個實施例中，電磁輻射350b的第二部分350d被引向眼睛308，以實現眼動跟蹤功能等。例如，第二部分350d可以使配置的檢測圖案330a跟蹤眼睛308的運動。舉個例子，雙傳感光學系統300可被配置使用眼動跟蹤來增強功能。例如，可以使用眼動跟蹤來協助雙傳感光學系統300確定用戶應該集中他或她的注意力在哪裡(相對於潛在視野)，等等。從眼睛308反射回的光，包括至少一部分的第二部分350d，然後經由傳輸路徑被引導到傳感器304。在光學部件338的一個或多個表面如表面341上有塗層，如上面所討論的，能夠減少第二部分350d波長之外的電磁輻射，在至少一個實施例中，這會增加雙傳感光學系統300的信噪比。上述雙傳感光學系統300的功能和結構僅用於說明的目的。它不應該被理解成具有限制性的意義。進一步地，本發明包括許多與本文公開概念和原理一致的其它結構和運行原理。
[0038]圖4是一個實施例的雙傳感光學系統400。對本領域的普通技術人員而言，很顯然，雙傳感光學系統400類似於圖3所示的和以上所述的雙傳感光學系統300，雖然並不是完全一樣。因此，許多前述討論的都與雙傳感光學系統400的討論相關。
[0039]雙傳感光學系統400包括一個或多個發射器,如發射器406a和406b。發射器406b被配置為發射紅外光波長範圍的電磁輻射450b，並經過一個光學元件如透鏡元件426b。例如，電磁輻射450b可以是紅外光。當然，也可使用其他波長範圍的電磁輻射。類似於前面圖3中的討論，為了便於讀者參考，使用虛線來突出紅外光以及紅外光元件。發射器406a被配置為發出可見光波長範圍的電磁輻射450a。在一個例子中，電磁輻射450a經過一個透鏡元件426a。在一個實施例中，電磁輻射450a被第一分光器424b引導到反射屏幕432並被反射回，然後通過第一分光器424b朝向第二分光器424c。電磁福射450a可沿光學部件438的至少一部分長度傳播。在一個實施例中，光學部件438可以包括一個或多個表面如表面441。電磁輻射450a和450b可以沿著傳輸路徑組合，然後被引導到眼408、用於眼動跟蹤的檢測圖案430a和用於物體檢測/跟蹤的檢測圖案430b。雙傳感光學系統400也可以被配置為使得電磁輻射從檢測圖案430a和430b反射回來，沿著相同的傳輸路徑，朝向傳感器404行進。紅外分光器424a、第一分光器424b、第二分光器424c、和反射鏡428可以被安排和配置為組合、拆分和/或導向電磁輻射，如包括電磁輻射450a和450b。例如，在一個實施例中，紅外分光器424a可以被配置以允許給定波長的電磁輻射穿過，但是重新引導電磁輻射450e (包括從電磁輻射450b反射的電磁輻射)朝向傳感器404。第一分光器424b可以被布置和配置為組合電磁輻射450a和450b。第一分光器424b也可以被配置成轉向電磁輻射450b和450e。第二分光器424c可以被安排和配置為將電磁輻射450b分成第一部分450和第二部分450d。第二分光器424c可引導第一部分450c實現檢測圖案430b，並且還可以引導第二部分450d實現檢測圖案430a。反射鏡428可以反射電磁輻射450a和電磁輻射450b的第二部分450d回到第二分光器424c，然後朝向眼睛408。當然，第二分光器424c和反射鏡428也可以被安排和配置為組合併引導從檢測圖案430a和430b反射回的電磁福射(如電磁福射450e)朝向第一分光器424b、紅外分光器424a,最後到達傳感器404。在一個實施例中，在光學部件438的一個或多個表面如表面441上有塗層,如上面所討論的,這能減少第二部分450d波長以外的電磁輻射，在至少一個實施例中，這能增加雙傳感光學系統400的信噪比。
[0040]在運行中，雙傳感光學系統400的功能類似於上面關於雙傳感光學系統300的討論。例如，電磁輻射450a和450b可以由發射器406a和406b發送，並且可以在行進路徑上被組合、導向和/或分拆，朝向眼睛408和物體(未示出)。電磁輻射如電磁輻射450b，可以被配置為提供一個用於眼動跟蹤的檢測圖案430a和一個用於物體檢測/跟蹤的檢測圖案430b。電磁輻射450e可以被反射回至傳感器404，傳感器404可以被配置為將所接收的電磁輻射450e轉換和/或變換成信號進行處理，等等。前述旨在說明結構和功能，不適合於被理解為限制性的意義。一個本領域的普通技術人員應當理解，在此討論的原理應當包含與前述示例性實施例相關的但沒有直接討論的結構和/或功能。
[0041]圖5顯示如上面討論的雙傳感光學顯示系統的可能的功能。例如，可見光被用戶的眼睛508接收。顯示覆蓋540是用來說明用戶由接收到的可見光而感受到的一個圖形覆蓋。當然，本發明不僅考慮了圖形覆蓋如覆蓋540，還考慮了非透視HMD系統，其中用戶不能看到他或她的周圍環境。返回到圖5所示的例子，用戶周圍環境包括一個結構場景545如有建築物和樹木等等。如果眼睛508接收到可見光的顯示覆蓋540，用戶仍然可以看到場景545。例如，一種情況是，顯示覆蓋540可以提示用戶拍攝場景545的圖像，並可以提示用戶確認該圖像拍攝。當然，圖像拍攝可以由雙傳感光學系統的物理操作來執行，如觸摸HMD的一部分。然而，本發明還涵蓋檢測和/或跟蹤物體，如用戶的手510。在此示例中，用戶可以移動手510到用戶視野內的一個區域上，其中顯示有顯示覆蓋540的一個指定按鈕或交互元素。因此，用戶有這樣的感覺，一個按鈕或其他交互元素浮在他或她的視野內，移動手如手510，朝向按鈕，用戶可以與之進行交互(如觸摸按鈕或交互元素)。
[0042]此外，當用戶移動眼球時，雙傳感光學系統的眼動追蹤功能可以跟蹤眼球508。可以各種方式來使用眼動跟蹤功能，以提供不同功能給HMD。例如，如果一個給定的HMD包括上述雙傳感光學結構，那麼該HMD就可以配置使用眼動跟蹤和物體檢測/跟蹤，實現HMD的各種功能。在一個實施例中，眼動跟蹤可以與HMD的相機一起使用，以確定眼睛508的焦點。因此，例如，在軍事方面，HMD的眼動跟蹤功能可以提供一個可縮放顯示(zoomed display)給用戶。在這個例子中，士兵可以在他或她的周圍移動他或她的焦點，而HMD和相關的攝像頭就提供聚焦區域的放大視圖。用戶還可以與HMD交互，例如使用他或她的手來增加或減少放大倍數。相關的功能還有夜視和/或與熱量檢測相關的功能，可以通過HMD提供給用戶。在民用消費方面，含有雙傳感光學系統的HMD允許用戶移動他或她的焦點到他或她視野內的不同的物體上，然後從HMD接收關於所述物體的實時反饋，並且還可以與顯示覆蓋如顯示覆蓋540互動。例如，本發明的具有雙傳感光學系統的HMD，可以允許遊客眼睛聚焦在一個遠處的地標上，簡單地移動手指，接收該地標的實時信息，其中包括如何到達該地標的一步步的方向。關於眼動追蹤的功能和使用的詳細討論在此不再贅述。但是，本領域普通技術人員將理解，通過上述討論和以下進一步的實例能夠實現的可能的功能和用途。
[0043]圖6顯示用戶使用一個包含雙傳感光學系統的HMD，如何在用戶視野內感知一個關於物體的顯不覆蓋640。在這個例子中，發射器606發射可見光電磁福射。發射的可見光被用戶的眼睛接收，讓用戶感覺到有一個圖形顯示在用戶視野內。但是，發射器606 (或者該雙傳感光學系統的其它發射器)也可以發射不可見光的電磁福射如紅外光。該HMD可以被配置使用發射的紅外光來檢測眼球的運動，以檢測和/或跟蹤物體。例如，如果用戶正在看如圖6的一個城市的高樓大廈，那麼顯示覆蓋層640就顯示用戶視野的一個給定部分。在一個實施例中，顯示覆蓋640可以是點陣或其它合適形式的低解析度，這有助於降低功耗。
[0044]由用戶眼睛接收到並看得見的可見光，可以是包括任何形式的，並且可以是不透明的或部分透明的。例如，在一個實施例中，包含本發明雙傳感光學系統的HMD有一個最小的圖形顯示。在這個例子中，HMD可以被配置為不顯示任何內容，或僅顯示小圖標，圖標可以部分隱藏，直到用戶請求才完整顯示。例如，在一個實施例中，包含有雙傳感光學系統的HMD顯示最低限度的信息，如一個指示電池電量的圖標和/或一個或多個通知圖標。但是，如果用戶希望了解更多信息，那麼用戶就朝視野內的一個特定區域移動他或她的手。在一個實施例中，用戶的手的移動可以被反射的IR光檢測到。因此，HMD可以被配置成檢測或跟蹤用戶的手並詮釋該移動，以提供附加信息到有電池電量和/或一個或多個通知圖標的圖形顯示中。一種情況是，用戶收到一個通知，有消息進入，那麼用戶就與該通知圖標進行交互來訪問進一步的信息。當然，與此處公開的原則一致，本領域普通技術人員應當理解，用戶還可以僅僅移動他或她的眼睛朝向該通知圖標，HMD能夠跟蹤該眼球運動並作出響應，提供更多的信息。例如，眼動跟蹤可以通過從所述用戶的眼睛接收反射的紅外光而實現。當然，前述僅僅是描述與本發明原理一致的結構和/或功能的說明性例子。本領域普通技術人員應當理解，本公開關於雙傳感光學系統的原理可以有任何數量的潛在結構和/或功能。
[0045]圖7顯不雙傳感光學系統的一個實施例的眼動跟蹤運行的一般原理。該運行原理可以通過雙傳感光學系統傳輸兩個或兩個以上波長範圍的電磁福射來實現。例如，雙傳感光學系統可發射可見光和紅外光的電磁福射。發射的電磁福射通過一個共同的傳輸路徑，可以傳播、可以組合、拆分，並引導到多個可能的期望目的地，包括但不限於，用戶的眼睛和一個物體檢測的區域，比如其中手部動作可以被檢測到。在一個實施例中，雙傳感光學系統可以發射非可見光如紅外光，朝向使用者的眼睛。發射光可被用戶眼睛反射回，經過雙傳感光學系統的共同的或集成的傳輸路徑，被一個傳感器接收到，如上所述。接收的信號可以使一個裝置如HMD確定用戶的眼睛虹膜的方位，因此可以跟蹤眼球的移動。當然，這僅僅是眼動跟蹤的一個示例。本發明也可考慮其他方法，包括跟蹤角膜反射如雙浦跟蹤，和基於眼內特徵如血管的跟蹤。
[0046]一旦眼球的方位確定了，包含雙傳感光學系統的所述裝置就可以確定眼球方位和一個給定視野之間的相關性。圖7包括一個網格來說明相關性。例如，位置「a」的眼球708對應於中心位置，如網格中心的點「a」所示。在方位「b」的眼球708對應於稍低於708 (a)中心位置的一個位置。在方位「c」的眼球708對應略高於中心位置的一個位置，如圖所示點「c」略高於點「a」。在方位「d」的眼球708對應中心位置略微偏左的一個位置，如圖所示的點「d」。在方位「e」的眼球708對應中心位置略微偏右的一個位置，如圖所示的點「e」。在此示例性系統中的網格包括81個交叉點，因此表明有81個可能的眼球方位。本領域普通技術人員可以容易地理解，本公開內容可以有任何靈敏度，並且可以通過本文所公開的雙傳感光學系統而實現，所述雙傳感光學系統的用於眼動跟蹤和用於物體跟蹤的電磁輻射沿一個共同的或集成的傳輸路徑傳輸。
[0047]參考前面的描述，圖8顯示包含雙向傳感光學系統的HMD裝置關於物體跟蹤和/或檢測的一般運行原理。如圖所示，一個或多個發射器806可經配置以發射可見光和非可見光的電磁福射。在一個實施例中，發射器806被配置成發射IR光。所發射的IR光可以提供一個覆蓋或圖案830。該圖案是不可見的，用戶的眼睛看不見，但包括可被圖案830內物體反射的電磁輻射。圖。圖8 (a)顯示一個實施例，其中圖案830沒有遇到一個物體。在本實施例中，IR光沒有被反射回並通過傳輸路逕到達傳感器。圖8 (b)顯示一個實施例，其中圖案830內有物體810。在該例子中，物體810是一隻手。紅外光被物體810反射回，提供一個或多個「圖像」。例如，根據本發明的裝置可以被配置成檢測人手手指的移動(如物體810)，如圖8 (b)所示。圖8 (c)顯示本發明可以有的功能，如物體跟蹤，以檢測物體810的移動。該功能可以用於檢測如捲動和雙指縮放等。其他相關功能可以通過分離物體810的特定部分的行為而實現。例如，如圖8 (d)所示，本公開的HMD可以被配置以發射圖案830，其能檢測多點觸摸功能，如圖所示物體810和圖案830內的兩個觸摸點。當然，上述僅僅是示例性的由雙傳感光學系統支持的可能的功能。
[0048]圖9顯示一個實施例的跟蹤眼球運動的方法900。在方法步驟905，一個傳感器接收反射光。例如，發射的IR光並從用戶眼睛反射回的可以被所述傳感器接收。在方法步驟910，傳感器還接收其他反射光。在步驟905和910接收的光可以包括從光源發出的在用戶眼球不同方位上反射回的IR光。例如，在步驟905中接收到的光可以是沿著與眼睛虹膜相關的一個軸而傳輸的反射IR光，而在步驟910中接收到的光可以是偏離該軸而傳輸的反射IR光。在這個例子中，接收的光可以產生一個包含亮瞳孔的圖像和一個包含暗瞳孔的圖像。在方法步驟915，減去這些圖像，以獲得適合於眼動跟蹤的一個圖像。在另一實施例中，為了得到適合於眼動跟蹤的圖像，可以對所接收的光執行各種操作，包括但不限於噪聲去除、圖像銳化和中心點檢測。
[0049]在方法步驟920，一旦得到一個適合於眼動跟蹤德圖像，就可以確定眼球位置。如上面所討論的，一旦眼球位置被確定，該位置就和一個點相關和/或映射到一個點。例如，如果用戶直接聚焦於視野內的一棵樹上，如上所述，HMD的眼動跟蹤系統就可以確定眼球的方位，就可以將眼球映射到用戶視野。在一個示例中，HMD可以隨後確定用戶聚焦於樹上。在任何情況下，HMD的後續功能在某種程度上都與所確定的眼球方位和到一個點的關聯/映射相關。
[0050]圖10顯示了物體檢測和/或跟蹤的方法1000。方法1000的描述僅僅是一個實施例的簡單例示方法。本領域普通技術人員可以容易地理解，本發明可允許其他的方法和功能。類似於方法900，在步驟1005，HMD的傳感器接收光。例如，HMD的發射器發射IR光電磁輻射。所發射的IR光可以形成一個圖案。形成圖案的光被一個物體反射回HMD的傳感器，然後被傳感器接收。
[0051]在步驟1010，接收到的光和一個物體、及其方位、及其位置等相關。例如，接收到的光和一個給定物體有關，如手或指標(pointer)。接收的光也可以和該物體的方位相關。例如，可以確定手的手指是指向上、指向下、和/或指向一側或另一側等等。物體的位置也可確定。例如，在一個示例實施例中，可確定該物體是在圖形覆蓋的第一位置上。
[0052]圖11顯示雙傳感光學系統的眼動跟蹤和物體檢測和/或跟蹤在一起的方法1100。在第一方法步驟1105,發射光電磁福射。發射光可以源自一個或多個獨立發射器或光源，可以包括可見光和非可見光。非可見光可以包括紅外光。在一個實施例中，在步驟1110，可以組合可見光和紅外光，沿著共同的或集成的傳輸路逕行進。例如，可以配置諸如玻璃、塑料、或空氣的材料，使可見光和紅外光沿著一個共同的或集成的傳輸路徑傳輸成為可能。
[0053]在方法步驟1115，組合光可以被拆分並導向到不同的目的地。例如，組合光的紅外部分可以被分成兩部分。第一部分被導向和配置提供一個用於物體檢測和/或跟蹤的圖案。紅外光的第二部分可被導向和配置提供一個用於眼動跟蹤的圖案。除了導向用於眼動跟蹤和物體檢測和/或跟蹤的紅外光，可見光也被導向用戶眼睛，以顯示圖形信息。將光導向物體和眼睛構成方法步驟1120。
[0054]在方法步驟1125，雙傳感光學系統確定是否已經接收到反射光。如果沒有，那麼在一個實施例中，該系統就循環回到方法步驟1125，直到檢測到有反射光。一旦檢測到反射光，在一個實施例中，就確定光的波長範圍。在這個例子中，第一波長範圍的紅外光可用於眼動跟蹤，而第二波長範圍的紅外光可用於物體檢測和/或跟蹤。在這個例子中，如果在方法步驟1130確定光是第一波長範圍的，那麼在方法步驟1135就捕獲光。如果檢測到的光不是第一波長範圍的，則在方法步驟1140，捕獲第二波長範圍的光。當然，本發明也可以有其它實現方式。例如，用於眼動跟蹤的紅外光可以是第一強度的，而用於物體檢測和/或跟蹤的紅外光可以是第二強度的。在這種情況下，可以使用與上面描述類似的步驟去捕獲光。在另一個例子中，用於眼動跟蹤的紅外光可以是第一極性，而用於物體檢測和/或跟蹤的紅外光可以是第二極性。在又一個實施例中，光的檢測也可以根據時序來交替。例如，在第一時間捕獲第一波長範圍的光。在第二時間捕獲第二波長範圍的光。該過程可以根據需要重複。當然，本發明也可以有包括多個感測單元用於同時捕獲反射光的實施例。當然，上述僅僅是用於說明目的，並無意限制本發明的可能實施。
[0055]在方法步驟1145，系統確定是否需要更新經由傳輸路徑傳輸的光。例如，如果確定用戶已經有動作而改變IR的反射，那麼就期望能重新運行IR檢測例程。因此，該方法返回到步驟1125去檢測反射光。但是，如果沒有更新需要，那麼該方法返回到步驟1105。本領域普通技術人員應當理解，可以組合前述方法而得到所需運行。他或她也應當明白，上述方法僅僅代表本文公開的雙傳感光學系統可能有的少數幾個運行方法。事實上，本發明可以包括能夠傳輸用於眼動跟蹤和物體檢測和/或跟蹤的信號的任何運行方法。本發明還可以包括能夠傳輸可見光和非可見光用於物體跟蹤和/或檢測的任何運行方法。
[0056]本領域技術人員將認識到，上述描述可能有無限數量的變化，這些實施例和附圖僅僅是為了說明一個或多個特定實施方式，是為了說明的目的。它們不因此意欲被限制性地理解。
[0057]如本文中所使用，術語「和」、「和/或」以及「或」可包含多種意義，所述意義至少部分地取決於所述術語所使用的上下文。通常，「和/或」以及「或」如果是用於使列表相關聯，那麼例如A、B或C意指A、B和C (此處按包含性意義使用)以及A、B或C (此處按排他性意義使用)。本說明書通篇所提及的「一個實施例」或「某些實施例」意指結合所述實施例描述的特定特徵、結構或特性包含在本發明主題的至少一個實施例中。因此，在本說明書通篇的各個地方出現的短語「在一個實施例中」或「某些實施例」未必完全指代同一實施例。此外，可將特定特徵、結構或特性組合在一個或多個實施例中。本文中所描述的實施例可包含使用數位訊號運作的機器、裝置、引擎或設備。此類信號可包括電子信號、光學信號、電磁信號或在位置之間提供信息的任一形式的能量。
[0058]儘管已經顯示和描述了示例實施例，但本領域技術人員可以理解，可以作出各種其它的修改，可以有等同物替代，而不會脫離要求保護的主題內容。此外，為了適應特定的情況，根據本發明主題的教示可以作出許多修改，而不會脫離本文中所描述的中心思想。因此，要求保護的主題並不限於所公開的具體實施例，但要求保護的主題也可以包括落在所附權利要求範圍之內的所有實施例及其等同物。
【權利要求】
1.一種裝置，包括: 一個用於紅外光和可見光的集成光學系統，其包括: 一個可見光源； 第一分光器，用於將來自所述可見光源的可見光和來自紅外光源的紅外光組合在一個單個傳輸路徑上； 第二分光器，(a)用於將所述可見光和所述紅外光的第一部分轉向到第一方向，到達用戶的眼睛，(b)用於將所述紅外光的第二部分轉向到第二方向，用於物體檢測，所述第二方向不同於所述第一方向； 紅外傳感器，其能夠感測到(a)從所述眼睛反射的所述紅外光的第一部分，以及(b)從所述物體反射的所述紅外光的第二部分。
2.如權利要求1所述的裝置，其中所述紅外光的第一部分與所述紅外光的第二部分有不同的(a)波長，(b)強度，(C)極性，或(d)時間序列。
3.如權利要求1所述的裝置，其中所述紅外光的第一部分與所述紅外光的第二部分，每個都能形成一個檢測圖案。
4.如權利要求3所述的裝置，其中所述紅外光的第一部分形成的所述檢測圖案用於眼動檢測。
5.如權利要求1所述的裝置，其中所述紅外傳感器能夠在第一時間捕獲所述紅外光的第一部分的所述反射，在第二時間捕獲所述紅外光的第二部分的所述反射。
6.如權利要求1所述的裝置，其中被導向的所述可見光包括一個圖案覆蓋。
7.如權利要求1所述的裝置，其中所述紅外光的第一部分和第二部分的所述反射通過所述單個傳輸路徑傳送到所述紅外傳感器。
8.一種方法，包括: 通過至少一個分光器將第一和第二波長範圍的光導向到用戶的眼睛，其中所述第一波長範圍的光包括可見光，所述第二波長範圍的光包括紅外光； 通過至少第一分光器將第三波長範圍的光導向，用於物體檢測和/或跟蹤，其中所述第三波長範圍的光包括紅外光； 組合所述第一、第二和第三波長範圍的光，沿著一個光傳輸路徑的軸線傳輸； 在一個光傳感器上接收從所述物體和所述用戶眼睛反射的光； 至少部分根據所述接收到的光，檢測物體； 使用所述第三波長範圍光的檢測圖案，實現與所述第一波長範圍光的交互元素之間的交互。
9.如權利要求8所述的方法，還包括:至少部分根據接收到的光，確定眼睛方位。
10.如權利要求9所述的方法，還包括將所述眼睛方位和視野中的一個點相關聯起來。
11.如權利要求8所述的方法，其中所述反射光的接收包括:至少部分基於所述第二波長範圍光，在第一時間接收反射光，至少部分基於所述第三波長範圍光，在第二時間接收反射光。
12.如權利 要求8所述的方法，其中所述導向第二和第三波長範圍光包括:根據所述第二波長範圍光關於所述第三波長範圍光，根據光的強度進行導向。
13.如權利要求8所述的方法，還包括:確定所述用戶眼睛的虹膜的方位； 將所述虹膜的方位和視野關聯起來。
14.如權利要求8所述的方法，其中所述檢測圖案的使用包括:檢測和/或跟蹤所述檢測圖案內的一個物體。
15.一種設備，包括: 一個集成光學系統，用於導向來自可見光源的可見光和來自紅外光源的紅外光，所述集成光學系統包括: 一個光學部件，其包括至少一個有塗層的表面，其中所述可見光和所述紅外光沿著所述光學部件的至少一部分傳輸； 一個或多個分光器，其能夠接收沿著一個共同傳輸路徑傳輸的所述可見光和所述紅外光，將所述紅外光拆分成第一部分和第二部分，將所述第一部分和所述可見光導向用戶眼睛，並導向所述第二部分用於物體檢測和/或跟蹤； 一個傳感器，其能夠捕獲從一個物體或所述眼睛反射回的紅外光。
16.如權利要求15所述的設備，其中所述塗層增加所述紅外光的至少第一部分的信噪比。
17.如權利要求15所述的設備，其中所述塗層降低往來所述用戶眼睛的所述紅外光第一部分波長之外的紅外光的傳輸。
18.如權利要求15所述的設備，其中所述反射的紅外光是至少部分基於所述紅外光的第一和第二部分的，所述傳感器能夠獨立地捕獲所述第一部分和所述第二部分。
19.如權利要求18所述的設備，其中所述第一部分和第二部分的捕獲是至少部分基於一個時間序列的。
20.如權利要求15所述的設備，其中所述第一部分和第二部分，每個都有一個檢測圖案。
【文檔編號】G02B27/10GK103792661SQ201410005451
【公開日】2014年5月14日 申請日期:2014年1月6日 優先權日:2013年12月20日
【發明者】陳建龍, 湯偉平 申請人:香港應用科技研究院有限公司