用於包括傳感器集成電路的頭戴式顯示器的位置跟蹤系統的製作方法
2024-04-15 02:46:05 3
用於包括傳感器集成電路的頭戴式顯示器的位置跟蹤系統
1.本技術是申請日為2019年1月17日、申請號201980008361.1、發明名稱為「用於包括傳感器集成電路的頭戴式顯示器的位置跟蹤系統」的分案申請。
技術領域
2.本公開總體涉及用於頭戴式顯示器的位置跟蹤。
背景技術：
3.當前一代的虛擬實境(「vr」)或增強現實(「ar」)體驗使用頭戴式顯示器(「hmd」)創建，頭戴式顯示器可連接至固定計算機(諸如個人計算機(「pc」)、膝上型計算機或遊戲控制臺)、可與智慧型電話和/或其相關聯的顯示器組合和/或集成，或者可以是獨立的。通常，hmd是穿戴在用戶的頭部上的顯示設備，該顯示設備在一隻眼睛(單目hmd)或每隻眼睛(雙目hmd)的前面具有小的顯示設備。顯示單元通常是小型化的，並且可包括例如crt、lcd、矽上液晶(lcos)或oled技術。雙目hmd具有向每隻眼睛顯示不同圖像的潛力。該功能用於顯示立體圖像。
4.隨著智慧型電話、高畫質電視以及其它電子設備的發展，對具有更高性能的顯示器的需求也在增加。虛擬實境系統和增強現實系統(特別是那些使用hmd的系統)的日益普及進一步增加了這種需求。虛擬實境系統通常完全包圍穿戴者的眼睛並用「虛擬」現實替代穿戴者面前的實際或物理視圖(或實際現實)，而增強現實系統通常在穿戴者的眼睛前面提供一個或多個屏幕的半透明或透明覆蓋，使得實際視圖通過附加信息得到增強，並且介導現實系統可類似地向觀看者呈現信息，將現實世界元素與虛擬元素結合在一起。在許多虛擬實境系統和增強現實系統中，可通過各種方式(諸如經由頭戴式顯示器中和/或在頭戴式顯示器外部的傳感器)來跟蹤這種頭戴式顯示器的穿戴者的移動，以使得所示出的圖像能夠反映用戶的移動。
5.位置跟蹤允許hmd估計其相對於其周圍環境的位置。位置跟蹤可利用硬體和軟體的組合來實現hmd的絕對位置的檢測。位置跟蹤是ar系統或vr系統的重要技術，它可以以六個自由度(6dof)去跟蹤hmd(和/或控制器或其它外圍設備)的移動。
6.位置跟蹤技術可用於更改用戶的視點，以反映不同的動作(例如跳躍或蹲伏)，並可允許在虛擬環境中準確表示用戶的手和其它對象。位置跟蹤還可通過例如使用手位置通過觸摸來移動虛擬對象來增加物理環境與虛擬環境之間的連接。由於視差，位置跟蹤差改善了用戶對虛擬環境的3d感知，從而有助於距離的感知。另外，位置跟蹤可幫助最大程度地減少因眼睛觀察到的輸入與用戶的耳朵前庭系統感覺到的輸入之間的斷開而導致的暈動症。
7.有不同的位置跟蹤方法。這樣的方法可包括聲學跟蹤、慣性跟蹤、磁跟蹤、光學跟蹤、它們的組合等。
技術實現要素：
8.頭戴式顯示器可概括為包括：支承結構，可穿戴在用戶的頭部上；相機，由支承結構承載，在操作中，相機以第一幀速率在相機視場中捕獲圖像傳感器數據；多個光學流量傳感器集成電路(ic)，由支承結構承載，在操作中，多個光學流量傳感器ic中的每一個以第二幀速率在相應的多個傳感器ic視場中捕獲圖像傳感器數據，傳感器ic視場比相機視場窄，以及第二幀速率大於第一幀速率；至少一個非暫時性處理器可讀存儲介質，存儲處理器可執行指令或數據中的至少一個；以及至少一個處理器，操作地聯接至相機、多個光學流量傳感器ic和至少一個非暫時性處理器可讀存儲介質，在操作中，至少一個處理器：從相機和多個光學流量傳感器ic接收圖像傳感器數據；處理所接收的圖像傳感器數據；以及至少部分地基於對所接收的圖像傳感器數據的處理，跟蹤頭戴式顯示器的位置。至少一個處理器可融合來自相機和多個光學流量傳感器ic的圖像傳感器數據以跟蹤頭戴式顯示器的位置。
9.頭戴式顯示器還可包括：慣性測量單元(imu)傳感器，操作地聯接至至少一個處理器，其中，在操作中，至少一個處理器：從imu傳感器接收imu傳感器數據；處理imu傳感器數據以及從相機和多個光學流量傳感器ic所接收的圖像傳感器數據；以及至少部分地基於對所接收的imu傳感器數據和所接收的圖像傳感器數據的處理，跟蹤頭戴式顯示器的位置。多個光學流量傳感器ic中的每一個可包括單個裸片，裸片上具有圖像感測電路和圖像處理電路。第一幀速率可小於或等於每秒100幀，以及第二幀速率可大於或等於每秒1000幀。至少一個處理器可處理所接收的圖像傳感器數據，以檢測在頭戴式顯示器操作的環境中存在的一個或多個特徵。傳感器ic視場中的每個視場可與相機視場的一部分重疊。至少一個處理器可將傳感器ic視場與相機視場配準。相機視場可大於100度。
10.頭戴式顯示器還可包括第一顯示子系統和第二顯示子系統，第一顯示子系統和第二顯示子系統各自為用戶的一隻眼睛提供顯示，其中，在操作中，至少一個處理器經由第一顯示子系統和第二顯示子系統選擇性地呈現從相機獲得的圖像。
11.操作頭戴式顯示器的方法，頭戴式顯示器包括可穿戴在用戶的頭部上的支承結構，由支承結構承載的相機以及由支承結構承載的多個光學流量傳感器集成電路(ic)，該方法可概括為包括：經由相機以第一幀速率在相機視場中捕獲圖像傳感器數據；經由多個光學流量傳感器ic以第二幀速率在相應的多個傳感器ic視場中捕獲圖像傳感器數據，傳感器ic視場比相機視場窄，以及第二幀速率大於第一幀速率；通過至少一個處理器從相機和多個光學流量傳感器ic接收圖像傳感器數據；通過至少一個處理器處理所接收的圖像傳感器數據；以及通過至少一個處理器至少部分地基於對所接收的圖像傳感器數據的處理，跟蹤頭戴式顯示器的位置。處理所接收的圖像傳感器數據可包括融合來自相機和多個光學流量傳感器ic的圖像傳感器數據以跟蹤頭戴式顯示器的位置。
12.頭戴式顯示器可包括操作地聯接至至少一個處理器的慣性測量單元(imu)傳感器，以及還可包括：通過至少一個處理器從imu傳感器接收imu傳感器數據；通過至少一個處理器處理imu傳感器數據以及從相機和多個光學流量傳感器ic接收的圖像傳感器數據；以及通過至少一個處理器至少部分地基於對所接收的imu傳感器數據和所接收的圖像傳感器數據的處理，跟蹤頭戴式顯示器的位置。
13.經由多個光學流量傳感器ic捕獲圖像傳感器數據可包括經由多個光學流量傳感器ic捕獲圖像傳感器數據，每個光學流量傳感器ic包括其上具有圖像感測電路和圖像處理
電路單個裸片。以第一幀速率在相機視場中捕獲圖像傳感器數據可包括以小於或等於每秒100幀的第一幀速率在相機視場中捕獲圖像傳感器數據，以及以第二幀速率在傳感器ic視場中捕獲圖像傳感器數據可包括以大於或等於每秒1000幀的第二幀率在傳感器ic視場中捕獲圖像傳感器數據。處理所接收的圖像傳感器數據可包括處理所接收的圖像傳感器數據以檢測在頭戴式顯示器操作的環境中存在的一個或多個特徵。傳感器ic視場中的每個視場可與相機視場的一部分重疊。處理所接收的圖像傳感器數據可包括將傳感器ic視場與相機視場配準。相機視場可大於100度。
14.頭戴式顯示器還可包括第一顯示子系統和第二顯示子系統，第一顯示子系統和第二顯示子系統各自為用戶的一隻眼睛提供顯示，以及該方法還可包括經由第一顯示子系統和第二顯示子系統選擇性地呈現從相機獲得的圖像。
附圖說明
15.在附圖中，相同的附圖標記表示相似的元件或動作。附圖中元件的尺寸和相對位置不一定按比例繪製。例如，各種元件的形狀和角度不一定按比例繪製，並且這些元件中的一些可任意地放大和定位以提高附圖易讀性。此外，所繪製的元件的特定形狀不一定旨在傳達關於特定元件的實際形狀的任何信息，並且可能僅僅是為了便於在附圖中識別而選擇的。
16.圖1示出了根據本公開的示例實施方式的包括雙目顯示子系統、前置相機和多個傳感器集成電路的頭戴式顯示系統的俯視圖。
17.圖2是根據本公開的示例實施方式的包括雙目顯示子系統、前置相機和多個傳感器集成電路的頭戴式顯示系統的主視圖。
18.圖3是根據本公開的示例實施方式的圖2中所示的頭戴式顯示系統的俯視圖。
19.圖4是根據本公開的示例實施方式的頭戴式顯示系統的示意性框圖。
20.圖5是根據本公開的示例實施方式的用於操作頭戴式顯示系統的位置跟蹤系統以在使用期間跟蹤頭戴式顯示系統的位置、方向和/或移動的方法的流程圖。
具體實施方式
21.在以下描述中，闡述了某些具體細節，以提供對各種公開的實施例的透徹理解。然而，相關領域的技術人員將認識到，可以在沒有這些具體細節中的一個或多個的情況下，或者在其它方法、部件、材料等的情況下實踐實施例。在其它實例下，未示出或詳細描述與計算機系統、伺服器計算機和/或通信網絡相關聯的眾所周知的結構，以避免不必要地模糊實施例的描述。
22.除非上下文另有要求，否則在整個說明書和所附的權利要求書中，詞語「包括」與「包含」同義，並且是包含性的或開放性的(即，不排除附加的、未列舉的元件或方法動作)。
23.在整個說明書中，對「一個實施例」或「實施例」的引用意指結合實施例描述的特定特徵、結構或特性包括在至少一個實施例中。因此，出現在說明書全文各處的短語「在一個實施例中」或「在實施例中」不一定都指的是相同的實施例。此外，特定特徵、結構或特性可以以任何適當的方式結合在一個或多個實施例中。
24.如在本說明書和所附權利要求書中所使用的，除非上下文另有明確指示，否則單
數形式的「一」、「一個」和「該」包括複數指代物。還應注意，除非上下文另有明確指示，否則術語「或」通常以其包括「和/或」的含義使用。
25.本文中提供的公開內容的標題和摘要僅為方便起見，並不解釋實施例的範圍或意義。
26.本公開的一個或多個實施例涉及用於在由hmd的穿戴者使用期間準確跟蹤頭戴式顯示器(hmd)的位置的系統和方法。在至少一些實施例中，hmd包括支承結構，該支承結構承載面向前相機(「前向相機」或「前置相機」)和多個光學流量傳感器集成電路(ic)或「傳感器ic」。前向相機以第一幀速率(例如，30hz、90hz)在前向相機視場中捕獲圖像傳感器數據。多個傳感器ic中的每一個以第二幀速率(例如，1000hz、2000hz)在相應的多個傳感器ic視場中捕獲圖像傳感器數據。在至少一些實施例中，傳感器ic視場可以比前向相機視場窄。例如，前向相機可具有90
°
、120
°
或150
°
的相對較寬的前向相機視場，並且傳感器ic中的每一個可具有15
°
、30
°
、45
°
等相對較窄的傳感器ic視場。在至少一些實施例中，傳感器ic視場可共同地覆蓋前向相機視場的至少大部分，並且傳感器ic視場中的每一個視場與前向相機視場的不同部分重疊。
27.在操作中，操作地聯接至前向相機和多個傳感器ic的至少一個處理器可從相機和多個光學流量傳感器ic接收圖像傳感器數據。至少一個處理器可以處理所接收的圖像傳感器數據以至少部分地基於對所接收的圖像傳感器數據的處理來跟蹤頭戴式顯示器的位置。例如，至少一個處理器可融合來自前向相機和多個傳感器ic的傳感器數據，以跟蹤環境中存在的一個或多個特徵。在至少一些實施例中，圖像傳感器數據可與來自其它傳感器的傳感器數據融合，例如來自hmd的慣性測量單元(imu)的傳感器數據。下面參考附圖詳細討論本公開的實施例的各種特徵。
28.圖1是包括一對近眼顯示系統102和104的hmd系統100的簡化俯視圖。近眼顯示系統102和104分別包括顯示器106和108(例如oled微型顯示器)，以及各自具有一個或多個光學透鏡的相應光學透鏡系統110和112。顯示系統102和104可被安裝到支承結構或包括前部116、左鏡腿118和右鏡腿120的框架114或其它安裝結構。兩個顯示系統102和104可以以眼鏡布置固定至框架114，該眼鏡布置可以穿戴在穿戴用戶124的頭部122上。左鏡腿118和右鏡腿120可分別地放置在用戶的耳朵126和128上，而鼻子組件(未示出)可放置在用戶的鼻子130上。框架114的形狀和大小可設置成將兩個光學系統110和112中的每一個分別定位在用戶的眼睛132和134之一的前方。雖然出於說明目的以類似於眼鏡的簡化方式示出了框架114，但是應當理解，實際上，可以使用更複雜的結構(例如，護目鏡、一體式頭帶、頭盔、條帶等)來將顯示系統102和104支承和定位在用戶124的頭部122上。
29.圖1的hmd系統100能夠例如經由諸如以每秒30幀(或圖像)或每秒90幀的顯示速率呈現的相應視頻向用戶124呈現虛擬實境顯示，而類似系統的其它實施方式可向用戶124呈現增強的現實顯示。顯示器106和108中的每一個可產生光，該光分別通過相應的光學系統110和112透射並聚焦在用戶124的眼睛132和134上。儘管此處未示出，但每隻眼睛都包括瞳孔，光可通過瞳孔進入眼睛，其中典型的瞳孔尺寸範圍從非常明亮的條件下的直徑2mm(毫米)到黑暗條件下的最大直徑8毫米，而包含瞳孔的較大虹膜的大小可以約為12mm，當眼球繞其中心(導致瞳孔可在其中移動的三維空間)旋轉時，瞳孔(和周圍的虹膜)通常可在睜開的眼瞼下在眼睛的可見部分內沿水平和/或垂直方向上移動幾毫米，這還將使瞳孔從光學
透鏡或顯示器的其它物理元件移動到不同深度，以用於不同的水平和垂直位置。進入用戶的瞳孔的光被用戶124視為圖像和/或視頻。在一些實施例中，光學系統110和112中的每一個與用戶的眼睛132和134之間的距離可相對較短(例如，小於30mm、小於20mm)，因為光學系統和顯示系統的重量相對靠近用戶的臉部，這有利於使hmd系統100對用戶顯得更輕，並且還可為用戶提供更大的視場。
30.hmd系統100還可包括後向或前向相機136。前向相機136可操作地捕獲圖像數據，該圖像數據例如可在增強的現實應用中或結合虛擬實境應用中被選擇性地呈現給用戶124。如下面進一步討論的，附加地或可替代地，前向相機136可由hmd系統100的位置跟蹤系統用來在使用期間跟蹤hmd系統100的位置。作為示例，前向相機136可包括攝像機和相關的透鏡系統，該透鏡系統在具有相對廣角(例如，60
°
、90
°
、120
°
、150
°
)的前置相機視場中以幀速率(例如，30hz、60hz、90hz)捕獲圖像。
31.hmd系統100還可包括多個(示出的六個)光學流量傳感器ic138a至138f(統稱為「光學ic 138」)。例如，傳感器ic 138中的每一個可與在光學滑鼠中使用的傳感器ic相似或相同。通常，光學流量是由觀察者(例如，傳感器ic)和場景之間的相對運動引起的視覺場景中的對象、表面和邊緣的視在運動的模式。傳感器ic 138可利用光學流量數據來提供對hmd系統100的跟蹤。
32.在至少一些實施例中，傳感器ic 138中的每一個可以是能夠測量光學流量或視覺運動並能夠基於光學流量輸出測量結果的視覺傳感器。傳感器ic 138可具有各種配置。一個示例配置是圖像傳感器晶片，圖像傳感器晶片連接至被編程為運行光學流量算法的處理器。另一個示例配置可使用視覺晶片，該視覺晶片可以是在同一裸片上具有圖像傳感器和處理電路兩者的集成電路，從而允許實現緊湊。在至少一些實施例中，可使用模擬或混合信號電路來實施處理電路，以使用最小的電流消耗來實現快速的光學流量計算。傳感器ic中的每一個可包括光電材料的光電傳感器陣列(例如，互補金屬氧化物半導體(cmos))以形成像素陣列，諸如16
×
16像素、32
×
32像素等。此外，傳感器ic 138中的每一個可包括相關聯的透鏡系統，以實現期望的光學特徵(例如，fov)。如上所述，與前向相機136的幀速率(例如，30hz、90hz)相比，傳感器ic 138中的每一個可具有相對較高的幀速率(例如，大於1000hz)。
33.儘管在圖1中未示出，但是這種hmd系統的一些實施方式可包括各種附加的內部和/或外部傳感器，例如，以對每隻眼睛132和134分別執行瞳孔跟蹤，以跟蹤頭部的位置和方向(例如，作為頭部跟蹤的一部分)，以跟蹤用戶的身體的各種其它類型的移動和位置，其它相機以記錄外部圖像(例如，環境的圖像)等。
34.此外，儘管所描述的技術可在一些實施方式中使用與圖1所示的顯示系統相似的顯示系統，但是在其它實施方式中，可使用包括單個光學透鏡和顯示設備、或者多個此類光學透鏡和顯示設備的其它類型的顯示系統。其它此類設備的非排它性示例包括相機、望遠鏡、顯微鏡、雙筒望遠鏡、探視鏡、測量鏡等。另外，所描述的技術可與發光以形成圖像的各種各樣的顯示面板或其它顯示設備一起使用，一個或多個用戶通過一個或多個光學透鏡觀看該圖像。在其它實施方式中，用戶可通過一個或多個光學透鏡觀看以不同於經由顯示面板(例如在部分或全部反射來自另一光源的光的表面上)的方式產生的一個或多個圖像。
35.圖2示出了當穿戴在用戶202的頭部上時的示例hmd系統200的主視圖。圖3示出了
hmd系統200的俯視圖，示出了hmd系統200的一些部件的示例視場210和212。hmd系統200包括支承結構204，該支承結構204支承前置面向或前向相機206和多個傳感器ic208a至208n(統稱為208)。前向相機206和傳感器ic 208可分別與以上參考圖1討論的前向相機136和傳感器ic 138相似或相同。傳感器ic 208的特定數量可比圖中描述的傳感器ic的數量更少或更多。
36.如圖所示，前向相機206和傳感器ic 208被引導向前朝向用戶202在其中操作hmd系統200的場景或環境214(圖3)。環境214可在其中包括一個或多個對象213(示出了一個)，該對象可包括牆壁、天花板、家具、樓梯、汽車、樹木、跟蹤標記或任何其它類型的對象。
37.出於說明目的，圖3中僅示出了傳感器ic 208a、ic 208d、ic 208j和ic 208l。如圖所示，前向相機206包括具有fov角207(例如，60
°
、90
°
、120
°
、150
°
)的前向相機fov 210。如圖所示，傳感器ic 208a、208d、208j和208l中的每一個具有相應的傳感器ic fov 212a、212d、212j和212l(統稱為212)，其具有相應的fov角209a、209d、209j和209l(統稱為209)。在至少一些實施例中，傳感器ic 208的fov角209比前向相機206的fov角207窄。例如，在至少一些實施例中，傳感器ic 208的fov 212可共同地覆蓋前向相機206的fov 210的至少大部分，其中fov 212中的每一個覆蓋fov 210的不同部分。
38.hmd系統200還可包括由支承結構204承載的慣性測量單元(imu)216。imu 216可以是結合使用加速度計和陀螺儀以及可選地磁力計來測量和報告hmd系統200的比力、角速率和/或hmd系統周圍的磁場的電子設備。相對於前向相機206，imu 216可具有相對較高的更新或報告速率(例如，每秒500、每秒1000)。
39.在操作中，hmd系統200可融合或以其它方式組合來自前向相機206、傳感器ic 208和可選地imu 216的數據，以在用戶202操作期間跟蹤hmd系統200的位置。作為示例，前向相機200可具有基本上低於傳感器ic 208的第二幀速率(例如，1000hz、2000hz)的第一幀速率(例如，60hz)。hmd系統200可將光學ic 208的相應fov212與前向相機206的較寬的fov 210配準，以在前向相機206的所有或基本上所有的fov 210上提供高帶寬特徵跟蹤。可選地，hmd系統200還可融合來自imu 216的傳感器數據，以進一步改善hmd系統的位置跟蹤。如上所述，像傳感器ic一樣，imu 216也可具有相對較高的帶寬或更新速率。因此，使用傳感器ic或imu 216，可在來自前向相機206的圖像傳感器數據的幀之間生成位置數據，這提供了更高的精確位置跟蹤。
40.在至少一些實施例中，前向相機206、傳感器ic 208和/或imu 216可與一個或多個基站或其它技術(例如，標記)結合使用以跟蹤hmd系統200的位置。作為示例，這些部件可與valve公司開發的基站結合使用。更普遍地，本文討論的特徵可與美國專利申請公開第2014/0267667號、美國專利申請公開第2016/0124502號、美國專利申請公開第2016/0131761號、美國專利申請公開第2016/0124502號或美國專利申請公開第2017/0249019號中討論的任何系統和方法一起使用或組合，這些美國專利申請的內容通過引用以其整體併入本文中。
41.前向相機206、傳感器ic 208和/或imu 216可用於確定hmd系統200的位置相對於環境216如何改變。當hmd系統200移動時，傳感器206、208和216重新調整hmd系統200在環境214中的位置，並且虛擬環境可實時響應。相機206和傳感器ic 208觀察周圍環境214的特徵。當使用標記(例如，原始形狀、代碼、有源基站)時，可將這樣的標記設計為易於被跟蹤系
統檢測並放置在特定區域中。利用無標記跟蹤，可以跟蹤通常存在於環境214中的獨特特性或特徵，以實時確定hmd系統200的位置、方向和運動。例如，hmd系統200可利用識別特定圖像、形狀或特徵的一種或多種算法，並可使用它們來計算hmd系統在空間中的位置、方向和/或移動。如上所述，來自imu214或其它傳感器的數據也可用於增加hmd系統200的位置跟蹤的精度。
42.圖4示出了根據本公開的一個或多個實施例的hmd系統400的示意性框圖。hmd系統400可與以上討論的hmd系統100和200相似或相同。因此，以上關於hmd系統100和200的討論也可應用於hmd系統400。
43.hmd系統400包括處理器402、前置面向或前向相機404、多個傳感器ic 406、並可選地包括imu 407。hmd系統400可包括顯示子系統408(例如，兩個顯示器和相應的光學系統)。hmd系統400還可包括非暫時性數據存儲器410，非暫時性數據存儲器410可存儲用於位置跟蹤412的指令或數據、用於顯示功能414(例如，遊戲)的指令或數據、和/或其它程序416。
44.hmd系統400還可包括各種i/o部件418，i/o部件418可包括一個或多個用戶接口(例如，按鈕、觸摸板、揚聲器)、一個或多個有線或無線通信接口等。作為示例，i/o部件418可包括允許hmd系統400通過有線或無線通信鏈路422與外部設備420通信的通信接口。作為非限制性示例，外部設備420可包括主機、伺服器、行動裝置(例如，智慧型電話、可穿戴計算機)等。hmd系統400的各種部件可被容納在單個殼體(例如，圖2和圖3的支承結構202)中、可被容納在單獨的殼體(例如，主機)中、或者它們的任意組合。
45.將理解的是，所示的計算系統和設備僅是說明性的，並未旨在限制本公開的範圍。例如，hmd 400和/或外部設備420可連接至未示出的其它設備，包括通過諸如網際網路的一個或多個網絡或經由web。更普遍地，這樣的計算系統或設備可包括可交互並執行所描述的功能類型的硬體的任何組合，例如當用適當的軟體編程或以其它方式配置時，包括但不限於臺式計算機、膝上型計算機、平板觸摸計算機、平板計算機或其它計算機、智慧型電話計算設備和其它蜂窩電話、網際網路設備、pda和其它電子管理器、資料庫伺服器、網絡存儲設備和其它網絡設備、無線電話、尋呼機、基於電視的系統(例如，使用機頂盒和/或個人/數字錄像機和/或遊戲機和/或媒體伺服器)、以及包括適當的內部通信功能的各種其它消費產品。例如，在至少一些實施方式中，示出的系統400和420可包括可執行的軟體指令和/或數據結構，當可執行的軟體指令和/或數據結構被加載和/或執行在特定的計算系統或設備上時，可被用來對這些系統或設備進行編程或以其它方式配置，例如以配置那些系統或設備的處理器。替代地，在其它實施方式中，軟體系統中的一些或全部可在另一設備上的內存中執行，並且經由計算機間通信與所示的計算系統/設備進行通信。另外，儘管示出了各種項目在不同時間(例如，在使用時)存儲在內存中或存儲在存儲器上，但是出於內存管理和/或數據完整性的目的，這些項目或它們的一部分可在內存和存儲器之間和/或在存儲設備之間(例如，在不同位置處)轉移。
46.因此，在至少一些實施方式中，示出的系統是包括軟體指令的基於軟體的系統，在由處理器和/或其它處理器裝置執行軟體指令時，對處理器進行編程以自動執行該系統的所描述的操作。此外，在一些實施方式中，系統的一些或全部可以以其它方式實現或提供，例如至少部分地以固件和/或硬體方式，包括但不限於一個或多個專用集成電路(asic)、標準集成電路、控制器(例如，通過執行適當的指令，並包括微控制器和/或嵌入式控制器)、現
場可編程門陣列(fpga)、複雜可編程邏輯器件(cpld)等。系統或數據結構的一些或全部也可存儲(例如，作為軟體指令內容或結構化數據內容)在非暫時性計算機可讀的存儲介質上，例如硬碟或快閃記憶體驅動器或其它非易失性存儲設備、易失性或非易失性內存(例如ram)、網絡存儲設備或可攜式媒體產品(例如，dvd盤、cd盤、光碟、快閃記憶體設備等)，以通過適當的驅動器或經由適當的連接來讀取。在一些實施方式中，系統、模塊和數據結構也可作為生成的數據信號(例如，作為載波的一部分或其它模擬或數字傳播信號)在各種計算機可讀傳輸介質(包括基於無線和基於有線/電纜的介質)上傳輸，並且可採用多種形式(例如，作為單路或多路復用的模擬信號的一部分，或者作為多個離散數字包或幀)。在其它實施方式中，這樣的電腦程式產品也可採用其它形式。因此，本公開可與其它計算機系統配置一起實踐。
47.圖5是用於操作hmd系統以在使用期間跟蹤其位置的示例方法500的流程圖。方法500可由諸如圖4所示的hmd系統400的位置跟蹤系統或模塊412執行。
48.方法500的圖示實現從動作502開始，在動作502處提供了具有前置面向相機和多個傳感器ic的hmd系統。前置相機可以以第一幀速率在前置相機視場中捕獲圖像傳感器數據。例如，多個傳感器ic可操作以檢測光學流量。在操作中，多個傳感器ic中的每一個以第二幀速率在相應的多個傳感器ic視場中捕獲圖像傳感器數據。在至少一些實施例中，傳感器ic視場比前置相機視場窄，並且傳感器ic的第二幀速率大於前置相機的第一幀速率。例如，在至少一些實施例中，第一幀速率小於或等於每秒100幀，並且第二幀速率大於或等於每秒1000幀。在至少一些實施例中，傳感器ic視場中的每一個視場與前置相機視場的一部分重疊，從而多個傳感器ic視場共同覆蓋的前置相機視場的至少大部分(例如，50％、80％、90％、100％)。在至少一些實施例中，傳感器ic中的每一個可包括其上具有圖像感測電路和圖像處理電路單個裸片。
49.在504處，與hmd系統相關聯的至少一個處理器可從前置相機和多個傳感器ic接收傳感器數據。作為示例，至少一個處理器可以以較低的第一速率從前置相機接收傳感器數據，並且可以以較高的第二速率從多個傳感器ic接收傳感器數據。
50.在506處，與hmd系統相關聯的至少一個處理器可以可選地從慣性測量單元(imu)接收傳感器數據，該慣性測量單元操作地以提供慣性跟蹤能力。
51.在508處，與hmd系統相關聯的至少一個處理器可以處理所接收的傳感器數據。例如，至少一個處理器可以將傳感器數據中的一些或全部融合在一起，以跟蹤在操作hmd系統的環境中存在的一個或多個特徵。傳感器數據可包括來自前置相機的傳感器數據、來自多個傳感器ic中的至少一個的傳感器數據、以及可選地來自imu的傳感器數據。
52.在510處，與hmd系統相關聯的至少一個處理器可在環境中用戶使用hmd系統期間實時跟蹤hmd系統的位置、方向和/或移動。如上所述，方法500可繼續在hmd的操作期間以連續地跟蹤hmd系統的位置、方向和/或移動。
53.前述詳細描述已經通過使用框圖、示意圖和示例闡述了設備和/或過程的各種實施例。只要此類框圖、示意圖和示例包含一個或多個功能和/或操作，本領域技術人員將理解，此類框圖、流程圖或示例內的每個功能和/或操作可通過廣泛的硬體、軟體、固件或其實質上的任何組合來單獨地和/或共同地實現。在一個實施例中，本主題可經由專用集成電路(asic)來實現。然而，本領域技術人員將認識到，本文公開的實施例可全部或部分地等效地在標準集成電路中作為在一個或多個計算機上運行的一個或多個電腦程式(例如，作為
在一個或多個計算機系統上運行的一個或多個程序)、作為在一個或多個控制器(例如，微控制器)上運行的一個或多個程序、作為在一個或多個處理器(例如，微處理器)上運行的一個或多個程序、作為固件或實質上其任何組合來實現，並且根據本公開，設計電路和/或編寫軟體和/或固件的代碼將完全在本領域普通技術人員的技能範圍內。
54.本領域技術人員將認識到，本文闡述的許多方法或算法可採用附加動作、可省略一些動作和/或可以以與指定順序不同的順序執行動作。
55.另外，本領域技術人員將理解，本文所教導的機制能夠以各種形式作為程序產品來分發，並且示例性實施例同樣適用，而與實際用於執行分發的信號承載介質的特定類型無關。信號承載介質的示例包括但不限於以下內容：可記錄類型的介質，例如軟盤、硬碟驅動器、cd rom、數字磁帶和計算機內存。
56.可將上述各種實施例組合以提供進一步的實施例。在不與本文的特定教導和定義相牴觸的範圍內，本說明書中提及的所有美國專利、美國專利申請公開、美國專利申請、外國專利、外國專利申請和非專利出版物，包括於2018年1月18日提交的第62/618,928號美國臨時專利申請通過引用以它們的整體併入本文中。如果需要，可以修改實施例的各個方面，以採用各種專利、申請和出版物的系統、電路和概念來提供進一步的實施例。
57.可根據上述詳細描述對實施例進行這些和其它改變。通常，在所附權利要求書中，所使用的術語不應解釋為將權利要求書限制為說明書和權利要求書中公開的特定實施例，而應解釋為包括所有可能的實施例以及這些權利要求書所享有的等同的全部範圍。因此，權利要求不受公開內容的限制。