注視滑掃選擇的製作方法

2023-08-06 06:13:41

增強現實(AR)涉及提供經增強的現實世界環境，其中對現實世界環境(或表示現實世界環境的數據)的感知被用計算機生成的虛擬數據來增強或修改。例如，表示現實世界環境的數據可使用諸如相機或話筒等傳感輸入設備實時地捕捉，並用包括虛擬圖像和虛擬聲音的計算機生成的虛擬數據來增強。虛擬數據還可包括與現實世界環境有關的信息，諸如與現實世界環境中的現實世界對象相關聯的文本描述。一些AR環境內的對象可包括真實對象(即，存在於特定的現實世界環境中的對象)和虛擬對象(即，不存在於特定的現實世界環境中的對象)。

為了將虛擬對象逼真地集成到AR環境中，AR系統通常執行包括映射和本地化的若干任務。映射涉及生成現實世界環境的映射的過程。本地化涉及相對於現實世界環境的映射來定位特定的視角或姿態的過程。在一些情況下，AR系統可實時本地化在現實世界環境內移動的行動裝置的姿態，以便確定與該行動裝置相關聯的、需要隨該行動裝置在現實世界環境中移動而被增強的特定視圖。

概述

描述了用於在增強現實環境內實現對虛擬對象的免動手(hand-free)選擇的技術。在一些實施例中，對一個或多個虛擬對象的選擇可以使用與一個或多個虛擬對象的注視滑掃交互來控制。與虛擬對象的注視滑掃交互可涉及頭戴式顯示設備(HMD)的終端用戶執行由HMD跟蹤的頭部移動以檢測終端用戶控制的虛擬指針是否滑掃跨過(或切割通過)虛擬對象的兩條或更多條邊。在一些情形中，注視滑掃交互可包括注視滑掃姿勢，其中在HMD的終端用戶在注視虛擬對象的同時，終端用戶使用他們的頭部移動來將虛擬指針移動通過虛擬對象的兩條邊。響應於檢測到注視滑掃姿勢，HMD可基於注視滑掃姿勢的速度和注視滑掃姿勢執行通過的虛擬對象的大小來確定要被顯示在HMD上的第二虛擬對象。

提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述並非旨在標識出要求保護的主題的關鍵特徵或必要特徵，亦非旨在用作 輔助確定要求保護的主題的範圍。

附圖簡述

圖1是可在其中實施所公開的技術的聯網計算環境的一個實施例的框圖。

圖2A描繪了與第二行動裝置通信的行動裝置的一個實施例。

圖2B描繪了HMD的一部分的一個實施例。

圖2C描繪了HMD的一部分的一個實施例，其中延伸到凝視點的凝視向量用於對準遠瞳距(IPD)。

圖2D描繪了HMD的一部分的一個實施例，其中延伸到凝視點的凝視向量用於對準近瞳距(IPD)。

圖3A描繪了HMD的一部分的一個實施例，該HMD具有包括凝視檢測元件的可移動顯示光學系統。

圖3B描繪了HMD的一部分的一個替換實施例，該HMD具有包括凝視檢測元件的可移動顯示光學系統。

圖4A描繪了由查閱增強現實環境內的虛擬對象的終端用戶佩戴的HMD的一個實施例。

圖4B描繪了由查閱增強現實環境內的虛擬對象的終端用戶佩戴的HMD的一個實施例。

圖5A是描述用於選擇虛擬對象的方法的一個實施例的流程圖。

圖5B是描述用於選擇虛擬對象的方法的一個替換實施例的流程圖。

圖6是描述用於選擇虛擬對象的方法的一個實施例的流程圖。

圖7是行動裝置的一個實施例的框圖。

詳細描述

描述了用於在增強現實環境內實現虛擬對象的免動手(hand-free)選擇的技術。在一些實施例中，對一個或多個虛擬對象的選擇可以使用與一個或多個虛擬對象的注視滑掃交互來控制。與二維虛擬對象的注視滑掃交互可涉及頭戴式顯示設備(HMD)的終端用戶執行由HMD跟蹤的頭部移動以檢測終端用戶控制的虛擬指針是否滑掃跨過(或切割通過)虛擬對象的兩條或更多條邊。虛擬指針(例如，虛擬雷射指針或虛擬十字準線)可以被顯示給HMD的終端用戶並且可對應於從終端用戶頭部延伸的頭部鎖定的前向向量。在一些情形中，注視滑掃交互可包括注視滑 掃姿勢，其中在HMD的終端用戶注視虛擬對象的同時，終端用戶使用他們的頭部移動來將虛擬指針移動通過虛擬對象的兩條邊。響應於檢測到注視滑掃姿勢，HMD可基於注視滑掃姿勢的速度和注視滑掃姿勢執行通過的虛擬對象的大小來確定要被顯示在HMD上的第二虛擬對象。在檢測到注視滑掃姿勢之後，第二虛擬對象可被顯示在HMD上。

涉及HMD的終端用戶對虛擬對象的免動手選擇的一個問題在於由於虛擬對象的選擇區域和標識選擇準則可能佔據增強現實環境內的相同區域而導致檢測到假肯定選擇。例如，HMD的終端用戶可能在終端用戶閱讀包括文本(例如，虛擬符號)的同時無意地選擇包括該文本的虛擬對象。因而，存在防止在虛擬對象能夠使用免動手技術(諸如向HMD的終端用戶應用頭部跟蹤、眼部跟蹤和/或注視跟蹤的那些技術)選擇時對虛擬對象的誤選擇的需要。

在一個實施例中，增強現實環境可包括第一大小(例如，大虛擬對象)的第一虛擬對象集以及不同於第一大小的第二大小(例如，小虛擬對象)的第二虛擬對象集。因為虛擬對象的大小可能影響HMD的終端用戶有意地選擇虛擬對象的能力，所以第一虛擬對象集的第一虛擬對象可以使用第一注視滑掃姿勢來選擇，而第二虛擬對象集的第二虛擬對象可以使用不同於第一注視滑掃姿勢的第二注視滑掃姿勢來選擇。在一個示例中，第一注視滑掃姿勢可包括終端用戶使用頭部移動來將虛擬指針移動通過第一虛擬對象的邊的任何兩條邊(例如，虛擬指針可以用垂直方式或水平方式切割通過第一虛擬對象)。然而，為了選擇第二虛擬對象，第二注視滑掃姿勢可要求終端用戶執行附加運動。在一個示例中，第二注視滑掃姿勢可包括終端用戶使用頭部移動將虛擬指針以第一方向移動通過第二虛擬對象的突出顯示(或指定)的一對邊。在另一示例中，第二注視滑掃姿勢可包括終端用戶將虛擬指針以第一方向移動通過第二虛擬對象的突出顯示的一對邊，並且接著將虛擬指針以與第一方向相反的第二方向往回移動通過突出顯示的該對邊。在另一示例中，第二注視滑掃姿勢可包括終端用戶將虛擬指針移動通過第二虛擬對象的至少三條邊。

在一些情形中，虛擬對象可包括虛擬書籍、虛擬電視、虛擬web瀏覽器、或向HMD的終端用戶顯示內容的其它虛擬對象。虛擬對象可包括由多條邊界定的形狀。在一個示例中，形狀可包括正方形、四邊形或多邊形。為了執行第一選擇類型(例如，以移動到與虛擬電視相關聯的下一頻道或者移動到虛擬書籍的下一頁)， HMD的終端用戶可以執行第一注視滑掃姿勢，第一注視滑掃姿勢滑掃通過虛擬對象的第一條邊和第二條邊。為了執行不同於第一選擇類型的第二選擇類型(例如，以移動到與虛擬電視相關聯的前一頻道或者移動到虛擬書籍的前一頁)，HMD的終端用戶可以執行第二注視滑掃姿勢，第二注視滑掃姿勢滑掃通過虛擬對象的第一條邊和第三條邊。第二注視滑掃姿勢可對應於與第一注視滑掃姿勢所遍歷的一對邊不同的一對邊。在一些情形中，虛擬對象的第一對邊可以使用第一顏色(例如，橙色)來突出顯示以標識第一對邊，而虛擬對象的第二對邊可以使用第二顏色(例如，藍色)來突出顯示以標識第二對邊。與注視滑掃姿勢相關聯的方向性也可被用於確定對應的選擇類型。例如，終端用戶從左到右滑掃通過第一對邊可觸發第一選擇類型，而終端用戶從右到左滑掃通過第一對邊可觸發第二選擇類型。在一個示例中，虛擬對象可對應於虛擬web瀏覽器，而第一選擇類型可以將虛擬web瀏覽器往回移動到先前查看的網頁，而第二選擇類型可對應於打開新標籤頁。

在一個實施例中，注視滑掃姿勢可以切割通過兩個或更多個虛擬對象。多選擇注視滑掃姿勢可允許HMD的終端用戶在使用共同的注視滑掃姿勢的同時選擇多個虛擬對象。在一個示例中，虛擬對象可對應於用於存儲文檔和包括八個圖像的圖像的電子文件夾。為了選擇八個圖像中的三個圖像，終端用戶可以執行切割通過旨在被選擇的三個圖像的注視滑掃姿勢。注視滑掃姿勢可包括切割通過三個圖像的一個長注視滑掃運動。在另一示例中，虛擬對象可對應於虛擬電視。終端用戶可以執行第一注視滑掃姿勢以切割虛擬電視並且使得對應於終端用戶查看的最近八個電視頻道的八個選擇分段被顯示為八個虛擬對象。終端用戶可以執行切割通過八個虛擬對象中的兩個虛擬對象的注視滑掃姿勢，這導致虛擬電視顯示所選擇的兩個頻道(例如，使用畫中畫格式或並排格式)。在一些情形中，多個個體滑掃姿勢可被用於選擇一組備選對象中的每一備選對象。在此情形中，被錯誤選擇的對象可以使用取消選擇滑掃姿勢來被取消選擇(例如，用被用於初始地選擇被錯誤選擇的對象的相反方向來滑掃被錯誤選擇的對象)。

圖1是可在其中實施所公開的技術的聯網計算環境100的一個實施例的框圖。聯網計算環境100包括通過一個或多個網絡180互連的多個計算設備。所述一個或多個網絡180允許一特定計算設備連接到另一計算設備以及與其通信。所描繪的計算設備包括行動裝置11、行動裝置12、行動裝置19和伺服器15。在一些實施例 中，所述多個計算設備可以包括未示出的其他計算設備。在一些實施例中，所述多個計算設備可以包括比圖1所示的計算設備的數目更多或更少的計算設備。所述一個或多個網絡180可以包括諸如企業專用網絡之類的安全網絡、諸如無線開放式網絡之類的不安全網絡、區域網(LAN)、廣域網(WAN)、以及網際網路。所述一個或多個網絡180中的每個網絡可以包括集線器、網橋、路由器、交換機、以及有線傳輸介質，比如有線網絡或直接線連接。

可包括補充信息伺服器或應用伺服器的伺服器15可允許客戶端從該伺服器下載信息(例如，文本、音頻、圖像和視頻文件)或者執行與存儲在該伺服器上的特定信息相關的搜索查詢。一般而言，「伺服器」可以包括在客戶端-伺服器關係中充當主機的硬體設備、或者與一個或多個客戶端共享資源或為所述一個或多個客戶端執行工作的軟體過程。客戶端-伺服器關係下的計算設備之間的通信可以通過由客戶端向伺服器發送要求訪問特定資源或執行特定工作的請求來發起。伺服器隨後可以執行所請求的動作並且將響應發送回客戶端。

伺服器15的一個實施例包括網絡接口155、處理器156、存儲器157和翻譯器158，所有這些都彼此通信。網絡接口155允許伺服器15連接到一個或多個網絡180。網絡接口155可以包括無線網絡接口、數據機、和/或有線網絡接口。處理器156允許伺服器15執行存儲在存儲器157中的計算機可讀指令以執行在此討論的過程。翻譯器158可包括用於將第一文件格式的第一文件翻譯成第二文件格式的對應第二文件的映射邏輯(即，第二文件可以是經翻譯的版本的第一文件)。可使用文件映射指令來配置翻譯器158，該文件映射指令提供用於將第一文件格式的文件(或其部分)映射成第二文件格式的對應文件的指令。

行動裝置19的一個實施例包括網絡接口145、處理器146、存儲器147、相機148、傳感器149、以及顯示器150，所有這些都彼此通信。網絡接口145允許行動裝置19連接到一個或多個網絡180。網絡接口145可以包括無線網絡接口、數據機、和/或有線網絡接口。處理器146允許行動裝置19執行存儲在存儲器147中的計算機可讀指令以執行在此討論的過程。相機148可以捕捉環境的色彩圖像和/或深度圖像。行動裝置19可包括捕捉環境的圖像的面向外的相機以及捕捉行動裝置的終端用戶的圖像的面向內的相機。傳感器149可生成與行動裝置19相關聯的運動和/或定向信息。在一些情況下，傳感器149可包括慣性測量單元(IMU)。 顯示器150可顯示數字圖像和/或視頻。顯示器150可包括透視顯示器。

在一些實施例中，包括網絡接口145、處理器146、存儲器147、相機148以及傳感器149的行動裝置19的各組件可被集成在單晶片基片上。在一示例中，網絡接口145、處理器146、存儲器147、相機148、傳感器149可被集成成為片上系統(SOC)。在其他實施例中，網絡接口145、處理器146、存儲器147、相機148、傳感器149可被集成在單個封裝中。

在一些實施例中，通過採用照相機148、傳感器149，和運行在處理器146上的姿勢識別軟體，行動裝置19可提供自然用戶界面(NUI)。使用自然用戶界面，人的身體部位和移動可被檢測、解釋、以及用於控制計算應用的各方面。在一個示例中，利用自然用戶界面的計算設備可推斷與計算設備交互的人的意圖(例如，最終用戶執行了特定姿勢來控制該計算設備)。

聯網計算環境100可以為一個或多個計算設備提供雲計算環境。雲計算指的是基於網際網路的計算，其中共享的資源、軟體和/或信息通過網際網路(或其他全局網絡)被按需提供給一個或多個計算設備。基於在計算機網絡圖中使用的雲圖來將網際網路描繪成對其所表示的底層基礎設施的抽象，術語「雲」被用作對網際網路的比喻。

在一個示例中，行動裝置19包括向頭戴式顯示設備(HMD)的最終用戶提供增強現實環境或混合現實環境的頭戴式顯示設備。HMD可包括視頻透視和/或光學透視系統。最終用戶佩戴的光學透視HMD可允許(例如經由透明透鏡)對現實世界環境的實際直接查看，並且同時可將虛擬對象的圖像投影到最終用戶的視野中，由此用虛擬對象來增強最終用戶所感知的現實世界環境。

通過利用HMD，佩戴HMD的最終用戶可在現實世界環境(例如，起居室)中四處移動，並感知覆蓋有虛擬對象的圖像的現實世界的視圖。虛擬對象可以看起來保持與現實世界環境的相干空間關係(即，當最終用戶在現實世界環境中轉動他們的頭或移動時，顯示給該最終用戶的圖像將改變，使得虛擬對象看起來像被最終用戶感知的那樣存在於該現實世界環境內)。虛擬對象還可看起來相對於最終用戶的視角是固定的(例如，無論最終用戶如何在現實世界環境中轉動他們的頭或移動，總是出現在最終用戶視角的右上角的虛擬菜單)。在一個實施例中，現實世界環境的環境映射可由伺服器15(即，在伺服器側)來執行，而相機本地化可在移動設 備19上(即，在客戶端側)執行。虛擬對象可包括與現實世界對象相關聯的文本描述。

在一些實施例中，行動裝置(諸如行動裝置19)可與雲中的伺服器(諸如伺服器15)通信，並可提供與行動裝置相關聯的伺服器位置信息(例如，經由GPS坐標的行動裝置的位置)和/或圖像信息(例如，與在行動裝置的視野內檢測到的對象有關的信息)。作為響應，伺服器可基於提供給該伺服器的位置信息和/或圖像信息向行動裝置傳送一個或多個虛擬對象。在一個實施例中，行動裝置19可指定用於接收一個或多個虛擬對象的特定文件格式，並且伺服器15可向行動裝置19傳送特定文件格式的文件內包含的一個或多個虛擬對象。

在一些實施例中，行動裝置，例如行動裝置19，可以包括提供包括虛擬內容閱讀器的增強現實環境的HMD。虛擬內容閱讀器可以包括在增強現實環境內的虛擬對象，在該增強現實環境內內容可以由HMD的終端用戶閱讀。在一個實施例中，虛擬內容閱讀器可以包括相對於終端用戶的視點固定顯現的虛擬對象(即頭部鎖定虛擬對象)。例如，無論終端用戶如何轉動他們的頭，虛擬內容閱讀器可以出現在終端用戶的視點的左上角。在另一個實施例中，虛擬內容閱讀器可以包括出現以維持在增強現實環境內的相干空間關係的虛擬對象(即世界鎖定虛擬對象)。例如，當終端用戶在增強現實環境內轉動他們的頭或移動時，在HMD上顯示給該終端用戶的圖像將改變，這樣，虛擬內容閱讀器出現以存在於增強現實環境內的特定位置(例如牆上)處。

在一些實施例中，對一個或多個虛擬對象的選擇可以使用由HMD的終端用戶執行的注視滑掃姿勢來控制。在執行注視滑掃姿勢之前，終端用戶可以執行注視滑掃激活事件以便觸發虛擬指針出現在感興趣的虛擬對象旁邊。在一個示例中，如果終端用戶注視虛擬對象達超過三秒，則虛擬指針將出現在該虛擬對象的一側並且能夠由終端用戶使用他們的頭部移動來控制。虛擬指針可以對HMD的終端用戶表現為虛擬雷射指針或虛擬十字準線。在虛擬指針已經被觸發之後，虛擬指針也可使用一個或多個注視滑掃姿勢來定製(例如，終端用戶可以調節虛擬指針的類型為突出顯示器或對象拾取手形光標，終端用戶還可基於終端用戶的頭部移動來調節虛擬指針的大小或與虛擬指針相關聯的靈敏度)。在一些情形中，在檢測到注視滑掃激活事件之際，虛擬對象的邊可以被突出顯示為對應於不同的選擇選項。在HMD的終 端用戶注視虛擬對象的同時在終端用戶使用他們的頭部移動來將虛擬指針移動通過虛擬對象的兩條邊時，注視滑掃姿勢可被檢測到。響應於檢測到注視滑掃姿勢，HMD可基於注視滑掃姿勢的速度來確定要被顯示在HMD上的第二虛擬對象(例如，僅當速度高於設置的速度閾值時才可顯示第二虛擬對象)。

圖2A描繪了與第二行動裝置5通信的行動裝置19的一個實施例。行動裝置19可包括透視HMD。如所描繪的，行動裝置19經由有線連接6與行動裝置5通信。然而，行動裝置19還可經由無線連接與行動裝置5通信。行動裝置5可由行動裝置19用來卸載計算密集的處理任務(例如，呈現虛擬對象)，並將可被用來提供增強現實環境的虛擬對象信息和其他數據存儲在行動裝置19上。行動裝置5還可向行動裝置19提供與行動裝置5相關聯的運動和/或定向信息。在一個示例中，運動信息可包括與行動裝置5相關聯的速度或加速度，並且定向信息可包括歐拉角，其提供圍繞特定坐標系統或參照系的轉動信息。在一些情況中，行動裝置5可包括運動和定向傳感器，諸如慣性測量單元(IMU)，以便獲得與行動裝置5相關聯的運動和/或定向信息。

圖2B描繪了HMD(諸如圖1的行動裝置19)的一部分的一個實施例。僅描繪了HMD 200的右側。HMD 200包括右鏡腿202、鼻梁204、鏡片216、以及眼鏡框214。右鏡腿202包括與處理單元236通信的捕捉設備213(例如，前置相機和/或話筒)。捕捉設備213可包括用於記錄數字圖像和/或視頻的一個或多個相機，並可將視覺記錄傳送到處理單元236。一個或多個相機可捕捉色彩信息、IR信息、和/或深度信息。捕捉設備213還可包括用於記錄聲音的一個或多個話筒，並可將音頻記錄傳送到處理單元236。

右鏡腿202還包括生物測定傳感器220、眼睛跟蹤系統221、耳機230、運動和定向傳感器238、GPS接收器232、電源239、以及無線接口237，所有這些都與處理單元236通信。生物測定傳感器220可包括用於確定與HMD 200的最終用戶的脈搏或心率相關聯的一個或多個電極，以及用於確定與HMD 200的最終用戶相關聯的體溫的溫度傳感器。在一個實施例中，生物測定傳感器220包括壓著最終用戶太陽穴的脈搏速率測量傳感器。運動和定向傳感器238可以包括三軸磁力計、三軸陀螺儀、和/或三軸加速度計。在一個實施例中，運動和定向傳感器238可包括慣性測量單元(IMU)。GPS接收器可確定與HMD 200相關聯的GPS位置。處 理單元236可以包括一個或多個處理器和用於存儲將要在所述一個或多個處理器上執行的計算機可讀指令。存儲器還可存儲要在一個或多個處理器上執行的其它類型的數據。

在一個實施例中，眼睛跟蹤系統221可包括一個或多個面向內的相機。在另一實施例中，眼睛跟蹤系統221可包括眼睛跟蹤照明源和相關聯的眼睛跟蹤圖像傳感器。在一個實施例中，眼睛跟蹤照明源可包括以大約預定IR波長或一定範圍的波長發射的一個或多個紅外(IR)發射器(諸如紅外發光二極體(LED)或雷射器(例如，VCSEL))。在一些實施例中，眼睛跟蹤傳感器可包括用於跟蹤閃光位置的IR相機或IR位置敏感檢測器(PSD)。關於眼睛跟蹤系統的更多信息可在2008年7月22提交的標題為「Head Mounted Eye Tracking and Display System(頭戴式眼睛跟蹤和顯示系統)」的美國專利7,401,920，以及2011年9月26日提交的標題為「Integrated Eye Tracking and Display System(集成眼睛跟蹤和顯示系統)」的美國專利申請13/245,700中找到。

在一個實施例中，鏡片216可包括透視顯示器，處理單元236生成的圖像由此可被投影和/或顯示在透視顯示器上。捕捉設備213可被校準，使得捕捉設備213所捕捉的視野對應於HMD 200的終端用戶所看到的視野。耳機230可用於輸出與虛擬對象的投影圖像相關聯的聲音。在一些實施例中，HMD 200可包括兩個或更多個前置相機(例如，每個鏡腿上一個相機)，以便從與前置相機所捕捉的視野相關聯的立體信息中獲得深度。兩個或更多個前置相機還可包括3D、IR、和/或RGB相機。也可從利用來自運動技術的深度的單個相機中獲取深度信息。例如，可從單個相機獲取兩個圖像，這兩個圖像與在不同的時間點的、兩個不同的空間點相關聯。然後，給定與兩個不同空間點有關的位置信息的情況下，可執行視差計算。

在一些實施例中，HMD 200可使用凝視檢測元件和與一個或多個人類眼睛元素(諸如角膜中心、眼球旋轉的中心、或瞳孔中心)有關的三維坐標系，來為最終用戶眼睛中的每隻眼睛執行凝視檢測。注視檢測可被用來標識終端用戶正在關注視野內的何處。注視檢測元件的示例可包括生成閃光的照明器和用於捕捉表示所生成的閃光的數據的傳感器。在一些情況中，角膜中心可以基於兩次閃光使用平面幾何來確定。角膜中心連結瞳孔中心和眼球的旋轉中心，這可被當作用於確定處於某種凝視或觀看角度的最終用戶的眼睛的光軸的固定位置。

圖2C描繪了HMD 2的一部分的一個實施例，其中延伸到凝視點的凝視向量用於對準遠瞳距(IPD)。HMD 2是行動裝置的一個示例，諸如圖1中的行動裝置19。如所描繪的，凝視向量180l和180r在遠離最終用戶的凝視點處相交(即，當最終用戶正在看遙遠處的對象時，凝視向量180l和180r不相交)。基於Gullstrand示意眼模型示出了每隻眼睛的眼球160l、160r的眼球模型。每隻眼球被建模成具有旋轉中心166的球體，並且包括被建模成具有中心164的球的角膜168。角膜168隨著眼球旋轉，並且眼球的旋轉中心166可被當作固定點。角膜168覆蓋虹膜170，瞳孔162處於虹膜170的中心。每個角膜的表面172上是閃光174和176。

如圖2C所描繪的，傳感器檢測區域139(即分別是139l和139r)與眼鏡架115內的每一顯示光學系統14的光軸相對準。在一個示例中，與該檢測區域相關聯的傳感器可包括能夠捕捉表示分別由鏡架115左側的照明器153a和153b生成的閃光174l和176l的圖像數據以及表示分別由鏡架115右側的照明器153c和153d生成的閃光174r和176r的數據的一個或多個相機。通過眼鏡架115中的顯示光學系統14l和14r，最終用戶的視野包括現實對象190、192和194以及虛擬對象182和184。

從旋轉中心166穿過角膜中心164到瞳孔162而形成的軸178包括眼睛的光軸。注視向量180也被稱為從中央凹穿過瞳孔中心162延伸的視線或視軸。在一些實施例中，光軸被確定，並且通過用戶校準來確定小型校正以獲得被選作注視向量的視軸。對於每一終端用戶，虛擬對象可被顯示設備顯示在不同的水平和垂直位置處的多個預先確定的位置中的每一位置處。在對象在每一位置處的顯示期間可以計算每一眼睛的光軸，並且光線被建模成從該位置延伸到用戶眼睛中。可以基於必須如何移動光軸以與所建模的光線相對準來確定與水平和垂直分量的注視偏移角。從不同的位置處，與水平或垂直分量的平均注視偏移角可被選作要被應用於每一計算出的光軸的小型校正。在一些實施例中，僅水平分量被用於注視偏移角校正。

如圖2C所描繪的，由於當凝視向量180l和180r從眼球延伸到凝視點處的視野中時這些凝視向量變得更加靠近在一起，因此這些凝視向量不是完全平行的。在每一顯示光學系統14處，注視向量180看起來與光軸相交，傳感器檢測區域139以這一交點為中心。在這一配置中，光軸與瞳孔間距(IPD)對準。在終端用戶看向正前方時，測得的IPD也被稱為遠IPD。

圖2D描繪了HMD 2的一部分的一個實施例，其中延伸到凝視點的凝視向量用於對準近瞳距(IPD)。HMD 2是行動裝置的一個示例，諸如圖1中的行動裝置19。如所描繪的，左眼的角膜168l向右側或朝向最終用戶的鼻子旋轉，並且右眼的角膜168r向左側或朝向最終用戶的鼻子旋轉。兩個瞳孔正在注視終端用戶的特定距離內的現實對象194。始自每隻眼睛的注視向量180l和180r進入真實對象194所處的Panum匯合區域195。Panum匯合區域是像人類視覺那樣的雙眼觀察系統中的單視覺的區域。凝視向量180l和180r的相交指示最終用戶正在看現實對象194。在這樣的距離處，隨著眼球向內旋轉，它們瞳孔之間的距離減少到近IPD。近IPD通常比遠IPD小約4毫米。近IPD距離準則(例如，在距終端用戶小於四英尺處的注視點)可用來將顯示光學系統14的IPD對準切換或調整成近IPD的對準。對於近IPD，每一顯示光學系統14可以朝向最終用戶的鼻子移動，使得光軸以及檢測區域139朝向鼻子移動幾毫米，如檢測區域139ln和139rn所表示的。

關於為HMD的終端用戶確定IPD並由此調整顯示光學系統的更多信息可在2011年9月30日提交的題為「Personal Audio/Visual System(個人音頻/視頻系統)」的美國專利申請號13/250,878中找到。

圖3A描繪了HMD 2的一部分的一個實施例，該HMD具有包括凝視檢測元件的可移動顯示光學系統。表現為每隻眼睛的透鏡的事物表示每隻眼睛的顯示光學系統14(即14l和14r)。顯示光學系統包括用於將虛擬內容與通過HMD的透鏡看到的實際直接現實世界視圖無縫地融合的透視透鏡和光學元件(例如，反射鏡、過濾器)。顯示光學系統14具有一般處於透視透鏡中心的光軸，其中光一般被校準來提供無失真視圖。例如，在眼睛護理專業人員使一副普通眼鏡適合於最終用戶的臉部時，該眼睛通常是適合的，使得該眼鏡在每一瞳孔與相應鏡片的中心或光軸相對準的位置處落在最終用戶的鼻子上，從而通常使得校準光到達最終用戶的眼睛以得到清晰或無失真的視圖。

如圖3A所描繪的，至少一個傳感器的檢測區域139r、139l與其相應顯示光學系統14r、14l的光軸相對準，使得檢測區域139r、139l的中心捕捉沿著光軸的光。如果顯示光學系統14與最終用戶的瞳孔對準，則相應傳感器134的每一檢測區域139與最終用戶的瞳孔相對準。檢測區域139的反射光經由一個或多個光學元件被傳送到相機的實際圖像傳感器134，在該實施例中傳感器134由處於鏡架115內部 的虛線示出。在一些實施例中，傳感器134可包括用於捕捉終端用戶的眼睛或眼睛周圍的面部特徵的圖像的圖像傳感器或RGB相機。其他面向內的圖像傳感器也可與鏡架115集成以便捕捉與終端用戶相關聯的固定面部特徵，諸如其鼻梁。

在一個實施例中，該至少一個傳感器134可以是可見光相機(例如，RGB相機或彩色相機)。在一個示例中，光學元件或光引導元件包括是部分透射且部分反射的可見光反光鏡。可見光相機提供最終用戶的眼睛的瞳孔的圖像數據，而IR光電探測器152捕捉作為頻譜的IR部分中的反射的閃光。如果使用可見光相機，則虛擬圖像的反射可以出現在該相機所捕捉的眼睛數據中。圖像過濾技術可被用於按需移除虛擬圖像反射。IR相機對眼睛上的虛擬圖像反射是不敏感的。

在另一個實施例中，至少一個傳感器134(即，134l和134r)是IR輻射可被定向到的IR相機或位置敏感檢測器(PSD)。從眼睛反射的IR輻射可以來自照明器153、其他IR照明器(未示出)的入射輻射或者來自從眼睛反射的環境IR輻射。在一些情況中，傳感器134可以是RGB和IR相機的組合，並且光引導元件可包括可見光反射或轉向元件和IR輻射反射或轉向元件。在一些情況中，相機134可被嵌入在系統14的鏡片中。另外，可以應用圖像過濾技術來將相機混合到用戶視野中以減輕對用戶的任何幹擾。

如圖3A所描繪的，有四組照明器153，照明器153與光電檢測器152配對並被屏障154隔開以避免照明器153所生成的入射光與在光電檢測器152處接收到的反射光之間的幹擾。為了在附圖中避免不必要的混亂，附圖標記就被示出了代表性的一對。每一照明器可以是生成大約預定波長的窄光束的紅外(IR)照明器。光電檢測器中的每一個可被選擇來捕捉大約該預定波長的光。紅外還可以包括近紅外。因為照明器或光電檢測器可能存在波長漂移或者關于波長的微小範圍是可接受的，所以照明器和光電檢測器可以具有與要生成或檢測的波長有關的容限範圍。在傳感器是IR相機或IR位置敏感檢測器(PSD)的一些實施例中，光電檢測器可包括附加數據捕捉設備並且也可被用來監視照明器的操作，例如波長漂移、波束寬度改變等。該光電檢測器還用作為傳感器134的可見光相機來提供閃光數據。

如圖3A所描繪的，每一顯示光學系統14以及它面向每一眼睛的凝視檢測元件的安排(例如，相機134及其檢測區域139、照明器153以及光電檢測器152)位於可移動的內部鏡架部分117l、117r上。在該示例中，顯示調整機構包括具有 附連到內部鏡架部分117的傳動軸205的一個或多個馬達203，內部鏡架部分117在由馬達203驅動的傳動軸205的引導和力量下在該鏡架內從左向右滑動或反向滑動。在一些實施例中，一個馬達203可以驅動兩個內部鏡架。

圖3B描繪了HMD 2的一部分的一個替換實施例，該HMD具有包括凝視檢測元件的可移動顯示光學系統。如所描繪的，每個顯示光學系統14被封裝在分開的鏡架部分115l、115r中。鏡架部分中的每一個可由馬達203分開地移動。在一些實施例中，此至少一個傳感器134可包括用於捕捉終端用戶的眼睛或眼睛周圍的面部特徵的圖像的圖像傳感器或RGB相機。其他面向內的圖像傳感器也可與鏡架115集成以便捕捉與終端用戶相關聯的固定面部特徵，諸如其鼻梁。

圖4A描繪了由查看增強現實環境410內的虛擬對象40的終端用戶佩戴的HMD 402的一個實施例。該HMD 402可包括行動裝置，諸如圖1中的行動裝置19。虛擬對象可包括虛擬web瀏覽器，虛擬web瀏覽器包括第一邊41、第二邊42和第三邊43。虛擬web瀏覽器可包括第一可選圖像49(例如，連結到第二網頁)和第二可選圖像48(例如，對應於當前查看的網頁內的超文本連結)。為了使得選擇超文本連結對於終端用戶更容易，一個或多個可選圖像(諸如可選圖像48)可以出現在當前查看網頁的一側，並且允許終端用戶執行注視滑掃姿勢通過可選圖像以便跟隨超文本連結。

在一個實施例中，對應於終端用戶以第一方向從左到右地注視滑掃通過邊41和邊42的第一注視滑掃姿勢可導致虛擬web瀏覽器執行第一動作(例如，向前移動到下一網頁)，而對應於終端用戶以與第一方向相反的第二方向從右到左地注視滑掃通過邊42和41的第二注視滑掃姿勢可導致虛擬web瀏覽器執行第二動作(例如，往回移動到前一網頁)。為了打開新標籤頁或實現與當前查看網頁內的超文本連結相關聯的可選圖像的使用，終端用戶可以執行第三注視滑掃姿勢，第三注視滑掃姿勢對應於終端用戶注視滑掃通過邊41和邊43。為了選擇第二可選圖像48，終端用戶可以執行注視滑掃姿勢，其中終端用戶將虛擬指針以第一方向移動通過第二可選圖像48並且接著在特定時間段內將虛擬指針以與第一方向相反的第二方向往回移動通過第二可選圖像48(例如，來回的注視滑掃姿勢在2秒內執行)。

在一個實施例中，與特定注視滑掃姿勢相關聯的動作可以在特定注視滑掃姿勢已經被執行後被更改或改變。在一個示例中，第一注視滑掃姿勢(例如，從左到 右滑掃通過虛擬電視)可對應於在第一時間點的快速向前動作，並且接著在第一注視滑掃姿勢已經被執行之後，第一注視滑掃姿勢可接著對應於在第一時間點之後的第二時間點的2倍快速向前動作。與特定注視滑掃姿勢相關聯的動作可以級聯，從而使得第一注視滑掃姿勢的第一執行對應於第一向前動作，第一注視滑掃姿勢的第二執行對應於2倍快速向前動作，而第一注視滑掃姿勢的第三執行對應於4倍快速向前動作。第一注視滑掃姿勢的相反方向上的逆向注視滑掃姿勢可通過將動作順序往回步進到前一對應動作來撤銷級聯動作。在一些情形中，取消注視滑掃姿勢可以按順序執行以取消整個動作棧。在一些實施例中，第一注視滑掃姿勢的第一執行的速度可被用於確定對應於第一注視滑掃姿勢的第二執行的後續動作。在一個示例中，如果第一注視滑掃姿勢的第一執行的速度高於一閾值，則第一注視滑掃姿勢的第二執行可對應於8倍快速向前動作而非2倍快速向前動作(即，2倍和4倍快速向前動作可以基於注視滑掃姿勢的速度被跳過)。

圖4B描繪了由查看增強現實環境411內的虛擬對象51的終端用戶佩戴的HMD 402的一個實施例。該HMD 402可包括行動裝置，諸如圖1中的行動裝置19。虛擬對象51-54中的每一者可對應於要使用虛擬電視查看的電視頻道(即，向HMD 402的終端用戶顯示的好像存在於增強現實環境411內的電視)。在一個實施例中，在HMD 402的終端用戶執行切割通過虛擬電視的第一注視滑掃姿勢(例如，以水平方式或以垂直方式)之後，虛擬對象51-54可以出現為對應於終端用戶最後查看(或最近查看)的四個電視頻道。終端用戶可以執行切割通過虛擬對象51-54之一的第二注視滑掃姿勢以便選擇一特定頻道並且導致虛擬電視重新出現並且顯示所選頻道。在一些情形中，終端用戶可以執行切割通過四個虛擬對象51-54中的兩個虛擬對象的第二注視滑掃姿勢，這導致虛擬電視重新出現並且顯示所選擇的兩個頻道(例如，使用畫中畫格式或並排格式)。

在執行第二注視滑掃姿勢之前，終端用戶可以執行注視滑掃激活事件以便觸發虛擬指針55出現在虛擬對象51-54旁邊。在一個示例中，如果終端用戶注視虛擬對象51達超過2秒，則虛擬指針55將出現在虛擬對象51的左側並且能夠由終端用戶使用他們的頭部移動來控制。在一個實施例中，在HMD的終端用戶注視虛擬對象51的同時在終端用戶使用他們的頭部移動來將虛擬指針55移動通過虛擬對象51的兩條邊時，第二注視滑掃姿勢可被檢測到。

圖5A是描述用於選擇虛擬對象的方法的一個實施例的流程圖。在一個實施例中，圖5A的過程可由諸如圖1中的行動裝置19的行動裝置來執行。

在步驟502中，第一虛擬對象被顯示給HMD的終端用戶。第一虛擬對象可包括多條邊或可由多條邊界定。在一些情形中，第一虛擬對象可包括虛擬書籍、虛擬電視、虛擬web瀏覽器、或向HMD的終端用戶顯示內容的其它虛擬對象。第一虛擬對象的形狀可包括圓形、三角形、正方形、四邊形或多邊形。

在步驟504中，由終端用戶執行的注視滑掃激活事件被檢測到。注視滑掃激活事件可以將HMD置於用於檢測注視滑掃姿勢的狀態。在HMD已經被置於用於檢測注視滑掃姿勢的狀態之後，終端用戶的頭部移動可以使用頭部跟蹤來跟蹤。

在步驟506中，響應於檢測到注視滑掃激活事件，向HMD的終端用戶顯示虛擬指針。虛擬指針可以由終端用戶使用頭部移動來控制。在一些實施例中，終端用戶可以執行注視滑掃激活事件以便觸發虛擬指針出現在第一虛擬對象旁邊。在一個示例中，如果終端用戶注視虛擬對象達超過3秒，則虛擬指針將出現在第一虛擬對象的一側或者以其它方式被放置在第一虛擬對象的外部以使得它可以被滑掃通過第一虛擬對象。在另一示例中，如果終端用戶注視第一虛擬對象並且接著閉上一個眼睛但仍然聚焦於第一虛擬對象，則虛擬指針將出現在第一虛擬對象的一側。虛擬指針可以對HMD的終端用戶表現為虛擬雷射指針或虛擬十字準線。虛擬指針可對應於從終端用戶的頭部延伸或者從HMD上的固定點延伸的頭部鎖定的前向向量。

在一些情形中，在檢測到注視滑掃激活事件之際，第一虛擬對象的多條邊中的一條或多條邊可以被突出顯示為對應於不同的虛擬對象選擇選項。在一個示例中，對應於第一選擇類型的第一邊對可以被著色為第一顏色(例如，橙色)以標識第一邊對，而對應於第二選擇類型的第二邊對可以被著色為不同於第一顏色的第二顏色(例如，藍色)。第一選擇類型可對應於移動到與虛擬電視相關聯的下一頻道或者移動到虛擬書籍的下一頁。第二選擇類型可對應於移動到與虛擬電視相關聯的前一頻道或者移動到虛擬書籍的前一頁。

在步驟508中，由HMD的終端用戶執行的注視滑掃姿勢被檢測到。注視滑掃姿勢可對應於終端用戶將虛擬指針移動通過多條邊中的至少兩條邊。在一個示例中，注視滑掃姿勢可包括終端用戶使用頭部移動來將虛擬指針移動通過第一虛擬對象的邊中的任何兩條邊(例如，虛擬指針可以用垂直方式或水平方式完全切割通過 第一虛擬對象)。在另一示例中，注視滑掃姿勢可包括終端用戶使用頭部移動來將虛擬指針移動通過第一虛擬對象的第一邊對。在另一示例中，注視滑掃姿勢可包括終端用戶將虛擬指針以第一方向移動通過第一虛擬對象的第一邊對，並且接著將虛擬指針以與第一方向相反的第二方向往回移動通過第一邊對。在另一示例中，注視滑掃姿勢可包括終端用戶將虛擬指針移動通過第一虛擬對象的至少三條邊。在一些情形中，要被遍歷的至少三條邊的順序可以使用覆蓋在至少三條邊的每一條邊上的數字被傳達給終端用戶。在一些情形中，注視滑掃姿勢可對應於在終端用戶注視第一虛擬對象或者維持與第一虛擬對象的眼睛接觸的同時終端用戶將虛擬指針移動通過多條邊的至少兩條邊。

在步驟510中，注視滑掃姿勢的速度被確定。注視滑掃姿勢的速度可以基於注視滑掃姿勢從第一虛擬對象的第一邊(例如，進入邊)行進到第一虛擬對象的第二邊(例如，出口邊)所花費的時間來確定。在一個實施例中，響應於檢測到注視滑掃姿勢而作出的選擇動作(例如，顯示新的虛擬對象)可以僅在注視滑掃姿勢的速度在特定速度範圍(例如，在1m/s和5m/s之間)之內的情況下被執行。在另一實施例中，響應於檢測到注視滑掃姿勢而作出的選擇動作可以僅在注視滑掃姿勢的速度高於設置的速度閾值(例如，速度高於3m/s)的情況下被執行。在一些情形中，對應於注視滑掃姿勢的選擇類型可取決於注視滑掃姿勢的速度。在一個示例中，以第一速度執行的注視滑掃姿勢可觸發第一選擇類型，而以快於第一速度的第二速度執行的注視滑掃姿勢可觸發不同於第一選擇類型的第二選擇類型。

在步驟512中，第一虛擬對象的大小被確定。在一些情形中，對應於注視滑掃姿勢的選擇類型可取決於第一虛擬對象的大小。在一個示例中，在第一大小的第一虛擬對象上執行的注視滑掃姿勢可以觸發第一選擇類型，而在大於第一大小的第二大小的第一虛擬對象上執行的注視滑掃姿勢可以觸發不同於第一選擇類型的第二選擇類型。

在步驟514中，基於注視滑掃姿勢的速度、第一虛擬對象的大小、以及由注視滑掃姿勢遍歷的多條邊中的至少兩條邊來確定不同於第一虛擬對象的第二虛擬對象。在步驟516中，使用HMD向HMD的終端用戶顯示第二虛擬對象。在一個示例中，第一虛擬對象可對應於顯示第一網頁的虛擬web瀏覽器，而第二虛擬對象可對應於顯示不同於第一網頁的第二網頁的虛擬web瀏覽器。在另一示例中， 第一虛擬對象可對應於顯示第一電視頻道的虛擬電視，而第二虛擬對象可對應於顯示第二電視頻道的虛擬電視。在一些情形中，代替響應於檢測到注視滑掃姿勢來顯示新的虛擬對象，第一虛擬對象可以被重新配置成顯示新信息。在另一示例中，第一虛擬對象可對應於用於存儲文件和/或圖像的電子文件夾，而第二虛擬對象可對應於顯示電子文件夾的內容(例如，顯示存儲在電子文件夾內的文件和子文件夾)的電子文件夾的打開版本。

在一些實施例中，注視滑掃姿勢可以切割通過兩個或更多個虛擬對象。多選擇注視滑掃姿勢可允許HMD的終端用戶在使用共同的注視滑掃姿勢的同時選擇多個虛擬對象。在一個示例中，虛擬對象可對應於虛擬電視。終端用戶可以執行第一注視滑掃姿勢以虛擬電視切割成對應於終端用戶最近查看的八個電視頻道的八個選擇分段並且顯示與八個顯示分段相關聯的八個虛擬對象。終端用戶可以執行切割通過八個虛擬對象中的兩個虛擬對象的第二注視滑掃姿勢，這導致虛擬電視顯示所選擇的兩個頻道(例如，使用畫中畫格式或並排格式)。

圖5B是描述用於選擇虛擬對象的方法的一個替換實施例的流程圖。在一個實施例中，圖5B的過程可由諸如圖1中的行動裝置19的行動裝置來執行。

在步驟522中，第一虛擬對象被顯示給HMD的終端用戶。第一虛擬對象可包括由多條邊界定的形狀。在一些情形中，第一虛擬對象可包括虛擬書籍、虛擬電視、虛擬web瀏覽器、或向HMD的終端用戶顯示內容的其它虛擬對象。第一虛擬對象的形狀可包括圓形、三角形、正方形、四邊形或多邊形。

在步驟524中，由終端用戶執行的注視滑掃激活事件被檢測到。注視滑掃激活事件可以將HMD置於用於檢測注視滑掃姿勢的狀態。在HMD已經被置於用於檢測注視滑掃姿勢的狀態之後，終端用戶的頭部移動可以使用頭部跟蹤來跟蹤。

在步驟526中，響應於檢測到注視滑掃激活事件，在第一虛擬對象附近向HMD的終端用戶顯示虛擬指針。虛擬指針可以由終端用戶使用頭部移動來控制。在一些實施例中，終端用戶可以執行注視滑掃激活事件以便觸發虛擬指針出現在第一虛擬對象旁邊。在一個示例中，如果終端用戶注視虛擬對象達超過3秒，則虛擬指針將出現在第一虛擬對象的一側或者以其它方式被放置在第一虛擬對象的外部以使得它可以被滑掃通過第一虛擬對象。在另一示例中，如果終端用戶注視第一虛擬對象並且接著閉上一個眼睛但仍然聚焦於第一虛擬對象，則虛擬指針將出現在第一虛擬 對象的一側。

在步驟528中，由HMD的終端用戶執行的注視滑掃姿勢被檢測到。注視滑掃姿勢可對應於在終端用戶注視第一虛擬對象的同時終端用戶使用頭部移動來將虛擬指針移動通過多條邊中的至少兩條邊。在一個示例中，注視滑掃姿勢可包括終端用戶使用頭部移動來將虛擬指針移動通過第一虛擬對象的邊中的任何兩條邊(例如，虛擬指針可以用垂直方式或水平方式並且在任何方向上完全切割通過第一虛擬對象)。

在步驟530中，基於注視滑掃姿勢來標識多個選擇分段。在步驟532中，向HMD的終端用戶顯示多個選擇分段。多個選擇分段可以向HMD的終端用戶顯示為增強現實環境內的對應的多個虛擬對象。在步驟534中，由HMD的終端用戶執行的第二注視滑掃姿勢被檢測到。第二注視滑掃姿勢可對應於終端用戶使用頭部移動來將虛擬指針移動通過多個選擇分段中的至少兩個選擇分段。在步驟536中，響應於檢測到第二注視滑掃姿勢，向HMD的終端用戶顯示第三虛擬對象。

圖6是描述用於選擇虛擬對象的方法的一個實施例的流程圖。在一個實施例中，圖6的過程可由行動裝置(諸如圖1的行動裝置19)執行。

在步驟602中，第一虛擬對象被顯示在增強現實環境內。第一虛擬對象可包括由多條邊界定的形狀。第一虛擬對象可以被現實給HMD的終端用戶。在一些情形中，第一虛擬對象可包括虛擬書籍、虛擬電視、虛擬web瀏覽器、或向HMD的終端用戶顯示內容的其它虛擬對象。第一虛擬對象的形狀可包括圓形、三角形、正方形、四邊形或多邊形。

在步驟604中，確定第一虛擬對象的大小。在步驟606中，檢測到注視滑掃激活事件。注視滑掃激活事件可以將HMD置於用於檢測注視滑掃姿勢的狀態。在HMD已經被置於用於檢測注視滑掃姿勢的狀態之後，終端用戶的頭部移動可以使用頭部跟蹤來跟蹤。注視滑掃激活事件還能實現可由HMD的終端用戶使用頭部移動來控制虛擬指針的顯示。

在步驟608中，響應於檢測到注視滑掃激活事件，基於第一虛擬對象的大小來突出顯示多條邊中的一條或多條邊。在一個實施例中，如果第一虛擬對象的大小大於大小閾值，則第一虛擬對象的第一邊對可以使用第一顏色被突出顯示(例如，正方形的虛擬對象的頂邊和底邊可以被著色為橙色)並且對應於第一選擇類型。否 則，如果第一虛擬對象的大小小於大小閾值，則第一虛擬對象的第一邊對可以使用第二顏色(例如，藍色)被突出顯示並且對應於不同於第一選擇類型的第二選擇類型。

在步驟610中，切割通過多條邊中的至少兩條邊的注視滑掃姿勢被檢測到。注視滑掃姿勢可以由HMD檢測。注視滑掃姿勢可對應於在HMD的終端用戶注視第一虛擬對象的同時終端用戶使用頭部移動來將虛擬指針移動通過多條邊中的至少兩條邊。在一個示例中，注視滑掃姿勢可包括終端用戶使用頭部移動來將虛擬指針移動通過第一虛擬對象的多條邊中的任何兩條邊(例如，虛擬指針可以用垂直方式或水平方式並且在任何方向上完全切割通過第一虛擬對象)。

在步驟612中，響應於檢測到注視滑掃姿勢來確定要被顯示的第二虛擬對象。在步驟614中，第二虛擬對象被顯示在增強現實環境內。在一個示例中，第一虛擬對象可對應於用於存儲文件和/或圖像的電子文件夾，而第二虛擬對象可對應於顯示電子文件夾的內容的電子文件夾的打開版本(例如，顯示存儲在電子文件夾內的文件和子文件夾)。

所公開的技術的一個實施例包括與透視顯示器通信的一個或多個處理器。透視顯示器將虛擬對象顯示給電子設備的終端用戶。虛擬對象包括多條邊。一個或多個處理器檢測由終端用戶執行的注視滑掃激活事件，並且響應於檢測到注視滑掃激活事件來向終端用戶顯示虛擬指針。一個或多個處理器檢測由終端用戶執行的注視滑掃姿勢。注視滑掃姿勢對應於終端用戶使用一個或多個頭部移動來將虛擬指針移動通過多條邊中的兩條或更多條邊。一個或多個處理器確定注視滑掃姿勢的速度。一個或多個處理器基於注視滑掃姿勢的速度以及由注視滑掃姿勢遍歷的多條邊中的兩條或更多條邊來確定不同於虛擬對象的第二虛擬對象。一個或多個處理器導致第二虛擬對象使用透視顯示器被顯示。

所公開的技術的一個實施例包括向HMD的終端用戶顯示虛擬對象。虛擬對象包括多條邊。該方法進一步包括檢測由終端用戶執行的注視滑掃激活事件，響應於檢測到注視滑掃激活事件來向HMD的終端用戶顯示虛擬指針，以及檢測由HMD的終端用戶執行的注視滑掃姿勢。注視滑掃姿勢對應於終端用戶使用一個或多個頭部移動來將虛擬指針移動通過多條邊中的至少兩條邊。該方法進一步包括確定注視滑掃姿勢的速度，基於注視滑掃姿勢的速度以及由注視滑掃姿勢遍歷的多條邊中的 至少兩條邊來確定不同於虛擬對象的第二虛擬對象，並且向HMD的終端用戶顯示第二虛擬對象。

所公開的技術的一個實施例包括向HMD的終端用戶顯示虛擬對象。虛擬對象包括由多條邊界定的形狀。該方法進一步包括檢測由終端用戶執行的注視滑掃激活事件，響應於檢測到注視滑掃激活事件來向HMD的終端用戶顯示虛擬指針，檢測由HMD的終端用戶執行的注視滑掃姿勢。注視滑掃姿勢對應於在終端種乎注視虛擬對象的同時終端用戶使用一個或多個頭部移動來將虛擬指針移動通過多條邊中的兩條或更多條邊。檢測注視滑掃姿勢包括使用HMD來跟蹤終端用戶的一個或多個頭部移動。該方法進一步包括確定注視滑掃姿勢的速度，基於注視滑掃姿勢的速度以及由注視滑掃姿勢遍歷的多條邊中的兩條或更多條邊來確定不同於虛擬對象的第二虛擬對象，並且向HMD的終端用戶顯示第二虛擬對象。

圖7是行動裝置8300(諸如圖1中的行動裝置19)的一個實施例的框圖。行動裝置可以包括已經整合了無線接收機/發射機技術的膝上型計算機、袖珍計算機、行動電話、HMD、個人數字助理、以及手持式媒體設備。

行動裝置8300包括一個或多個處理器8312以及存儲器8310。存儲器8310包括應用8330和非易失性存儲8340。存儲器8310可以是任何種類的存儲器存儲介質類型，包括非易失性和易失性存儲器。行動裝置作業系統處理行動裝置8300的不同操作，並可包含用於操作的用戶界面，如撥打和接聽電話呼叫、文本消息收發、檢查語音郵件等。應用8330可以是任何種類的程序，如用於照片和/或視頻的相機應用、地址簿、日曆應用、媒體播放器、網際網路瀏覽器、遊戲、鬧鐘應用、以及其它應用。存儲器8310中的非易失性存儲組件8340可以包含諸如音樂、照片、聯繫人數據、日程安排數據、以及其它文件之類的數據。

一個或多個處理器8312與透視顯示器8309進行通信。透視顯示器8309可顯示與現實世界環境相關聯的一個或多個虛擬對象。所述一個或多個處理器8312還與下列各項通信：RF發射機/接收機8306，其又耦合到天線8302；紅外發射機/接收機8308；全球定位服務(GPS)接收器8365；以及移動/定向傳感器8314，其可以包括加速度計和/或磁力計。RF發射機/接收機8308可以通過諸如或IEEE802.11標準之類的各種無線技術標準來實現無線通信。加速度計可能已經結合在行動裝置中以實現諸如下列應用：智能用戶界面應用，其讓用戶通過姿勢輸入命令； 以及定向應用，其可以在行動裝置被旋轉時將顯示自動地從豎向改變成橫向。可以，例如，通過微機電系統(MEMS)來提供加速度計，該微機電系統是構建在半導體晶片上的微小機械器件(微米尺寸)。可以感測加速度方向、以及定向、振動和震動。所述一個或多個處理器8312還與響鈴器/振動器8316、用戶界面小鍵盤/屏幕8318、揚聲器8320、話筒8322、相機8324、光傳感器8326和溫度傳感器8328進行通信。用戶界面小鍵盤/屏幕可以包括觸敏屏幕顯示器。

所述一個或多個處理器8312控制無線信號的發射和接收。在發射模式期間，所述一個或多個處理器8312向RF發射機/接收機8306提供來自話筒8322的語音信號，或其它數據信號。發射機/接收機8306通過天線8302來發射信號。響鈴器/振動器8316被用於向用戶發傳入呼叫、文本消息、日曆提醒、鬧鐘提醒或其它通知等信號。在接收模式期間，RF發射機/接收機8306通過天線8302接收來自遠程站的語音信號或數據信號。所接收到的語音信號被提供給揚聲器8320，而接收到的其它數據信號被適當地處理。

另外，可以使用物理連接器8388來將行動裝置8300連接到諸如AC適配器或加電對接底座之類的外部電源，以便對電池8304進行再充電。物理連接器8388還可被用作到外部計算設備的數據連接。該數據連接允許諸如將行動裝置數據與另一設備上的計算數據進行同步等操作。

所公開的技術可用各種其它通用或專用計算系統環境或配置來操作。適合結合本技術中使用的公知的計算系統、環境和/或配置的示例包括，但不限於，個人計算機、伺服器計算機、手持或膝上型設備、多處理器系統、基於微處理器的系統、機頂盒、可編程消費電子產品、網絡PC、小型計算機、大型計算機、包含上述系統或設備中的任一個的分布式計算環境等。

所公開的技術可在諸如程序模塊等由計算機執行的計算機可執行指令的通用上下文中描述。一般而言，如此處所述的軟體和程序模塊包括執行特定任務或實現特定抽象數據類型的例程、程序、對象、組件、數據結構和其它類型的結構。硬體或硬體和軟體的組合可以替代在此描述的軟體模塊。

所公開的技術也可以在任務由通過通信網絡連結的遠程處理設備執行的分布式計算環境中實現。在分布式計算環境中，程序模塊可以位於包括存儲器存儲設備的本地和遠程計算機存儲介質兩者中。

出於本文檔的目的，與所公開的技術相關聯的每個過程可以持續地並由一個或多個計算設備來執行。該過程中的每個步驟都可由與在其他步驟中所使用的那些計算設備相同或不同的計算設備來執行，且每個步驟不必由單個計算設備來執行。

出於本文的目的，說明書中引述的「一實施例」、「一個實施例」、「某些實施例」或「另一實施例」可被用於描述不同的實施例並且不必然指的是同一實施例。

出於本文的目的，連接可以是直接連接或間接連接(例如，經由另一方)。

出於本文的目的，術語對象的「集合」指的是一個或多個對象的「集合」。

儘管用結構特徵和/或方法動作專用的語言描述了本主題，但可以理解，所附權利要求書中定義的主題不必限於上述具體特徵或動作。更確切而言，上述具體特徵和動作是作為實現權利要求的示例形式公開的。