用於呈現與真實對象相關的數字信息的方法和系統與流程

2023-05-04 09:57:26

在增強現實(AR)中，真實環境的視圖(諸如真實環境的視頻圖像)與數字信息的疊層組合，該數字信息通常呈現與真實環境具有空間關係的一個或多個虛擬對象的形式。手持式增強現實需要用戶裝備有相機的設備，使得相機捕獲具有相關聯的數字信息的環境或對象。如果真實環境或對象在拍攝圖像過程中不可見，則增強現實視圖不提供數字信息。某些增強現實應用程式支持用戶進行可能耗時幾分鐘甚至幾小時的任務，示例包括步行導航和產品維護手冊。用戶可能不方便在整個任務執行期間舉起設備，用戶可能想要暫時放下設備或將設備收起來。在這種情況下使用增強現實視圖時，不為用戶提供支持其任務的數字信息，除非再次舉起設備並且使相機再次面向對象或環境。

在用戶測試中觀察到，用戶體驗中發生這種中斷將使該用戶喪失對其任務的跟蹤。進一步觀察到，有些用戶由於害怕遺漏某物，即使在舉著設備很疲勞的情況下也不會放下設備。上述兩種狀況使得用戶體驗不盡人意。

進一步發現，最關鍵的問題在於手持式視頻透視式AR應用程式需要用戶連續舉起手持式設備。這是必需的，因為後置相機需要捕獲應被增強的場景。這不管是對老年人還是健康用戶而言都是不合理的，因為手持式設備通常很重並且表面光滑，很難較長時間舉起它們。

增強現實跟蹤系統面臨的挑戰是在設定適當用戶期望所需的可感知時間內準確地估計喪失跟蹤這一事件。這種系統通常充當二進位接通/斷開開關。增強現實上下文中的標準方法主要限於用於通知用戶喪失跟蹤並要求用戶將設備的相機指向真實對象或環境以恢復視覺跟蹤的報警對話框。

EP 2 579 127 A1提出了一種確定行動裝置的用戶的頭部的取向的方法。該系統包括行動裝置和頭戴式輔助設備，該頭戴式輔助設備包括用於獲取頭部的取向的數字羅盤。該取向用於確定遞送給用戶的內容。

WO 2013/058950 A1提出了一種確定設備取向(例如在桌子上的面向下的取向)的方法。然後使用該設備取向來激活相應的通知配置文件(例如，「Quiet」)。

US 2012/0280917 A1提出了一種使用設備的傳感器(接觸傳感器、速度傳感器、光傳感器)基於用戶意圖和/或身份來調節設備狀態(例如，省電模式)的方法。

US 8 594 744 B2描述了一種用於基於對用戶聲音進行取樣來將行動裝置的操作模式從免提模式切換到聽筒模式的系統和方法。在過渡到另一種信息呈現模式的情況下，並不一定需要附加用戶輸入。唯一需要是對用戶的聲音數據(利用麥克風來捕獲)進行取樣。

EP 2 327 010 A2和WO 2010/022386 A2描述了一種使用虛擬相機、取向傳感器和接觸交互來在行動裝置上的三維環境中進行導航的方法和系統。

期望提供一種用於呈現與真實對象相關的數字信息的方法和系統，該方法和系統能夠在例如在手持式設備上執行給定用戶任務期間(例如，在放下手持式設備時)提供不中斷的用戶界面和體驗。

根據一方面，公開了一種表示與真實對象相關的數字信息的方法，該方法包括：確定真實對象；提供多個呈現模式，其中該多個呈現模式包括虛擬實境模式和音頻模式中的至少一者以及增強現實模式；提供與真實對象相關的數字信息的至少一種表示；在考慮到由相機所捕獲的圖像的情況下，確定相機與參考坐標系之間的空間關係；根據該空間關係來從多個呈現模式中選擇呈現模式；以及使用所選擇的呈現模式來呈現數字信息的至少一種表示。

根據另一方面，提供了一種表示與真實對象相關的數字信息的方法，該方法包括：確定真實對象；提供多個呈現模式，其中該多個呈現模式包括虛擬實境模式和音頻模式中的至少一者以及增強現實模式；提供與真實對象相關的數字信息的至少一種表示；在考慮到由至少一個相機所捕獲的至少一個圖像的情況下，確定人眼與參考坐標系之間的空間關係；根據該空間關係來從多個呈現模式中選擇呈現模式；以及使用所選擇的呈現模式來呈現數字信息的至少一種表示。

根據另一方面，提供了一種用於呈現與真實對象相關的數字信息的系統，該系統包括處理系統，該處理系統被配置為：確定真實對象；提供多個呈現模式，其中該多個呈現模式包括虛擬實境模式和音頻模式中的至少一者以及增強現實模式；提供與真實對象相關的數字信息的至少一種表示；在考慮到由相機所捕獲的圖像的情況下，確定相機與參考坐標系之間的空間關係；根據空間關係來從多個呈現模式中選擇呈現模式；以及使用所選擇的呈現模式來呈現數字信息的至少一種表示。

根據另一方面，提供了一種用於呈現與真實對象相關的數字信息的系統，該系統包括處理系統，該處理系統被配置為：確定真實對象；提供多個呈現模式，其中該多個呈現模式包括虛擬實境模式和音頻模式中的至少一者以及增強現實模式；提供與真實對象相關的數字信息的至少一種表示；在考慮到由至少一個相機所捕獲的至少一個圖像的情況下，確定人眼與參考坐標系之間的空間關係；根據該空間關係來從多個呈現模式中選擇呈現模式；以及使用所選擇的呈現模式來呈現數字信息的至少一種表示。

具體地，提議自動確定相機與真實對象或環境之間的當前空間關係是否適於通過使用(視覺)增強現實(AR)呈現來呈現與真實對象或環境相關聯的數字信息，並且如果不適用，則提議切換到不同的信息呈現模式(如虛擬實境(VR)呈現或音頻呈現)，這會更適於將支持用戶任務的相關聯數字信息傳送給用戶。本發明有助於通過從AR呈現自動切換到另一種信息呈現模式(例如，VR呈現或音頻呈現)來解決上述缺點。

在整個文檔中，術語「AR呈現」、「AR呈現模式」、「AR模式」、「增強現實呈現」、「增強現實呈現模式」和「增強現實模式」可互換使用。另外，本文檔可互換使用術語「VR呈現」、「VR呈現模式」、「VR模式」、「虛擬實境呈現」、「虛擬實境呈現模式」和「虛擬實境模式」。而且，術語「音頻呈現」、「音頻呈現模式」和「音頻模式」在整個文檔中可互換使用。

本發明試圖解決的問題是，去除在放下手持式設備或將其收起時被中斷的用戶體驗的間隙。這可例如基於設備取向(的變化)來檢測。因此，提出了一種用於連續用戶體驗的系統和方法，具體地通過分別根據相機或眼睛與真實對象之間的空間關係的至少一部分來改變信息呈現模式。與常用方法相比，其優點在於可與用戶連續保持邏輯連接並呈現與真實對象相關的數字信息，其方式最適於給定上下文，即相機或眼睛與對象之間的空間關係這種給定上下文。

當前，在AR應用程式(例如，AR瀏覽器)和/或AR或計算機視覺軟體開發工具包中，提供了對象或環境是否被跟蹤的狀態，並且應用程式開發者可例如通過向用戶提供視覺指令來告知如何達到所需對象或環境被跟蹤的狀態(例如，通過「請將相機指向雜誌封面以開始增強現實體驗」)，以對該對象或環境未被跟蹤這一事件作出反應。根據本發明，AR應用程式和/或AR或計算機視覺軟體開發工具包的未來版本可能提供多個狀態，告知1)數字信息可在對象的實時視頻圖像或實時視圖的頂部呈現為空間配準地再現(AR模式)；或2)數字信息可在屏幕上在視覺上呈現，而無需任何實時配準(VR模式)；或3)數字信息無法在屏幕上在視覺上呈現，但可例如通過揚聲器或耳機在聽覺上呈現(音頻模式)。

應用程式開發者可手動處理這些情況，或SDK(軟體開發工具包)可理解數字信息描述，該數字信息描述包括不同的呈現，例如包括AR模式的3D模型、VR模式的3D模型或2D圖像、可結合AR模式或VR模式在屏幕上列印或可使用文本到語音合成軟體在音頻模式下讀給用戶的文本指令。從設備到用戶的不同信息呈現模式可能是等效的(這意味著它們承載相同的信息)或它們在細節豐富度方面可能不同。細節較少的模型可鼓勵用戶在有利的情況下切換到細節更豐富的模式。

不同於上述現有技術，根據本發明的方法基於相機與真實對象(數字信息與真實對象相關)之間的當前空間關係來確定合適的數字信息呈現模式。本發明的方法可改變用戶相對於觀察的上下文(即，在(視頻透視式)AR模式、VR模式與音頻模式之間切換)消耗(或感知)關於對象的數字信息的方式，以便例如在執行給定用戶任務期間遞送不中斷的用戶體驗。用戶任務的示例包括執行產品維護並且導航到指定目的地。

本發明提供了以最合適的信息呈現模式(向用戶)來呈現與真實對象相關的數字信息這一優點。具體地，這包括增強現實信息呈現模式，所述增強現實信息呈現模式提供特別豐富的信息，但僅在某些狀況下適用，即在相機與真實對象之間呈某些空間關係的狀況下適用。與現有技術相比，本發明的優點在於，即使狀況(即相機與真實對象之間的空間關係)不適於AR，仍可為用戶提供與真實對象相關的數字信息，但在這種情況下，現有技術會中斷呈現與真實對象相關的數字信息。

AR用戶界面的自適應上下文切換並不廣泛用於維護和步行導航任務。城市自行車導航也可從本發明獲益。我們探究了跟蹤系統(即至少使用相機傳感器)與所觀察的真實對象(數字信息與真實對象相關)之間的空間關係。在給定的觀察上下文中，以合適的方式將真實對象的數字信息遞送給用戶，所述合適的方式包括：視覺方式(例如，以描述性文本、圖像、3D模型、2D地圖等形式)，通過疊加在視頻饋送中的顯示器進行；無任何實時相機饋送的視覺方式；或聽覺方式，通過免提或耳機進行。

例如，根據本發明的處理系統至少部分地包括在行動裝置(諸如行動電話、可穿戴式計算機、平板電腦或移動計算機(通常稱為膝上型計算機)和/或適於與行動裝置通信的伺服器計算機中。該處理系統可包括在這些設備中的僅一者中，例如包括在行動裝置中或包括在伺服器計算機中，或者可以是分布式系統，其中由一個或多個處理設備例如通過點到點通信或經由網絡來分布和處理一個或多個處理任務，所述一個或多個處理設備為分布式的且彼此通信。

根據一個實施方案，該系統包括行動裝置，行動裝置包括相機和顯示設備。

本文相對於所述方法描述的實施方案、方面和示例可同樣由被配置為(通過軟體和/或硬體)執行相應步驟的處理系統實現。任何所使用的處理設備均可經由通信網絡(例如，經由伺服器計算機或點到點通信)與一個或多個相機、顯示器和/或任何其他部件通信。

根據另一方面，本發明還涉及包括軟體代碼段的電腦程式產品，所述軟體代碼段被適配為執行根據本發明所述的方法。具體地，軟體代碼段被包含在非暫態計算機可讀介質上。軟體代碼段可被加載到本文所述的一個或多個處理設備(諸如微處理器)的存儲器中。任何所使用的處理設備可經由通信網絡例如經由本文所述的伺服器計算機或點到點通信進行通信。

根據一個實施方案，多個呈現模式還包括音頻模式。具體地，音頻模式根據數字信息的至少一種表示來生成聲音。

根據一個實施方案，根據相機或人眼分別與真實對象之間的空間關係的至少一部分，增強現實模式在真實對象的實時視圖中在顯示設備上視覺上混入數字信息的至少一種表示，虛擬實境模式在顯示設備上在視覺上呈現數字信息的至少一種表示和真實對象的表示，並且音頻模式根據數字信息的至少一種表示來生成聲音。

例如，真實對象的實時視圖由相機捕獲作為至少一個圖像，並且顯示設備包括屏幕，其中在所述屏幕上顯示所述至少一個圖像。根據另一個示例，真實對象的實時視圖由人眼捕獲，並且顯示設備包括半透明屏幕。

根據一個實施方案，本發明包括根據至少一個圖像的像素信息和/或根據在相機捕獲至少一個圖像時相機相對於參考坐標系的姿態和/或根據手動輸入來將由相機所捕獲的真實對象的至少一部分的至少一個圖像確定為至少一個關鍵圖像。

例如，真實對象的呈現包括至少一個關鍵圖像。

根據一個實施方案，本發明包括根據至少一個圖像的像素信息和/或根據至少一個閾值和/或根據手動輸入來將相機捕獲真實對象的至少一部分的至少一個圖像時相機相對於參考坐標系的至少一個姿態確定為至少一個關鍵姿態。

例如，根據至少一個關鍵姿態來呈現真實對象的呈現。

根據一個實施方案，根據由相機所捕獲的真實對象的至少一部分的至少一個圖像來確定真實對象。

根據另一個實施方案，根據至少一個手動輸入來確定真實對象。

根據一個實施方案，數字信息的至少一種表示包括三維對象、三角網格、點雲、體數據集、貝塞爾曲線(Bezier curve)、花鍵、表面描述、圖像、聲音、文字、視頻和動畫中的至少一者。

根據一個實施方案，參考坐標系與真實對象相關聯。

根據另一個實施方案，參考坐標系與地球或跟蹤系統相關聯。

例如，根據空間關係從多個呈現模式中選擇呈現模式包括確定真實對象的至少一部分是否在相機的視場內，如果是，選擇增強現實模式作為呈現模式，否則選擇虛擬實境模式和音頻模式中的至少一者作為呈現模式。

根據另一個實施方案，根據空間關係從多個呈現模式中選擇呈現模式包括確定所述空間關係是否指示相機與真實對象之間的距離低於閾值，如果是，選擇增強現實模式作為呈現模式，否則選擇虛擬實境模式和音頻模式中的至少一者作為呈現模式。

例如，選擇虛擬實境模式和音頻模式中的至少一者作為呈現模式還包括確定相機相對於重力方向的取向，並且根據相機的取向選擇虛擬實境模式和音頻模式中的一者作為呈現模式。

根據一個實施方案，選擇虛擬實境模式和音頻模式中的至少一者作為呈現模式還包括確定一個或多個眼睛是否凝視在顯示設備上，其中使用增強現實模式或虛擬實境模式在顯示設備上呈現數字信息的至少一種表示，如果是，選擇虛擬實境模式作為呈現模式，否則選擇音頻模式作為呈現模式。

根據一個實施方案，還根據附接至相機的GPS、羅盤和/或慣性傳感器或根據跟蹤系統確定相機與參考坐標系之間的空間關係。

根據一個實施方案，相機與參考坐標系之間的空間關係為第一空間關係，參考坐標係為第一參考坐標系，並且所述方法還包括確定顯示設備與第二參考坐標系之間的第二空間關係，其中使用增強現實模式或虛擬實境模式在顯示設備上呈現數字信息的至少一種表示。

例如，第二參考坐標系與人眼相關聯，並且根據由附接至顯示設備的相機所捕獲的眼睛的至少一個圖像來確定第二空間關係。

根據另一個實施方案，第二參考坐標系與真實對象相關聯，並且根據由附接至顯示設備的相機所捕獲的真實對象的至少一部分的至少一個圖像來確定第二空間關係。

根據另一個實施方案，第二參考坐標系與地球或跟蹤系統相關聯，並且根據跟蹤系統或附接至顯示設備的慣性傳感器來確定第二空間關係。

根據一個實施方案，根據空間關係從多個呈現模式中選擇呈現模式包括根據第一空間關係和第二空間關係來選擇呈現模式。

根據一個實施方案，本發明還包括通知用戶多個呈現模式中的一個呈現模式為用戶提供比多個呈現模式中的另一個呈現模式更豐富的數字信息的表示，並且給出關於移動或位置或取向的指令以改變相機或眼睛分別與參考坐標系之間的空間關係，使得多個呈現模式中的該者適於以更豐富的方式呈現數字信息。

例如，根據空間關係從多個呈現模式中選擇呈現模式包括根據第一空間關係和第二空間關係來選擇呈現模式。

例如，基於視覺跟蹤來確定第一空間關係，並且第一空間關係描述相機與真實對象之間的關係。可例如利用慣性傳感器來測量第二空間關係，並且第二空間關係是指顯示器(顯示設備)與地球之間的關係。第一空間關係可用於確定真實對象在拍攝圖像中是否可見，這可能是增強現實模式的先決條件。在這種情況下，第二空間關係可能指示顯示器是否面向下且因此不能被用戶觀察到，或指示顯示器是否沒有面向下。虛擬實境呈現模式的適用性可能例如要求顯示器可被用戶觀察到。需注意，顯示器(顯示設備)和相機並不一定以剛性方式連接。因此，第一空間關係和第二空間關係二者可能是指同一坐標系，例如與真實對象相關聯，但在相機與顯示設備不相關地移動的情況下，仍然是完全無關的。

例如，可在增強現實模式為具有最豐富的信息的呈現模式時手動限定豐富度水平，或針對具體使用情況和每個數字信息來獨立地限定豐富度水平。

根據一個實施方案，一種方法包括以下步驟：1)確定相機與真實對象之間的空間關係的至少一部分，2)根據所述空間關係的所述至少一部分確定哪種信息呈現模式適於提供與所述真實對象相關的數字信息，以及3)藉助於所確定的信息呈現模式來呈現與所述真實對象相關的數字信息。任選地，可在2)與3)之間執行額外步驟，所述額外步驟檢查與所述真實對象相關的數字信息的數據表示的可用性，並且基於該信息和2)的結果(即，哪種呈現模式適用)確定在3)中將使用哪種模式。

現將相對於附圖來描述本發明的方面和實施方案，其中：

圖1示出了根據本發明的實施方案的流程圖，

圖2示出了根據本發明的實施方案的示例性場景，

圖3示出了根據本發明的實施方案的另一個示例性場景，

圖4示出了根據本發明的實施方案的架構的基本層，

圖5示出了本發明的實施方案中的數字信息的基礎數據表示層的示例，

圖6示出了根據實施方案的用於選擇適當信息呈現模式的工作流程圖，

圖7示出了本發明的實施方案可如何基於相機與真實對象之間的空間關係的至少一部分來確定增強現實呈現模式是否合適的流程圖，

圖8示出了本發明的實施方案可如何基於相機與真實對象之間的空間關係的至少一部分來確定虛擬實境呈現模式是否合適的流程圖，

圖9示出了根據本發明的實施方案可如何確定相機是否被收起的流程圖，

圖10示意性地示出了人眼通過光透視式顯示器觀察到真實對象的兩種場景，其中穿過顯示器的眼睛的視場分別包括和不包括真實對象。

圖1示出了根據本發明的實施方案的流程圖。在第一步驟101中，確定相機與真實對象(例如，與真實對象相關聯的參考坐標系)之間的空間關係的至少一部分。隨後在步驟102中，使用相機與真實對象之間的空間關係的至少一部分來確定哪種信息呈現模式適於提供與真實對象相關的數字信息。步驟103藉助於合適的呈現模式呈現與真實對象相關的數字信息。在圖2和圖3中示出了本發明的示例性實施方案，這將在下文中進行闡述。

數字信息可通過創作過程與真實對象相關聯或相關。例如，用戶可使用計算機向真實對象的圖像分配數字信息，以使數字信息與真實對象相關。又如，真實對象可通過CAD模型或一組圖像特徵(例如，SIFT描述符)來表示。數字信息可連結至CAD模型或該組圖像特徵。圖1中的步驟101可以不同的方式實現，具體取決於可用信息和傳感器並且取決於使用情況。

相機與真實對象之間的空間關係可包括物理距離或角度。空間關係可包括二進位信息。例如，空間關係可以是真實對象位於相機前面，即相機的圖像平面前面。空間關係也可以是真實對象的至少一部分位於相機的截錐體內，可將所述截錐體參數化為稜錐體。類似地，空間關係可能是指關於以下內容的二進位信息：真實對象的至少一部分是否位於相機坐標系中的任何幾何形狀、空間或半空間(包括球體、四面體、立方體、八面體、稜錐體、圓錐體、圓柱體或任何其他三維形狀)。所有這些示例是指相機與真實對象之間的平移，其為空間關係的至少一部分。如何定義空間關係的其他示例包括：在相機與真實對象之間提供(1D)距離(例如，深度)；或提供三個坐標中的至少一者，所述三個坐標指示相機與真實對象之間在歐幾裡得空間的三維平移，所述三維平移例如以物理單位(諸如毫米或米)給出。例如，空間關係可相對於相機的高度描述真實對象的高度。空間關係還可指示取向。例如，空間關係可能描述相機的坐標系中真實對象的取向的一個、兩個或三個自由度。空間關係還可能描述真實對象的坐標系中相機的取向的一個、兩個或三個自由度。例如，如果真實對象為環境(例如，城市、建築、植物或土地)，那麼相機與真實對象之間的空間關係的至少一部分可包括相機相對於重力的取向，該取向包含關於兩個自由度的信息並且可用慣性傳感器測量。另外，附接至相機的GPS傳感器也可用於確定相機相對於環境的位置，即空間關係。空間關係可能是指上述所討論的任何事物和任意組合。類似地，空間關係的至少一部分也可能是指上述所討論的任意組合。

在一個實施方案中，使用基於模型的視覺跟蹤基於拍攝圖像和真實對象的模型來確定相機與真實對象之間的空間關係。例如，這可利用模型並使用來自拍攝圖像的點特徵、特徵描述符、特徵分類器或線特徵及其對應關係來實現。

在另一個實施方案中，可基於基於圖像的對象識別方法來確定空間關係，所述方法確定真實對象是否至少部分地位於相機的視錐體內。

在另一個實施方案中，基於由深度感測相機所提供的範圍數據來確定相機與真實對象之間的空間關係。如果真實對象存在模型，那麼可結合3D旋轉和3D平移將空間關係表示為6DoF(DoF：自由度)剛體變換。

另一個實施方案確定相機與真實對象之間的距離(1D)。另一個實施方案並不依賴於用於確定相機與真實對象之間的空間關係的至少一部分的任何拍攝圖像，而是使用由附接至相機的輔助傳感器所提供的信息，所述輔助傳感器諸如慣性傳感器、(三軸式)加速度計、(三軸式)陀螺儀、電子羅盤、GPS接收器或任何其他例如基於藍牙的定位系統。在這些情況下，相機與真實對象之間的部分空間關係可包括僅平移(部分)或僅旋轉(部分)或它們的組合。

空間關係可包括旋轉的至少一部分、平移的至少一部分，並且其還可包括關於單個部件的確定性或空間關係的自由度的信息。具體地，空間關係可包括利用大於隨機猜測的確定性無法確定至少一個或全部的自由度這一信息。這可能是例如由於視覺跟蹤未能將對象定位在拍攝圖像中引起的。

步驟102(其中基於相機與真實對象之間的空間關係的至少一部分確定合適的信息呈現模式)也可取決於數字信息可用於哪種呈現，並且還可取決於額外傳感器的讀數並取決於使用情況。

信息呈現模式可能具有不同的優先級，並且步驟102的一個實施方案根據至少部分已知的空間關係在合適的模式中決定優先級最高的模式。

在一個實施方案中，如果相機與真實對象之間的剛體變換的所有六個自由度均具有高於手動定義的特定閾值的確定性和概率(例如，確定性值為0.25，或單位值為0.1米或1度)，那麼步驟102將增強現實呈現視為合適的。在一個示例中，對於確定性值而言，可指定100％肯定一個人在辦公室內。在這種情況下，確定性為1.0。

在一個實施方案中，如果相機相對於真實對象的取向在所限定的取向範圍內，那麼步驟102將虛擬實境呈現視為合適的。這種限定的取向範圍可指示用戶可觀察到顯示器(其剛性地連接至相機)的取向。這將在圖2a、圖2b、圖3a和圖3b的上下文中進一步詳述。

步驟102的實施方案及其子步驟在圖6至圖9中進行討論。

圖2a示出了本發明的一個實施方案。在包括房屋201和街道207的真實環境206內，用戶202拿著帶有後置相機和顯示器203的計算機(例如行動裝置，諸如智慧型電話或平板電腦)。用戶舉起計算機，使得後置相機捕獲房屋201的至少一部分，在本示例中，該部分是真實對象(即，真實環境206)的一部分。與真實對象相關的數字信息是用戶需要在房屋前面向右轉可到達目的地。例如，在一個計算機具體實施中，導航信息(例如，到目的地的路徑)與真實環境相關聯。可將導航信息保存或預先存儲在計算機中，或利用給定目的地由電腦程式生成導航信息。

可使用圖像識別算法並根據由相機(例如，後置相機)捕獲的房屋的至少一部分的圖像來自動確定真實對象206(即，真實環境)或真實對象的一部分(即，房屋201)。可從GPS傳感器獲取相機的位置，這可確定真實對象(即，真實環境)。可由例如用戶手動提供真實對象。

當數字信息的多個實體與真實對象相關聯時，手動或自動選擇數字信息的多個實體中的至少一者來呈現給用戶。

在本示例中，在計算機上執行相機定位法，以確定後置相機與房屋(即真實環境的一部分，即真實對象)之間的空間關係的至少一部分。相機定位法可使用來自後置相機的圖像的信息，但其也可在無任何相機的情況下(例如，基於GPS、慣性傳感器和/或電子羅盤)起作用。基於所確定的空間關係的至少一部分，本發明的一個實施方案確定視頻透視式增強現實是合適的信息呈現形式。因此，在顯示器上顯示由後置相機所捕獲的環境的實時圖像204以及空間配準的3D指令元素205，所述指令元素在本示例中為與真實對象相關的數字信息的表示。空間配準是基於後置相機相對於房屋(因而為環境，即真實對象)的空間關係的至少一部分來實現的。3D指令元素205(在這種情況下為箭頭(即，「向右轉」的表示))通過告知用戶在房屋前面向右轉來支持用戶導航到某個目標目的地。

在根據圖2b的不同情況下，同一用戶212處於包括房屋211和街道的真實環境中。用戶拿著帶有後置相機和顯示器213的計算機，計算機懸掛在頸部。在這種情況下，後置相機不會捕獲房屋211的任何部分，在本示例中，所述任何部分是指真實對象的一部分。在計算機上執行相機定位法，以確定後置相機相對於房屋的空間關係的至少一部分。相機定位法可使用來自後置相機的圖像的信息，但其也可在無任何相機的情況下(例如，基於GPS和慣性傳感器)起作用。所確定的部分空間關係由本發明的一個實施方案處理，這可確定合適的信息呈現模式。在這種情況下，數字信息同樣是用戶應當在房屋前面向右轉這一信息。由於拍攝圖像不會捕獲房屋的任何部分，因此利用靠近房屋的空間配準的3D指令元素顯示由後置相機捕獲的環境的活動圖像將導致3D指令不可見。因此，在這種情況下，(視頻透視式)增強現實並不是合適的信息呈現模式。此外，由於計算機懸掛在用戶的頸部，因此用戶無法觀察顯示器。因此，信息呈現的任何視覺模式都不適用。這可例如根據圖6來確定。

在另一個實施方案中，也可將顯示器與參考坐標系之間的空間關係確定為用於確定合適呈現模式的額外條件。在本示例中，顯示器與用戶眼睛之間的空間關係指示用戶是否觀察顯示器。為此，可基於附接至顯示器的前置相機所捕獲的圖像，使用該前置相機來檢測人眼。如果在前置相機的圖像中沒有檢測到眼睛，那麼可確定用戶眼睛不在顯示器前面，因此用戶無法觀察顯示器。

在這種情況下，本發明以一種不同但更合適的信息呈現模式(在這種情況下為音頻模式)呈現與指令元素205所呈現的信息相對應的信息。本發明使用耳機214為用戶呈現音頻信號215，告知用戶向右轉。這可例如使用文本到語音軟體來實現。

圖3a示出了本發明的另一個實施方案。位於桌子302上的真實對象301由帶有顯示器303的計算機307的後置相機306捕獲。計算機307包括一個或多個處理設備，諸如一個或多個微處理器。對由相機306捕獲的圖像進行處理，以確定真實對象301與計算機307的後置相機306之間的空間關係的至少一部分。本發明的一個實施方案確定，考慮到空間關係(指示真實對象部分位於相機的視場(FOV)內部，即在拍攝圖像中部分可見)，增強現實呈現模式是合適的。

因此，在計算機307的顯示器303上顯示利用後置相機306所捕獲的圖像304，所述圖像顯示了真實對象301的至少一部分。還顯示了與真實對象相關的數字信息，所述數字信息是與真實對象301具有空間關係(即，已知姿態)且顯示為疊加在拍攝圖像上的虛擬對象305。在本示例中，真實對象301為杯子，並且虛擬對象305為杯蓋。基於所確定的真實對象301與計算機307的後置相機306之間的空間關係的至少一部分，將虛擬對象顯示為與真實對象的圖像空間配準。在本示例中，真實對象301與後置相機306之間的空間關係為剛性6DoF變換，包括3D平移和3D旋轉。在這種情況下，數字信息的表示(例如，虛擬蓋305)可以是例如由三角形組成的三維對象，所述三角形的頂點可能分配有屬性，諸如顏色坐標、簡正坐標或紋理坐標。

在不同的情況下，如圖3b所示，本發明的另一個實施方案在帶有顯示器313和後置相機320的計算機318上實施，所述計算機位於真實桌子312上靠近真實對象311。在後置相機的拍攝圖像中並未捕獲真實對象，因為真實對象並不位於相機的FOV內的位置處。可根據圖像識別法來確定真實對象與相機之間的這種特定空間關係(即，真實對象在相機的FOV之外)，以檢測真實對象是否部分位於拍攝圖像中。因此，對於可能放在真實對象(杯子)上的蓋子不能按照增強現實呈現模式那樣來解釋，即通過使蓋子與示出真實對象的至少一部分的實時拍攝圖像在空間上配準。

本發明的一個實施方案根據相機的取向和真實對象相對於重力方向的取向來確定這種特定空間關係和合適的呈現模式。由於視覺對象檢測不能基於拍攝圖像來確定真實對象相對於相機的位置和取向，因此在這種情況下，只有相機相對於真實對象的取向是已知的，只要真實對象相對於重力具有已知的取向。這可例如基於慣性傳感器的讀數來確定。另外，可手動提供或自動確定真實對象相對於重力方向的取向。例如，如果真實對象之前在拍攝圖像中可見，那麼可根據真實對象的拍攝圖像來確定真實對象相對於相機方向的取向。可從重力傳感器或捕獲地平面的相機的圖像中獲取相對於重力方向的相機取向。因此，可自動確定真實對象相對於重力方向的取向。

在另一個實施方案中，還可通過使用跟蹤系統來確定相機與真實對象之間的空間關係。例如，包括附接至固定位置(例如，室內環境的天花板上)的若干光學相機的光學跟蹤可用於確定相機和真實對象在光學跟蹤系統的坐標系中的位置和取向。

由於不是真實對象與相機之間的空間關係的所有自由度都已知具有大於給定閾值的置信度，因此本發明的一個實施方案決定增強現實呈現模式在圖3b中是不合適的。然而，虛擬實境呈現模式在這種情況下是合適的，因為相機相對於真實對象的取向指示顯示器面向上並且因此可能對用戶可見。

本發明的另一個實施方案根據圖像識別或跟蹤方法來確定這種特定空間關係，以檢測真實對象是否部分位於拍攝圖像中。

在本示例中，本發明示出了真實對象的圖像314，所述圖像不是實時圖像而是先前捕獲的。所述圖像也可以是真實對象的3D模型的再現。通過真實對象的這種圖像，顯示了空間配準的虛擬對象315，所述虛擬對象為杯蓋並且表示與由三維對象表示的真實對象相關的數字信息。基於這種可視化，用戶可能會理解桌子上的真實杯子與蓋子(並非實際存在)之間的空間和語義關係，而無需真實對象的實時圖像。

在本示例中，顯示器與地球之間的空間關係可用作確定用來呈現與真實杯子相關聯的虛擬蓋子的合適呈現模式的額外條件。在真實杯子不在相機截錐體內的情況下，虛擬實境呈現模式被確定為用於在顯示屏面向上時呈現虛擬蓋子，而音頻呈現模式被確定為用於在顯示屏面向下時呈現虛擬蓋子。

在帶有顯示器和後置相機319的設備316的取向不適於以增強現實或虛擬實境模式呈現數字信息的情況下，將選擇音頻模式317用於信息呈現並且將選擇合適的數據呈現格式。將指令以音頻格式例如使用文本到語音引擎或音頻文件的預定義回放(無論哪種都可用)提供給用戶。

圖4概述了根據所述本發明的實施方案的架構的基本層。應用程式層401包括已執行的使用情況的基礎邏輯。信息呈現層402包括數字信息的若干信息呈現模式(例如，「向右轉」或「附接蓋子」)。我們定義了一組以下模式：1)AR(增強現實)模式：數字信息可在真實對象的實時視圖的頂部呈現為空間配準地再現；2)VR(虛擬實境)模式：數字信息可在屏幕上在視覺上呈現，而無需與實時視圖進行任何實時配準；3)音頻模式：數字信息無法在屏幕上在視覺上呈現，但可(例如，通過揚聲器或耳機)聽覺呈現。數字信息的不同信息呈現模式可能需要數字信息的不同種類的數據表示。數據表示層403包括數字信息的不同表示，包括但不限於文本信息、音頻文件、2-D靜態圖像、視頻剪輯、3-D模型。數字信息的表示可在應用程式的設計時間內通過多種創作工具和方法來靜態填充，或可通過針對適當內容遞送服務的通信請求來動態生成。我們還設想了通過可用於3-D模型創建(即，油泥建模等)的多種3-D重建技術來進行動態信息採集。

圖5示出了本發明的一個實施方案中數字信息的基礎數據呈現層403的一個示例。例如，可以不同的表示存儲向右轉501的數字信息。在第一表示502中，可採用字符串(即，一系列字符，拼寫為「Turn right！(向右轉！)」)表示所述信息。這種表示可例如列印在顯示器上或可使用文本到語音軟體大聲讀出來，具體取決於哪種信息呈現模式是合適的。在本示例中，第二表示503為數字音頻文件，其表示人們口述的向右轉指令的記錄。第三表示504為向右彎曲的二維或三維箭頭。這種表示可例如用於被示為在AR模式為合適的信息呈現模式的情況下與實時拍攝圖像在空間上配準。這種表示還可結合真實對象的圖像(非實時圖像)用於虛擬實境模式中。

旋鬆螺釘511指令的數字信息可例如採用以下各項來表示：字符串「Unscrew(旋鬆)」512、示出手如何旋鬆螺釘的數字視頻序列513或可能具有動畫的螺絲刀514的數字3D模型。

不同的信息呈現模式可能需要數字信息的不同表示。不同的信息呈現模式可對相機與真實對象之間的空間關係施加不同限制。不同的信息呈現模式可具有不同的細節豐富度。本發明的一個實施方案可自動確定細節豐富度最高的信息呈現模式，這與相機與真實對象之間的當前空間關係一致並且取決於呈現給用戶的數字信息的可用表示。

示例性實施方案：

1)計算相機相對於真實對象的姿態，即跟蹤真實對象。

2)在跟蹤真實對象時，存儲最新的有效姿態。

3)在失去跟蹤之後，提供替代呈現模式來遞送信息。

a.使用情況：維護(參見圖3b)。一旦失去跟蹤(例如，將設備放置在桌子312上)，便切換到VR模型並產生被跟蹤對象311的3D模型314，並且使用跟蹤的最新有效姿態之一來再現虛擬對象。在這種使用情況下，真實對象是需要維護的杯子。虛擬對象為與需要維護的真實對象配準的蓋子的3D模型315。

b.使用情況：步行導航(參見圖2b)。一旦失去跟蹤(例如，用戶將設備放到袋子中，或將其捆綁在肩部213)，本方法通過頭戴式耳機214產生音頻導航指令模式215(可能需要文本到語音引擎)。例如，如參考文獻[1]([1]：http：//books.google.de/books？hl＝en&lr＝&id＝6Zuj0cWns8EC&oi＝fnd&pg＝PA3&ots＝9vqwof0oL&sig＝Px8cBodCFHXO-uCFKYaogWHOApg#v＝onepage&q&f＝false)中所公開的數字地圖可在用戶保持與設備相互作用(例如，將相機指向地面)的情況下用作失去跟蹤的替代物。在這種使用情況下，真實對象為真實環境，例如環境211的至少一部分(例如，城市)。與環境相關聯的數字信息可以是環境的地圖或地圖的一部分或在房屋前面向右轉的信息。數字信息的表示為到達目的地所必要的輔助信息215，例如使用文本到語音軟體讀取的文本。

4)在呈現3)中的信息時，保持運行相機並試圖在後臺跟蹤。

5)一旦跟蹤重新初始化，便切換到信息呈現的增強現實模式。

本發明的一個實施方案包括在觀察真實對象時使用可用的額外設備(例如，智能手錶、頭戴式設備等)。這些可穿戴式設備不僅可遞送關於真實對象的視聽信息，還可利用車載相機傳感器，成為用於與關於真實對象的數字信息相互作用的所述系統的參與主體。如果存在一個以上的配有相機的設備，那麼本發明的一個實施方案根據相機與真實對象之間的空間關係來確定這些設備中的每一者適合哪種信息呈現模式。第二步驟隨後確定哪個設備可提供更豐富的信息呈現模式，然後相應地分配呈現優先級。例如，在觀察真實對象期間，用戶擁有均配備有相機的平板電腦和智能手錶。一旦確定空間關係，所述方法將選擇每個設備的信息呈現模式。如果選擇信息呈現的虛擬實境模式用於平板電腦，選擇增強現實模式用於智能手錶，那麼可將優先級指定給細節豐富度最高的設備，在這種情況下為智能手錶。此外，不同設備可分配有不同的優先級，例如具體取決於其顯示器的尺寸，使得如果增強現實模式在兩個設備上都適用，那麼顯示器較大的設備用於信息呈現。

根據本發明的實施方案的可能具體實施步驟(維護使用情況)：

1)用戶決定將要執行的用戶任務(例如，維護)。

2)跟蹤系統試著確定相機與真實對象之間的空間關係。

3)一旦跟蹤系統成功確定所述空間關係，數字信息便與真實對象配準。

4)決定AR模式用於呈現與所選擇的用戶任務和真實對象相關的數字信息。

5)一旦決定呈現模式，便選擇給定呈現模式的數字信息的表示(例如，在本具體實施中，正在加載數字信息的3-D模型)。

6)在跟蹤成功時，跟蹤系統存儲最新的N(＝1、2、3、4...)個姿態。

7)一旦失去跟蹤(即，真實對象在拍攝圖像中不可見)，系統便實施本發明的一個實施方案來決定合適的呈現模式(即，在本具體實施中，系統利用一些描述性指令切換到VR模式)。

8)利用步驟6中所記錄的跟蹤姿態N來定位數字信息(3-D模型)。

9)一旦跟蹤重新初始化，本具體實施從步驟3再次開始。

在另一個實施方案中，應用程式在增強現實呈現模式中不僅存儲姿態(即，相機與參考坐標系之間的空間關係)，還存儲拍攝(關鍵)圖像。存儲這些關鍵圖像，使得它們後來可以虛擬實境呈現模式顯示，以表示真實對象的至少一部分，即作為真實對象的(至少一部分的)表示。可使用不同的方法來確定要存儲哪些拍攝圖像。例如，如果在該組已存儲(關鍵)圖像內不存在其他具有相似外觀的圖像，那麼僅存儲新的拍攝圖像。例如，如果新圖像與該組已存儲圖像中的所有圖像之間的相似性低於特定閾值，那麼僅將新的拍攝圖像添加到該組已存儲圖像中。兩個圖像之間的相似性可例如被定義為它們之間的(歸一化)互相關性。還可基於兩個圖像的強度或梯度方向的直方圖的交互相關性來計算所述相似性。當利用多種方法(諸如SIFT)檢測和描述兩個圖像中的局部圖像特徵並且隨後將這兩個圖像的所有特徵組合視為在它們的距離小於特定閾值的情況下相匹配時，還可基於匹配數量來計算所述相似性。可手動提供一次用於決定何時將新圖像添加到該組中的閾值，或可根據該組中圖像之間的相似性來適配該閾值。在另一個實施方案中，如果在已存儲圖像內不存在以相似相機姿態拍攝的其他圖像，那麼僅存儲新的拍攝圖像。可例如基於兩個相機姿態之間的平移差和取向差來計算這兩個姿態的相似性。

另一個實施方案還基於相機姿態和真實對象在拍攝圖像中的可見情況，決定是否存儲拍攝圖像以供稍後用於虛擬實境呈現模式中。例如，如果真實對象的至少一部分(例如，50％)在圖像中可見，那麼僅將圖像存儲為關鍵圖像。又如，如果真實對象在圖像中佔據至少最小面積，那麼僅將圖像存儲為關鍵圖像。所述面積可例如為500像素或可為拍攝圖像的一部分(即，25％)。在另一個實施方案中，還基於相機姿態和與真實對象相關的數字信息疊加在拍攝圖像上的情況，決定是否存儲拍攝圖像以供稍後用於虛擬實境呈現模式中。例如，如果數字信息的至少一部分在與拍攝圖像空間配準地疊加的情況下可見，那麼一個實施方案僅存儲將在虛擬實境模式中使用的圖像。

根據實施方案的可能具體實施步驟(此處：使用GPS進行步行導航)：

1)用戶選擇或輸出將要導航到的所需目的地。

2)啟動附接至設備顯示器的相機，並且捕獲第一圖像並將其呈現給再戶。

3)跟蹤系統利用監聽器初始化，以進行設備的位置更新。

4)一旦初始化，便在屏幕上繪出對應於所需最終目的地的數字輔助信息(POI對象)。

5)一旦第一位置更新(例如，來自GPS)，便識別設備的當前位置，並計算與最終目的地的距離並將該距離顯示在POI上。

6)計算設備的當前位置與請求的最終目的地之間的建議路線(可能使用第三方路線服務，這涉及與伺服器進行通信)。

7)路線被劃分為若干個原子狀路點，所述原子狀路點對應於單條路線。

8)為每個路點創建中間POI，包括必要的數字指令(例如，呈文本表示格式)，用於指示如何從每個路點繼續進行。

9)在所繪出每個幀上，算法檢查設備相對於重力的取向：

a.當相機的光軸接近正交於重力方向時，增強現實模式是合適的，並且結合實時視圖以(音頻)視頻格式將指令呈現給用戶。

b.如果增強現實模式不合適(例如，由於將設備收在袋子中)，那麼將選擇音頻信息呈現模式來繼續導航。

10)一旦後續位置更新，將計算到所有路點的當前距離，並且一旦用戶位於距離最近路點X米的附近，以適當信息呈現模式向用戶提供指令。

圖6示出了根據實施方案的用於選擇適當信息呈現模式的工作流程圖。如果在給定情況下沒有其他提供更豐富信息呈現體驗的模式603或605是合適的，那麼將選擇根據步驟606的模式作為回退模式。基於相機與真實對象之間的空間關係的至少一部分(601)，步驟602確定增強現實呈現模式是否是合適的信息呈現模式。這可例如根據圖7所示的實施方案來實現。如果AR模式是合適的，那麼使用AR模式(步驟603)。否則，考慮到空間關係601，步驟604確定虛擬實境表示模式是否是合適的。如果合適，使用VR呈現模式(步驟605)。否則，使用音頻呈現模式(步驟606)。需注意，AR呈現模式(603)和VR呈現模式(605)可能包括聽覺輸出。

圖7示出了本發明的一個實施方案可如何基於相機與真實對象之間的空間關係的至少一部分701來確定增強現實呈現模式是否合適的流程圖。決策框702對應於圖6中602的一個實施方案。首先，在步驟703中檢查701是否包括平移的至少一部分。如果不包括(705)，那麼決策框702得出AR呈現模式不適用這一結論(710)。否則(704)，在步驟706中可進一步評估701的取向部分是否適於AR呈現模式。701的取向部分能夠將指示對象在坐標系中的方向的至少一個向量轉化為相機的坐標系。隨後，706的一個實施方案將限定參考向量(指示在相機坐標系中表示的方向)和閾值，並且706將要求將從對象坐標系轉化為相機坐標系的向量與參考向量之間的純量積高於閾值，使得步驟706得出「是」的結果。可使用多對參考向量和閾值。

例如，如果真實對象是環境的至少一部分，那麼感興趣向量可以是重力向量。在這種情況下，相機與真實對象之間的空間關係可基於附接至相機的慣性傳感器，所述慣性傳感器測量相機相對於重力的絕對取向。這允許將對象坐標系中所限定的向量(即，重力向量)轉化為相機的坐標系。

例如，現在如果虛擬實境呈現模式僅在相機看向地板(是環境的一部分，因而是真實對象的一部分)時適用，那麼可使用參考向量和閾值的以下限定。相機坐標系中的參考向量可以是平行於相機的主軸的向量。可以假設的是，指示相機坐標系中重力取向的向量和參考向量二者均具有單位長度。那麼將閾值限定為0.9並且強制使得參考向量與所轉化向量之間的純量積高於該閾值意味著以下內容。相機主軸與地板法線(即，重力向量)之間的角度小於cos-1(0.9)度(大約為26度)。

又如，如果增強現實呈現模式僅在相機相對於真實對象呈縱向模式(即，非橫向模式)時適用。這可如下實現。將相機坐標系中的參考向量限定為平行於相機的成像傳感器的長側的向量，並且從對象坐標轉化為相機坐標的向量仍為如前一個示例中所述的重力向量。現在，如果將閾值選擇為0.7071，那麼這對應於兩個向量之間45度的角，並且該條件僅在相機呈縱向取向而非橫向取向時成立。

又如，真實對象為門敞開的車庫(即，缺失一個面的立方體)，並且數字信息為車庫內部的(虛擬)車輛。在這種情況下，可將任何不允許通過門查看車庫的相機取向視為不適於增強現實呈現模式。在本示例中，可基於視覺相機跟蹤來確定相機與真實對象之間的空間關係，並且該空間關係包括全6DoF相機姿態。對象坐標系中的向量通過敞開的門指向車庫內部，並且考慮到向量與相機坐標系之間的空間關係將該向量轉化為相機坐標系。將相機坐標系中的參考向量限定為平行於相機的主軸，並且在本示例中，可將閾值限定為0.8。因此，在本示例中，增強現實呈現模式僅在相機取向允許通過敞開的門查看車庫的情況下(即，在相機主軸與指向門內部的向量之間的角度小於37度的情況下，其中所述37度對應於所轉化的單位向量與大於0.8的參考單位向量的純量積)適用。並非手動限定閾值，而是根據固有相機參數(諸如焦距)來限定閾值，這可被提供一次或在線估計。

如果取向不適用(709)，那麼決策框702返回「否」(710)。否則，決策框707返回「是」(708)。

圖8示出了本發明的一個實施方案可如何基於相機與真實對象之間的空間關係的至少一部分801來確定虛擬實境呈現模式是否合適的流程圖。決策框802對應於圖6中604的一個實施方案。首先，在步驟803中檢查801的取向部分是否適於VR呈現模式。801的取向部分能夠將對象坐標系中的至少一個向量轉化為相機的坐標系。隨後，803的一個實施方案將限定參考向量(在相機坐標系中表示)和閾值，並且803將要求將從對象坐標系轉化為相機坐標系的向量與參考向量之間的純量積高於閾值，使得步驟803得出「是」的結果。可使用多對參考向量和閾值。例如，在顯示器與相機背向且顯示器僅在面向上半球時對用戶可見的假設下，這一構想可使得803僅在相機面向下半球時返回「是」。如果取向不適用(805)，那麼決策框802返回「否」(810)。否則(804)，可檢查相機是否被收起。框806的一個實施方案在圖9中詳細描述。如果相機被收起(807)，那麼決策框802返回「是」，即VR模式適用。否則(809)，決策框返回「否」，其中810意味著VR模式不適用。

圖9描述了確定相機是否被收起的一個實施方案901。決策框902檢查包括相機的設備的屏幕(即，顯示器)是否關閉。顯示器可由用戶手動關閉或在空轉周期之後由設備的作業系統自動斷開。在903「是」的情況下，決策框901返回「是」(910)，並且可得出相機被收起這一結論。因此，根據本發明的一個實施方案(如圖8所示)，將執行步驟809，這意味著VR模式不適用。在屏幕開啟的情況下，通過904「否」進行到決策框905，以確定接近傳感器是否在延長時間段(例如，30秒)連續檢測附近對象。這可指示設備可能放置在對象(例如，口袋或袋子)內部，並且在接近傳感器無意被用手覆蓋時排除任意情況。在906「是」的情況下，可得出相機被收起這一結論。因此，根據圖8所示實施方案，將執行步驟809並且VR模式不適用，否則繼續步驟907以執行決策框908，確定當前運動是否與任何運動模式匹配。所述運動因而是指在至少兩個時間點測得的相機與真實對象之間的空間關係的至少一部分。

相機相對於真實對象的運動是指相機相對於真實對象在至少兩個位置之間的運動。如果對象為靜態(相對於地球)，那麼相機相對於真實對象的運動與相機相對於地球的運動相同。如果對象為動態(相對於地球)，那麼相機相對於真實對象的運動與相機相對於地球的運動不同。

慣性傳感器、(三軸式)加速度計、(三軸式)陀螺儀或其他提供關於設備位置或取向的信息的輔助傳感器中可能存在(融合)傳感器數據。通過使用監督式機器學習技術，可得知與口袋、袋子或手提袋中攜帶的設備相對應的運動方式。這能夠在稍後識別這種情況並將這種情況與不感興趣的任意事件區分開(例如，當設備在走路、跑步等期間移動時)。在910「是」的情況下，決策框901返回「是」，並且執行步驟809。這意味著VR模式在運動方式指示相機被收起的情況下適用。否則，步驟909將得出相機未被收起這一結論，執行步驟808，即VR模式。

以上實施方案可使用不同種類的顯示器來向用戶呈現數字信息，尤其是使用AR呈現模式或VR呈現模式。具體地，可使用反射顯示器和發射顯示器，諸如LCD顯示器或LED顯示器。這種顯示器例如用於手持式設備，諸如智慧型電話或平板電腦，其中顯示器剛性地連接至後置相機。在增強現實呈現模式下，這些顯示器用於示出實時拍攝圖像並且用於呈現與真實對象(與實時拍攝圖像疊加)相關的數字信息。上述實施方案還可使用半透明顯示器，其允許用戶看穿顯示器從而通過顯示器光學觀察環境。這可包括在增強現實呈現模式下查看感興趣真實對象，其中顯示器僅用於呈現視覺數字信息但不呈現實時拍攝圖像。這種顯示器例如基於OLED或LCD技術並且常用於頭戴式顯示器中。在很多情況下，存在剛性附接至這種頭戴式顯示器的相機，並且在這種情況下，相機可以是為其確定其相對於對象的空間關係的至少一部分的相機。當戴著頭戴式顯示器時，用戶眼睛與顯示器之間的空間關係通常大致恆定。然而，這確定了用戶可看到環境的哪一部分。如果光透視式顯示器(即，半透明顯示器)被舉在用戶手中，那麼眼睛與真實對象之間的空間關係對於確定對象是否可通過顯示器(部分地)看見來說變得尤為重要，並且該空間關係隨後可指示增強現實呈現模式是否適用。在這種情況下，決定將要選擇哪種呈現模式取決於眼睛與至少一個參考坐標系之間的空間關係。至少一個參考坐標系可包括真實對象的坐標系和/或(半透明)顯示器的坐標系。

顯示器(顯示設備)可在相對於眼睛的不同距離處形成圖像。視頻投影機(例如，基於LCD、LED、DLP、CRT或雷射器)是本發明的上下文中可使用的顯示設備。視頻投影機在其投影到的表面上形成了圖像，所形成的圖像可能是與正顯示的數字信息相關聯的真實對象的至少一部分。對於手持式設備諸如平板電腦或智慧型電話而言，顯示器(顯示設備)位於用戶手中。可穿戴式計算機的顯示器通常附接至用戶身體，例如使用智能手錶時附接至手腕處或使用頭戴式顯示器時附接在眼睛前面。本發明還可使用附接至眼睛的顯示器，例如以隱形眼鏡的形狀因數直接附接至眼球。顯示設備還可將光投射到用戶的視網膜上。在這種情況下，顯示器與眼睛之間的空間關係可以是靜態的，並且我們可以假定用戶始終能夠看到顯示器。

需注意，術語「顯示器」和「顯示設備」在整個文檔中可互換使用。

在虛擬實境呈現模式下，可使用上文討論的所有種類的顯示器，尤其包括光透視式顯示器。在這種情況下，不是通過顯示器查看真實對象，而是可在顯示器上示出真實對象的圖像或模型。

圖10a示意性地示出了人眼1003通過光透視式顯示器1002觀察到的真實對象1001。確定眼睛與真實對象相關聯的坐標系之間的空間關係1004，並且該空間關係可作為選擇與真實對象1001相關的數字信息的呈現模式的基礎。具體地，這一空間關係1004影響眼睛1003穿過顯示器1002的視場1005。在圖10a中存在的空間關係中，真實對象1001位於視場1005內，因此本發明的一個實施方案可選擇增強現實呈現模式作為用於在顯示器1002上呈現與真實對象1001相關的數字信息的模式。在一個實施方案中，附接至顯示器1002的第一相機可捕獲真實對象1001的圖像，以便確定第一相機與真實對象之間的第一空間關係。附接至顯示器1002的第二相機可捕獲眼睛1003的另一圖像，以便確定第二相機與眼睛之間的第二空間關係。第一相機與第二相機之間的第三空間關係可以是已知的。隨後，可根據第一空間關係、第二空間關係和第三空間關係來確定空間關係1004。

在圖10b中，示出了真實對象1011、光透視式顯示器1012和眼睛1013。再次確定眼睛與坐標系之間的空間關係1014，其中在這種情況下，該坐標系與真實對象1011相關聯。在這種情況下，這個空間關係表明眼睛1013穿過顯示器1012的視場1015並不包括真實對象1011的任何部分。在這種情況下，本發明的一個實施方案會根據空間關係1014來選擇虛擬實境模式。

上文提及的用於基於相機與坐標系(例如，與真實對象相關)之間的空間關係的輸入而確定從多個模式中選擇哪種信息呈現模式的所有實施方案，可基於眼睛與坐標系(例如，與真實對象或顯示器相關)之間的空間關係類似地執行。在這種情況下，相機與眼睛等效。

如何確定眼睛與坐標系之間的空間關係可能存在若干方法。在一個實施方案中，基於由相機所捕獲的圖像並且通過檢測眼睛在拍攝圖像中的位置來確定眼睛與坐標系之間的空間關係。這可例如基於多個特徵諸如角膜反射和瞳孔中心來進行。拍攝圖像可捕獲可見光或紅外光，或者可能使用它們的組合。這樣的方法使得眼睛與相機的坐標系之間存在空間關係。如果相機的坐標系與第二坐標系之間的空間關係是已知的，那麼眼睛與第二坐標系之間的空間關係可通過互相聯繫來確定。

另一個實施方案使用臉部檢測或臉部跟蹤法來確定相機與臉部之間的空間關係。可使用對呈灰度格式或RGB、YUV或任何其他色彩格式的圖像進行操作的任何現有技術算法。此外，可使用對範圍數據(例如，從無源或有源立體相機或渡越時間相機獲取)進行操作的算法。該檢測可以是例如基於神經網絡、支持向量機或任何其他使用了機器學習的方法。如果相機的坐標系與臉部之間的空間關係已根據上述算法進行了確定，則可考慮到臉部與臉部眼睛之間的已知空間關係來確定相機的坐標系與臉部眼睛之間的空間關係。與前一個示例類似，如果相機的坐標系與第二坐標系之間的空間關係是已知的，那麼眼睛與第二坐標系之間的空間關係可通過互相聯繫來確定。

本發明進一步包括以下這種方法，即通知用戶：數字信息在適用於根據相機(或眼睛)與真實對象之間的當前空間關係而選擇的呈現模式的表示中不可用。在這種情況下，該系統可進一步提供關於移動或位置或取向的指令，使得相機(或眼睛)與真實對象之間的空間關係可相應地變化以選擇另一種呈現模式。

另外，不同的呈現模式可具有表明其呈現優先級的不同權重，這可手動地指定。例如，可向AR呈現模式指定比VR模式和音頻呈現模式更高的權重。可向VR呈現模式指定比音頻呈現模式更高的權重。當根據空間關係來確定選擇兩種呈現模式(例如，AR呈現模式和VR呈現模式)時，那麼最終可選擇具有較高權重的呈現模式(例如，AR呈現模式)用於呈現數字信息。

數字信息的不同表示可具有不同水平的豐富度，這也可手動地指定。

本文進一步公開了以下這種方法，即通知用戶：一種不同的呈現模式可為用戶提供更豐富的數字信息的表示，並向用戶提供關於移動或位置或取向的指令，以改變相機(或眼睛)與真實對象之間的空間關係，從而使得該信息呈現模式適於以更豐富的方式呈現數字信息。例如，如果呈現模式為音頻模式並且數字信息描述了正面的特定位置，那麼音頻模式可例如說明該位置位於4樓與5樓之間並且從正面看位於告示牌的左側，而增強現實模式可通過僅在相應位置顯示點或叉號而更豐富並且更簡單地呈現相同信息。在這種情況下，該方法建議用戶：一種不同的信息呈現模式在當前情況下會提供更豐富的信息並向用戶提供指令(如「將相機移向告示牌或將相機水平放置」的語音命令)，以鼓勵用戶移動相機從而使得AR模式適用。

根據空間關係，通知用戶一種不同的呈現模式可為用戶提供更豐富的數字信息呈現也可能是有益的。例如，如果真實對象為汽車並且數字信息為如何再注入冷卻液體(例如，數字信息可以是用於再注入冷卻液體的過程)，那麼帶有平板電腦的用戶可首先將相機指向汽車的發動機艙，並且使用增強現實呈現模式在實時拍攝圖像中疊加地呈現再注入流體之處。在將模板計算機放在一邊後，本發明的一個實施方案將切換到虛擬實境呈現模式，並將發動機艙的圖像(其已在增強現實呈現模式期間被捕獲，疊加有數字信息)示為例如虛擬3D模型。在用戶確認他或她遵循了數字信息並再注入冷卻流體後，下一個維護步驟(即，下一個數字信息)可以是對汽車補給燃料。虛擬實境模式將以疊加虛擬3D指令的方式呈現真實汽車的虛擬3D模型，但它無法呈現真實汽車的拍攝圖像，因為汽車的相關部件(即，燃料添加活門)在增強現實模式下尚未被捕獲，並且因此不存在活門的任何拍攝圖像。

根據本發明的實施方案的一種方法現將通知用戶：將平板電腦移動成使相機捕獲燃料添加活門的至少一部分的姿態將能夠呈現真實物品以及因此數字信息的更豐富的表示。因此，移動平板電腦將使得增強現實視圖適用，並且然後在存儲了活門的至少一個拍攝圖像(即，照片)後，虛擬實境模式也通過示出汽車的照片而不是再現其3D模型而實現更豐富的表示，其中該3D模型具有更少的細節並且看上去較為不現實。

可在增強現實模式為帶有最豐富信息的呈現模式、虛擬實境模式為帶有第二豐富信息的呈現模式並且音頻模式為帶有最不豐富信息的呈現模式時，手動地限定豐富度水平。豐富度可進一步取決於單獨使用情況，並且由此豐富度順序可針對每種使用情況和每個數字信息而獨立地限定。如果數字信息為(例如)一首歌，那麼與例如虛擬實境模式(其例如示出歌曲的節拍或歌詞)相比，音頻模式通過播放歌曲錄音來提供更豐富的表示。

信息呈現：

信息呈現模式是一種呈現與真實物品相關的數字信息的方法。信息呈現模式可包括但不限於：

1)增強現實(AR)呈現：在真實對象的實時視圖上疊加數字信息。實時視圖可作為真實對象的現場拍攝圖像來實現(視頻透視式)，或者該實時視圖可以是基於真實對象穿過光透視式顯示器的視圖。這種呈現形式是基於顯示器的。

2)虛擬實境(VR)呈現：數字信息連同真實對象的數字視覺表示一起示出，該數字視覺表示呈例如真實對象的3D幾何模型、數字視頻、數字照片或圖像的形式。這種呈現形式是基於顯示器的。

在AR和VR呈現模式下，顯示設備(例如，LCD屏幕或半透明屏幕)用於顯示數字信息。

3)音頻呈現：例如使用耳機或揚聲器以聽覺方式來呈現數字信息。

這種信息呈現模式並不需要任何顯示器。

一種合適的信息呈現模式例如如在根據圖6的實施方案中所述而被選擇。

表示：

數據表示這一抽象概念指出了與真實對象相關的數字信息存儲在計算機中的方式。基於信息呈現模式來選擇一種合適的數據表示格式。每個信息呈現模式包括至少一個數據表示格式。數據表示格式的任意組合可用於充實給定信息呈現模式，並且可包括但不限於：

1)對於增強現實(AR)呈現來說，與真實對象相關並且在顯示器上呈現的數字信息的數據表示可以是例如數字(動畫)3D模型、數字(動畫)2D模型、視頻、圖像、文本信息或音頻文件。

2)對於虛擬實境(AR)呈現來說，與真實對象相關並且在顯示器上呈現的數字信息的數據表示可以是例如數字(動畫)3D模型、數字(動畫)2D模型、視頻、圖像、文本信息或音頻文件。

3)對於音頻呈現來說，與真實物品相關的數字信息的數據表示可以是數字聲音文件，或是可藉助軟體(例如，文本到語音)轉換為語音的文本。

雖然本文參考某些部件描述了各種實施方案，但在實現這些實施方案中的任何實施方案時，也可使用本文所述或對本領域技術人員顯而易見的部件的任何其他配置。本文所述的設備或部件中的任一者可以是或可包括相應的處理設備(未明確示出)諸如微處理器，用以執行本文所述的任務中的一些或多個。處理任務中的一者或多者可由部件或其彼此通信的處理設備中的一者或多者來處理，例如通過相應的點到點通信或經由網絡例如經由伺服器計算機來處理。