用於在真實環境中表示虛擬信息的方法

2023-09-17 07:10:45 4

專利名稱：用於在真實環境中表示虛擬信息的方法
技術領域：
本發明涉及一種用於在真實環境中表示虛擬信息的方法。該方法特別適合於通過增強現實技術的世界中的興趣點的人機工程學(ergonomic)表示和標記。
背景技術：
增強現實(AR)是其中虛擬數據覆蓋現實並且因此便利數據與現實的關聯的技術。在本領域中已知移動AR系統的使用。在過去的幾年中，高性能行動裝置(例如，智慧型電話)變得適合於AR應用。這些設備同時具有較大的彩色顯示器、安裝的相機、良好的處理器和附加的傳感器，諸如方向傳感器和GPS。除了這一點之外，還可以經由無線電網絡來近似設備的位置。在過去，存在在使用AR的行動裝置上實現的各種工程。首先，使用用於確定設備的位置和方向的特殊光學標記。關於也可用於大區域並且因此也被稱為大區域AR的AR，也已經公布了用於與HMD相關的物體的可感測表示的提示[2，4，5，6，7，8，9]。最近，也存在用於利用現代設備的GPS和方向傳感器系統的手段[1，3，10，15]。然而，特別地，關於在小行動裝置上使用視頻透明AR的這些手段，還沒有公布用於分別增強其可用性和用戶友好性的創新方法。[1]AR Wikitude. http://www. mobilizy. com/wikitude. php.[2]B. Bell, S. Feiner, and T. H. . ollerer. View management for virtual and augmented reality. In Proceedings of the 14th ACM Symposium on User Interface Software and Technology, pages 101-110,2001.[3]Enkin. http://www. enkin. net.[4] S. Feiner, B. Maclntyre, T. H. . ollerer, and A. Webster. A touring machine Prototyping 3d mobile augmented reality systems for exploring the urban environment. In Proceedings of the 1st International Symposium on Wearable Computers，pages 74-81，1997.[5] J. L Gabbard，J. E. Swan II，D. Hix，S. -J. Kim, and G. Fitch. Active text drawing styles for outdoor augmented reality :A user-based study and design implications.In Proceedings of the IEEE Virtual Reality Conference， pages 35-42,2007.[6] T. H. H. . ollerer. User Interfaces for Mobile Augmented Reality Systems. PhD thesis，Graduate School of Arts and Sciences of Columbia University, 2004.[7]S. Julier, Y. Baillot, D. Brown, and M. Lanzagorta. Information filtering for mobile augmented reality. IEEE Computer Graphics and Applications，22 (5) 12-15,2002.[8]G. Reitmayr and D. Schmalstieg. Collaborative augmented reality foroutdoor navigation and information browsing. In Proceedings of the Symposium Location Based Services and TeleCartography-Geowissenschaftliche Mitteilungen, pages 31-41,2004.[9]J. Rekimoto.The magnifying glass approach to augmented reality systems. In Proceedings of the International Conference on Artificial Reality and Tele-Existence and Conference on Virtual Reality Software and Technology, pages 123-1 32,1995.[10]Sekai Camera. http://www. toncnidot. com/product-info. html.[11] J. Wither, S. DiVerdi, and T. H. . ollerer. Evaluating display types for ar selection and annotation. In IEEE International Symposium on Mixed and Augmented Reality. 2007.[12] J. Wither and T. H. . ollerer. Pictorial depth cues for outdoor augmented reality. In Proceedings of the 9th IEEE International Symposium on Wearable Computers, pages 92-99,2005. [13]From video image e.g. (Automatic Fog Detection and Estimation of Visibility Distance through use of an Onboard Camera)Journal Macnine Vision and Applications Publisher Springer Berlin/ Heidelberg ISSN0932-8092(Print)1432-1769(Online)Volume 17, Numberl/April 2006 Pages 8-20[14]Marko Heinrich,Bruce H. Thomas,Stefan Mueller, 「 ARffeather, 「 Mixed and Augmented Reality, IEEE/ACM International Symposium on, pp. 187-188,2008 7thIEEE/ACM International Symposium on Mixed and Augmented Reality, 2008.[15] layar. com申請人:已經發現，對於使用大區域AR，應當滿足特定系統屬性(1)對於相關信息的不複雜、迅速使用和直接訪問。(2)將虛擬信息與現實相關聯的精確度是重要的。(3)用戶界面應當清楚整齊。迄今使用的方法的缺點(1)經常使用所謂的「鳥瞰」(一種鳥瞰視角)來作為在周圍環境中的點上的概觀。這個視圖例如用於通過混和的虛擬信息來向用戶示出興趣點大體位於真實世界的位置。使用有限的屏幕大小，用戶具有遠程元素的有限視圖，或換句話說， 解析度變得太小，並且元素不可辨別/不可視。兩個觀看方向的同時表示使得界面被呈現地更為複雜。(2)如果物體的大小未被正確地縮放，則用戶的距離感覺並且因此關聯的能力將會被削弱。(3)如果物體的大小被縮放，則對於大距離，這些變小和難以辨認。該界面具有不清楚和不整齊的外觀。

發明內容
本發明的目的是指示一種用於表示真實環境中的虛擬信息的方法，它能夠實現在真實世界中的興趣點的人機工程學表示，而不過度地限制用戶的視場，並且沒有過量的信息而使得用戶過度緊張。本發明的第一方面涉及一種用於表示真實環境中的虛擬信息的方法，包括下面的步驟
提供真實環境和系統設備的至少一個視圖，用於混和或覆蓋虛擬信息以在所述視圖的至少一部分中與真實環境疊加，所述系統設備包括至少一個顯示設備，確定所述系統設備的至少一個部分相對於所述真實環境的至少一個部件的位置和方向，將所述真實環境的所述視圖的至少一部分細分為多個區域，所述多個區域包括第一區域和第二區域，在所述第一區域內的所述真實環境的物體被布置得比在所述第二區域內的所述真實環境的物體更接近所述系統設備，根據所述系統設備的所述至少一個部分的所述位置和方向，在所述真實環境的視圖的至少一部分中在所述顯示設備上混和或覆蓋虛擬信息中的至少一項，其中，相對於在所述真實環境的所述視圖中的混和或覆蓋的類型，在所述第一區域中與在所述第二區域中不同地示出所述虛擬信息。所述系統設備的所述至少一個部分可以例如是其位置和方向(位姿)被確定的相機，所述相機不必然固定地連接到所述顯示設備。在特定情況下，例如，當僅經由GPS和方向傳感器確定所述系統設備的至少一部分的位姿時，整個系統根本不需要相機。只要存在對於用戶的觀看方向可能的結論，則所述系統設備的任何部分的位姿的確定在原則上就是適合的。例如，所述第一區域可以是近處區域，而所述第二區域可以是遠程或遠處區域。然而，也可能所述第一區域表示位置區域，而所述第二區域表示近處區域。以下參考附圖來更詳細地闡明具有近處區域、遠處區域和位置區域的實施例。根據可以獨立於涉及將視圖細分為區域的本發明的以上第一方面而應用的本發明的另一個方面，在真實環境的視圖中混和虛擬信息也可以考慮例如經由網際網路(「在線」) 查詢的天氣數據，以便增強混和的虛擬信息相對於真實環境的真實程度，並且因此改善與其的關聯。存在可設想來用於處理的各種複雜度。例如，基於天氣情況，可以分配與天氣情況匹配的固定光照模型或材料(例如，紋理)。作為補充或替代，可以根據天氣數據(諸如雲、太陽輻射等)和/或其他數據(諸如日時、年時等)來計算陰影投射或光照條件。在一個實施例中，虛擬信息的至少一項表示相對於真實環境的興趣點(一般也縮寫為POI，特別是與導航設備相關聯)。本發明提供了下述優點獲得在真實世界中的虛擬信息，特別是興趣點的人機工程學表示，而不過度地限制用戶的視場，並且沒有太多的信息項而使得用戶過度緊張。同時，可以顯示虛擬信息的許多不同的項，然而，所述虛擬信息的許多不同的項因為所述虛擬信息的所述人機工程學表示而不導致用戶過度緊張。而且，可以通過考慮人感知機制來增強信息的關聯。可以從從屬權利要求獲取本發明的另外的有益發展。


現在通過在附圖中示出的圖來更詳細地描述本發明，在附圖中圖1示出可以用於執行根據本發明的方法的相對於真實環境的示例性系統設備的示意布置的平面圖，圖2示出將興趣點(周圍的Ρ0Ι)示例性地劃分到不同半徑區域的示意布置，
圖3示出用於計算扇區中的POI上的半徑的可能手段的示意布置，其中，每一個扇區的半徑可以彼此不同。圖4示出根據本發明的多個方面的用於形成用戶界面的實施例的、具有混和的虛擬信息(在此Ρ0Ι物體)的真實環境的示例性視圖的可能元素，圖5示出當操作焦點位於位置區域中時根據圖4的用戶界面的可能元素，圖6示出在根據圖4的視圖的位置區域中的虛擬信息(在此Ρ0Ι)的示例性預覽，圖7示出當不需要表面元素時從根據圖4的視圖中屏蔽這些表面元素的示例性可能，圖8至圖11示出用於虛擬信息(在此Ρ0Ι物體)的項的實施例的不同表示可能，圖12示出給出根據本發明的方法的實施例的整體處理的概況的流程圖，圖13示出如在根據圖4的視圖中例示的、說明用於計算位置區域的半徑0(參照圖2)的可能過程的實施例，圖14示出說明用於計算在圖2中例示的半徑1的可能過程的實施例，圖15示出說明用於計算在圖2中例示的半徑2的可能過程的實施例，圖16示出用於說明虛擬信息(在此Ρ0Ι物體)的項的聚集的示例性可能的示意圖，圖17示出用於使陰影和材料效果(「描陰」)與虛擬信息(在此Ρ0Ι物體)的項相關聯的示例性可能過程，圖18示出與虛擬信息(在此Ρ0Ι物體)的項的示例性可能交互。
具體實施例方式圖1示出用於說明可以用於執行根據本發明的方法的示例性系統設備的示意布置的平面圖。具體地說，圖1說明了系統設備的各種可能。在圖IA的說明中，用戶戴著作為顯示設備的頭戴式顯示系統(縮寫為HMD)，該頭戴式顯示系統包括作為系統設備20的一部分的顯示器21。顯示器21例如可以是公知的半透明數據眼鏡(「光學透明顯示器」)，其中，可以混和由計算機23提供的虛擬信息。用戶因此在真實世界40的視圖中通過半透的數據眼鏡21看到增加了混和的虛擬信息(諸如， 例如與真實世界相關的POI物體)的真實世界的物體。以這種方式，系統設備20構成公知的增強現實(AR)系統的實施例。顯示器21可以具有附加的傳感器M，諸如旋轉傳感器；以及，其上安裝的用於光學跟蹤的相機22。顯示器21可以是半透明的或可以由相機圖像提供現實的圖像。對於半透明顯示器21，在眼睛25和顯示器21之間的校準是必要的。為此，存在現在技術中記載的並且專家已知的各種方法。有利地，在顯示器21上或在用戶身體上的任何位置或計算機單元23中，也可以安裝位置傳感器，諸如GPS傳感器(GPS 全球定位系統)，用於提供在真實世界40中的系統設備20的可能地理位置確定(例如，根據經度和緯度)。在圖IB的說明中，示出可以例如在現代行動電話(所謂的「智慧型電話」)中經常發現的另一種示例性系統設備30。顯示設備31 (例如，以顯示屏幕或顯示器的形式)、計算機 33、傳感器34和相機32構成例如在行動電話的公共外殼中容納的系統單元。通過顯示器 31來提供真實世界40的視圖，顯示器31示出由相機32捕獲的真實世界40的相機圖像。對於增強現實應用，可以在顯示器31上示出相機圖像，並且向該相機圖像增加額外的虛擬信息(諸如與真實世界相關的POI物體)。以這種方式，系統設備30構成公知的增強現實 (AR)系統的另一個實施例。基本上，本發明可以方便地用於所有形式的AR。例如，在使用半透明HMD的所謂的光學透明模式中或使用相機和顯示屏幕的視頻透明模式中實現表示是無關的。當以下參考相機時，這可以是源自眼睛和透明顯示器(參照圖IA的顯示器21)的組合的相機或光學系統。該兩者都包括用於混和虛擬信息的相關的相機屬性，諸如孔徑角和圖像的主點。本發明基本上也可以結合立體顯示器使用，在該立體顯示器中，視頻透明手段有利地使用兩個相機，每一個相機用於記錄每隻眼睛的一個視頻流。在任何情況下，可以對於每隻眼睛單獨地計算虛擬3D信息的項。以下描述的不同的部分步驟的處理基本上可以經由網絡被分布到各個計算機。因此，客戶機/伺服器架構或純基於客戶機的解決方案是可能的。例如，客戶機可以向伺服器發送圖像，伺服器基於該圖像使得客戶機可獲得關於與真實世界相關的系統設備(參照圖 1)或其一部分的3D位置和3D方向的信息(下面稱為位姿)和關於可視範圍的信息。此夕卜，客戶機或伺服器也可以包括若干計算單元，諸如若干CPU ；或專用硬體部件，諸如公知的FPGA、ASIC、GPU或DSP。若干客戶機也可以在彼此之間交換信息，該信息是例如關於這個位置的可視範圍或在客戶機產生POI的情況下產生的。信息的這種交換可以經由伺服器發生，然而，也可以設想經由藍牙或WLAN的直接連接。為了允許實現AR，空間中的相機的位姿(位置和方向)是必需的。可以用各種不同的方式來實現這一點。可以例如通過僅使用具有電子指南針的GPS和方向傳感器(例如在一些現代行動電話中安裝的)來確定在世界上的位姿。然而，位姿的不確定度很高。因此，也可以使用其他方法，諸如光學初始化和跟蹤或使用GPS和方向傳感器的光學方法的組合。也以使用WLAN定位，或者，RFID或光學標記可以支持定位處理。如上所述，基於客戶機/伺服器的手段在此也是可能的。具體地說，客戶機可以從伺服器請求用於光學跟蹤所需的位置特定信息。這樣的信息可以例如是具有位姿信息和深度信息的周圍環境的參考圖像。本發明可以改善客戶機的信息表示。然而，它也可以用在遠程情境(遠程視圖情境)中。在該情境中，例如，在控制室中的維護專家在他的顯示屏幕上觀看經由數據網絡傳送的客戶機的圖像以及對應地信息處理項。專家然後可以向客戶機給出指令或僅觀察。在類似的情境中，可以設想，人觀看記錄的圖像或視頻材料以及根據本發明表示的交互附加信息，並且如果可能，可以通過與基於網際網路的應用「Google Mreetview」類似的材料來進行導航。除此之外，本發明也可以作為監控器、HMD或通過平視顯示器的方式被安裝或攜帶在汽車、飛機或船隻中。一般，可以對於大量不同形式的信息建立興趣點(「Ρ0Ι」)。以下給出示例。可以使用GPS信息來表示位置的圖像。可以從網際網路自動地提取信息。例如，這可以是具有地址或給出等級的頁面的公司或飯店網站。用戶可以在位置存儲文本、圖像或3D物體，並且使得其他人可獲得它。可以對於諸如Wikipedia的信息頁面搜索地理信息，並且，可以使得頁面可訪問以作為Ρ0Ι。可以從行動裝置的用戶的搜索和瀏覽行為自動地產生Ρ0Ι。可以示出其他興趣位置，諸如地下交通或公共汽車站、醫院、警察局、醫生、不動產廣告或健身俱樂部。下面，將通過以圖12開始所示出的流程圖的形式並結合其餘的圖1至圖11來更詳細地解釋本發明的方面和實施例。在這一點上，圖2示出用於說明將興趣點(周圍的Ρ0Ι)示例性地劃分到不同的半徑區域的示意布置。圖3示出用於計算在扇區中的POI上的半徑的可能手段的示意布置， 其中，每一個扇區的半徑可能不同，並且圖4示出根據本發明的多個方面的用於建立用戶界面的實施例的、具有混和的虛擬信息(在此Ρ0Ι物體)項的真實環境的示例性視圖的可言旨元素。如圖4中更詳細地所示，真實環境的視圖1的至少一部分(它可以是通過根據圖 IA的半透明HMD 21或在屏幕HMD 21上的視圖或根據圖IB的在顯示器31上的相機圖像的屏幕視圖)被細分為多個區域。在本實施例中，這些區域包括第一區域3，構成在本實施例中的近處區域3 ；第二區域4，用於構成在本實施例中的遠處區域4;以及，第三區域5，用於構成在本實施例中的位置區域5。在近處區域3內的真實環境中的物體被布置得比在遠處區域4內的真實環境中的物體分別更接近系統設備20和30。在位置區域5中，繼而，真實世界40中的物體被布置得比在近處區域3內的真實環境中的物體分別更接近系統設備 20 禾口 30。根據圖4的視圖1至少混和虛擬信息的至少一個項(在本實施例中，混和了虛擬信息的若干項P0I1-P0I4、P0I11-P0I14和P0I21-P0I23)。在本實施例中，這些表示與可以在視圖1中看到的現實相關的興趣點(POI)。例如，與在視圖1中可視的建築物(在圖4中未示出)相關地混和虛擬信息POIl，該虛擬信息指代這個建築物並且/或者與其光學地相關聯，並且可能允許檢索關於該建築物的附加信息。分別考慮到對應的系統設備20或30 或其一部分的位置和方向，分別在顯示設備21和31上在真實環境的視圖1的至少一部分中混和該信息P0I1。如將在下面更詳細地說明的，關於在視圖1中的混和的類型，在近處區域3中與在遠處區域4中不同地示出所混和的虛擬信息。換句話說，在近處區域3中的同一虛擬信息(例如，POI1)，例如當其與在近處區域3中的真實物體相關聯時，所示出的虛擬信息與例如當其與在遠處區域4中的真實物體相關聯時所示出的在遠處區域4中混合的虛擬信息不同(這裡在僅一個區域中同時出現一個Ρ0Ι)。如圖2和3中所示，通過相應的邊界將近處區域3與遠處區域4和位置區域5分離，該相應的邊界在本實施例中分別具有在顯示設備的視角的方向上的半徑(半徑0至半徑3)(圖2進一步示出邊界或半徑，如下面將更詳細解釋的)。在下面仍將更詳細地描述根據圖2和圖3的半徑的確定和計算。邊界沒有固定形狀，但是優選地是分別相對於相機和觀察者是旋轉對稱的。此外，邊界不必是圓形的，而是可以具有例如橢圓或其他形狀。概述圖12結合圖1至圖11以流程圖示出了根據本發明的方法的實施例的處理的概述。在第一步驟1.0中，初始化系統，或者在周期(pass)已經發生的情況中，可以可選地保留先前的值。在隨後的步驟中，如果還沒有存在數據或如果情況已經改變則加載數據。數據源可以被包含在越來越多的伺服器中，或者可以被本地存儲在設備上，或者可以被編碼為環境中的信息(例如，經由RFID或QR代碼)。在數據源中存儲很大量的POI的情況中，則可以經由半徑3的位置和確定來限制數量。例如，通過具有空間特徵或屬性的現代資料庫系統來提供這樣的功能。基本上，通過用戶自己定義的過濾器的方式在這個步驟中也已經過濾了 Ρ0Ι。例如，僅烹飪或沒有烹飪。然後，挑選出承載對應信息的Ρ0Ι。在此對於專家顯而易見的是，可以對於POI存儲對應的數據結構，其可以包含例如其位置、其2D或3D 形狀、圖像和/或另外的元信息，諸如類別。在步驟3. 0-6. 0中，然後根據本發明組織Ρ0Ι。其後，可以光學地處理和顯示它們。 其後，如將通過示例更詳細地解釋的，可以與所示的POI進行交互。劃分為區域下面，將結合圖13至圖1 8和圖1至圖11更詳細地描述圖12的步驟3. 0-6.0。 在這一點上，圖13至圖18涉及在圖12中說明的一般方法步驟的可能子步驟。取決於系統的能力，以特定的間隔在每一個周期或在後臺中能夠基本上實現這些步驟。本發明的主要方面在於混和的虛擬信息(在此Ρ0Ι)的項被分配到真實世界的視圖中的固定配置或自動計算的、不同的區域。圖2示出俯瞰視角下的可能情境的視圖。在相機的周圍的空間布置中示出各種 Ρ0Ι。如果簡單地顯示所有這些Ρ0Ι，則屏幕迅速地充滿大量物體。因為這個原因，對於不同區域進行細分。通過半徑0來限制位置區域5。關於半徑，應當注意，它們不必然在所有角度上恆定，而是可以根據角度而變化(與圖3參照)。位置區域5示出位於附近的物體，使得用戶難以使用該設備來找到它。找到它們的可能性特別取決於可確定的位姿的精確度。 因此，可以有利地根據位姿確定(的不確定度)(圖1 來將半徑0設置得更大或更小。圖4示出根據本發明的方面的、用於形成用戶界面的實施例的具有混和的虛擬信息(在此Ρ0Ι物體)的真實環境的示例性視圖的可能元素。圖4在這一點上示出了用戶界面的有利細分。在位置區域5中的POI被固定地布置在視圖1的下部，並且可以例如通過滑鼠點擊或在觸控螢幕的情況下的觸摸而被選擇。圖6示出作為示例性POI 23的激活的結果的可能視圖。如果被提供，則可以顯示P0I23的精確位置的圖像P23以用於定位。如果被提供，則可以額外地顯示存儲的信息的預覽V23。在位置區域5之外但是在近處存在的POI物體被布置在近處區域3中。在這個區域中，具有真實的虛擬信息的正確的關聯被認為特別重要。例如，它可能與路徑的個人計劃相關，而不論POI物體是否位於道路交叉口之前或之後。通過半徑0和1(圖2)來限定近處區域3。圖14說明用於計算半徑1的可能。一方面，POI物體的方便的可見性具有相關性。 如果POI的表示仍然僅具有2 mm (示例值)的大小，則它沒有多大用途，而是只在顯示器上引起混亂。在步驟4. 1中的計算因此包含顯示器的解析度、POI的大小(例如，恐龍的表示允許比具有1 m的大小的球體的表示更大的半徑1)和相機的孔徑角。在下面的步驟中，如果存在填充屏幕的太多POI，則可以進一步匹配半徑1 (稱為全局手段)。計算可以參考相機的整個孔徑角或更大的範圍。也可以單獨地調整較小的扇區。扇區可以例如是固定的或者可以基於簇而形成，簇有助於劃分扇區(參照圖16中的步驟6.幻。示例性方法可以被實現如下對於每一個簇計算重心。通過這個重心來繪製直線。組合彼此以小角度布置的直線。用整數角度排列每一個結果產生的直線，並且對其分配扇區。扇區的大小然後在整數角度步驟中迭代地循環增加，直到與相鄰的扇區建立接觸。當通過簇或通過固定設置來定義扇區時，在步驟4. 2中計數扇區的POI的數量。如果該數量超過特定可配置閾值，則減小半徑，直到該值小於閾值為止(步驟4. 3)。作為替代，如果在表示中存在重疊的Ρ0Ι，則也可能移動單獨的Ρ0Ι，而沒有與遠處區域4匹配的半徑(稱為局部手段)。為此，在步驟4. 4中，計算根據渲染管線的POI的 2D位置和擴展。渲染管線被專家理解為在3D空間中的物體向較小維數的顯示器的投影。 在近處區域中，例如，根據可用於近處區域的2D顯示部分的位置、方向、相機孔徑角和解析度來進行這一點。對於遠處區域，渲染管線執行向線的投影。可以例如使用標準3D-2D投影來進行這一點，在標準3D-2D投影中，對於渲染程序而言，物體被發送地很遠，以便確定物體在其消失點在可能旋轉的顯示器上的位置。在重疊的情況下，對於遠處區域4標記後面的POI (步驟4. 5)。可以保留這個標記一個顯示周期(圖12的步驟1. 0至9. 0)或更長 (例如，3秒或5個顯示周期)。該系統可以執行步驟4. 4和4. 5，直到不再有重疊或這些低於特定值。也可以有關於何時如此評估重疊的容差(例如，大於彼此相交的兩個物體的面積的和的10% )。有利地，也可以將全局手段與局部手段進行組合。雖然為了可見性的原因，附圖從鳥瞰的視角說明了扇區和Ρ0Ι，但是也可以對於 3D應用選擇性地應用所有這些方法。遠處區域4包含從近處區域轉移的POI或位於在扇區中的半徑1的外部的Ρ0Ι。 但是甚至在這裡，顯示所有存在的POI物體也不必然是方便的。因此，如圖15中所示，可以有利地計算半徑2，類似於半徑1。由於半徑2特別是仍然顯示位於用戶可達範圍內的POI 物體的事實，因此有利地是，可以使用用戶的當前速度或平均速度或用戶在特定時間段內通過公共運輸、汽車或自行車等可以覆蓋的距離來計算半徑2。也可以獨立於本發明的其他權利要求來應用根據這些因素來計算可以完全通過AR來顯示哪些物體的可能。在本發明的示例性發展中，也可能將單獨的POI從一個區域拖動到另一個區域 (例如，經由觸控螢幕)，由此將其標記以在近處區域中顯示。例如，然後將在近處區域3中永久地顯示該POI物體。對於半徑的手動設置，也可以設想，當混合入現實時，將其在正確的位置中顯示給用戶中。用戶可以然後通過觸控螢幕手動地改變半徑。物體的表不圖4示出在不同區域中的POI的表示的可能示例性形式。目前以均勻大小並且不可移動地且獨立於觀看方向地表示在下面的位置區域5中的Ρ0Ι。在近處區域3中的POI 物體根據位姿、相機參數和模型屬性以正確的視角、三維地重疊在環境40上。在遠處區域 4中的POI物體有利地以均勻大小被表示，並且有利地根據設備(特別是顯示設備)的方向來向前移動，使得在向下方向上的垂直線將會碰到對應的相關聯的真實位置。有利地，在右和左邊緣6上額外地顯示暗示在相機的孔徑角之外的POI物體的符號。箭頭8可以給出方向暗示，使得當在箭頭的方向上圍繞觀察者移動所述設備時，POI物體將會進入可視範圍內。這些邊緣6可以對於每一個區域(圖4)或例如僅對於近處區域3(圖5)存在。近處區域3、遠處區域4和/或位置區域5可以被可選地隱藏或屏蔽，特別是當在其中沒有顯示虛擬信息時。當在這些區域中不存在POI時也可以自動地進行這一點(圖7)。基本上，可以用符號、圖像、3D物體等來表示興趣點(POI)。對於表示，可以使用利用3D物體的3D渲染技術(諸如已知方法OpenGL或DirectX)、用自主地計算其投影的2D渲染技術重疊所謂的布告板(總是面向觀察者的2D物體)或所謂的2D的渲染。表示的種類可以基於POI的類別(例如，用於表示網站的球體)，或可以由用戶確定(例如，布置具有附加信息的恐龍)。具體地說，可以以形成鮮明對比的顏色來示出Ρ0Ι。如圖10和圖11中所示，POI可以具有詳細到不同程度的附加信息項(在下面通過POIl來例示)。最低的詳細水平僅是Ρ0Ι。在下一個水平或等級，可以顯示(圖10，左) 標籤(參照標籤Li)，該標籤指示例如相關聯的POI物體的描述文本。下一等級是所謂的預覽(預覽參照Vl或圖11中的圖像Pl)(例如，圖像或網站渲染或信息文本)。在隨後的等級可以更接近地可視化一些POI物體(參照信息II)。這也可以觸發作業系統的本身程序的啟動，諸如網際網路瀏覽器或媒體播放器的啟動。根據配置或自動可利用的標準，諸如顯示器的解析度，可以將POI與其附加信息同時或僅在激活時顯示。有益地，也可以確定哪個 POI物體最近，並且在特定距離時僅最前的POI物體首先指示標籤，並且當接近時自動地指示預覽。作為替代，也可以通過所謂的眼睛跟蹤來控制顯示。使用附加信息來顯示由用戶觀看的Ρ0Ι。該附加信息可以有利地以不可移動的方式錨定在視圖中，並且可以通過動態連接的方式連接到可移動的POI表示。這提供了增強的信息的易讀性。也可以獨立於根據權禾Ij要求1所述的方法來應用用於經由在AR中的POI激活附加信息的眼睛跟蹤的使用。為了改善POI物體與真實位置的關聯，可以組合根據本發明的各種方法步驟，如圖17中所示。基本上也可以獨立於迄今所述的將真實環境的視圖劃分為多個區域(諸如近處、遠處和位置區域)並且如上所述的根據相應的區域來不同地表示混和的虛擬信息的想法而實現下面的方法步驟。通常實現(當進行向區域的劃分時，特別是在近處區域3中)使用正確的視角的 POI物體的3D渲染。此外，標準POI物體具有固定大小，以允許連續地估計到其的距離。為了提高真實程度並且因此改善關聯，有利地可以在線查詢或檢索天氣數據。在這一點上可以設想處理的各種複雜度。基於天氣情況(例如，根據Google天氣服務「大部多雲」、「偶爾有暴雨」、「偶爾有雨」等)，可以分配與天氣情況匹配的固定光照模型或材料(例如，紋理)。然而，在最高複雜水平，也可以利用當前的雲或雨衛星或雷達圖像來動態地準備雲量的近似模型，並且根據其計算陰影投影和可選地詳細的光照條件(也參照圖9)。如已經描述的，可以通過使位置-特定形式的數據對客戶機可用的伺服器來執行這一點。關於距離的感知，確定在霧、雨或薄霧情況下的可視範圍也是有用的。可以自動地(參照"From video image e. g. (Automatic Fog Detection and Estimation of Visibility Distance through use of an Onboard Camera) 「，Journal Machine Vision and Applications， Publisher Springer Berlin/Heidelberg ISSN 0932-8092 (Print) 1432-1769 (Online)， Volume 17，Number 1/April 2006，pages 8-20)或也可以通過當前天氣數據來實現這一點O除了另外的已知方法之外，最容易的技術實現方式在於調整在OpenGL中的霧設置。尤其對於使用可視距離來用於距離的符合真實的表示，也可以通過霧來不同地表示虛擬物體的一部分，而清楚地示出另一個部分。這是為了防止例如當在汽車中使用該技術時，POI信息的重要項因為霧而完全消失。在技術上，可以例如通過第二渲染周期來實現這一點，該第二渲染周期僅考慮了特定材料，但是不顯示霧。如在圖17的步驟7. 2中所述，可以基於位置、日期和時間分別計算太陽和月亮的位置，並且所計算的太陽和月亮的位置可以用於調整光源。這特別對於幫助用戶更好地確定POI的位置的陰影(參照在圖4、圖10 和圖11中的用於POIl至P0I4的陰影S1-S4)有影響。陰影可以是預先計算的紋理(有利地具有透明度值)，該預先計算的紋理根據太陽或月亮的位置而位於在地平面上的POI之下，其中，在太陽或月亮與POI之間的直線與地平面相交(如果不是如此，則是例外)。在太陽和月亮同時可視的情況下，將使用太陽來進行計算。然而，如現有技術中已知的，也可以動態地計算陰影。有利地，這可以包括POI的相互描陰(shading)。當環境的3D模型存在時(也參照在圖17中的步驟7. 4，例如，以遮蔽真實物體的模型的形式；所謂的「遮蔽(occlusion)幾何」)，這可以另外用於陰影情況的真實計算，例如在於它向POI上投影陰影(也參照圖9)。在步驟7. 3中，可以通過經由POI 的環境的圖像來增強材料以額外提高混和的真實程度。所謂的環境地圖的使用是專家已知的。新穎的是，以位置-特定的方式從例如Google Mreetview動態地提取並且考慮這些。在步驟7. 4中，採用了用於增強觀察者的深度感知的另一個步驟。通過加載遮蔽模型(所謂的「遮蔽幾何」)，也可以確定POI對於觀察者是可見的還是消失在另一個建築物之後，例如，POI在對其遮蔽的情況下可以直接地移動到遠處區域4或可以被特別地標記。例如，可以半透明的、以虛線或不同的顏色示出被遮蔽的部分。有利地，不計算和顯示陰影。可以通過SLAM算法、立體相機或飛行時間相機來動態地存儲或產生深度模型。在該情況下，每一個圖像像素的深度信息是足夠的。在步驟7. 5中，產生用於在近處區域中的正確的疊加或覆蓋的相機參數(這不必連續地出現)。這些參數可以例如通過SLAM機制被動態地產生，或根據設備名稱從伺服器被檢索，或可以存儲在程序中。在透明的HMD或HUD的情況下，使用眼睛位置關於顯示器的透明校準或動態測量的結果。在步驟7. 6中，可以有利地處理相機圖像，使得僅以鮮明對比的方式來示出最重要的圖像成分。這僅在視頻透明模式中有意義，並且應當特別在很亮的周圍光的情況下幫助用戶。可以例如通過用於邊緣提取的Sobel算子來進行視頻圖像的處理。在亮的外部光的情況下，例如，當設備包含亮度傳感器時，可以有利地打開和關閉這個模式。在步驟7. 7 中，此外，如果這已經對於在圖12的步驟3至6中的計算不必要，則使得渲染系統可獲得位姿的參數。取決於系統的硬體屬性，可以在步驟7. 8中顯示和計算每種事物。如果系統的硬體弱，則也可以在伺服器的部分上進行正確的材料表面的計算(步驟7. 8B)，或者，可以在伺服器的部分上計算整個圖像。在強系統的情況下，現代GPU(圖形處理器單元)可以接管大的工作份額(步驟7.8A)。在這一點上，存在專家已知的多種可能。POI的聚集在(圖1 過程中的某個時間，有利地在步驟4. 0之前或步驟5. 0之後，還可以組合Ρ0Ι，如圖16中左下側所示。簇的點組成了新的、不同形狀的Ρ0Ι。這可以在近處區域3、 位置區域5和遠處區域4中單獨地進行，或者可以在細分之前已經進行了。有利地，僅可以對一個類別(例如，僅網站)的POI實施這一點。有利地，可以在該處理中排除最前面區域中的POI。與POI的交互圖18示出根據本發明的方法的方面的與POI的交互可能性。如在增強現實中常見地，用戶可以已經通過改變他的位置或觀看方向來改變虛擬信息和現實的項的分段。這也可以觸發自動交互，如在「物體的表示」中已經描述的。如果設備配備了觸控螢幕或一種滑鼠控制(例如，跟蹤球)，則在原理上可以直接地處理Ρ0Ι。如果已經組合了若干POI來形成較大的POI物體，則現在可選擇地布置單獨的Ρ0Ι，並且顯示標籤(步驟9. 8)。否則，如果還沒有顯示標籤，則顯示它(步驟9. 9)。通過POI的重新的激活(步驟9. 1或按鍵按下)， 如果還沒有顯示信息文本或預覽，則顯示它(步驟9. 11)。通過重新激活，觸發對於存儲有對應的信息項的POI的詳細顯示，步驟9. 13 (例如，播放電影、音樂或示出網站)。通過觸摸關閉按鈕或有利地通過擺動設備和經由移動傳感器的登記，可以關閉當前顯示器。替代地， 可能在後臺的操作中保留它。用戶也可以可選地提供以下效果的設置在後臺中執行和運行所存儲的下一個音頻或視頻文件。取代通過觸摸的直接選擇，也可以通過圖7中所示的十字標7 (可選的)的方式來實現交互，如在圖18中的步驟9. 5至9. 7中所描述的。當用戶將相機中的十字準線7(或類似的目標物體)引導到POI時，將會在那裡激活下一詳細水平(在僅POI可視的情況下為標籤，在標籤可視的情況下為預覽)。有利地，系統也可以激活用戶界面上最接近十字準線的Ρ0Ι。通過延長地瞄準POI或按下按鈕，可以激活下一詳細水平。為了到達遠處區域 4，用戶將相機向上引導，直到在近處區域3中的最高點POI已經超過閾值(例如，10度)。 用戶然後可以通過右轉和左轉來在POI之間導航。以類似的方式，通過向下引導相機，用戶可以達到位置區域5。通過右轉和左轉，用戶在此也可以在否則固定的POI之間導航。在位置區域5中的特殊特徵在於除了 POI詳細信息之外，POI如果被指示或適用於自動地被產生則指示位置的圖像以便利找到它(參照在圖6中的P0I23的預覽V23和圖像P23)。該圖像可以手動地被引入或可以通過包含位姿信息的圖像資料庫而被自動地產生。可選地，也可以通過語音控制來進行POI的選擇。為此，用戶通過特定語句來激活控制(例如，「激活語音控制」)。然後使用編號來標記每一個POI。通過讀出該編號，然後可以激活對應的POI。對於系統有利地，通過進一步向下引導它來啟動地圖模式。當切換POI或觸發交互時，有利地立即觸發聲音信號。此外，也可以發出觸覺信號(例如，輕微振動)。在與POI的特定交互的情況下(例如，在短時間內的三次點擊)，有利地，可以打開將地圖的中心定位在POI的位置的地圖模式。作為替代，可以通過特定交互來啟動向這個 POI的導航。除此之外，本發明還包含可以結合迄今已經描述的內容應用的以下的方面和實施例。可以以均勻的大小在遠處區域4中在真實環境的視圖中混和虛擬信息(例如， Ρ0Ι)。相對於在真實環境的視圖中的混和的類型，與在近處區域中其混和類型不同地表示在位置區域5中的虛擬信息。具體地說，可以以不可移動的方式，特別是也以均勻的大小並且/或者與顯示設備的方向無關地，在位置區域5中的真實環境的視圖中覆蓋虛擬信息。也可以在一個虛擬物體中組合不同的虛擬信息的若干項，並且在視圖中顯示該虛擬物體，而不是若干虛擬信息的項。可以從一起形成簇的一組虛擬信息項中選擇該若干虛擬信息的項，虛擬物體具有與虛擬信息的項相比不同的形狀。而且，當相對於地球表面大體水平地保持顯示設備或以超過在近處區域中的最低 POI之下的特定角度保持顯示設備或如果以下功能已經被用於達到位置區域則進一步向下保持該設備時，可以在顯示設備中混和地理地圖和/或鳥瞰視圖。當用戶從區域中的一個(例如近處區域)向另一個區域(例如遠程區域)和/或反之亦然傳送虛擬信息時，可以改變在區域之間的各個邊界，特別是其半徑。也可以根據在視圖的特定扇區內的虛擬信息的項的數量來計算邊界，特別是其半徑。還可以根據在特定扇區內的若干虛擬信息的項的二維密度來計算邊界，特別是其半徑。 此外，還可以根據一起構成簇的若干虛擬信息的項來計算邊界，特別是其半徑。在近處區域中，可以在顯示設備中、在信息之下、在顯示設備中所示的地平面附近指示陰影，所述陰影對應於虛擬信息的位置。所使用的顯示設備可以是通過用於增強對比度的邊緣圖像來增強或替換真實環境的視圖的視頻顯示設備。在用於選擇虛擬信息或用於在若干虛擬信息項之間切換的用戶動作中，用戶可以在用於進行選擇的輸入設備處被提供聲音和/或觸覺反饋。通過分別確定關於真實環境的系統設備20和30的至少一部分的位置和方向，可以計算或加載關於在視圖中包含的至少一個真實物體的深度信息，並且，深度信息可以用來在視圖中的虛擬信息被要被遮蔽的真實物體遮蔽的情況中在顯示設備中混和用於遮蔽該真實物體的遮蔽模型。這樣的深度信息也可以用於計算在區域(近處區域和遠處區域) 之間的邊界。除此之外，在顯示設備中的若干混和的虛擬信息項可以具有向其分配的各自的編號，並且可以通過編號的語音識別或在鍵盤或觸敏輸入板上的編號的選擇來選擇對應的虛擬信息。此外，可以將若干虛擬信息項與若干分類中的一個相關聯，並且可以根據該分類來混和和/或掩蔽虛擬信息項。還可以在顯示設備中示出邊緣6，其指示近處區域3的範圍或覆蓋範圍，通過用戶動作，特別是通過拖動邊界能夠改變近處區域的邊界。例如，可以以至少三個等級來表示虛擬信息。第一等級包括僅作為對於虛擬信息 (參照在圖10、11中的POI1)的局部暗示的主體(例如，2D主體或3D主體)，第二等級包括具有標題的標籤(參照在圖11中的標籤Li)形式的對於虛擬信息的暗示，並且，第三等級包括特別是當通過用戶動作選擇點狀表示或標籤時混和的虛擬信息(POI)的類似摘要的預覽(參照在圖10、11中的預覽Vl和圖像P1)。第四等級則以全長度示出信息(參照來自圖10的信息II)。發展可以提供在遠處區域4的第一部分中，僅以第一等級表示虛擬信息，在真實物體被布置得比在遠處區域的第一部分和在近處區域3的第一部分中更接近顯示設備的遠處區域4的第二部分，以第二等級表示虛擬信息，並且在真實物體被布置得比在近處區域的第一部分中更接近顯示設備的近處區域3的第二部分中，以第三等級表示虛擬信息。此外，可以提供根據混和的虛擬信息的大小、顯示設備的解析度和/或用於產生視圖的相機的解析度來計算在近處區域和遠處區域之間的邊界，特別是邊界的半徑。此外，可以隨著提高的位置檢測的測量不確定度來提高位置區域的界線。此外，特別地可以是半徑並且確定要完全顯示哪些物體的邊界可以取決於用戶的當前速度或平均速度或用戶在特定時間段內通過公共運輸、汽車或自行車等可以覆蓋的距離。 此外，與其他公開無關，系統可以在現實上疊加虛擬信息，並且在真實環境的視圖中的混和虛擬信息中，可以考慮例如經由網際網路(「在線」)查詢的天氣數據，以便提高相對於所述真實環境的混和虛擬信息的真實程度，由此改善與其的關聯。還可以結合獨立於所描述的其他方面的該方面來應用結合天氣數據等的在上文中描述的特徵和實施例。
權利要求
1.一種用於在真實環境中表示虛擬信息的方法，包括下面的步驟-提供真實環境00)和系統設備O0，30)的至少一個視圖(1)，用於混和虛擬信息 (POI)以在所述視圖的至少一部分中與所述真實環境疊加，所述系統設備包括至少一個顯示設備01，31)，-確定所述系統設備(20，30)的至少一個部分相對於所述真實環境GO)的至少一個部件的位置和方向，-將所述真實環境的所述視圖(1)的至少一部分細分為多個區域，所述多個區域包括第一區域C3)和第二區域G)，在所述第一區域(3)內的所述真實環境GO)的物體被布置得比在所述第二區域內的所述真實環境GO)的物體更接近所述系統設備00，30)，-考慮所述系統設備O0，30)的所述至少一個部分的位置和方向，在所述真實環境的視圖(1)的至少一部分中在所述顯示設備01，31)上混和虛擬信息(POI)的至少一項，-其中，關於在所述真實環境的所述視圖(1)中的混和的類型，在所述第一區域(3)中與在所述第二區域中不同地示出所述虛擬信息(POI)。
2.根據權利要求1所述的方法，其中，以與所述顯示設備01，31)相對於所述真實環境的所述位置和方向對應的正確的視角，特別是以根據在所述視圖中的所述虛擬信息的所述視角定位的各種大小，在所述第一區域(3)中的所述真實環境的所述視圖中混和所述虛擬信息(POI)的至少一項。
3.根據權利要求1或2所述的方法，其中，以均勻的大小在所述第二區域中在所述真實環境的所述視圖中混和所述至少一個虛擬信息(POI)。
4.根據權利要求1至3的任何一項所述的方法，其中，除了所述第一區域C3)和所述第二區域(4)之外，所述真實環境的所述視圖的所述至少一部分被細分為的所述多個區域還包括第三區域(5)，其中，在所述第三區域(5) 中，所述真實環境的物體被布置得比在所述第一區域(3)內的所述真實環境的物體更接近所述系統設備00，30)，並且其中，關於在所述真實環境的所述視圖(1)中混和的類型，在所述第三區域(5)中與在所述第一區域(3)中不同地示出所述虛擬信息(POI)的至少一項。
5.根據權利要求4所述的方法，其中，以不可移動的方式，特別是也以均勻的大小和/或獨立於所述顯示設備01，31) 的所述方向，在所述位置區域(5)中的所述真實環境的所述視圖(1)中混和所述虛擬信息 (POI)的至少一項。
6.根據前述權利要求的任何一項所述的方法，其中，組合不同的虛擬信息(POI)的若干項以形成虛擬物體(P01_c)，並且，取代所述虛擬信息的若干項，在所述視圖(1)中顯示所述虛擬物體。
7.根據權利要求6所述的方法，其中，從一起構成簇(Cl)的虛擬信息的項的組中選擇所述虛擬信息(POI)的若干項， 所述虛擬物體(P01_c)具有與所述虛擬信息(POI)的項相比不同的形狀。
8.根據前述權利要求的任何一項所述的方法，其中，當所述顯示設備在所述區域(3，5)中的一個或在所述區域中的一個之下示出的虛擬信息(POI)之下傾斜超過特定角度時，在所述顯示設備01，31)上混和地理地圖和/ 或鳥瞰視圖。
9.根據前述權利要求的任何一項所述的方法，其中，通過用戶選擇所述虛擬信息和通過傳送動作來傳送它可將所述虛擬信息(POI) 的至少一項從所述區域(3，4，5)中的一個傳送到所述區域(3，4，5)中的另一個，其中所述傳送動作特別是拖動所述虛擬信息。
10.根據前述權利要求的任何一項所述的方法，其中，所述第一區域C3)通過邊界(半徑1)與所述第二區域(4)分離，所述邊界(半徑1)特別地包括在所述顯示設備01，31)的觀察角的方向上的半徑，所述邊界，特別是其半徑被動態地計算。
11.根據權利要求10所述的方法，其中，當所述用戶從所述區域(3，4，5)中的一個向所述區域(3，4，5)的中另一個傳送虛擬信息(POI)時，改變所述邊界(半徑1)，特別是其半徑。
12.根據權利要求10或11所述的方法，其中，根據在所述視圖的特定扇區內的虛擬信息(POI)的項的數量來計算所述邊界 (半徑1)，特別是其半徑。
13.根據權利要求10至12的任何一項所述的方法，其中，根據在所述視圖的特定扇區內的虛擬信息(POI)的若干項的二維密度來計算所述邊界(半徑1)，特別是其半徑。
14.根據權利要求10至13的任何一項所述的方法，其中，根據一起構成簇(Cl)的虛擬信息(POI)的若干項來計算所述邊界(半徑1)，特別是其半徑。
15.根據前述權利要求的任何一項所述的方法，其中，在所述顯示設備01，31)的所述第一區域(2)中，在所述虛擬信息(POI)的至少一項之下，接近在所述顯示設備中顯示的地平線示出陰影(S1-S4)，所述陰影對應於所述虛擬信息的位置。
16.根據前述權利要求的任何一項所述的方法，其中，使用的所述顯示設備01，31)是視頻顯示設備，其中，在所述視頻顯示設備中， 通過用於增強的對比度的邊緣圖像來增強或替代所述真實環境的所述視圖(1)。
17.根據前述權利要求的任何一項所述的方法，其中，在用於選擇虛擬信息(POI)或用於在虛擬信息(POI)的若干項之間切換的用戶動作中，所述用戶在用於選擇的輸入設備中被提供聲音和/或觸覺反饋。
18.根據前述權利要求的任何一項所述的方法，其中，通過確定所述系統設備00，30)的所述至少一個部分相對於所述真實環境GO) 的所述至少一個部件的所述位置和方向，計算或加載關於在所述視圖中包含的至少一個真實物體的深度信息，所述深度信息用於當虛擬信息在所述視圖中被要被遮蔽的真實物體遮蔽時在所述顯示設備01，31)中混和用於遮蔽所述真實物體的遮蔽模型。
19.根據前述權利要求的任何一項所述的方法，其中，通過確定所述系統設備00，30)的所述至少一個部分相對於所述真實環境GO)的所述至少一個部件的所述位置和方向，計算或加載關於在所述視圖中包含的至少一個真實物體的深度信息，所述深度信息用於計算在第一區域(3)和第二區域(4)之間的邊界 (半徑1)。
20.根據前述權利要求的任何一項所述的方法，其中，在虛擬信息(POI)中混和的若干項具有向其分配的各自的編號，並且，能夠通過所述編號的語音識別或在鍵盤或觸敏輸入板上的所述數字的選擇來選擇對應的虛擬信息。
21.根據前述權利要求的任何一項所述的方法，其中，所述顯示設備01，31)顯示用於指示所述第一區域(3)的覆蓋範圍的邊緣(6)， 所述第一區域的邊界適用於被用戶動作改變，所述用戶動作特別是拖動所述邊界。
22.根據前述權利要求的任何一項所述的方法，其中，所述虛擬信息(POI)的至少一項適用於以至少三個等級被顯示，第一等級包括僅作為對於所述虛擬信息的局部提示的主體(POIl)，第二等級包括具有標題的標籤(Li) 形式的對於所述虛擬信息的提示，並且第三等級包括特別是當通過用戶動作選擇點狀表示 (POIl)或所述標籤(Li)時混和的所述虛擬信息的類似摘要的預覽(VI)。
23.根據權利要求22所述的方法，其中，在所述第二區域的第一部分中，僅以所述第一等級顯示虛擬信息(POI)，在具有被布置得比在所述第二區域的所述第一部分中和在所述第一區域(3)的第一部分中更接近所述顯示設備01，31)的真實物體的所述第二區域的第二部分中，以所述第二等級顯示虛擬信息(POI)，並且，在具有被布置得比在所述第一區域的所述第一部分中更接近所述顯示設備01，31)的真實物體的所述第一區域(3)的第二部分中，以所述第三等級中顯示所述虛擬信息(POI)。
24.根據前述權利要求的任何一項所述的方法，其中，當在所述第二區域和第三區域中分別沒有顯示的虛擬信息(POI)時，從所述視圖屏蔽所述第二區域(4)或第三區域(5)。
25.根據前述權利要求的任何一項所述的方法，其中，根據所混和的所述虛擬信息(POI)的大小、所述顯示設備01，31)的解析度和/ 或用於產生所述視圖(1)的相機(22,3 的解析度來計算在第一區域和第二區域之間的邊界(半徑1)，特別是邊界的半徑。
26.根據前述權利要求的任何一項所述的方法，其中，在所述真實環境的所述視圖中混和所述虛擬信息(POI)的至少一項中，考慮關於所述真實環境的動態天氣信息。
27.根據前述權利要求的任何一項所述的方法，其中，所述虛擬信息的至少一項表示關於所述真實環境的興趣點(POI)。
28.根據前述權利要求的任何一項所述的方法，其中，所述第三區域(5)的邊界隨著增加的位置檢測的測量不確定度而提高。
29.根據前述權利要求的任何一項所述的方法，其中，特別是具有半徑並且確定要完全顯示哪些虛擬信息(POI)的邊界取決於所述用戶的當前速度或平均速度或所述用戶在特定的時間段內通過使用公共運輸、汽車或自行車等能夠覆蓋的距離。
30. 一種用於在現實上覆蓋虛擬信息的方法，其中，在真實環境的視圖中混和的虛擬信息中，考慮特別是經由網際網路(「在線」)查詢的天氣數據，以便提高混和的虛擬信息相對於所述真實環境的真實程度，從而增強與其的關聯。
全文摘要
本發明涉及一種用於在真實環境中人機工程地表示虛擬信息的方法，包括下面的步驟提供真實環境和系統設備的至少一個視圖，用於混和虛擬信息以在所述視圖的至少一部分中與真實環境疊加，所述系統設備包括至少一個顯示設備；確定所述系統設備的至少一個部分相對於所述真實環境的至少一個部件的位置和方向；將所述真實環境的所述視圖的至少一部分細分為多個區域，所述多個區域包括第一區域和第二區域，在所述第一區域內的所述真實環境的物體被布置得比在所述第二區域內的所述真實環境的物體更接近所述系統設備；並且考慮所述系統設備的所述至少一個部分的所述位置和方向，在所述真實環境的視圖的至少一部分中在所述顯示設備上混和虛擬信息的至少一項，其中，關於在所述真實環境的所述視圖中的混和的類型，在所述第一區域中與在所述第二區域中不同地示出所述虛擬信息。
文檔編號G06F3/01GK102473324SQ201080036494
公開日2012年5月23日 申請日期2010年8月13日 優先權日2009年8月18日
發明者F·安格曼, P·邁爾 申請人:Metaio有限公司