信息處理裝置、信息處理方法和程序與流程
2023-05-23 19:08:21 2
本公開涉及信息處理裝置、信息處理方法和程序。更具體地，本公開涉及信息處理裝置、信息處理方法和程序，通過該信息處理裝置、信息處理方法和程序，基於信息裝置的位置和方向，在顯示單元(顯示器)上顯示關於存在於信息處理裝置附近的真實對象的信息。
背景技術：
近來，智慧型電話、平板終端或諸如眼鏡型顯示器等可穿戴終端已經變得普遍並且這些終端被大量用戶利用。
這些終端中的大多數不僅包括通信功能，而且包括通過其在顯示單元上顯示拍攝圖像的相機功能。此外，顯示單元不僅能夠顯示拍攝圖像，而且能夠顯示經由網絡接收的各種信息，例如諸如經由網絡訪問的網頁。
此外，存在能夠從網站獲取與位置信息相關聯的信息並且根據被設置為關於相機拍攝圖像的屬性信息的地球靜止地球軌道(Geo)信息和通過移動終端的全球定位系統(GPS)功能獲取的位置信息來顯示此信息。
另外，專利文獻1(未經審查的日本專利申請2011-028763號)公開了(例如)與拍攝圖像相關的此類信息在拍攝圖像上疊加和顯示的配置。
引用文獻列表
專利文獻
專利文獻1：未經審查的日本專利申請2011-028763號
技術實現要素：
本發明要解決的問題
存在許多用於如下配置的常規技術，該配置允許基於諸如GPS和Geo信息的位置信息在終端上疊加和顯示與拍攝對象相關的信息。
通過使用其中關於各種設施的註冊信息與設施的位置精確關聯的數據，以檢測拍攝和顯示對象的用戶終端的位置和傾斜度，並且執行控制以與在顯示單元上的對象的移動同步地移動相關信息，根據設施的位置疊加和顯示註冊信息是可能的。
然而，實際上，GPS位置信息的精度為10米到100米，並且難以根據用戶終端的位置和傾斜度正確地顯示關於拍攝對象的相關信息。當在顯示單元上顯示實時拍攝圖像，然後嘗試在拍攝圖像上顯示各種註冊信息時，所顯示的圖像根據用戶終端的移動和傾斜度而移動。儘管存在通過使用陀螺儀、加速度傳感器等來補充GPS位置信息的技術，但是難以通過它們中的任一者來定位正確的位置。結果，在真實對象彼此非常接近的情況下，可能無法正確地確定拍攝圖像中的哪些設施對應於所顯示的信息。
例如，當通過移動終端的相機拍攝在10米內彼此接近的餐館和公共休息室，並且在顯示單元上顯示拍攝圖像時，通過使用所公開的常規技術，顯示指示餐館和休息室在什麼位置與包含在拍攝圖像中的餐館和休息室精確關聯的信息是困難的。
同時，通過諸如室內消息系統(IMES)的室內定位技術，可以以幾釐米的高精度確定對象的位置。然而，需要引入用於定位的基礎設施設備，這可能引起操作成本的問題。另外，諸如智慧型手機和平板終端的用戶終端需要支持新的定位技術。
本公開是鑑於上述問題而做出的，例如，允許在諸如智慧型電話的用戶終端上顯示關於所註冊的真實世界點(興趣點(POI))的精確關聯於用戶終端和點位置之間的位置關係的信息。本公開的目的是提供信息處理裝置、信息處理方法和程序，通過該信息處理裝置、信息處理方法和程序，即使當用戶終端與用戶等的移動同步地改變位置和傾斜度時，點的顯示可以根據用戶可以被精確地跟蹤和顯示的移動和關於興趣點的信息來更新。
問題的解決方案
本公開的第一方面為信息處理裝置，包括：成像單元；顯示單元，顯示由成像單元拍攝的圖像；以及數據處理單元，在顯示單元上顯示虛擬對象，虛擬對象表示包含在所拍攝的圖像中的真實世界註冊信息設置點，其中數據處理單元輸入虛擬對象顯示控制數據，虛擬對象顯示控制數據記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關於錨點在虛擬三維空間坐標系中的位置信息以及關於註冊信息設置點在虛擬三維空間坐標系中的位置信息，以及數據處理單元從成像單元拍攝的圖像中檢測錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定成像單元在虛擬三維空間中的位置、計算註冊信息設置點在顯示單元坐標系中的位置並基於所計算的位置顯示表示註冊信息設置點的虛擬對象，其中，所述顯示單元坐標系作為顯示單元的坐標系。
此外，本公開的第二方面為信息提供伺服器，包括：存儲單元，存儲包括在信標發送器附近的真實對象信息的虛擬對象顯示控制數據；以及通信單元，根據來自信息處理裝置的獲取控制信息請求傳送虛擬對象顯示控制數據，其中虛擬對象顯示控制數據為以下信息：該信息記錄拍攝的在所述信標發送器附近的真實對象的參考圖像和關於包含在參考圖像中的真實對象和真實對象附近的註冊信息設置點在虛擬三維空間中的位置信息。
此外，本公開的第三方面為搜索伺服器，包括：通信單元，從信息處理裝置接收由信息處理裝置接收到的信標的傳送信號；以及數據處理單元，基於所傳送的信標執行用於向信息處理裝置發送用於獲取虛擬對象顯示控制數據的接入信息的過程，虛擬對象顯示控制數據記錄包括在信標的發送器附近的真實對象的參考圖像以及關於真實對象和註冊信息設置點在虛擬三維空間坐標中的位置信息。
另外，本公開的第四方面為由信息處理裝置執行的信息處理方法，其中，該信息處理裝置包括成像單元、顯示由成像單元拍攝的圖像的顯示單元、以及數據處理單元，數據處理單元在顯示單元上顯示虛擬對象，虛擬對象表示包含在所拍攝的圖像中的真實世界註冊信息設置點，數據處理單元輸入虛擬對象顯示控制數據，虛擬對象顯示控制數據記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關於錨點在虛擬三維空間坐標系中的位置信息以及關於註冊信息設置點在虛擬三維空間坐標系中的位置信息，以及數據處理單元從成像單元拍攝的圖像中檢測錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定成像單元在虛擬三維空間中的位置、計算註冊信息設置點在顯示單元坐標系中的位置並基於所計算的位置顯示表示註冊信息設置點的虛擬對象，其中，顯示單元坐標系作為顯示單元的坐標系。
本公開的第五方面為用於促使信息處理裝置執行信息處理的程序，其中，該信息處理裝置包括成像單元、顯示由成像單元拍攝的圖像的顯示單元、以及數據處理單元，數據處理單元在顯示單元上顯示虛擬對象，虛擬對象表示包含在所拍攝的圖像中的真實世界註冊信息設置點，以及程序使數據處理單元：輸入虛擬對象顯示控制數據，虛擬對象顯示控制數據記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關於錨點在虛擬三維空間坐標系中的位置信息以及關於註冊信息設置點在虛擬三維空間坐標系中的位置信息，以及從成像單元拍攝的圖像中檢測錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定成像單元在虛擬三維空間中的位置、計算註冊信息設置點在顯示單元坐標系中的位置並基於所計算的位置顯示表示註冊信息設置點的虛擬對象，其中，顯示單元坐標系作為顯示單元的坐標系。
順便提及，本公開的程序為可以由計算機可讀形式的存儲介質或通信介質提供給例如能夠執行各種程序代碼的信息處理裝置或計算機系統的程序。通過以計算機可讀形式提供程序，根據該程序的過程在信息處理裝置或計算機系統上實現。
本公開的其它目的、特徵和優點將通過參考稍後描述的本公開的示例和附圖的更詳細的解釋來闡明。順便提及，本文所述的系統為多個裝置的邏輯組合，但是作為組成元件的裝置可不被包含在同一外殼中。
本發明的效果
根據本公開的示例的配置，可以實現一種裝置和方法，通過該裝置和方法將註冊信息設置點(POI)轉換至坐標系，其中，在原點的信息處理裝置的位置與真實三維空間中的真實對象的位置精確關聯，並且根據信息處理裝置的位置和方向在顯示單元上顯示註冊信息。
具體地，記錄作為通過拍攝真實對象獲得的參考圖像的錨點以及該錨點和註冊信息設置點在虛擬三維空間坐標中的位置信息(位置、方向等)的顯示控制數據被輸入，從拍攝圖像檢測該錨點、確定信息裝置在虛擬三維空間中的位置、在終端坐標系中的三維位置和顯示裝置在二維坐標系中的顯示位置根據所確定的三維位置和被記錄在顯示控制數據中的註冊信息設置點的位置信息來計算以及點位置被顯示。
根據該配置，可以實現一種裝置和方法，通過該裝置和方法將註冊信息設置點(POI)轉換至坐標系，其中，信息處理裝置的位置在原點與真實三維空間中的真實對象的位置精確關聯，並且根據信息處理裝置的位置和方向在顯示單元上顯示註冊信息。
順便提及，本文所述的有益效果不是限制性的而僅是示例，並且本公開可具有另外的有益效果。
附圖說明
圖1為描述包括執行本公開的過程的信息處理裝置(用戶終端)的系統的配置示例的示意圖。
圖2的(a)和(b)為描述在信息處理裝置(用戶終端)的顯示單元上的顯示圖像示例的示意圖。
圖3的(a)和3(b)為描述在信息處理裝置(用戶終端)的顯示單元上的顯示圖像示例的示意圖。
圖4的(a)和(b)為描述在信息處理裝置(用戶終端)的顯示單元上的顯示圖像示例的示意圖。
圖5為描述在包括執行本公開的過程的信息處理裝置(用戶終端)的系統的構成元件之間的過程序列的示意圖。
圖6為描述被保持在搜索伺服器中的數據的配置示例的示意圖。
圖7為描述由信息提供伺服器所提供的HTML數據的示例的示意圖。
圖8的(a)和(b)為描述參考真實對象和註冊信息設置點的示意圖。
圖9為描述由信息提供伺服器所提供的顯示控制程序(JavaScript(註冊商標))的示例的示意圖。
圖10為用於獲取虛擬對象顯示控制數據和顯示虛擬對象的過程序列的流程圖。
圖11為用於獲取虛擬對象顯示控制數據和顯示虛擬對象的過程序列的流程圖。
圖12為用於設置定位處理對象的過程序列的流程圖。
圖13為基於虛擬對象顯示事件的檢測顯示虛擬對象的過程序列的流程圖。
圖14為用於檢測虛擬對象顯示更新事件並進行通知的過程序列的流程圖。
圖15為用於檢測虛擬對象顯示更新事件並進行通知的過程序列的流程圖。
圖16為示出虛擬對象的特定顯示示例的示意圖。
圖17為示出虛擬對象的特定顯示示例的示意圖。
圖18為示出信息處理裝置的配置示例的示意圖。
圖19為示出信息處理裝置的配置示例的示意圖。
圖20為示出伺服器的配置示例的示意圖。
具體實施方式
下面將參照附圖詳細描述本公開的信息處理裝置、信息處理方法和程序。順便提及，將按照以下順序給出描述：
1.關於本公開的信息處理裝置和包括該信息處理裝置的系統的配置示例
2.關於通信過程和圖像顯示過程的細節
3.關於用於判定註冊信息設置點(POI)位置識別標記的顯示位置的過程
4.關於由信息處理裝置執行的過程序列
4-1.用於獲取虛擬對象顯示控制數據並顯示虛擬對象的過程
4-2.用於設置定位處理對象的過程
4-3.基於對虛擬對象顯示事件的檢測來顯示虛擬對象的過程
4-4.用於三維位置確定的過程
5.關於作為用於啟動顯示虛擬對象或更新顯示的觸發的事件
6.關於信息處理裝置和伺服器的配置示例
7.本公開的配置的概述
【1.關於本公開的信息處理裝置和包括該信息處理裝置的系統的配置示例】
首先，將參考圖1來描述本公開的信息處理裝置和包括該信息處理裝置的系統的配置示例。
圖1為示出包括本公開的信息處理裝置的通信系統的配置示例的示意圖。
信息處理裝置(用戶終端)10為能夠由用戶攜帶的通信終端，諸如智慧型電話或眼鏡型終端。
信息處理裝置(用戶終端)10包括通信單元、相機(成像單元)和顯示單元，並且具有在顯示單元上顯示相機拍攝圖像並且在顯示單元上的拍攝圖像上疊加和顯示經由通信單元接收到的信息的功能。
信息處理裝置10在顯示單元上顯示相機拍攝的圖像。在顯示單元上的顯示圖像為由相機當前拍攝的實時拍攝圖像。順便提及，本公開的過程適用於先前拍攝並存儲在存儲器中的圖像被讀取並在顯示單元上顯示的情況。然而，在下面描述的示例中，當前拍攝的圖像在顯示單元上顯示。順便提及，拍攝圖像可以記錄在或可以不記錄在諸如介質的存儲單元中。
信息處理裝置10的相機(成像單元)和顯示單元可由不同的裝置實現，並且被配置為通過通信一體地操作。
經由通信一體地操作的配置可以被實現為使得由附接到用戶頭部的相機(成像單元)拍攝的運動圖像以及位置和方向信息經由例如Wi-Fi被傳送至智慧型電話(顯示單元)。
本公開的過程也可適用於信息處理裝置10為一個物理裝置的情況和信息處理裝置10由多個裝置經由通信形成的情況。
當在顯示單元上顯示拍攝圖像時，信息處理裝置10接收從信標發送器20輸出的信標，信標發送器20由例如無線LAN或藍牙中的接入點(AP)組成。
信標為存儲信標發送器20的標識符(ID)的包。
信息處理裝置10經由諸如網際網路的網絡30將從信標發送器20接收到的信標傳送至搜索伺服器40。
在接收到從信息處理裝置10傳送的信標時，搜索伺服器40基於標識符獲取與被包含在所接收的信標中的信標發送器標識符(ID)相對應註冊的接入信息(URL)，並且將該接入信息發送至信息處理裝置10。
接入信息(URL)為用於獲取關於信標發送器20附近的信息註冊點的位置信息以及包括註冊信息等的數據的接入信息。
順便提及，在網頁上提供的地圖數據中，例如，註冊信息設置點(興趣點(POI))被設置為估計吸引來自許多人的興趣的點，諸如旅遊景點和地標。接入信息(URL)為用於獲取包括關於註冊信息設置點(POI)的位置信息、註冊信息等的顯示控制數據的接入信息。
信息處理裝置10使用接入信息(URL)從信息提供伺服器50獲取顯示控制數據，並且在顯示單元上的拍攝圖像上疊加和顯示與被包含在所獲取的顯示控制數據中的註冊信息設置點(POI)相對應的註冊信息等。
也就是說，信息處理裝置10在由相機(成像單元)拍攝並在顯示單元上顯示的真實對象上疊加和顯示從信息提供伺服器50獲取的關於POI的位置信息和作為虛擬對象的註冊信息。
信息提供伺服器50提供POI顯示控制數據，諸如關於在區域中的各種位置的各種設施的位置信息以及關於該設施的指南信息。信息提供伺服器50包括註冊信息在其中被註冊的資料庫，並且基於資料庫信息生成顯示控制數據。信息提供伺服器50根據包含在來自信息終端10的請求中的URL，返回相關的顯示控制數據。
信息處理裝置10使用由搜索伺服器40所選的接入信息(URL)，從信息提供伺服器50獲取POI顯示控制數據。
信息處理裝置10使用POI顯示控制數據將POI位置和關於在信標發送器20的安裝場所附近的各種設施的註冊信息疊加並顯示在顯示單元上顯示的相機拍攝圖像上。
將參考圖2的(a)和(b)來描述具體的過程示例。
圖2的(a)和圖2的(b)示出信息處理裝置(用戶終端)10在顯示單元上顯示相機拍攝圖像的示例。
順便提及，在下面的描述中，智慧型電話作為信息處理裝置(用戶終端)10的示例。然而，下面描述的示例也可以在除智慧型電話之外的各種用戶終端上執行，諸如平板終端、PC、眼鏡型終端等。
圖2的(a)示出在旅遊點包括城堡的真實世界中的風景。攜帶信息處理裝置(用戶終端)10的用戶訪問旅遊點的城堡，並且看到圖2的(a)所示的風景。
用戶使用信息處理裝置(用戶終端)10的相機功能拍攝(a)真實世界圖像並在顯示單元上顯示所拍攝圖像。
顯示在顯示單元上的拍攝圖像是圖2的(b)所示的顯示圖像。
例如，在該狀態下，執行上面參照圖1所述的一系列過程。也就是說，執行以下步驟(S01至S04)：
(S01)信息處理裝置10向搜索伺服器40傳送從信標發送器20(諸如圖2的(a)所示的真實世界中的近接入點(AP))接收到的信標的標識信息(ID)。
(S02)搜索伺服器40基於該標識信息向信息處理裝置10發送用於獲取包括關於信標發送器20的鄰域的註冊信息的數據的接入信息(URL)。
(S03)信息處理裝置10使用從搜索伺服器40接收到的接入信息(URL)，從信息提供伺服器50獲取顯示控制數據，諸如關於信標發送器20附近的設施的位置信息和註冊信息。
(S04)信息處理裝置10使用顯示控制數據，諸如關於從信息提供伺服器50獲取的信標發射器20附近的設施的位置信息和註冊信息，以在顯示單元上顯示的拍攝圖像上疊加和顯示表示設施的位置和的註冊信息的標記作為虛擬對象。
執行上述的一系列步驟。
作為執行上述一系列步驟的結果，圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)示出在信息處理裝置10的顯示單元上顯示的顯示圖像的示例。
圖3的(a)示出在如上所述的圖2的(a)的情況下的真實世界中的風景，以及圖3的(b)示出在執行上述的一系列步驟(S01至S04)之後在信息處理裝置10的顯示單元上顯示的顯示圖像。
在步驟S03，從信息提供伺服器50獲取的數據，即顯示控制數據，諸如關於在信標發送器20附近的設施的位置信息和註冊信息包括關於在圖3的(a)中示出的真實世界中的下列兩個點的信息：
(1)關於註冊信息設置點A(POI-A)101的位置信息和註冊信息
(2)關於註冊信息設置點B(POI-B)102的位置信息和註冊信息。
圖3的(b)所示的顯示圖像為選擇(1)顯示有關於註冊信息設置點A(POI-A)101的位置信息和註冊信息的顯示圖像。
圖3的(b)所示的顯示圖像為在從信息提供伺服器50獲取的顯示控制數據中描述的虛擬對象被疊加並顯示在作為拍攝圖像的真實對象上的圖像。
所顯示的虛擬對象為以下數據：
(1)點A(POI-A)位置標識標記111
(2)點A(POI-A)對應註冊信息112
這些數據被顯示為虛擬對象。
如上所述，圖3的(b)所示的顯示圖像為基於從信息提供伺服器50獲取的顯示控制數據生成的虛擬對象被疊加並顯示在作為拍攝圖像的真實對象上的圖像，即，增強現實(AR)圖像。
點A為票務中心。作為虛擬對象的點A(POI-A)位置標識標記111被疊加並顯示在作為真實對象的拍攝圖像中的票務中心的位置中。
點A(POI-A)位置標識標記111的顯示位置需要被設置在作為真實對象的拍攝圖像中的票務中心上。該顯示位置由信息處理裝置10使用從信息提供伺服器獲取的數據來判定。順便提及，在信息處理裝置10上顯示的圖像為根據用戶的運動而變化的實時相機拍攝圖像。點A(POI-A)位置標識標記111的顯示位置也需要根據所顯示的拍攝圖像(真實對象)的運動來更新。顯示位置控制也由信息處理裝置10執行。
在由信息處理裝置10執行的顯示控制下，作為虛擬對象的點A(POI-A)位置標識標記111的顯示位置被正確地放置在作為真實對象的拍攝圖像中的票務中心上。
後面將描述顯示控制的具體步驟。
此外，作為另一虛擬對象的點A(POI-A)對應註冊信息112也被疊加和顯示在作為真實對象的拍攝圖像上。
點A(POI-A)對應註冊信息112包括關於對應於註冊信息設置點A的票務中心的各種信息。如附圖所示，關於在票務中心的開放時間和費用等的信息被顯示。信息被記錄在信息提供伺服器50的資料庫中，並且被包含在根據由搜索伺服器40所提供的URL所獲取的或顯示控制數據中或基於該顯示控制數據來獲取。
圖4的(a)和圖4的(b)為示出使用關於另一點B的信息的顯示圖像示例的示意圖，即：
(2)關於註冊信息設置點B(POI-B)102的位置信息和註冊信息。
圖4的(a)示出在真實世界中的風景，以及圖4的(b)示出在執行上述的一系列步驟(S01至S04)之後在信息處理裝置10的顯示單元上顯示的顯示圖像。
圖4的(b)所示的顯示圖像為作為從信息提供伺服器50獲取的顯示數據的虛擬對象被疊加並顯示在作為拍攝圖像的真實對象上的圖像。
所顯示的虛擬對象為如下數據：
(1)點B(POI-B)位置標識標記121
(2)點B(POI-B)對應註冊信息122
這些數據被顯示為虛擬對象。
如上所述，圖4的(b)所示的顯示圖像為基於從信息提供伺服器50獲取的數據生成的虛擬對象被疊加並顯示在作為拍攝圖像的真實對象上的圖像，即，增強現實(AR)圖像。
點B表示城堡的入口，以及點B(POI-B)位置標識標記121作為虛擬對象被疊加並顯示在作為真實對象的拍攝圖像的入口位置上。
點B(POI-B)位置標識標記121的顯示位置需要被設置在作為真實對象的拍攝圖像中的城堡入口上。該顯示位置由信息處理裝置10使用從信息提供伺服器獲取的數據來判定和控制。具體地，信息處理裝置10根據在顯示單元上顯示的拍攝圖像(真實對象)的運動來更新點B(POI-B)位置標識標記121的顯示位置。
在由信息處理裝置10執行的顯示控制下，作為虛擬對象的點B(POI-B)位置標識標記121的顯示位置總是被設置在作為真實對象的拍攝圖像中的入口上。
後面將描述顯示控制的具體步驟。
此外，作為另一虛擬對象的點B(POI-B)對應註冊信息122也被疊加和顯示在作為真實對象的拍攝圖像上。
點B(POI-B)對應註冊信息122包括關於對應於註冊信息設置點B的城堡入口的各種信息。如附圖所示，諸如入口的開放時間的信息、租借引導終端的信息、休息室位置信息等被顯示。該信息被記錄在信息提供伺服器50的資料庫中，並且根據由搜索伺服器40所提供的URL來獲取。
【2.關於通信過程和圖像顯示過程的細節】
圖5為描述在圖1中示出的裝置之間執行的通信序列和由信息處理裝置(用戶終端)10執行的增強現實圖像(真實對象和虛擬對象的疊加圖像)的顯示過程序列的序列圖。
圖5從左側示出信標發送器20、信息處理裝置(用戶終端)10、搜索伺服器40和信息提供伺服器50。
下面將依次描述該過程步驟。
(步驟S101)
首先，在步驟S101，信標發送器20輸出信標以及信息處理裝置10接收該信標。如上所述，信標為存儲信標發送器20的標識符(ID)等的數據包。
(步驟S102)
信息處理裝置10將從信標發送器20接收到的信標傳送至搜索伺服器40。
(步驟S103)
搜索伺服器40接收從信息處理裝置10所傳送的信標，並基於包含在該信標中的信標發送器20的標識符(ID)搜索資料庫以提取用於獲取包括關於信標發送器20的鄰域的註冊信息的數據的接入信息(URL)。
圖6示出被存儲在搜索伺服器40的資料庫中的數據的示例。搜索伺服器40在資料庫(存儲單元)中存儲例如在圖6中描述的數據。
如圖6所示的數據由下面兩種數據的對應列表組成：
信標發送器標識符(ID)；以及
用於獲取信標發送器鄰域設施信息的URL。
搜索伺服器40接收從信息處理裝置10所傳送的信標，並例如基於包含在該信標中的信標發送器20的標識符(ID)，搜索如圖6所述的數據配置的列表。
通過該列表搜索，搜索伺服器40獲取與包含在從信息處理裝置10所傳送的信標中的信標發送器20的標識符(ID)相關聯的接入信息(URL)。
接入信息(URL)為用於獲取包括關於信標發送器20的鄰域的註冊信息的數據的接入信息(URL)。
(步驟S104)
接下來，在步驟S104，搜索伺服器40向信息處理裝置10發送通過在步驟S103的搜索獲取的接入信息(URL)。
(步驟S105)
信息處理裝置10使用從搜索伺服器40接收到的接入信息(URL)以從信息提供伺服器50獲取包括關於信標發送器20附近的設施的位置信息和註冊信息的數據(虛擬對象顯示控制數據)。
從信息提供伺服器50向信息處理裝置10所傳送的數據包括被疊加和顯示在作為在信息處理裝置10的顯示單元上顯示的真實對象的相機拍攝圖像上的虛擬對象的真實狀態數據和用於真實狀態數據的顯示控制信息。該數據在下文中將被稱為虛擬對象顯示控制數據。
具體地，虛擬對象顯示控制數據由下面的數據等組成：
(1)超文本標記語言(HTML)
(2)級聯樣式表(CSS)
(3)JavaScript(註冊商標)。
HTML為表示在信息處理裝置10的顯示單元上顯示的虛擬對象的基本結構的數據。雖然存在各種HTML數據，但是例如HTML 5是可用的。
CSS為定義由HTML定義的虛擬對象配置數據的顯示格式、顏色、形狀和其它的樣式表，其為定義在信息處理裝置10的顯示單元上顯示的虛擬對象的樣式的數據。
JavaScript(註冊商標)為定義用於顯示虛擬對象的過程、用於更新顯示的過程或用於移動並更新虛擬對象的過程的顯示控制程序。例如，它為用於執行顯示控制，諸如根據用戶在顯示對象上觸摸和點擊的此類事件或根據各種背景(情形)諸如在觸發後逝去預定時間段的事件對所顯示的信息採取各種行為，包括改變虛擬對象的顯示模式的顯示控制程序。
如上所述，信息提供伺服器50向信息處理裝置10提供具有以下數據的虛擬對象顯示控制數據：
(1)超文本標記語言(HTML)
(2)級聯樣式表(CSS)
(3)JavaScript(註冊商標)
虛擬對象顯示控制數據為由一個URL獲取的數據，以及HTML根據由搜索伺服器40基於包含在信標發送器20的信標中的信標發送器標識符(ID)所選的接入信息(URL)來獲取。此外，由HTML參考的CSS和JavaSciript是可獲取的。
也就是說，具有作為組件的HTML、CSS和JavaScript(註冊商標)的虛擬對象顯示控制數據包括關於在真實世界三維空間中的一個特定信標發送器20附近的各種設施的位置信息和指南信息，並且被用於顯示虛擬對象，諸如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的點(POI)位置標識標記和點對應註冊信息並執行顯示控制。
該數據的細節將在後面描述。
(步驟S106)
信息處理裝置10基於在步驟S106的URL和相機拍攝圖像，使用關於被記錄在從信息提供伺服器50獲取的數據中的註冊信息設置點的位置信息(虛擬對象顯示控制數據)來計算在顯示屏上的點位置標識標記的顯示位置。
也就是說，如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述，信息處理裝置10根據諸如作為在作為真實對象的拍攝圖像中的註冊信息設置點的票務中心、入口等的真實對象，執行顯示位置判定過程以顯示作為虛擬對象的點位置標識標記。
在顯示位置判定過程中，作為預拍攝參考圖像的錨點和虛擬三維空間中的註冊信息設置點的位置信息被記錄在從信息提供伺服器50獲取的數據(虛擬對象顯示控制數據)中並且相機拍攝圖像被使用。
後面將描述顯示位置判定過程的具體步驟。
(步驟S107)
最終，在步驟S107，信息處理裝置10在步驟S106所計算的顯示位置中顯示點位置標識標記，並且另外顯示設施點對應註冊信息。
顯示結果例如為上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的顯示圖像。
順便提及，在上述過程示例中，搜索伺服器40基於從信息處理裝置10傳送的信標來提供用於獲取關於信標裝置20的鄰域的信息的接入信息(URL)。可替換地，搜索伺服器40可被配置為使用除信標之外的數據。
例如，可以將作為由信息處理裝置10拍攝的圖像的縮小版本的縮略圖和圖像特徵量數據發送到搜索伺服器40，使得搜索伺服器40可以確定與該縮略圖和圖像特徵量數據相對應的位置並提供用於獲取關於所確定的位置的鄰域的信息的顯示控制數據的接入信息(URL)。
在此情況下，搜索伺服器40被配置為在存儲單元中存儲各個位置的拍攝圖像和接入信息的對應列表。另外，拍攝圖像不限於位置的圖像，而是可以包括書或海報的圖像。基於從信息處理裝置10接收到的數據，搜索伺服器40選擇包括匹配於存儲單元中的對應列表中的數據的圖像的拍攝圖像，並且向信息處理裝置10提供對應於該圖像設置的用於POI顯示控制數據的接入信息(URL)。
可替換地，信息處理裝置10可讀出被記錄在各個位置的設施中的標記或QR碼(註冊商標)，並將所讀出的數據發送至搜索伺服器40，使得搜索伺服器40可以基於所接收到的數據搜索資料庫並提供用於獲取關於所接收到的標記或QR碼(註冊商標)被記錄的位置的鄰域的信息的接入信息(URL)。
在此情況下，搜索伺服器40將被記錄在各個位置的標記或QR碼(註冊商標)的對應列表和接入信息存儲在存儲單元中、基於從信息處理裝置10接收到的標記或QR碼(註冊商標)執行數據搜索並且向信息處理裝置10提供所記錄的對應於標記或QR碼(註冊商標)的接入信息(URL)。【3.關於用於判定註冊信息設置點(POI)位置識別標記的顯示位置的過程】
接下來，將描述用於判定註冊信息設置點(POI)位置識別標記的顯示位置的過程。
如上面參考圖5的序列圖所述，信息處理裝置10基於由搜索伺服器所提供的接入信息(URL)從信息提供伺服器50獲取虛擬對象顯示控制數據。此外，信息處理裝置10使用虛擬對象顯示控制數據和相機拍攝圖像來計算點位置標識標記在顯示屏幕上的顯示位置。
下面將描述用於判定由信息處理裝置10執行的點位置標識標記的顯示位置的過程。
圖7為示出根據由搜索伺服器所提供的接入信息(URL)被包含在從信息提供伺服器50獲取的數據(虛擬對象顯示控制數據)中的HTML數據的一部分的示意圖。
圖7中描述的HTML數據包括信息處理裝置10用來執行用於判定點位置標識標記的顯示位置的過程的數據。
圖7中描述的數據為用於判定上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所描述的後續點位置標識標記的顯示位置的HTML數據的示例：
點A(POI-A)位置標識標記111
點B(POI-B)位置標識標記121
圖7中描述的HTML數據記錄預拍攝參考圖像和被包含在參考圖像中的關於真實對象和註冊信息設置點的相對位置的信息。
如圖7所示，圖7的HTML數據記錄以下數據：
(1)第一參考真實對象信息
(2)第二參考真實對象信息
(3)點A對應信息
(4)點B對應信息
參考真實對象信息(1)和(2)將參考圖8的(a)和圖8的(b)來描述。
參考真實對象為存在於真實世界中並且位於註冊信息設置點附近的真實對象。參考真實對象構成用於計算註冊信息設置點的位置的參考位置，並且被稱為錨點或錨點對象。參考對象的拍攝圖像被稱為錨點圖像。錨點圖像僅被用作用於計算位置的參考，並且可以不必與POI相關聯。然而，錨點圖像可包括POI。為了提高參考位置的檢測精度，期望使用真實空間中的特徵對象的圖像。另外，可以通過使用在真實空間中在各種位置和以各種角度拍攝的多個錨點圖像來進一步提高參考位置的檢測精度。這使得即使當用戶終端移動或旋轉時也能夠進行位置檢測。
將參考圖8的(a)和圖8的(b)來描述參考真實對象的示例。
圖8的(a)和圖8的(b)示出城堡的真實對象和存在於真實世界中的其它對象。
圖中所示的坐標軸(XYZ)為在定義在三維位置中的真實世界中的真實對象之間的位置關係的虛擬三維空間坐標中的坐標軸。它們不是像GPS那樣的絕對位置坐標，而是可以任意設置在虛擬三維空間坐標中的原點的位置的局部坐標。
如圖8的(a)和圖8的(b)所示，第一參考真實對象201為由包括城堡的上部的區域組成的真實對象。
另外，第二參考真實對象202為由包括城堡的入口的區域組成的真實對象。
這些參考真實對象被用於確定真實世界中的參考真實對象是否對應於虛擬三維空間坐標中的位置，並且被用戶終端用來確定虛擬三維空間坐標並判定虛擬三維空間坐標中的點位置標識標記的顯示位置。
關於參考真實對象的信息被預先註冊在由信息提供伺服器50所提供的HTML數據中。具體地，參考真實對象信息包括以下信息：
(1)參考圖像＝參考真實對象的拍攝圖像(錨點圖像)(錨點.png)
(2)被包含在參考圖像中的參考真實對象的位置信息(位置：表示參考真實對象在三維真實空間中的位置的三維坐標數據(X,Y,Z))
(3)被包含在參考圖像中的參考真實對象的方向信息(旋轉：表示參考真實對象的姿勢的信息)。該方向一般可以用歐拉角表示。在該示例中，方向由在3D圖形中頻繁使用的四元數(x,y,z:w)數據表示。
(4)關於參考圖像的面積(尺寸)信息(尺寸：橫向長度和縱向長度)。
(5)在虛擬三維空間中的坐標單位和在真實空間中的3D坐標單位(單位：米或千米)之間的參考圖像的轉換。
(1)參考圖像＝參考真實對象的拍攝圖像(錨點.png)為例如圖8的(b)所示的圖像201p和202p。
(2)在被包含在參考圖像中的參考真實對象的位置信息中所使用的坐標(表示在三維真實空間中的參考真實對象的位置的三維坐標數據(X,Y,Z))為例如世界坐標系中的坐標。表示參考真實對象的位置的坐標和表示點對應信息的位置的坐標在相同的坐標空間中。
(3)至於被包含在參考圖像中的參考真實對象的方向信息，關於參考真實對象的方向信息和點對應信息為關於相同參考點的方向信息。
在圖7中描述的HTML數據中，關於第一參考真實對象201的參考真實對象信息(第一錨點信息)包括以下數據：
上述數據的含義如下：
該數據指示數據單位和後續圖的單位為一米：
這是(2)被包含在上述參考圖像中的參考真實對象的位置信息(表示參考真實對象在三維真實空間中的位置的三維坐標數據(X,Y,Z))。
該數據指示(X,Y,Z)＝(152,44,37)。它等同於例如參考真實對象的中心位置的坐標。
這是(3)被包含在上述參考圖像中的關於參考真實對象的方向信息四元數(x,y,z:w)。該數據指示(x,y,z:w)＝(63,44,99,3.3)。
這是(4)上述的參考圖像的面積(尺寸)信息(橫向長度和縱向長度)。
具體地，該數據指示第一參考圖像為對應於13m寬和7m長的真實世界面積的圖像。
這是(1)參考圖像＝參考真實對象的拍攝錨點圖像(錨點1.png)。
例如，這是例如在圖8的(b)中示出的圖像201p。
圖7中描述的HTML數據還記錄作為關於第二參考真實對象202的參考真實對象信息(第二錨點信息)的以下數據：
上述數據的含義類似於關於第一參考真實對象201的參考真實對象信息(第一錨點信息)的含義。
順便提及，在圖7的示例中，存在兩個單位的參考真實對象信息(錨點信息)。然而，這是示例，並且可以在HTML數據中記錄任意數量的參考真實對象信息(錨點信息)的單位。
此外，圖7中描述的HTML數據還記錄關於註冊信息設置點，即圖8的(a)和圖8的(b)中所示的以下註冊信息設置點的信息：
(a)註冊信息設置點A(POI-A)211
(b)註冊信息設置點B(POI-B)212。
具體地，註冊以下點對應信息：
(1)與註冊信息設置點相關聯的註冊信息
(2)關於註冊信息設置點的位置信息(表示三維真實空間中的註冊信息設置點的位置的三維坐標數據(X,Y,Z))
(3)關於註冊信息設置點的方向信息(指示來自特定參考點，例如已經拍攝了參考圖像的相機的註冊信息設置點的方向的信息)
(1)與註冊信息設置點相關聯的註冊信息為諸如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的點對應註冊信息112和122的信息)。
例如，在如圖7所示的HTML數據中，關於註冊信息設置點A(POI-A)211的點對應信息包括以下數據：
上述數據的含義如下：
該數據指示數據單位和後續圖的單位為一米：
這是(2)關於註冊信息設置點的位置信息(表示三維真實空間中的註冊信息設置點的位置的三維坐標數據(X,Y,Z))。
該數據指示(X,Y,Z)＝(163,43,32)。它等同於註冊信息設置點在三維真實空間中的位置坐標。
順便提及，如上所述，用在這裡的坐標為例如在世界坐標系中的坐標。表示參考真實對象的位置的坐標和表示點對應信息的位置的坐標在相同的坐標空間中。
這是(3)關於上述的註冊信息設置點的方向信息四元數(x,y,z:w)。該數據指示(x,y,z:w)＝(34,73,45,4.43)。
順便提及，如上所述，關於參考真實對象的方向信息和點對應信息為相對於相同參考點的方向信息。
這是(1)與上述的註冊信息設置點相關聯的註冊信息，其為諸如上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的點對應註冊信息112和122的信息)。
如圖7所示的HTML數據另外記錄如關於註冊信息設置點B(POI-B)212的點對應信息的以下數據：
上述數據的含義與上述關於註冊信息設置點A(POI-A)211的點對應信息的含義相同。
順便提及，在圖7的示例中，存在兩個單位的註冊信息設置點(POI)對應信息。然而，這是示例，並且可以在HTML數據中記錄任意數量的單位的註冊信息設置點(POI)對應信息。
如上所述，基於由搜索伺服器所提供的接入信息(URL)從信息提供伺服器50獲取的HTML數據(虛擬對象顯示控制數據)記錄預拍攝參考圖像以及被包含在參考圖像中的關於錨點對象和在虛擬三維空間中的註冊信息設置點的位置信息。
具體地，HTML數據包括以下數據：
參考真實對象的拍攝參考圖像的數據；
包括被包含在參考圖像數據中的的參考真實對象的位置、方向等的三維位置和姿勢信息；和
包括註冊信息設置點的位置、方向等的三維位置和姿勢信息。
上述信息被信息處理裝置10用來執行用於判定點位置識別標記的顯示位置的過程。
在圖7的示例中，HTML記錄錨點對象信息和註冊設置點信息。另選地，HTML中的虛擬對象和註冊設置點信息可以彼此相關聯地以JavaScript(註冊商標)記錄。另選地，上述信息可以按照JavaScript(註冊商標)從信息提供伺服器50獲取為單獨的數據。因此，錨點對象信息和註冊點信息可以不必以HTML記錄。
由信息處理裝置(用戶終端)10的數據處理單元執行的過程執行以下的過程步驟，例如：
信息處理裝置(用戶終端)10的數據處理單元從信息提供伺服器50輸入HTML數據(虛擬對象顯示控制數據)，即記錄預拍攝參考圖像和關於被包含在虛擬3D空間坐標中的參考圖像中的真實對象和註冊信息設置點的位置信息的HTML數據。
接下來，數據處理單元檢測顯示在顯示單元上的拍攝圖像中的、與被包含在參考圖像中的真實對象相同的真實對象(錨點)。數據處理單元通過使用關於檢測到的真實對象(錨點)的三維位置信息和被記錄在虛擬對象顯示控制數據中的相對位置信息來確定用戶終端上的位置信息。順便提及，數據處理單元執行三維位置和姿勢信息分析處理以從拍攝圖像和參考圖像確定用戶終端的位置。該過程將在後面描述。此外，數據處理單元計算在以用戶終端作為原點的坐標系中的註冊信息設置點的三維位置。
數據處理單元基於計算出的位置信息計算在顯示單元上顯示的拍攝圖像中的註冊信息設置點的顯示位置，並且在所計算的顯示位置中疊加並顯示作為虛擬對象的點位置標識標記。對於虛擬對象的疊加和顯示，CSS三維TRANSFORMS函數可以被用於三維顯示。
根據上述步驟，數據處理單元根據拍攝圖像中的註冊信息設置點顯示點位置標識標記。
順便提及，該過程步驟被記錄在由信息處理裝置10從信息提供伺服器50獲取的JavaScript(註冊商標)中。
接下來，將參考圖9來描述作為由信息處理裝置10從信息提供伺服器50獲取的虛擬對象顯示控制數據的一個部分的JavaScript(註冊商標)數據連同如圖7所述的HTML數據的配置示例。JavaScript(註冊商標)被用作虛擬對象的顯示控制程序。
圖9描述了基於由搜索伺服器提供的接入信息(URL)從信息提供伺服器50獲取的JavaScript(註冊商標)數據的一部分。
在圖9中描述的JavaScript(註冊商標)等同於記錄信息處理裝置10的過程步驟以判定點位置標識標記的顯示位置的處理程序。
將根據圖9中描述的過程步驟(S201至S209)按順序描述由信息處理裝置10的數據處理單元基於圖9中描述的JavaScript(註冊商標)執行的過程。
(步驟S201)
首先，信息處理裝置10的數據處理單元輸入由信息處理裝置的相機拍攝的拍攝圖像輸入流。
拍攝圖像為當前通過相機輸入的圖像數據。拍攝圖像被連續地顯示在顯示單元上。順便提及，這裡描述的拍攝圖像是指由相機功能拍攝的圖像，並且可以記錄或可以不記錄在存儲單元中。
(步驟S202)
接下來，在步驟S202，信息處理裝置10的數據處理單元輸入第一參考真實對象信息(第一錨點信息)。
第一參考真實對象信息(第一錨點信息)為如上參考圖7所描述的被記錄在HTML數據中的第一參考真實對象信息(第一錨點信息)。
也就是說，第一參考真實對象信息包括關於第一參考真實對象(第一錨點)的以下信息：
(1)參考圖像＝參考真實對象的拍攝圖像(錨點1.png)
(2)被包含在參考圖像中的參考真實對象的位置信息(表示參考真實對象在三維真實空間中的位置的三維坐標數據(X,Y,Z))
(3)表示被包含在參考圖像中的參考真實對象的方向信息的四元數(x,y,z:w)
(4)關於參考圖像的面積(尺寸)信息(橫向長度和縱向長度)。
信息處理裝置10的數據處理單元從HTML數據讀出上述的第一參考真實對象信息(第一錨點信息)。
(步驟S203)
接下來，在步驟S203，信息處理裝置10的數據處理單元輸入第二參考真實對象信息(第二錨點信息)。
第二參考真實對象信息(第二錨點信息)為如上參考圖7所描述的被記錄在HTML數據中的第二參考真實對象信息(第二錨點信息)。
順便提及，在圖9的示例中，兩個單位的參考真實對象信息(錨點信息)被讀出。然而，這僅僅是示例，並且實際上，被記錄在HTML數據中的所有單位的參考真實對象信息(錨點信息)被讀出。
(步驟S204)
接下來，在步驟S204，信息處理裝置10的數據處理單元輸入註冊信息設置點A(POI-A)對應信息。
註冊信息設置點A(POI-A)對應信息為如上參考圖7所述的被記錄在HTML數據中的點A對應信息。
也就是說，註冊信息設置點A(POI-A)對應信息包括關於註冊信息設置點A的以下信息：
(1)與註冊信息設置點相關聯的註冊信息
(2)關於註冊信息設置點的位置信息(表示三維真實空間中的註冊信息設置點的位置的三維坐標數據(X,Y,Z))
(3)表示關於註冊信息設置點的方向信息的四元數(x,y,z:w)
信息處理裝置10的數據處理單元從HTML數據讀出上述點A(POI-A)對應信息。
(步驟S205)
接下來，在步驟S205，信息處理裝置10的數據處理單元輸入註冊信息設置點B(POI-B)對應信息。
註冊信息設置點B(POI-B)對應信息為如上參考圖7所述的被記錄在HTML數據中的點B對應信息。
順便提及，在圖9的示例中，兩個單位的註冊信息設置點(POI)對應信息被讀出。然而，這僅僅是示例，並且實際上，被記錄在HTML數據中的所有單位的註冊信息設置點(POI)對應信息被讀出。
(步驟S206)
接下來，在步驟S206中，信息處理裝置10的數據處理單元將通過用於根據參考圖像確定用戶終端中的相機的位置的過程所計算的結果(三維位置分析過程)註冊為JavaScript(註冊商標)的函數(事件處理函數)。
通過使用在步驟S202至S205獲取的以下信息來執行在步驟S206之前的定位過程：
(1)通過拍攝參考真實對象獲得的參考圖像數據和包括被包含在參考圖像數據中的參考真實對象的位置、方向等的三維位置和姿勢信息
(2)包括註冊信息設置點的位置、方向等的三維位置和姿勢信息
(3)在步驟S201輸入的拍攝圖像。
順便提及，例如，定位過程(三維位置和姿勢信息分析過程)被執行為同時使用定位和映射(SLAM)的過程。SLAM為用於從被包含在相機拍攝圖像中的各種真實對象選擇特徵點並檢測所選擇的特徵點的位置以及相機的位置和姿勢的過程。另外，SLAM在由本申請的申請人作為在先申請提交的日本專利5380789號中描述。
為了執行SLAM的過程，信息處理裝置10的數據處理單元輸入諸如信息處理裝置的顯示單元(顯示器)和相機的位置、方向(旋轉)和面積(尺寸)的必要參數。
SLAM的三維位置和姿勢分析過程的概要如下：
首先，從相機拍攝的圖像中檢測與參考真實對象一致的真實對象。這通過從HTML數據獲取的拍攝參考真實對象的參考圖像數據和拍攝圖像的特徵點比較(特徵點匹配)來執行。
接下來，基於被包含在參考圖像中的對象與被包含在相機拍攝圖像中的對象之間的差異，分析從相機拍攝圖像檢測到的拍攝對象的三維位置和姿勢。
已經拍攝了參考圖像的相機的位置和當前圖像拍攝位置(信息處理裝置(用戶終端)的相機位置)不匹配，並且被包含在參考圖像中的對象和被包含在相機拍攝圖像的對象在方向和大小不同。
這些差異被分析，並且相機在真實空間中的三維位置和姿勢相對於對應於從相機拍攝圖像檢測出的參考對象的拍攝圖像進行分析。
順便提及，通過使用相機設置信息，諸如信息處理裝置中的相機的鏡頭倍率、位置和方向信息以及角度信息來執行這些分析。
接下來，計算被記錄在HTML數據中的參考真實對象的位置、方向、大小等的信息、關於在真實空間中的相機的三維位置和姿勢信息以及被包含在虛擬三維空間中的拍攝圖像中的註冊信息設置點(POI)的位置和方向。
順便提及，例如，通過上述過程計算的相機的位置由世界坐標系中的三維位置camaraPosition的坐標(Xw,Yw,Zw)表示。另外，表示相機的方向的camaraRotation和表示相機的視角的CameraViewAngle由四元數表示。
(步驟S207)
接下來，在步驟S207，信息處理裝置10的數據處理單元將註冊信息設置點A(POI-A)和註冊信息設置點B(POI-B)的三維位置坐標轉換為相機坐標。
相機坐標構成這樣的坐標系，其中，XYZ坐標軸被設置用於相機(成像單元)的視點，其根據相機的方向在原點具有cameraPosition和cameraRotation。
在步驟S207，根據在S206通過三維定位獲得的世界坐標系中的相機的位置和方向，世界坐標系中被記錄在HTML數據中的註冊信息設置點A(POI-A)和註冊信息設置點B(POI-B)的坐標(Xw,Yw,Zw)被轉換為相機坐標系中的坐標(Xc,Yc,Zc)。
(步驟S208)
接下來，在步驟S208，信息處理裝置10的數據處理單元將註冊信息設置點A(POI-A)和註冊信息設置點B(POI-B)的相機坐標轉換為顯示單元(顯示器)坐標。
顯示單元坐標構成例如X軸被設置在向右方向以及Y軸被設置在向左方向並且以顯示單元的左上角為原點的坐標系。在該步驟，在相機的視場外部的註冊設置點不在後續顯示過程中使用。
在步驟S208，數據處理單元將在步驟S207所計算的在相機坐標系中的註冊信息設置點A(POI-A)和註冊信息設置點B(POI-B)的坐標(Xc,Yc,Zc)轉換為顯示單元坐標(Xd,Yd)。
順便提及，為了執行三維圖像顯示，針對左眼顯示單元和右眼顯示單元來計算顯示單元坐標。也就是說，它們是用於左眼顯示單元的顯示單元坐標(Xdl,Ydl)和用於右眼顯示單元的顯示坐標(Xdr,Ydr)。
順便提及，在該步驟，有必要根據相機坐標系中的Z軸(距離)的值設置具有視差的左眼圖像和右眼圖像，並且根據水平坐標(例如，Xdl和Xdr的坐標值)之間的視差設置差值。
順便提及，根據用於三維圖像生成過程的常規算法來執行這些過程。
(步驟S209)
接下來，在步驟S209，信息處理裝置10的數據處理單元在註冊信息設置點A(POI-A)的顯示單元(顯示)坐標位置中顯示點A(POI-A)位置標識標記，並在註冊信息設置點B(POI-B)的顯示單元(顯示)坐標位置中顯示點B(POI-B)位置標識標記。
這些點(POI)位置標識標記為在上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的顯示圖像中顯示的點(POI)位置標識標記。
如上所述，信息處理裝置10基於由搜索伺服器提供的接入信息(URL)，通過使用從信息提供伺服器50獲取的HTML數據和JavaScript(註冊商標)數據，通過三維定位過程來確定相機的位置和方向，並且基於確定結果計算被包含在拍攝圖像中的註冊信息設置點(POI)的顯示單元(顯示器)坐標位置並在坐標位置中顯示點(POI)位置標識標記。
此外，具有點(POI)位置標識標記的註冊信息設置點的註冊信息在靠近點(POI)位置標識標記的顯示位置顯示。
註冊信息的顯示位置以及註冊信息和點(POI)位置標識標記的顯示模式，例如顏色、字符、角度等可以根據CSS規則設置為與來自信息提供伺服器50的HTML數據和JavaScript(註冊商標)數據一起被接收的樣式表。
【4.關於由信息處理裝置執行的過程序列】
接下來，將參考圖10所述的流程圖來描述由信息處理裝置(用戶終端)10執行的過程的序列。
將按順序描述由信息處理裝置10執行的以下過程。
(1)用於獲取虛擬對象顯示控制數據並顯示虛擬對象的過程以及用於諸如用戶的觸摸的事件的過程(圖10至圖11)
(2)三維定位過程的設定(圖12)
(3)基於作為三維定位的結果的事件的檢測來顯示虛擬對象的過程(圖13)
(4)用於三維定位的過程和用於將事件通知為定位結果的過程(圖14至圖15)。
順便提及，上述過程全部由信息處理裝置10的數據處理單元執行。數據處理單元包括具有程序執行功能的CPU，其根據存儲在信息處理裝置10的存儲單元中的程序執行這些過程。
此外，存儲在信息處理裝置10的存儲單元中的一些程序包括從信息提供伺服器50接收的程序，例如JavaScript(註冊商標)。
【4-1.用於獲取虛擬對象顯示控制數據並顯示虛擬對象的過程】
首先，將參考圖10至圖11所示的流程圖來描述用於獲取虛擬對象顯示控制數據並顯示虛擬對象的過程序列。
下面將依次描述在圖10和圖11中描述的過程流程的步驟。
(步驟S301)
首先，在步驟S301，信息處理裝置執行信標檢測，以確定是否已經接收到來自信標發送器的信標。
當檢測到信標時，該過程移到步驟S302。
(步驟S302)
當檢測到信標時，在步驟S302，信息處理裝置向搜索伺服器請求用於獲取與信標發送器相關聯的虛擬對象顯示控制數據的地址(URL)。
當進行請求時，信息處理裝置向搜索伺服器發送被包含在信標中的信標ID和終端支持的三維定位方法(定位方法)的標識信息(ID)。
(步驟S303)
接下來，在步驟S303，信息處理裝置從搜索伺服器接收用於獲取與信標發送器相關聯的虛擬對象顯示控制數據的地址(URL)。
(步驟S304)
接下來，在步驟S304，信息處理裝置在顯示單元上顯示用於獲取與從搜索伺服器接收到的信標發送器相關聯的虛擬對象顯示控制數據的地址(URL)。搜索伺服器可發送諸如表示顯示控制數據的標題的屬性信息以及URL，並且信息處理裝置可在顯示單元上顯示容易讓用戶理解的信息，而不是URL。
(步驟S305)
接下來，在步驟S305，信息處理裝置確定用戶是否給出了用於獲取虛擬對象顯示控制數據的地址(URL)和諸如顯示在顯示單元上的標題的屬性信息的顯示指令。
當檢測到用戶的顯示指令時，該過程移到步驟S306。當沒有檢測到時，該過程返回到步驟S301。
(步驟S306)
接下來，在步驟S306，信息處理裝置激活網絡瀏覽器並根據指定的URL從信息提供伺服器獲取由用戶訪問的虛擬對象顯示控制數據。
順便提及，如上所述，從信息提供伺服器獲取的虛擬對象顯示控制數據具體由以下數據等組成：
(1)超文本標記語言(HTML)
(2)級聯樣式表(CSS)
(3)JavaScript(註冊商標)。
HTML為表示在信息處理裝置的顯示單元上顯示的虛擬對象的基本結構的數據，並且是例如HTML 5。
CSS為定義由HTML定義的虛擬對象配置數據的顯示格式、顏色、形狀和其它的樣式表，其為定義在信息處理裝置的顯示單元上顯示的虛擬對象的樣式的數據。
JavaScript(註冊商標)為定義用於顯示虛擬對象的過程、用於更新顯示的過程或用於移動並更新虛擬對象的過程的顯示控制程序。例如，它根據用戶在顯示對象上觸摸和點擊的此類事件或根據諸如在觸發後逝去預定時間段的事件對所顯示的信息採取各種行為，諸如改變虛擬對象的顯示模式。
虛擬對象顯示控制數據為通過一個URL獲取的數據。它可以基於被包含在來自信標發送器的信標中的信標發送器標識符(ID)，通過由搜索伺服器所選的接入信息(URL)獲取。
具體而言，具有諸如HTML、CSS、JavaScript(註冊商標)的部分的虛擬對象顯示控制數據包括位置信息和關於在一個特定的信標發送器附近的各種設施的指南信息。它是用於顯示虛擬對象，諸如上面參考圖3的(a)、圖3的(b)、圖4的(A)、和圖4的(b)所述的點(POI)位置標識標記和點對應註冊信息並執行顯示控制的數據。
(步驟S307)
接下來，在步驟S307，信息處理裝置判定虛擬對象的顯示位置和顯示模式，並且通過使用從信息提供伺服器獲取的虛擬對象顯示控制數據在顯示單元上顯示該虛擬對象。順便提及，例如，通過使用網絡呈現程序和網頁顯示控制程序(JavaScript(註冊商標))來執行該過程。
順便提及，在顯示單元上顯示的虛擬對象為例如與上面參考圖3的(a)、圖3的(b)、圖4的(a)和圖4的(b)所述的註冊信息設置點(POI)相關聯的註冊信息設置點(POI)位置標識標記和註冊信息。
關於這些虛擬對象的基本信息被記錄在被包含在從信息提供伺服器獲取的虛擬對象顯示控制數據中的HTML數據中。可根據被包含在同樣從信息提供伺服器獲取的虛擬對象顯示控制數據中的CSS來設置這些虛擬對象的顯示模式。
(步驟S308)
接下來，在步驟S308，信息處理裝置確定事件檢測的存在或不存在作為用於更新虛擬對象在顯示單元上的顯示的觸發。
例如，作為用於更新虛擬對象的顯示的觸發的事件包括各種事件，諸如用戶在顯示單元上的觸摸、從開始顯示虛擬對象起經過預定時間以及顯示屏幕的移動。
被檢測用於執行顯示更新的事件在由信息提供伺服器所提供的JavaScript(註冊商標)中描述，並且顯示更新根據描述來執行。
此外，事件檢測可不僅根據由信息提供伺服器提供的JavaScript(註冊商標)而且根據由信息處理裝置保持的顯示控制程序來執行，使得顯示更新可以根據檢測到的事件來執行。
當在步驟S308檢測到作為用於更新虛擬對象在顯示單元上的顯示的觸發的任何事件時，該過程移到步驟S309。
(步驟S309)
接下來，在步驟S309，信息處理裝置基於網絡呈現程序和網頁顯示控制程序(JavaScript(註冊商標)等)來執行作為事件過程的顯示數據(虛擬對象)的更新。
【4-2.用於設置定位過程錨點信息的過程】
接下來，將參考圖12所述的流程圖來描述用於設置定位過程錨點信息的過程的序列。圖12的流程圖描述根據JavaScript(註冊商標)程序的過程，其由例如在圖9中描述的JavaScript(註冊商標)程序的步驟S201至S206執行。在圖12中描述的對象是指由JavaScript(註冊商標)處理的對象。
下面將依次描述在圖12中描述的流程圖的步驟。
(步驟S401)
首先，在步驟S401，信息處理裝置獲取包括在從信息提供伺服器接收到的HTML數據中描述的參考圖像的錨點對象。HTML數據可以作為文檔對象模型(DOM)對象從JavaScript(註冊商標)程序獲取。
如上面參考圖7所述，在HTML數據中描述的錨點信息對象包括以下數據：
(1)參考圖像＝作為錨點的參考圖像(錨點1.png)
(2)被包含在參考圖像中的錨點的位置信息(表示錨點在虛擬三維真實空間中的位置的三維坐標數據(X,Y,Z))
(3)被包含在參考圖像中的錨點的方向信息(表示在虛擬三維真實空間中的方向的四元數(X,Y,Z:w))
(4)關於參考圖像的面積(尺寸)信息(橫向長度和縱向長度)。
(步驟S402)
接下來，在步驟S402，信息處理裝置從通過使用信息處理裝置的相機功能採集的視頻採集對象獲取運動圖像流對象。
(步驟S403)
接下來，在步驟S403，信息處理裝置獲取三維位置確定過程(Spacelocalization)對象。
(步驟S404)
接下來，在步驟S404，信息處理裝置將在步驟S402獲取的運動流對象設置為三維位置計算過程(Spacelocalization)對象。通過步驟S402至S404，信息處理裝置可以在三維位置確定過程中處理由相機拍攝的運動圖像流。
(步驟S405)
接下來，在步驟S405，信息處理裝置將在步驟S401獲取的錨點對象設置為在步驟S404設置的三維位置確定過程(Spacelocalization)拍攝對象，並用錨點ID註冊(在存儲單元中存儲)該對象。因此，在HTML數據中描述的錨點信息被輸入至三維位置計算過程。
(步驟S406)
接下來，在步驟S406，信息處理裝置確定用於使所有錨點與空間位置確定過程相關聯的過程是否完成。
在該過程未完成時，該過程返回到步驟S405以將錨點對象設置為未處理數據。
在確定用於使錨點對象和空間位置計算過程相關聯的過程完成時，該過程移到步驟S407。
(步驟S407)
接下來，在步驟S407，信息處理裝置註冊三維位置確定過程(Spacelocalization)對象的事件(three-dimensional position result event)處理函數。
順便提及，事件處理函數為作為相機在被包含在錨點信息中的參考圖像的虛擬三維空間中的位置和方向的計算的結果和由相機在三維位置確定中拍攝的運動圖像流而開始的過程的觸發的事件。
具體地，這為在由信息處理裝置的成像單元拍攝的圖像由於用戶的移動、相機的拍攝方向的移動等而被移動預定量(預設定義值)並且檢測到在虛擬三維空間中的相機的位置和方向的變化時所生成的事件處理函數。在事件處理函數在步驟S407註冊時，用於計算相機的三維位置的過程通過使用三維位置計算過程(Spacelocalization)對象來開始。
順便提及，根據預定量的移動的事件生成的精度，即，事件的頻率被記錄在從信息提供伺服器接收到的JavaScript(註冊商標)中。這在事件處理函數的時間設置並被輸入至三維位置確定處理單元。
【4-3.基於對虛擬對象顯示事件的檢測來顯示虛擬對象的過程】
接下來，將參考如圖13所述的流程圖來描述基於虛擬對象顯示事件的檢測的虛擬對象顯示過程的序列。該流程圖描述根據JavaScript(註冊商標)程序的過程，其在圖9中描述的JavaScript(註冊商標)程序的步驟S207至S209在三維定位過程事件函數中執行。
將依次描述在圖13中描述的流程圖的步驟。
(步驟S501)
首先，在步驟S501，信息處理裝置確定是否已發生三維位置確定過程(Spacelocalization)對象的事件。該確定對應於在圖12中描述的步驟S407被註冊的事件處理函數是否被調用的確定。
當在步驟S501確定已發生三維位置計算過程的事件時，該過程移到步驟S502。
(步驟S502)
當在步驟S501確定已發生顯示或更新虛擬對象的事件時，信息處理裝置在步驟S502獲取終端顯示單元(顯示器)的位置、方向和面積(尺寸)以及相機的位置、方向和角度。此步驟意味著上述信息作為如圖12所述進行註冊的事件處理函數的變元來傳遞。
(步驟S503)
接下來，在步驟S503，信息處理裝置獲取在HTML數據中描述的註冊信息設置點(POI)對應信息(關於坐標、方向等的三維位置和姿勢信息)。如在圖12中的步驟S401所述，被記錄在HTML數據中的註冊信息設置點(POI)信息可以被JavaScript(註冊商標)程序獲取為DOM對象，如同獲取被記錄在HTML數據中的錨點信息的情況下一樣。
(步驟S504)
接下來，在步驟S504，信息處理裝置將從在步驟S503從信息提供伺服器接收到的HTML數據獲取的註冊信息設置點(POI)的坐標、方向等的三維位置和姿勢信息轉換為在終端顯示單元(顯示器)坐標系中的坐標，並在POI列表中保存該信息。
在轉換過程中，存在兩個階段，即，註冊信息設置點(POI)的位置和姿勢的POI坐標被轉換為用戶終端(相機)作為原點的用戶終端坐標系，並且接著，在終端坐標系中的轉換POI坐標被進一步轉換為顯示裝置坐標系。
為了將用戶終端坐標系轉換為顯示裝置坐標系，需要在虛擬三維空間中的相機的位置和方向以及終端顯示單元(顯示器)的方向。因此，使用在步驟S502所需的信息。具體地，在顯示器的方向並不與相機的方向一致的用戶終端的情況下，考慮所給出的方向差異來計算在顯示坐標系中的POI的顯示位置是必要的。
(步驟S505)
接下來，在步驟S505，信息處理裝置確定所有的POI是否完成坐標轉換和列表註冊。
在未完成時，該過程返回到步驟S503以對未被處理的POI執行在步驟S503和S504的過程。
在確定完成所有POI的坐標轉換和列表註冊時，該過程移到步驟S506。
(步驟S506)
當確定針對所有POI的坐標轉換和列表註冊完成時，信息處理裝置按順序從在步驟S506所生成的POI列表中選擇POI。
(步驟S507)
接下來，在步驟S507，信息處理裝置確定從該列表選擇的POI的坐標(在顯示單元坐標系中的坐標)是否落在顯示單元的顯示範圍內。根據關於相機的位置和方向以及虛擬三維空間中的終端顯示單元(顯示器)的位置和方向的信息來確定該坐標是否落入顯示範圍內。具體地，當信息處理裝置在顯示單元的一部分上顯示來自拍攝單元的視頻時，可以根據拍攝視頻的顯示位置來計算POI的顯示位置，並且可以將POI疊加在拍攝視頻中看到的真實對象的位置中。
當POI的坐標並未落入顯示單元的顯示範圍內時，停止POI的處理，並且該過程返回到步驟S506，以從POI列表選擇下一個POI。
當在步驟S50中確定從該列表選擇的POI的坐標(顯示單元坐標系中的坐標)落在顯示單元的顯示範圍內時，該過程移到步驟S508。
(步驟S508)
當確定從該列表選擇的POI的坐標(顯示單元坐標系中的坐標)落在顯示單元的顯示範圍內時，信息處理裝置在步驟S508顯示點位置標識標記和所選POI的註冊信息。順便提及，這些虛擬對象的顯示模式例如通過使用CSS等來設置。
(步驟S509)
接下來，在步驟S509，信息處理裝置確定是否完全處理了所有POI。
當存在任何未處理的POI時，該過程返回到步驟S506，以從POI列表選擇下一個未處理的POI，並執行步驟S507和後續的步驟。
當在步驟S509確定所有POI被完全處理時，該過程終止。
【4-4.用於三維位置確定的過程】
接下來，將參考圖14至圖15的流程圖來描述相機三維位置確定過程的序列。這些流程圖中的過程不是由在由信息提供伺服器50所提供的顯示控制數據中的JavaScript(註冊商標)執行，而是由例如被記錄在信息處理裝置的記錄單元中的程序執行。這使得避免用於三維位置確定的算法由JavaScript(註冊商標)程序公開的問題，並且通過信息處理裝置中的硬體的高速處理等高速、高精度、低功耗地執行三維位置確定是可能的。
下面將依次描述圖14至15中描述的流程圖的步驟。
(步驟S601)
首先，在步驟S601，信息處理裝置的數據處理單元獲取相機拍攝圖像的解析度和相機的鏡頭倍率。該步驟通過獲取被記錄在信息處理裝置的相機控制單元的存儲器中的相機設置信息來執行。
(步驟S602)
接下來，在步驟S602，信息處理裝置初始化被附接至信息處理裝置的運動傳感器。具體地，信息處理裝置重置過去測量的數據，並執行初始化處理以將當前位置和傾斜度(方向)設置為初始值。運動傳感器為用於確定信息處理裝置的位置和姿勢的陀螺儀或加速度傳感器。
(步驟S603)
接下來，在步驟S603，信息處理裝置從在從信息提供伺服器獲取的HTML數據(參見圖7)中描述的參考真實對象信息(錨點信息)，即，被包含在圖12中描述的步驟S405的三維位置確定過程中設置的(錨點信息)中的參考圖像中提取特徵點。
(步驟S604)
接下來，在步驟S604，信息處理裝置確定用於從與在圖12中描述的步驟S405的三維位置確定過程中設置的所有參考真實對象信息(錨點信息)相對應的參考圖像中提取特徵點的過程是否完成。
當存在任何未處理的參考圖像時，該過程返回到步驟S603，以從未處理的參考圖像提取特徵點。
當確定從與從信息提供伺服器獲取的HTML數據(參見圖7)中描述的所有參考真實對象信息(錨點信息)相對應的參考圖像提取特徵點的過程完成時，該過程移到步驟S605。
(步驟S605)
當從與從信息提供伺服器獲取的HTML數據(參見圖7)中描述的所有參考真實對象信息(錨點信息)相對應的參考圖像提取特徵點的過程完成時，信息處理裝置的數據處理單元在步驟S605開始相機拍攝圖像的輸入。
(步驟S606)
接下來，在步驟S606，信息處理裝置的數據處理單元從相機拍攝圖像的幀中提取特徵點。
(步驟S607)
接下來，在步驟S607，信息處理裝置的數據處理單元獲取運動傳感器的觀測值。
(步驟S608)
接下來，在步驟S608，信息處理裝置的數據處理單元通過將參考圖像(錨點圖像)的特徵點與相機拍攝圖像的特徵點進行匹配來計算包括真實空間中的相機的位置和方向的三維位置和姿勢信息。該過程例如通過使用上述SLAM技術來執行。
(步驟S609)
接下來，在步驟S609，信息處理裝置通過匹配所有參考圖像(錨點圖像)的特徵點和相機拍攝圖像的特徵點來確定是否完成了三維位置和姿勢信息計算過程。
當存在任何未處理的參考圖像時，該過程返回到步驟S608以處理未處理的參考圖像。
當確定所有參考圖像被完全處理時，該過程移到步驟S610。
(步驟S610)
接下來，在步驟S610，信息處理裝置基於所有參考圖像和相機拍攝圖像的特徵點的匹配結果來計算關於在真實空間中的相機的位置和方向的最終三維位置和姿勢信息。
在步驟S608，計算與一個參考圖像(錨點圖像)相對應的相機三維位置和姿勢信息，並且針對多個參考圖像計算不同的相機三維位置和姿勢信息。
在步驟S610，例如，對多個值進行平均等，以計算包括在真實空間中的相機的最終位置和方向的三維位置和姿勢信息。通過使用多個錨點參考圖像來確定三維位置和姿勢，即使當用戶移動或相機的方向改變時，也能夠進行位置確定。此外，當在相機拍攝視頻中檢測到多個錨點時，可以提高定位精度。此外，通過在終端中組合運動傳感器，即使在拍攝視頻中沒有檢測到錨點，也可以估算相機的位置和方向。
(步驟S611)
接下來，在步驟S611，信息處理裝置檢測從在前一幀中確定的相機的三維位置和姿勢到當前幀中所計算的三維位置和姿勢的變化量。通過使用對由運動傳感器檢測到的相機的運動所得的幀視頻中的運動模糊的補償來執行檢測。通過將相機姿勢信息和關於幀視頻中的模糊的校正的信息傳遞給事件處理函數，可以根據JavaScript(註冊商標)的控制來校正在相機拍攝視頻上疊加的情況下的顯示模糊。
(步驟S612)
接下來，在步驟S612，信息處理裝置確定在步驟S611檢測到的改變量是否等於或大於預定閾值。
閾值為從顯示控制數據中的JavaScript(註冊商標)程序預先設定的並且在圖12所示的步驟S407中被保存在記錄單元中的值。
當確定顯示在顯示單元上的圖像的位置已經改變了預定閾值或更多時，該過程移到步驟S613。
(步驟S613)
當確定相機的三維位置和姿勢已經改變了預定閾值或更多時，信息處理裝置設置顯示單元的位置、方向和面積(尺寸)以及作為三維定位姿勢的結果的相機的位置、方向和角度信息，並且在步驟S613開始用於事件處理函數的過程。
順便提及，為了開始用於顯示和更新虛擬對象的過程，信息處理裝置的數據處理單元根據上面參照圖13所述的處理流程來執行該過程，然後執行用於顯示或更新虛擬對象的過程。
【5.關於作為用於啟動顯示虛擬對象或更新顯示的觸發的事件】
在上述示例中，以上將超過預定閾值等的用戶終端(相機)的位置和姿勢的變化解釋為用於顯示註冊信息設置點(POI)位置標識符和對應於作為在顯示單元上顯示的虛擬對象的註冊信息設置點(POI)的註冊信息的過程或用於更新顯示的過程的觸發的事件的示例。
然而，根據作為用於顯示虛擬對象的過程或用於更新顯示的過程的觸發的用戶終端(相機)的位置和姿勢的變化，不僅將POI疊加和顯示在相機拍攝視頻中看到的真實對象上，而且還根據JavaScript(註冊商標)程序通過JavaScript(註冊商標)實施各種顯示過程和顯示觸發是可能的。另外，信息提供者不僅可以通過使用HTML和CSS的顯示控制函數來顯示文本中的POI，而且還提供各種顯示方法。
信息處理裝置(用戶終端)10的數據處理單元執行用於顯示在信息處理裝置附近的註冊信息設置點的註冊信息的過程或用於更新作為觸發的根據各種預定上下文(情境)的事件的檢測的顯示的過程。
具體地，例如，數據處理單元可基於作為觸發的以下信息通過事件檢測來執行用於開始或更新虛擬對象的顯示的過程：
(1)信息處理裝置(用戶終端)的位置
(2)時間
(3)具有信息處理裝置(用戶終端)的用戶的行為歷史
(4)被註冊在信息處理裝置或伺服器中的用戶日程信息
(5)用戶物理信息(心跳、脈搏等)
(6)在商店等的銷售信息
(7)關於信息處理裝置(用戶終端)的設置信息
(8)信息處理裝置(用戶終端)的用戶的屬性(年齡、性別、興趣等)
(9)信息處理裝置(用戶終端)的用戶的視線
(1)基於作為觸發的信息處理裝置(用戶終端)的位置，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下：
當攜帶信息處理裝置(用戶終端)的用戶移動時，用於開始或更新虛擬對象的顯示的過程通過檢測從信息處理裝置(用戶終端)到註冊信息設置點(POI)的距離落入預定距離(3米)內的事件來執行。在此情況下，在真實世界中的信息終端的位置和方向可以被來自參考真實對象信息(錨點信息)的三維位置確定過程跟蹤的狀態中，信息處理裝置(用戶終端)和註冊信息設置點(POI)的位置通過三維位置確定過程來測量，並且註冊信息設置點(POI)可不必被包含在拍攝視頻中。
此外，為了執行該過程，顯示控制程序，諸如JavaScript(註冊商標)定義執行一系列下列操作的程序：
(a)測量從信息處理裝置(用戶終端)到註冊信息設置點(POI)的距離
(b)比較所測得的距離和預定閾值
(c)確定當所測得的距離變得等於或小於預定閾值時的事件的發生率。
(2)將描述基於作為觸發的時間，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下：
例如，在餐館開放的上午11點，當信息處理裝置(用戶終端)的用戶在該餐館的鄰域時，該餐館的位置、該餐館的菜單等被顯示為虛擬對象。
此外，為了執行該過程，顯示控制程序，諸如JavaScript(註冊商標)定義執行一系列下列操作的程序：
(a)測量從信息處理裝置(用戶終端)到註冊信息設置點(POI)的距離
(b)比較所測得的距離和預定閾值
(c)獲取當前時間
(d)確定當所測得的距離變得等於或小於預定閾值並且在用於開放註冊信息設置點(POI)(例如，餐館)的時間的事件的發生率。
此外，信息提供伺服器向信息處理裝置提供包括作為虛擬對象的餐館的菜單等的註冊信息設置點對應註冊信息。
(3)將描述基於信息處理裝置(用戶終端)的用戶的行為歷史，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下：
信息處理裝置(用戶終端)的用戶的運動狀態(步行、奔跑或汽車、火車的高速運動等)被分析，並且根據分析信息的最佳信息被顯示為虛擬對象。
例如，當用戶在步行時，根據移動位置和速度的路線信息、觀察點指南信息、休息室位置信息等被顯示為虛擬對象。
此外，為了執行該過程，顯示控制程序，諸如JavaScript(註冊商標)定義執行一系列下列操作的程序：
(a)測量從信息處理裝置(用戶終端)到註冊信息設置點(POI)的距離
(b)比較所測得的距離和預定閾值
(c)確定當所測得的距離變得等於或小於預定閾值時的事件的發生率。
此外，信息提供伺服器向信息處理裝置提供作為虛擬對象的路線信息、觀察點指南信息、休息室位置信息等。
(4)將描述基於作為觸發的在信息處理裝置或伺服器中註冊的用戶日程信息，通過事件的檢測來開始或更新虛擬對象的過程的具體示例。例如，該過程的一個具體示例如下所述。
為了執行該處理，需要將用戶日程信息預先註冊在信息處理裝置的存儲器或信息提供伺服器中。
在開始註冊日程計劃的時間或者在開始時間之前的特定時間，信息處理裝置(用戶終端)將預定計劃的指定地點、日程信息等顯示為虛擬對象。
此外，為了執行該過程，顯示控制程序，諸如JavaScript(註冊商標)定義執行一系列下列操作的程序：
(a)獲取註冊日程信息
(b)獲取當前時間
(c)確定在註冊日程信息中的設定時間或在設定時間之前的特定時間的事件的發生率。
此外，信息提供伺服器向信息處理裝置提供作為虛擬對象的預定計劃的指定地點、日程信息等。
(5)將描述基於作為觸發的用戶身體信息(心跳、脈搏等)，通過事件的檢測來開始或更新虛擬對象的過程的具體示例。例如，該過程的一個具體示例如下：
為了執行該過程，需要設置用於將來自測量用戶身體信息的傳感器的檢測信息輸入至信息處理裝置的配置。
傳感器測量用戶的心跳、脈搏等，並將測量信息輸出至信息處理裝置。
具體地，例如，當用戶正在跑馬拉松時，用戶的信息處理裝置的數據處理單元顯示關於用戶的心跳和脈搏狀態的信息，例如，作為虛擬對象的用於鼓勵用戶深呼吸或休息的信息或者關於相鄰休息地點的指南信息。
此外，為了執行該過程，顯示控制程序，諸如JavaScript(註冊商標)定義執行一系列下列操作的程序：
(a)從傳感器獲取用戶身體信息
(b)根據輸入的身體信息檢測事件。
此外，信息提供伺服器向信息處理裝置提供根據用戶的心跳和脈搏狀態的信息，例如，作為虛擬對象的用於鼓勵用戶深呼吸或休息的信息或者關於相鄰休息地點的指南信息。
(6)將描述基於作為觸發的在商店等的銷售信息，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下：
例如，在商店開始銷售的上午10點，當信息處理裝置(用戶終端)的用戶在該商店的鄰域時，信息處理裝置顯示作為虛擬對象的該商店的位置、該商店的銷售的描述等。
此外，為了執行該過程，顯示控制程序，諸如JavaScript(註冊商標)定義執行一系列下列操作的程序：
(a)測量從信息處理裝置(用戶終端)到註冊信息設置點(POI)的距離
(b)比較所測得的距離和預定閾值
(c)獲取當前時間
(d)確定當所測得的距離變得等於或小於預定閾值並且在用於開放註冊信息設置點(POI)(例如，商店)的時間的事件的發生率。
此外，信息提供伺服器向信息處理裝置提供包括作為虛擬對象的在商店的銷售的描述的註冊信息設置點對應註冊信息。
(7)將描述基於信息處理裝置(用戶終端)的設置信息，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下所述。
信息處理裝置(用戶終端)的設置信息為例如關於顯示語言的設置、音頻輸出的存在或不存在的設置等。
例如，當顯示語言被設置為日語時，日語註冊信息被提供為虛擬對象。當顯示語言被設置為英語時，英語註冊信息被提供為虛擬對象。此外，當音頻輸出設置為ON時，可輸出音頻註冊信息。
此外，例如，為執行該過程，顯示控制程序諸如JavaScript(註冊商標)定義根據上述示例和以下的操作執行用於檢測註冊信息設置點(POI)的操作的程序：
(a)獲取信息處理裝置(用戶終端)的設置信息。
另外，信息提供伺服器根據關於信息處理裝置(用戶終端)的設置信息向信息處理裝置提供語言、顯示數據或音頻數據。
(8)將描述基於信息處理裝置(用戶終端)的用戶的屬性(年齡、性別、興趣等)，通過事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下所述。
為了執行該處理，需要將用戶的年齡、性別、興趣等的用戶屬性信息預先註冊在信息處理裝置的存儲器或信息提供伺服器中。
信息處理裝置根據註冊用戶的屬性顯示包括最佳供應信息的虛擬對象。
此外，例如，為執行該過程，顯示控制程序諸如JavaScript(註冊商標)定義根據上述示例和以下的操作執行用於檢測註冊信息設置點(POI)的操作的程序：
(a)獲取註冊用戶的屬性信息。
另外，信息提供伺服器根據關於信息處理裝置(用戶終端)的設置信息向信息處理裝置提供包括最佳供應信息的虛擬對象。
將參考圖16和17來描述虛擬對象的具體顯示示例。
圖16示出用戶屬性信息註冊為指示用戶為三十到五十的中年男人並且喜歡喝酒的虛擬對象的顯示示例。
例如，假設具有相同屬性(三十到五十的中年男人並且喜歡喝酒)的多個用戶在公司內散步並且攜帶他們的個人的信息處理裝置。
在此情況下，如圖16所示的虛擬對象在他們的相應信息處理裝置上顯示。
具體地，指示提供酒的餐館和酒吧的位置的點(POI)位置標識標記301和點(POI)對應註冊信息302按順序顯示。
圖17示出用戶屬性信息註冊為指示用戶為二十到三十的婦女並且喜歡購物的虛擬對象的顯示示例。
在此情況下，如圖17所示的虛擬對象在信息處理裝置上顯示。
具體地，指示銷售似乎二十到三十歲的婦女特別喜歡的物品的商店的位置的點(POI)位置標識標記321和點(POI)對應註冊信息322按順序顯示。
(9)將描述基於信息處理裝置(用戶終端)的用戶的視線，通過作為觸發的事件的檢測來開始或更新虛擬對象的顯示的過程的具體示例。例如，該過程的一個具體示例如下所述。
為了執行該過程，需要設置用於將來自測量用戶視線的傳感器的檢測信息輸入至信息處理裝置的配置。
傳感器檢測用戶的視線的方向，並將檢測信息輸出至信息處理裝置。
信息處理裝置的數據處理單元基於優先級執行用於顯示存在於用戶的視線方向中的註冊信息設置點(POI)的註冊信息的過程。
此外，例如，為執行該過程，顯示控制程序諸如JavaScript(註冊商標)定義根據上述示例和以下的操作執行用於檢測註冊信息設置點(POI)的操作的程序：
(a)輸入用戶的視線的方向的檢測結果並判定顯示對象。
如上所述，各種事件可以被設置為構成用於顯示虛擬對象的過程或用於更新顯示的過程的觸發的事件。
【6.關於信息處理裝置和伺服器的配置示例】
接下來，將描述信息處理裝置(用戶終端)、信息提供伺服器和搜索伺服器的配置示例。
圖18為示出信息處理裝置(用戶終端)10的配置示例的框圖。
信息處理裝置10具有信標檢測單元501、數據處理單元(控制單元)502、運動傳感器503、存儲單元504、相機(成像單元)505、輸入單元506、輸出單元(顯示單元)507、通信單元508，各種傳感器509和定時器510，如圖18所示。
信標檢測單元501檢測從信標發送器20發送的信標。
數據處理單元(控制單元)502在信息處理裝置10中執行各種數據處理操作。具體地，數據處理單元(控制單元)502例如執行根據上述流程圖的過程。例如，數據處理單元(控制單元)502包括CPU，其具有程序執行的功能並且根據存儲在存儲單元504中的程序來執行過程。
運動傳感器503為檢測信息處理裝置的運動的傳感器。運動傳感器503由檢測移動的方向、傾斜度、加速度等的各種傳感器構成。
存儲單元504例如由RAM、ROM、HDD和其它介質構成，以存儲由數據處理單元5602執行的程序、各種參數等。存儲單元504另外被用作由數據處理單元執行的數據處理的工作區。
相機(成像單元)505執行圖像拍攝。順便提及，如上所述，在拍攝三維圖像的情況下，相機(成像單元)505在分離的位置具有兩個成像單元，並且在拍攝二維圖像的情況下，相機(成像單元)505具有一個成像單元。
輸入單元506為用於用戶輸入各種指令的用戶操作單元。順便提及，當顯示單元被配置為觸摸面板時，顯示單元也用作輸入單元。
輸出單元507由顯示單元、音頻輸出單元等組成。根據上述過程，顯示單元將真實對象顯示為相機拍攝圖像，並且將點(POI)位置標識標記和點(POI)對應註冊信息疊加並顯示為從信息提供伺服器獲取的虛擬對象。
通信單元508為與信息提供伺服器、搜索伺服器和其他外部裝置通信的通信單元。
各種傳感器509為測量各種用戶狀況的傳感器，例如視線傳感器和脈搏傳感器。
數據處理單元502可以根據傳感器檢測信息更新虛擬對象的顯示。
定時器510檢測當前時間、測量從預定定時起經過的時間等。
圖19為描述由執行各種過程的數據處理單元502執行的數據處理程序的層配置的分解結構圖。
數據處理單元502在作業系統(OS)層上執行各種應用。
附圖所示的通信處理應用為用於檢測信標、獲取URL並且命令顯示處理裝置基於URL來顯示網頁的應用。通信處理應用執行圖10中描述的步驟S301至S306。
顯示處理應用執行用於顯示由相機拍攝的圖像的過程、用於顯示由信息提供伺服器提供的虛擬對象的過程等。
另外，顯示處理應用執行用於顯示顯示控制數據的過程和用於顯示虛擬對象並且在作為觸發的事件發生時更新顯示的過程。
此外，顯示處理應用執行用於輸出或更新顯示信息的過程，以及在圖19的顯示處理應用下由所示的3D空間定位庫、顯示控制庫和網頁顯示庫所執行的過程。
基於由相機拍攝的對象和參考圖像，3D空間定位庫執行用於來計算信息處理裝置的三維位置、方向(傾斜度)等的三維定位過程。具體地，3D空間定位庫通過使用如上所述的SLAM技術等來執行三維定位過程。
顯示控制庫為WebKit和JavaScript(註冊商標)的執行單元，其執行用於在顯示單元上顯示虛擬對象的過程和用於在發生作為觸發的諸如用戶的操作的事件的時間更新顯示的過程。
網頁顯示應用由WebKit WebCore等構成，並且執行用於顯示網頁的過程。
這些應用和庫可在OS層上操作。OS層控制由應用執行的全部過程，並且控制被設置在硬體(HW)層和應用層等中的各種處理單元之間的命令、參數等的輸入/輸出等。
圖20示出可用作信息提供伺服器或搜索伺服器的通信裝置的硬體配置示例。
中央處理單元(CPU)701用作根據存儲在只讀存儲器(ROM)702或存儲單元708中的程序執行各種過程的數據處理單元。例如，CPU 701根據上面關於上述示例所描述的序列來執行過程。隨機存取存儲器(RAM)703存儲由CPU 701執行的程序、數據等。CPU 701、ROM 702和RAM 703經由總線704被連接在一起。
CPU 701經由總線704連接至輸入/輸出接口705。輸入/輸出接口705被連接至由各種開關、鍵盤、滑鼠、麥克風等組成的輸入單元706和由顯示器、揚聲器等組成的輸出單元707。例如，CPU 701響應於通過輸入單元706輸入的指令執行各種過程，並向輸出電壓707輸出處理結果。
例如，連接至輸入/輸出接口705的存儲單元708由硬碟等組成，並且存儲由CPU 701執行的程序和各種數據。通信單元709用作經由諸如網際網路和區域網的網絡進行數據通信以與外部裝置通信的發送器/接收器。
被連接至輸入/輸出接口705的驅動器710驅動諸如磁碟、光碟、磁光碟的可移除介質711或諸如存儲卡的半導體存儲器，以記錄數據或讀取數據。
【7.本公開的配置的概述】
到此為止，本公開的示例已參考具體示例來詳細描述。然而，在不脫離本公開的要點的情況下，本領域的技術人員可以更改示例或用另一示例替換此示例是顯而易見的。也就是說，本發明已經以例證的形式公開並且不應以限制性的方式解讀。為確定本公開的要點，應引入權利要求。
順便提及，本文所公開的技術可以採用以下配置：
(1)信息處理裝置，包括：
成像單元；
顯示單元，顯示由所述成像單元拍攝的圖像；以及
數據處理單元，在所述顯示單元上顯示虛擬對象，所述虛擬對象表示包含在所拍攝的圖像中的真實世界註冊信息設置點，其中
所述數據處理單元輸入虛擬對象顯示控制數據，所述虛擬對象顯示控制數據記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關於所述錨點在虛擬三維空間坐標系中的位置信息以及關於所述註冊信息設置點在虛擬三維空間坐標系中的位置信息，以及
所述數據處理單元從所述成像單元拍攝的圖像中檢測所述錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定所述成像單元在虛擬三維空間中的位置、計算所述註冊信息設置點在顯示單元坐標系中的位置並基於所計算的位置顯示表示所述註冊信息設置點的虛擬對象，其中，所述顯示單元坐標系作為所述顯示單元的坐標系。
(2)根據(1)所述的信息處理裝置，其中
所述數據處理單元將從信標發送器接收的信標發送至搜索伺服器，
所述數據處理單元從所述搜索伺服器接收用於獲取虛擬對象顯示控制數據的接入信息，所述虛擬對象顯示控制數據記錄作為通過拍攝所述信標發送器附近的真實對象而獲得的參考圖像的錨點和所述真實對象與所述註冊信息設置點之間的相對位置信息，以及
所述數據處理單元使用接收到的所述接入信息從信息提供伺服器接收包括所述信標發送器附近的真實對象信息的虛擬對象顯示控制數據。
(3)根據(1)或(2)所述的信息處理裝置，其中
所述虛擬對象顯示控制數據包括與所述註冊信息設置點對應的註冊信息，以及
所述數據處理單元將點位置標識標記和所述註冊信息疊加並顯示在所述顯示單元上顯示的拍攝圖像上。
(4)根據(1)到(3)中任一者所述的信息處理裝置，其中
所述虛擬對象顯示控制數據包括超文本標記語言(HTML)數據，所述超文本標記語言(HTML)數據記錄作為通過拍攝真實對象所獲得的參考圖像的錨點和所述註冊信息設置點在三維空間中的位置信息，以及
所述數據處理單元使用所述HTML數據執行用於計算所述註冊信息設置點在顯示單元坐標系中的位置的過程。
(5)根據(1)到(4)中任一者所述的信息處理裝置，其中
所述虛擬對象顯示控制數據包括記錄用於計算所述註冊信息設置點的位置相對於所述信息處理裝置的位置的過程的步驟的程序，以及
所述數據處理單元使用所述程序執行用於計算所述註冊信息設置點的顯示位置的過程。
(6)根據(1)到(5)中任一者所述的信息處理裝置，其中
所述數據處理單元使用同時定位和地圖構建(SLAM)來執行用於從所述錨點的參考圖像計算所述信息處理裝置的三維位置的過程。
(7)根據(1)到(6)中任一者所述的信息處理裝置，其中
所述信息處理裝置具有檢測所述信息處理裝置的運動的運動傳感器，以及
所述數據處理單元使用來自所述運動傳感器的輸入信息和從所拍攝的圖像檢測到的真實對象(錨點)來執行用於計算所述信息處理裝置的三維位置的過程。
(8)根據(1)至(7)中的任一者所述的信息處理裝置，其中，所述數據處理單元根據在所述顯示單元上顯示的所拍攝的圖像的運動最新計算所述註冊信息設置點相對於所述信息裝置的位置，並且執行用於在新計算的位置中顯示點的顯示更新過程。
(9)根據(1)至(8)中的任一者所述的信息處理裝置，其中，所述數據處理單元根據記錄在所述虛擬對象顯示控制數據中的事件的檢測，執行用於顯示所述虛擬對象或更新所述顯示的過程。
(10)根據(1)到(9)中任一者所述的信息處理裝置，其中
所述顯示單元為能夠顯示三維圖像的顯示單元，以及
所述數據處理單元計算用於左眼圖像和右眼圖像中的每一者的註冊信息設置點的顯示位置，並且在所計算的顯示位置中疊加並顯示作為虛擬對象的所述點位置標識標記。
(11)信息提供伺服器，包括：
存儲單元，存儲包括在信標發送器附近的真實對象信息的虛擬對象顯示控制數據；以及
通信單元，根據來自所述信息處理裝置的獲取控制信息請求傳送所述虛擬對象顯示控制數據，其中
所述虛擬對象顯示控制數據為以下信息：該信息記錄拍攝的在所述信標發送器附近的真實對象的參考圖像和關於包含在所述參考圖像中的所述真實對象和所述真實對象附近的註冊信息設置點在虛擬三維空間中的位置信息。
(12)根據(11)所述的信息提供伺服器，其中
所述虛擬對象顯示控制數據包括：
超文本標記語言(HTML)數據，記錄關於所述真實對象和所述註冊信息設置點在虛擬三維空間坐標中的位置信息，以及
記錄用於計算所述註冊信息設置點在所述信息處理裝置的顯示單元上的顯示位置的過程的步驟的程序。
(13)搜索伺服器，包括：
通信單元，從信息處理裝置接收由所述信息處理裝置接收到的信標的傳送信號；以及
數據處理單元，基於所傳送的信標執行用於向所述信息處理裝置發送用於獲取虛擬對象顯示控制數據的接入信息的過程，所述虛擬對象顯示控制數據記錄包括在所述信標的發送器附近的真實對象的參考圖像以及關於所述真實對象和所述註冊信息設置點在虛擬三維空間坐標中的位置信息。
(14)由信息處理裝置執行的信息處理方法，其中
所述信息處理裝置包括成像單元、顯示由所述成像單元拍攝的圖像的顯示單元、以及數據處理單元，所述數據處理單元在所述顯示單元上顯示虛擬對象，所述虛擬對象表示包含在所拍攝的圖像中的真實世界註冊信息設置點，
所述數據處理單元輸入虛擬對象顯示控制數據，所述虛擬對象顯示控制數據記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關於所述錨點在虛擬三維空間坐標系中的位置信息以及關於所述註冊信息設置點在虛擬三維空間坐標系中的位置信息，以及
所述數據處理單元從所述成像單元拍攝的圖像中檢測所述錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定所述成像單元在虛擬三維空間中的位置、計算所述註冊信息設置點在顯示單元坐標系中的位置並基於所計算的位置顯示表示所述註冊信息設置點的虛擬對象，其中，所述顯示單元坐標系作為所述顯示單元的坐標系。
(15)促使信息處理裝置執行信息處理的程序，其中
所述信息處理裝置包括成像單元、顯示由所述成像單元拍攝的圖像的顯示單元、以及數據處理單元，所述數據處理單元在所述顯示單元上顯示虛擬對象，所述虛擬對象表示包含在所拍攝的圖像中的真實世界註冊信息設置點，以及
所述程序使所述數據處理單元：
輸入虛擬對象顯示控制數據，所述虛擬對象顯示控制數據記錄錨點作為在真實世界中拍攝的真實對象的參考圖像、關於所述錨點在虛擬三維空間坐標系中的位置信息以及關於所述註冊信息設置點在虛擬三維空間坐標系中的位置信息，以及
從所述成像單元拍攝的圖像中檢測所述錨點、從所檢測到的錨點在虛擬三維空間坐標中的位置和方向確定所述成像單元在虛擬三維空間中的位置、計算所述註冊信息設置點在顯示單元坐標系中的位置並基於所計算的位置顯示表示所述註冊信息設置點的虛擬對象，其中，所述顯示單元坐標系作為所述顯示單元的坐標系。
另外，本文中所述的一系列過程可以通過硬體、軟體或兩者的組合來執行。在通過軟體執行該過程的情況下，記錄過程序列的程序可以被安裝在併入專用硬體中的計算機的存儲器中以用於執行，或者可以被安裝在能夠執行各種過程的通用計算機中以用於執行。例如，可以將該程序預先記錄在記錄介質中。程序可以從記錄介質安裝到計算機中，或者程序可以經由諸如區域網(LAN)和網際網路的網絡接收並且被安裝在諸如內部硬碟等的記錄介質中。
順便提及，本文所述的各種過程可根據描述按時間順序執行，或者可根據執行過程的裝置的性能或根據需要並行或單獨地執行。另外，本文所述的系統為多個裝置的邏輯組合，但是作為組成元件的裝置可不被包含在同一外殼中。
工業適用性
如上所述，根據本公開的示例的配置，可以實現一種裝置和方法，通過該裝置和方法將註冊信息設置點(POI)轉換至坐標系，其中，信息處理裝置的位置在原點與真實三維空間中的真實對象的位置精確關聯，並且根據信息處理裝置的位置和方向在顯示單元上顯示註冊信息。
具體地，記錄作為通過拍攝真實對象獲得的參考圖像的錨點的顯示控制數據以及該錨點和註冊信息設置點在虛擬三維空間坐標中的位置信息(位置、方向等)被輸入，該錨點從拍攝圖像被檢測、信息裝置在虛擬三維空間中的位置被確定、在終端坐標系中的三維位置和顯示裝置在二維坐標系中的顯示位置根據所確定的三維位置和被記錄在顯示控制數據中的註冊信息設置點的位置信息來計算以及點位置被顯示。
根據該配置，可以實現一種裝置和方法，通過該裝置和方法將註冊信息設置點(POI)轉換至坐標系，其中，信息處理裝置的位置在原點與真實三維空間中的真實對象的位置精確關聯，並且根據信息處理裝置的位置和方向在顯示單元上顯示註冊信息。
附圖標號列表
10 信息處理裝置(用戶終端)
20 信標發送器
30 網絡
40 搜索伺服器
50 信息提供伺服器
101和102 註冊信息設置點(POI)
111和121 點(POI)位置標識標記
121和122 點(POI)對應註冊信息
201和202 參考真實對象
211和212 註冊信息設置點(POI)
301 點(POI)位置標識標記
302 點(POI)對應註冊信息
321 點(POI)位置標識標記
322 點(POI)對應註冊信息
501 信標檢測單元
502 數據處理單元(控制單元)
503 運動傳感器
504 存儲單元
505 相機
506 輸入單元
507 輸出單元(顯示單元等)
508 通信單元
509 各種傳感器
510 定時器
701 CPU
702 ROM
703 RAM
704 總線
705 輸入/輸出接口
706 輸入單元
707 輸出單元
708 存儲單元
709 通信單元
710 驅動器
711 可移除介質