共享虛擬空間中可攜式設備的校準的製作方法

2023-07-05 14:04:36 3

專利名稱：共享虛擬空間中可攜式設備的校準的製作方法
技術領域：
本發明涉及用於以可攜式設備控制虛擬場景的視圖的方法、設備和電腦程式， 並且更具體地涉及用於在虛擬或增強現實中使能多玩家互動的方法、設備和電腦程式。
背景技術：
虛擬實境(VR)是用戶通過標準輸入設備或專用多向輸入設備的使用可以與虛擬環境或虛擬人造物(virtual artifact)互動的計算機仿真環境,不論該環境是真實世界的模擬還是想像的世界。仿真的環境可以類似於真實世界，例如，用於飛行員或戰鬥訓練的仿真，或者它可以顯著地不同於現實，如在VR遊戲中。虛擬實境一般用來描述公共地關聯於其身處其境的、高度可視的、三維(3D)環境的大量應用。計算機輔助設計(CAD)軟體、圖形硬體加速、頭戴顯示器、資料庫手套(database gloves)和小型化的發展已經幫助推廣該概念。
增強現實(AR)提供物理真實世界環境的實況視圖，該真實世界環境的要素與虛擬計算機生成的影像合併(或由其增強)以創建混合現實。增強傳統上是實時的並且以具有環境要素的語義背景，諸如比賽期間電視上的體育比分。藉助於高級AR技術(例如，增加計算機視覺和物體識別)，關於用戶周圍真實世界的信息變得有互動性並且是數字地可用的。
術語增強虛擬(AV)也用在虛擬實境世界中並且類似於AR。增強虛擬也指將真實世界物體合併到虛擬世界中。作為虛擬連續(Virtuality Continuum)中的中間情況,AV指的是其中例如物理物體或人的物理要素動態集成到虛擬時間中，且可以與虛擬世界實時互動的主要虛擬空間。術語VR在本申請中作為統稱術語，除非另有說明，也包括AR和AV。
VR遊戲通常要求大量計算機資源。VR遊戲的手持設備中的實現很罕見並且現有遊戲寧可是具有基本VR效果的簡單。另外，多玩家AR遊戲允許在虛擬世界中玩家的互動， 但是，該互動限於虛擬世界中由玩家操縱的物體(例如，汽車、球拍、球等)。虛擬世界是計算機生成的並且獨立於玩家和可攜式設備的位置。當創建「現實的」虛擬實境體驗時，不考慮玩家互相之間和玩家關於他們周圍的相對位置。
正是在此背景下出現了發明的實施例。發明內容
本發明的實施例提供用於生成通過至少第一和第二設備可觀看的互動空間的方法、系統和電腦程式。應當認可的是，本發明可以以多種方式實現，諸如處理、裝置、系統、 設備或計算機可讀介質上的方法。以下描述本發明的多個發明性實施例。
在一個實施例中，方法包括從第一設備檢測第二設備的位置或者反之亦然的操作。此外，同步信息數據在第一和第二設備之間交換以在三維(3D)空間中識別相對於設備的物理位置的3D空間中的參考點。設備在設定該參考點時建立其他設備的3D空間中的物理位置。方法進一步包括用於在第一和第二設備的顯示器中生成互動場景的視圖的操作。 互動場景綁定於參考點並且包括虛擬物體。視圖示出全部或部分互動場景並且示出如從相應設備的當前位置觀察到的互動場景。在3D空間中行動裝置使得根據當前位置改變視圖。
在另一實施例中，提供用於生成通過至少第一和第二設備可觀看的互動空間的方法。在一個方法操作中，檢測到第一設備和第二設備之間的輕敲，在輕敲之後，在第一和第二設備之間交換同步信息數據以在檢測到輕敲時在3D空間中識別相對於第一和第二設備的物理位置的3D空間中的參考點。另外，方法在第一和第二設備的相應顯示器中生成互動場景的視圖。該互動場景綁定於參考點並且包括虛擬物體，其中每個視圖示出如從相應設備的當前位置觀察到的互動場景。在3D空間中的設備移動使得相應視圖根據當前位置改變。
在再一實施例中，呈現在可攜式設備當中共享虛擬實境的可攜式設備。該可攜式設備包括位置模塊、通信模塊、視圖生成器和顯示器。位置模塊跟蹤可攜式設備的位置並且配置為檢測參考可攜式設備的位置的第二設備的位置。通信模塊用來在可攜式設備和第二設備之間交換同步信息數據。基於同步信息在3D空間中識別關於可攜式設備的物理位置的3D空間中的參考點。此外，視圖生成器創建綁定於參考點並且包括虛擬物體的互動場景的視圖。視圖示出全部或部分互動場景並且示出如從相應設備的當前位置觀察的互動場景。當設備由玩家在3D空間中移動時，視圖根據設備的當前位置而改變。顯示器用來示出視圖。
發明的其他方面將由下列結合附圖的詳細描述而變得清晰，以示例的方式示出發明的原理。


可以通過參考下列結合附圖的描述而最佳地理解本發明，在附圖中
圖I根據一個實施例描繪同步可攜式設備到空間中的參考點之前的用戶；
圖2圖示以可攜式設備觀察的虛擬實境場景；
圖3根據一個實施例圖示可攜式設備的移動如何在顯示器上具有如在虛擬空間中移動相機時的類似效果；
圖4根據一個實施例示出當轉動可攜式設備時在顯示器上示出的圖像中的改變的二維展示；
圖5根據一個實施例圖示如何通過網絡連接玩互動遊戲；
圖6根據一個實施例圖示輕敲兩個可攜式設備以同步它們的位置的處理；
圖7根據一個實施例示出輕敲之後的兩個可攜式設備；
圖8依據發明的一個實施例圖示圍繞參考點的虛擬場景的創建；
圖9根據一個實施例描繪相同空間中的兩個玩家，在相同空間中，虛擬實境已經圍繞桌面上的參考點創建；
處理；
圖IOA-圖IOB根據一個實施例圖示使用圖像識別檢測另一可攜式設備的位置的圖11根據一個實施例示出如何通過找到第二設備中的光源來檢測第二設備；圖12圖示根據一個實施例通過找到第二設備的顯示器來檢測第二設備；圖13示出用於經由推算定位(dead reckoning)跟蹤可攜式設備的實施例；圖14根據一個實施例圖示如何使用背景中的靜態特徵來調整推算定位；
圖15圖示用於多玩家環境的校準方法的一個實施例；
圖16根據一個實施例描繪多玩家虛擬實境遊戲；
圖17依據發明的一個實施例示出用於生成通過至少第一和第二設備可觀看的互動空間的算法流程；
圖18圖示可用來實現發明的實施例的設備的結構；
圖19是依據本發明的一個實施例的、其中各個用戶A到用戶E與遊戲客戶端1102 互動的場景A到場景E的示例性圖示，該客戶端1102經由網際網路連接到伺服器處理；以及
圖20圖示信息服務提供商結構的實施例。
具體實施方式
下列實施例描述用於生成通過至少第一和第二設備可觀看的互動空間的方法、裝置和電腦程式。然而，對於本領域技術人員顯然的是，可以沒有這些具體細節中的一些或全部地實踐本發明。在其他例子中，沒有詳細描述熟知的處理操作以便於不使本發明不必要地模糊。
圖I根據一個實施例描繪同步可攜式設備到空間中的參考點之前的用戶。可攜式設備102放在桌子上為同步可攜式設備到參考點做準備。用戶102已經將可攜式設備放置在將用作參考點或錨點(anchor)的點上以建立圍繞該點的虛擬實境。在圖I中示出的情況下，可攜式設備位於桌子的大致中心，並且一旦同步了可攜式設備就建立圍繞桌子中心的虛擬世界。可攜式設備可以以各種方式同步，諸如按下可攜式設備104上的按鈕、觸摸可攜式設備上的觸敏屏幕、讓該設備靜止不動一段時間(例如，5秒)、輸入聲音命令等。
一旦可攜式設備接收到要同步的輸入，就復位可攜式設備中的位置跟蹤模塊。該可攜式設備可以包括如下面參考圖18描述的多個位置跟蹤模塊，諸如加速度計、磁力計、 全球定位系統(GPS)設備、相機、深度相機、指南針、陀螺儀等。
可攜式設備可以是很多類型中的一個，諸如，手持可攜式遊戲設備、手機、平板、筆記本、上網本、個人數字助理(PDA)等。參考可攜式遊戲設備描述發明的實施例，但是原理可以應用於帶有顯示器的任何可攜式電子設備。發明的原理也可以應用於遊戲控制器或者連接到帶有顯示器的計算設備的其他輸入設備。
圖2圖示以可攜式設備觀察的虛擬實境場景。在關於參考點106同步設備104後， 可攜式設備將開始顯示虛擬實境108的視圖。通過仿真可攜式設備的後部的相機在圍繞參考點106的3D空間內移動來創建顯示器中的視圖。圖2描繪包括棋盤的虛擬實境。可攜式設備104能夠在設備來回移動時檢測運動並且確定其相對參考點106的相對位置。位置和位置確定可以以不同方法和不同精度級別來完成。例如，可以通過分析相機捕捉的圖像， 或者通過從慣性系統、GPS、超聲三角測量、WiFi通信、推算定位(DR)等獲得的數據，或者以上組合來檢測位置。
當用戶輸入命令以設定參考點時，全部運動傳感設備歸零或校準到空間中的那個位置。例如，用戶可以將設備放置在桌上並且按下按鈕以校準全部運動傳感數據(加速度計、陀螺儀、GPS等)。從此以後，用於設備的全部所捕獲的位置信息被記錄並且經由慣性導航跟蹤相對於初始校準位置進行處理。全部後續所捕獲的位置信息被認為相對於設備校準位置(參考點)。
在一個實施例中，設備保持關於參考點106的、在可攜式設備的空間中的位置的軌跡，以及可攜式設備的空間中的位置。該位置被用來確定相機的觀看角度，即，可攜式設備用作到虛擬場景中的相機。如果可攜式設備朝向右，則視圖將轉向右，等等。換而言之， 觀看角度定義為原點在顯示器的中心(或設備的其他部分)並且具有垂直並遠離該顯示器的方向的向量。在另一實施例中，僅跟蹤空間中的位置，並且計算顯示器中的視圖，就像相機從可攜式設備所在並朝向參考點的空間中的位置指向。
在一些現有實現中，AR標籤放置在桌子上，並且用作用於產生增強現實的受託人標記(fiduciary marker)。該AR標籤可以是物體或圖畫,其在出現在真實環境的所捕獲的圖像流中時被識別。該AR標籤用作使能真實環境內的位置的確定的受託人標記。由於3D 空間內的校準和可攜式設備的位置跟蹤，發明的實施例去除了 AR標籤的需要。另外，位置信息允許可攜式設備中的遊戲傳遞真實的3D虛擬體驗。此外，聯網的可攜式設備的陣列可以用來創建共享虛擬世界，如同下面參考圖15和圖16描述的。
圖3根據一個實施例圖示可攜式設備的移動如何在顯示器上具有如在虛擬空間中移動相機時的類似效果。圖3示出虛擬球體內的汽車302。假定可攜式設備是從球體內的點指向汽車302、隨著可攜式設備在球體內移動可以獲得汽車的多個視圖。例如，從「北極點」的視圖將示出汽車的頂部，並且從「南極點」的視圖將示出汽車的底部。同樣在圖3 中示出的是汽車側面、前面、後面的視圖。
在一個實施例中，玩家可以輸入命令以改變或翻轉虛擬世界的視圖。例如，在汽車的情況下，玩家從看汽車的前面轉向看汽車的後面，仿佛場景旋轉了 180°並且軸垂直地穿過參考點。這樣，玩家不必移動空間以獲得不同的觀看角度。其他輸入可以產生不同效果， 諸如90°轉向、視圖的縮放(使虛擬世界看起來更小或更大)、關於X, y或z軸旋轉等。在另一實施例中，在用戶的手上的可攜式設備的翻轉(即180°旋轉)將使虛擬世界的視圖上下翻轉。
圖4根據一個實施例示出當轉動可攜式設備時在顯示器上示出的圖像上的改變的二維展示。可攜式設備402以觀看角α朝向牆體，導致牆體上的投影410。因此，可攜式設備402上的視圖將對應於投影410。當設備402轉動角度β時，可攜式設備停在位置 404。視圖也轉動角度β同時維持相機觀看角度a。其結果是，可攜式設備上的視圖對應於投影412。應當注意的是，屏幕上的視圖獨立於諸如位置408和406之類的眼睛位置，並且該視圖與玩家在哪裡無關。顯示器上的圖像取決於用作虛擬相機的可攜式設備的位置。
圖5根據一個實施例圖示如何通過網絡連接玩互動遊戲。很多類型的遊戲在共享空間內是可能的。例如，可攜式設備可以用作球拍來玩桌球遊戲。來回行動裝置仿佛在那裡球拍可以擊中虛擬球。玩家看到該球在屏幕和對手的屏幕之間漂浮。在戰爭遊戲的實施例中，玩家看可攜式設備並且將彈射器朝向敵人的壁壘。玩家向後拉設備以裝載彈射器， 並且然後按下按鈕以將彈射器向敵人的壁壘發射。
如圖5所示，當玩家在不同位置時也可以創建共享空間。玩家已經建立網絡連接以玩遊戲。每個玩家同步他的設備到玩家的空間中的參考點，並且創建諸如桌球桌的虛擬實境。對手示出在桌子的他那一側之後，在其中，對手的設備的移動匹配對手的球拍的運動。為了甚至更真實的遊戲體驗，遊戲也可以添加化身以拿著球拍。在玩的期間，每個設備保持設備的運動和位置的跟蹤。此信息與其他設備共享以使其他設備能放置匹配設備的運動的虛擬球拍。也共享諸如球的位置和移動的其他遊戲信息。
圖6根據一個實施例圖示輕敲兩個可攜式設備以同步它們的位置的處理。用於設定共同的虛擬或增強空間的一個方法包括輕敲兩個可攜式設備。輕敲意味著輕輕地用一個設備撞擊另一個。在圖6示出的情形中，兩個玩家正分別拿著可攜式設備604和606。為了校準兩個設備到相同的參考點，玩家通過將兩個設備放置在一起來輕敲設備。在圖6中，背靠背地放置兩個設備，但是對於校準任何位置都是可能的，諸如前對後。檢測輕敲的關鍵是一個或兩個設備註意到運動中的突然改變，諸如設備的猛然減速。
例如，兩個設備都可以向對方移動，並且當他們輕敲時，兩個設備都停止。設備中諸如陀螺儀612和加速度計614之類的慣性模塊注意到動量的改變並且隨後可以建立輕敲。在另一情形下，一個可攜式設備是靜止的而另一個可攜式設備向該靜止設備移動。當設備輕敲時，行動裝置將注意到動量的猛然改變而因為動量的小改變可以歸結於玩家的手的自然運動，靜止設備可能或可能未檢測到輕敲。為了檢測輕敲，一個設備檢測到輕敲就足夠了，而不要求兩個設備都同時檢測到輕敲。在一個實施例中，兩個設備都檢測到輕敲並且如果檢測基本同時，則確定輕敲已經發生了。為了確定檢測是否同時，設備交換關於該事件的定時信息。
在另一實施例中，一旦可攜式設備602和602同步到相同的虛擬空間，則它們的移動以加速度計614跟蹤，使能創建穩定和持續的增強現實環境，無論用戶如何移動可攜式設備。在再一實施例中，慣性移動信息可以用相機606或610捕獲的圖形數據補充。圖形數據可以用來檢測另一設備並估計設備之間的距離，如同下面參考圖IOA-圖12討論的。
圖7根據一個實施例示出輕敲之後的兩個可攜式設備。輕敲可以通過使可攜式設備接觸來完成，但是輕敲也可以在不使兩個設備實際接觸而完成。全部所要求的是，它們運動的改變在大致相同的時間發生。例如，如果玩家的手指在第一設備之後，則在第二設備接觸玩家的手指時檢測到輕敲，引起設備的運動的改變。
一旦由任一設備或兩個設備都檢測到輕敲，可攜式設備就交換數據以確認輕敲已經發生。例如，設備可以經由WiFi或超聲通信來進行通信。如同之前在圖I-圖2中所討論的，創建參考點。參考點可以位於設備的背面的一些地方，諸如當設備輕敲時每個設備的中心。在另一實施例中，可以使用TransferJet接口進行數據的交換。TransferJet是在在兩個設備之間檢測到緊密接近時使能通信的接口。
應當注意的是，每個設備的實際參考點在用於兩個設備的空間中可以不是實際相同的點。換而言之，每個設備可以具有不同的參考點，儘管在大多數情況下，參考點將互相接近。重要的事情是，兩個設備建立參考點並隨後開始跟蹤虛擬或增強空間周圍的移動。結果是共同虛擬空間。參考點可以設定在可攜式設備的背部的中央、顯示器的中央、相機所在地、加速度計所在地等。
一旦設定參考點，運動跟蹤模塊復位到零以設定原點來測量空間中的位置。此操作這裡指的是校準可攜式設備，並且可攜式設備的三維位置的計算參考此原點計算。
圖8依據發明的一個實施例圖示圍繞參考點的虛擬場景的創建。在圖7的兩個可攜式設備被拉開時，創建虛擬或增強現實遊戲區域。對應於可攜式設備所在的3D空間中的位置指定諸如戰士 804和806的虛擬物體。3D空間中的坐標原點是參考點808。因為虛擬物體相對空間中的點定位，所以不需要SLAM或ARTAG用於維持增強現實。
通過圍繞遊戲世界物理地移動可攜式設備來控制關聯於來自顯示器的視圖的虛擬相機，其中該遊戲世界已經放置在參考真實世界的固定位置上。應當注意的是，虛擬世界不限於可攜式設備之間的空間，而是可以擴展並覆蓋任何可攜式設備之上、之下和之後的區域。
圖9根據一個實施例描繪相同空間中的兩個玩家906a_906b，在該空間中虛擬實境已經圍繞桌子904上的參考點902創建。玩家906a-906b已經同步它們的設備908a和 908b到位於桌子904頂部的共同參考點902。因為點P0902是參考點，所以PO也是坐標原點並且它具有坐標(XO=O，YO=O, ZO=O)ο玩家在房間內，但是虛擬實境這裡也指虛擬場景， 延伸到房間的物理邊界之外。
在一個示例實施例中，虛擬場景綁定到參考點，因為虛擬場景(即通過設備的屏幕看到的)的幾何是至少部分地基於參考點。例如，虛擬場景中的虛擬物體的坐標可以關於參考點確定。在一個實施例中，參考點是坐標原點，因此參考點具有坐標(0，O, O)。
可以使用任何測量標準來測量坐標。但是，為了提供視覺示例，而不限制所使用的實際坐標，如果虛擬場景的坐標以米來測量，則具有坐標(1，O, O)的物體將位於參考點右邊一米處。當然，真實或虛擬的物體的坐標可以在場景改變時動態地更新，諸如當虛擬物體在場景內移動時。並且，可以通過計算機(例如，互動程序)設定的動作、用戶的動作所驅動的動作或兩者的組合來定義改變。另外，出於清晰的目的，互動程序可以是任何類型的程序， 諸如視頻遊戲、商用程序、網際網路接口或簡單的圖形用戶接口之類，該圖形用戶接口提供到數據、到其他用戶、到程序或到可能或不可能由說話人顯示或投影的對象的訪問。
更進一步，其他實施例可以具有不同坐標系或使用縮放。例如，取代笛卡爾系的坐標系可以是極坐標、球坐標、拋物線坐標等。另外，參考點不必是坐標系的原點，並且可以放置在不同地方。出於提供示例的目的，參考點可以位於坐標(5，5，5)以在必須在5米之外的點中使用負坐標值之前使能在每個方向上5米的緩衝。在另一情形下，建立虛擬物體以縮放並且坐標也以一比例測量。例如，虛擬物體可以以1:10的比例建立，並且幾何軸也可以具有1:10的比例，從而坐標(1，0，O)的物體在「真實」世界中是I米遠而在虛擬世界中是 10米遠。
在圖9中，虛擬物體包括直升機914a_914c、雲、鳥、太陽906等。隨著玩家906a和 906b移動他們的設備，虛擬場景的視圖改變，仿佛玩家正將相機拿入虛擬世界中。應當注意的是，在設備908a和908b中示出的視圖可以包括或可以不包括參考點。例如，儘管基於設備908a和參考點902的位置計算設備908a中的視圖，但是玩家906a拿著的設備908a遠離參考點902地朝向，所以參考點902在設備908a中不可觀看。此外，可以在玩家的顯示器中看到實際參考點作為某種標記(諸如，「X」)，以讓玩家知道參考點的所在。在其他實施例中，參考點不可觀看並且僅作為地理位置存在而無任何具體標記。
除了桌子904之外，房間還包括其他靜態物體，諸如電視912和窗戶910。太陽918 通過窗戶910可見。應當注意的是，虛擬太陽916不必對應於真實的太陽918。在一個實施例中，虛擬太陽916可以放置在真實太陽918的所在地，或光源在房間中的所在地。這樣， 虛擬或增強世界中的光照和陰影將創造匹配房間中的光照和陰影的真實的效果。
如在圖9中所見，僅因為可攜式設備同步到了桌子上的點，所以虛擬物體不必在桌子上或靠近參考點。虛擬物體可以位於空間內的任何地方。當可攜式設備包括相機時，10房間內的靜態特徵可以由可攜式設備使用以通過以來自它們相機的視圖來調整它們的慣性測量以維持當前位置的精確測量。可攜式設備中的圖像分析可以檢測窗戶的邊緣、光源、 桌子的邊緣、牆體上的繪畫、電視等。下面參考圖13-圖14描述更多細節。
在一個實施例中，玩家可以通過將設備再次放置在參考點上來做可攜式設備的快速校準，並且然後輸入命令以復位設備中的運動檢測模塊。
圖IOA-圖IOB根據一個實施例圖示使用圖像識別檢測另一可攜式設備的位置的處理。如在圖IOA中所見，如果兩個可攜式設備都是相同的型號並且包括相機1006，則可以使用相機捕獲的圖像來同步兩個設備。例如，可攜式設備1002以相機1006拍攝圖像。因為可攜式設備1002已經接收了同步命令，所以可攜式設備1002對其他可攜式設備1004的後部掃描圖像。在圖IOB中示出的所拍攝的圖像的示意圖。
可攜式設備1022已經檢測到矩形1010，其匹配正被搜索的可攜式設備的特性。矩形1010具有水平軸1012和垂直軸1014。水平軸1012相對水平1018傾斜角度α。因為可攜式設備1002知道其他可攜式設備1004的尺寸，所以可攜式設備1002做出合適的數學計算，將圖像中的可攜式設備的大小與真實測量比較以確定可攜式設備1004的距離、位置和朝向。
一旦可攜式設備知道可攜式設備1004的相對位置，可攜式設備1002和1004交換位置信息以設定共同的參考點並建立該參考點周圍的共同的虛擬或增強現實。
圖11根據一個實施例示出如何通過找到第二設備中的光源來檢測第二設備。除了可攜式設備1102具有由其他可攜式設備檢測到的光源，圖11的同步處理類似於以上參考圖10描述的處理。當可攜式設備在同步處理中時，打開光源以促進相機拍攝的圖像內的光的檢測。光源可以是發光二極體(LED)、紅外光、相機閃光燈等。
在另一實施例中，一個可攜式設備中的深度相機被用來測量到其他設備的距離。 一旦知道距離，參考點就可以基於任一設備的位置來設定。諸如圖像數據的額外數據也可以用來補充設備的相對位置的計算。
應當注意的是，兩個設備在大致相同的時間都檢測到彼此是可能的。在此情況下， 可攜式設備的相對位置的計算可以通過一個可攜式設備或通過另一個來完成，或可以是由兩個可攜式設備進行的測量的組合。
圖12圖示根據一個實施例通過找到第二設備的顯示器來檢測第二設備。當校準可攜式設備1206和1208到共同空間時，諸如可攜式設備1208的設備之一被「轉過來」，從而顯示器1202面朝可攜式設備1206中的相機。例如，可攜式設備1208已經示出要求用戶 「將設備轉過來以使顯示器面朝另一可攜式設備」的消息。
隨後可以點亮顯示器1202，諸如例如顯示白色屏幕。顯示器的亮度促進由可攜式設備1206檢測顯示器。點亮的顯示器對大多背景示出高對比度，包括在很多情況下，拿著設備的玩家的前方。可以添加其他圖案或色彩到顯示器以改進其檢測。例如，圖12示出內部帶有正方圖案的圓形用於更容易使用幾何學識別顯示器。
用於校準兩個設備(也指配對)的其他方法可以在於2009年12月24日提交的標題為「WIRELESS DEVICE PAIRING METHODS(無線設備配對方法)」的美國申請號12/647,291 (代理人卷號S0NYP095A);於2009年12月24日提交的標題為「WIRELESS DEVICE PAIRING AND GROUPINGMETHODS (無線設備配對和分組方法)」的美國申請號12/647,296 (代理人卷號 S0NYP095B)和於 2009 年 12 月 24 日提交的標題為 「WIRELESS DEVICEMULTIMEDIA FEED SWITCHING(無線設備多媒體饋送交換)」的美國申請號12/647，299(代理人卷號S0NYP095C) 中找到，它們通過引用合併於此。
在另一實施例中，可攜式設備1208具有兩個顯示器，一個在前且一個在後。在此情況下，不需要將可攜式設備1208轉過來以使顯示器面朝其他玩家。可攜式設備1206將能夠從可攜式設備1208檢測前方的顯示器或後方的顯示器以進行校準。
圖13示出用於經由推算定位跟蹤可攜式設備的實施例。如果可攜式設備裝備有離開用戶臉部朝向的相機，則可以經由推算定位和慣性導航知道設備的位置。另外，相機真實世界視圖可以與計算機生成的圖形混合。
推算定位是基於之前確定的位置估計當前位置或方位(fix)並且基於在經過的時間和路線上的已知或估計的速度預計該位置的處理。推算定位的缺點是由於新位置僅從之前的位置計算，所以處理的誤差是累積性的，從而位置方位的誤差隨時間增長。
圖13示出已經校準到桌子1310上的點的兩個可攜式設備。久而久之，設備1302A 已經繞房間前行，如在推算定位測量的軌跡1306中所觀察的。軌跡1306中的點示出使用上次測量之後的可攜式設備1302A的之前位置和移動來估計位置的次數(times)。另一方面，實際軌跡1308示出空間中可攜式設備的實際軌跡。隨時間經過，由於推算定位的本質和誤差積累，測量的軌跡趨向離真實軌跡越來越遠。但是，可以調節推算定位跟蹤以校正與真實軌跡的偏差，如下面參考圖14描述的。
圖14根據一個實施例圖示如何在背景中使用靜態特徵調整推算定位。推算定位偏移通常很小，但是一段時間的誤差積累可以創造離實際路線的較大的偏差。在一個實施例中，DR誤差用跟蹤房間內的諸如桌子1301的邊緣、窗戶、電視等之類的靜態圖案的視頻校正，如之前參考圖9描述的。
誤差校正可以以每個DR位置測量或以特定間隔或者以每特定數量的測量進行。 為了進行校正，DR計算設備的位置並且相機拍攝設備前面的圖像。可攜式設備保持一個或多個靜態特徵的跟蹤，並且將該靜態特徵的實際位置與預計位置比較。因為靜態特徵不移動，所以差別歸因於DR推算誤差。重新計算位置以便於在相同的地方具有預計的靜態特徵和測量的靜態特徵。
在另一實施例中，可攜式設備互相通信並且通過交換DR和特徵信息來協調兩個設備的運動跟蹤。這樣，可以獲得房間中的靜態物體的真實3D模型。
圖15圖示用於多玩家環境的校準方法的一個實施例。將從設備傳感器(加速度計、GPS、指南針、深度相機等)獲得的位置信息傳送到其他連結的設備以增強虛擬空間中的協同保持的數據。在創建同步到共同參考點1502的共同共享空間的一個實施例中，第一玩家1504A將她的設備同步到相對於參考點1502的3D空間中。其他玩家在共享空間中建立與第一玩家的通信連結以交換位置和遊戲信息。相對位置可以以不同方式獲得，諸如使用 WiFi三角測量和ping測試以確定相對位置。另外，視覺信息可以用來確定其他位置，諸如檢測其他玩家的臉部以及從他們的臉部確定遊戲設備的可能位置。
在一個實施例中，藉助於超聲通信和方向性麥克風，使用音頻三角測量來確定相對位置。可以使用多個頻率來進行音頻三角測量。一旦設備已經交換位置信息，諸如超聲、 WiFi或藍牙之類的無線通信用來同步剩餘的設備到參考點1502。在全部設備校準之後，設備知曉參考點1502和它們相對於參考點1502的相對位置。應當認可的是，可以使用其他方法來校準多設備到共享參考點。例如，通過將設備依次放置在參考點上，全部設備可以校準到相同的參考點。
通過使用由房間內的光源決定的陰影和光照可以使虛擬場景甚至更加真實。通過使用相機饋送(feed)，遊戲環境和角色使光照和陰影受真實世界的影響。這意味著，玩家的手將投影陰影在虛擬人物或者物體上，如同手進入虛擬世界中以與虛擬物體互動。遊戲世界陰影和光照由真實世界陰影和光照調整，以儘可能獲得最佳效果。
圖16根據一個實施例描繪多玩家虛擬實境遊戲。當校準的位置數據和圖像分析數據與高速連通性組合時，位置信息和遊戲信息可以在每個設備之間交換，選擇所述設備以參與共享空間遊戲體驗。這允許每個玩家的系統訪問來自全部其他玩家的相機視圖和位置信息，以一起同步它們的校準位置並共享虛擬空間(也指共享空間)。
在玩家1602A-1602C已經參考共同3D空間中的點(諸如桌子上的點)同步或校準它們的可攜式設備之後，創建共同虛擬場景1604。每個玩家都具有虛擬場景1604的視圖， 仿佛虛擬場景(在此情況下是戰鬥板遊戲)在玩家前的桌子上是真實的。可攜式設備用作相機，從而當玩家來回行動裝置時，視圖改變。其結果是，每個顯示器上的實際視圖獨立於其他顯示器中的視圖並且該視圖是僅基於可攜式設備相對於虛擬場景的相對位置的，該虛擬場景錨定於3D空間中的實際物理位置。
通過與可攜式設備之間的高速通信一起使用多個相機、加速度計和其他機械設備來確定位置，可以創建3D運動捕獲類體驗，其允許玩家以可信的方式看到並且可能觸摸虛擬遊戲人物和環境。
共享空間1604使用設備的高速連通性來在參與共享空間遊戲體驗的設備之間交換信息。通過將設備轉向持續在每個設備之間的空間上的穩定的「魔法窗戶」，來通過該設備觀看共享空間1604遊戲區域，通過使用每個設備之間的運動跟蹤、圖像分析和信息的高度持續性的組合，即使在設備來回移動時，遊戲區域在穩定的位置出現。
圖17依據發明的一個實施例示出用於生成通過至少第一和第二設備可觀看的互動空間的算法流程。算法描述在每個可攜式設備上進行的處理流程，並且對第一設備和第二設備描述獨立的流程。關於第一設備，方法以操作1702開始，在操作1702中，檢測到第二設備的位置或者接收第二設備已經檢測到第一設備的通知。方法進行到操作1704，其中與第二設備交換同步信息數據以識別3D空間中的參考點。該參考點有關空間中第一和第二設備的物理位置。另外，兩個設備都在設定參考點時建立其他設備的3D空間中的物理位置。
方法從操作1704前進到操作1706，用於在顯示器中生成包括參考點和一個或多個虛擬物體的互動場景的視圖。該視圖示出如從設備的當前位置觀察的互動場景的透視。 在顯示器中示出視圖之後，在操作1708中進行檢查以確定第一設備是否已經移動。如果第一設備已經移動，則方法前進到操作1710以根據第一設備的新位置來改變用於顯示的視角。如果設備未移動，則方法循環回操作1706以繼續更新顯示，諸如反應在玩遊戲期間的虛擬物體的改變。
在操作1702、1704和1706期間，第一設備可以與第二設備交換遊戲和位置跟蹤信息。第二設備進行類似於第一設備在操作1712、1714、1716、1718和1720中進行的方法。
圖18圖示可以用來實現發明的實施例的設備的結構。可攜式設備是計算設備並且包括出現在計算設備中的典型模塊，諸如，處理器、存儲器(RAM、R0M等)、電池或其他電源以及永久存儲器(諸如硬碟)之類。通信模塊允許可攜式設備與其他可攜式設備、其他計算機、伺服器等交換信息。通信模塊包括通用串行總線(USB)連接器、通信鏈路(諸如乙太網之類)、超聲通信、藍牙和WiFi。
輸入模塊包括輸入按鈕和傳感器、麥克風、觸敏屏幕、相機(前向、後向、深度相機) 和讀卡器。諸如鍵盤或滑鼠之類的其他輸入/輸出設備也可以經由諸如USB或藍牙之類的通信鏈路連接到可攜式設備。輸出模塊包括顯示器(帶有觸敏屏幕)、發光二極體(LED)、震動觸感反饋和揚聲器。其他輸出設備也可以經由通信模塊連接到可攜式設備。
可以由位置模塊使用來自不同設備的信息以計算可攜式設備的位置。這些模塊包括磁力計、加速度計、陀螺儀、GPS和指南針。另外，位置模塊可以分析用相機和麥克風捕獲的聲音或圖像數據，以計算位置。更進一步，位置模塊可以進行諸如WiFi ping測試或超聲測試之類的測試以確定可攜式設備的位置或附近其他設備的位置。
如之前描述的，虛擬實境生成器使用由位置模塊計算的位置創建虛擬或增強現實。視圖生成器基於虛擬實境和位置創建在顯示器上示出的視圖。該視圖生成器也可以使用應用於多揚聲器系統的方向性效果產生源自虛擬實境生成器的聲音。
應當認可的是，在圖21中圖示的實施例是可攜式設備的示例性實現。其他實施例可以使用不同模塊、模塊的子集或指定有關任務到不同模塊。因此，在圖21中圖示的實施例不應當解釋為排他的或限制性的，而是示例性或示意性的。
圖19是依據本發明的一個實施例的其中用戶A到用戶E與遊戲客戶端1102互動的場景A到場景E的示例性圖示，該客戶端1102經由網際網路連接到伺服器處理。遊戲客戶端是允許用戶經由網際網路連接伺服器應用和處理的設備。遊戲客戶端允許用戶訪問和回放在線娛樂內容，諸如但不限於遊戲、電影、音樂和照片。另外，遊戲客戶端可以提供對諸如 VOIP、文本聊天協議和電子郵件之類的在線通信應用的訪問。
用戶經由控制器與遊戲客戶端互動。在一些實施例中，控制器是遊戲客戶端專用控制器，而在其他實施例中，控制器可以是鍵盤和滑鼠的組合。在一個實施例中，遊戲客戶端是獨立設備，能夠輸出音頻和視頻信號以通過監視器/電視和關聯的音頻裝備創建多媒體環境。例如，遊戲客戶端可以是但不限於薄客戶端、內部PCI-express卡、外部 PCI-express設備、ExpresCard設備、內部、外部或無線USB設備、或者Firewire設備等。 在其他實施例中，遊戲客戶端與電視或諸如DVR、藍光播放器、DVD播放器或多通道接收器之類的其他多媒體設備集成。
在圖22的場景A內，用戶A使用與遊戲客戶端1102A配對的控制器100與在監視器106上顯示的客戶端應用互動。類似地，在場景B內，用戶B使用與遊戲客戶端1102B配對的控制器100與在監視器106上顯示的另一客戶端應用互動。場景C圖示當用戶C看著顯示來自遊戲客戶端1102C的遊戲和好友列表的監視器時在用戶C後面的視圖。雖然圖22 示出單一伺服器處理模塊，但是在一個實施例中，存在遍布世界的多個伺服器處理模塊。每個伺服器處理模塊包括用於用戶對話控制、共享/通信邏輯、用戶地理位置和負載平衡處理服務的多個子模塊。此外，伺服器處理模塊包括網絡處理和分布式存儲。
當遊戲客戶端1102連接伺服器處理模塊時，可以使用用戶對話控制來驗證用戶。所驗證的用戶可以具有關聯的虛擬化分布式存儲和虛擬化網絡處理。可以存儲為用戶的虛擬化分布式存儲的一部分的示例項包括所購買的媒體，諸如但不限於遊戲、視頻和音樂等。 另外，分布式存儲可以用來保存多個遊戲的遊戲狀態、單獨遊戲的個性化設置和遊戲客戶端的通用設置。在一個實施例中，伺服器處理的用戶地理位置模塊用來確定用戶和他們各自的遊戲客戶端的地理位置。用戶的地理位置可以由共享/通信邏輯和負載平衡處理服務兩者使用，以基於地理位置和多伺服器處理模塊的處理需求優化性能。虛擬化網絡處理和網絡存儲中的一個或兩者將允許來自客戶端的處理任務對利用不足的(多個)伺服器處理模塊是動態變換的。因此，負載平衡可以用來最小化與存儲器的撤回(recall from)以及與伺服器處理模塊和遊戲客戶端之間的數據傳輸兩者相關聯的延遲。
伺服器處理模塊具有服務應用A和服務應用B的例子。伺服器處理模塊能夠支持如伺服器應用Xl和伺服器應用X2所指示的多個伺服器應用。在一個實施例中，伺服器處理是基於集群計算結構，該集群計算結構允許集群內的多個處理器處理伺服器應用。在另一實施例中，將不同類型的多計算機處理方案應用於處理伺服器應用。這允許縮放伺服器處理，以便於容納執行多客戶端應用和對應的伺服器應用的大量遊戲客戶端。替代地，可以縮放伺服器處理以容納更苛刻的圖像處理或遊戲、視頻壓縮抑或應用複雜性所必須的增加的計算需求。在一個實施例中，伺服器處理模塊經由伺服器應用進行主要的處理。這允許在中心放置相對昂貴的組件(諸如圖像處理器、RAM和通用處理器之類)並降低遊戲客戶端的成本。將所處理的伺服器應用數據經由網際網路發送回對應的遊戲客戶端，以在監視器上顯不O
場景C圖示可以由遊戲客戶端和伺服器處理模塊執行的示例性應用。例如，在一個實施例中，遊戲客戶端1102C允許用戶C創建和觀看包括用戶A、用戶B、用戶D和用戶E 的好友列表1120。如所示，在場景C中，用戶C能夠在監視器106C上看到各個用戶的實時圖像或化身。伺服器處理執行遊戲客戶端1102C與用戶A、用戶B、用戶D和用戶E各自的遊戲客戶端1102的各個應用。因為伺服器處理知道遊戲客戶端B執行應用，所以用戶A的好友列表可以指示遊戲用戶B正在玩哪個遊戲。更進一步，在一個實施例中，用戶A可以在直接來自於用戶B的遊戲視頻中實際觀看。這通過僅將所處理的用戶B的伺服器應用數據除了發送到遊戲客戶端B之外還發送到遊戲客戶端A而實現。
除了能夠觀看來自好友的視頻之外，通信應用可以允許好友之間的實時通信。當應用於之前的示例時，這允許用戶A在觀看用戶B的實時視頻時提供鼓勵或提示。在一個實施例中，通過客戶端/伺服器應用建立雙向實時聲音通信。在另一實施例中，客戶端/伺服器應用使能文本聊天。在再一實施例中，客戶端/伺服器應用將語音轉換為文本用於在好友的屏幕上顯示。
場景D和場景E圖示各自的用戶D和用戶E分別與遊戲控制臺1110D和1110E互動。每個遊戲控制臺1110D和1110E都連接到伺服器處理模塊並圖示服務處理模塊對遊戲控制臺和遊戲客戶端兩者協調遊戲進行的網絡。
圖20圖示信息服務提供商結構的實施例。信息服務提供商(ISP)250將大量信息服務傳遞到地理上分散並經由網絡266連接的用戶262。ISP可以只傳遞諸如股票價格更新之類的一類服務，或諸如廣播媒體、新聞、體育、遊戲等之類的多種服務。另外，由每個ISP 供應的服務是動態的，即，服務可以在任何時間點上添加或撤走。因此，將具體類型的服務提供給具體個體的ISP可以隨著時間改變。例如，當用戶在她本地時，用戶可以由鄰近用戶的ISP服務，並且在該用戶旅行到不同城市時，該用戶可以由不同ISP服務。本地ISP將傳輸所要求的信息和數據到新ISP，從而用戶信息「跟隨」用戶到新城市，使得數據更靠近用戶並且更易於訪問。在另一實施例中，可以在管理用戶的信息的主ISP和在來自管理者ISP 的控制下直接與用戶對接的伺服器ISP之間建立主-伺服器(master-server)關係。在其他實施例中，當客戶環繞世界移動時，將數據從一個ISP傳輸到另一 ISP以使得在對服務用戶更好的位置上的ISP是傳遞這些服務的ISP。
ISP 250包括應用服務提供商(ASP) 252，其通過網絡將基於計算機的服務提供給消費者。使用ASP模型供應的軟體有時也被稱為按需軟體或軟體即服務(SaaS)。提供對具體應用程式(諸如消費者關係管理之類)的訪問的簡單形式是通過使用諸如HTTP之類的標準協議。通過由賣主提供的專用客戶端軟體或諸如薄客戶端之類的其他遠程接口，應用軟體駐留在賣主的系統上並且由用戶通過使用HTML的網頁瀏覽器訪問。
在廣闊地理區域上傳遞的服務經常使用雲計算。雲計算是計算的一種類型，其中， 將可動態縮放並通常虛擬化的資源作為在網際網路上的服務提供。用戶不需要是支持他們的 「雲」中的技術基礎架構的專家。雲計算可以分為不同服務，諸如基礎架構即服務(IaaS)、平臺即服務(PaaS)和軟體即服務(SaaS)之類。雲計算服務通常在線提供公共商務應用，其從網頁瀏覽器訪問，而將軟體和數據存儲在伺服器上。術語云基於如何在計算機網絡圖中描繪網際網路用作網際網路的隱喻，並且是其掩蓋的複雜基礎構架的抽象。
此外，ISP 250包括遊戲處理伺服器(GPS) 254，其由遊戲客戶端用來玩單人或多人視頻遊戲。在網際網路上玩的大多數視頻遊戲經由到遊戲伺服器的連接操作。典型地，遊戲使用專用伺服器應用，該專用伺服器應用收集來自玩家的數據並將其分配給其他玩家。這比端到端的安排更高效和有效，但是它要求獨立伺服器來管理伺服器應用。在另一實施例中，GPS建立玩家和他們的各自的遊戲娛樂設備之間的通信來交換信息而不依賴中心化的 GPS。
專用GPS是獨立於客戶端運行的伺服器。這樣的伺服器通常運行在定位於數據中心裡的專用硬體上，提供更多帶寬和專用處理能力。專用伺服器對於大多數基於PC的多人遊戲是承載遊戲伺服器的優選方法。巨量多人在線遊戲運行在通常由擁有遊戲權益的軟體公司管理的專用伺服器上，允許他們控制和更新內容。
廣播處理伺服器(BPS) 256將音頻或視頻信號分發給觀眾。對非常窄的範圍的觀眾廣播有時稱為窄廣播。廣播分發的最後環節是信號如何達到聽眾或觀看者，並且它可以如以無線電臺或TV臺地通過大氣到達天線或接收器，或可以經由電臺或直接來自於網絡通過有線TV或有線無線電(或「無線電纜」)達到。網際網路也可以將無線電或TV帶給接受者，特別是藉助於允許共享信號和帶寬的多址通信。歷史上，廣播用地理地區來劃界，諸如國家廣播或地區廣播之類。但是，隨著快速網際網路的拓展，因為內容可以達到幾乎世界上的任何國家，不用地理定義廣播。
存儲服務提供商(SSP) 258提供計算機存儲空間和相關管理服務。SSP也供應周期性備份和歸檔。通過將存儲作為服務供應，用戶可以訂購所要求的更多存儲。另一主要優勢是SSP包括備份服務且如果用戶的計算機的硬碟驅動損壞，用戶將不會丟失他們的全部數據。此外，多個SSP可以有用戶數據的完全或部分拷貝，允許用戶以獨立於用戶所在地或用來訪問數據的設備的高效方式訪問數據。例如，用戶可以在家庭計算機中訪問個人文件，以及當用戶在行進中在行動電話中訪問個人文件。
通信提供商260向用戶提供連接性。一種通信提供商是供應對網際網路的訪問的網際網路服務提供商(ISP)。ISP使用適於傳遞網際網路協議數據電文的數據傳輸技術(諸如，撥號、DSL、電纜數據機、無線或專用高速互連之類)連接其消費者。通信提供商也可以提供消息服務，諸如電郵、即時消息和SMS發簡訊之類。另一類通信提供商是網絡服務提供商 (NSP)，其通過提供對網際網路的直接骨幹網訪問來出售帶寬或網絡訪問。網絡服務提供商可以由電信公司、數據承載商、無線通信提供商、網際網路服務提供商、供應高速網際網路訪問的有線電視運營商等構成。
數據交換268互連ISP 253內的多個模塊並且將這些模塊經由網絡266連接到用戶262。數據交換268可以覆蓋小的區域，其中ISP 250的全部模塊處於緊密鄰近，或當不同模塊地理分散時，可以覆蓋大的地理區域。例如，數據交換268可以包括數據中心的機櫃內的快速千兆乙太網(或更快)，或者洲際虛擬區域網路(VLAN)。
用戶262藉助於客戶端設備264訪問遠程服務，該客戶端設備264包括至少CPU、 顯示器和I/o。客戶端設備可以是PC、行動電話、上網本、PDA等。在一個實施例中，ISP 250 識別客戶端使用的設備的類型，並且調整所採用的通信方法。在其他情況下，客戶端設備使用諸如html之類的標準通信方法來訪問ISP 250。
信息服務提供商(ISP) 250將多個信息服務傳遞到地理上分散且經由網絡266連接的用戶262。ISP可以僅傳遞諸如股票價格更新之類的一類服務，或者傳遞諸如廣播媒體、新聞、體育、遊戲等的多種服務。另外，由每個ISP供應的服務是動態的，S卩，服務可以在任何時間點上添加或撤走。因此，將具體類型的服務提供給具體個體的ISP可以隨著時間改變。例如，當用戶在她本地時，用戶可以由鄰近用戶的ISP服務，並且在該用戶旅行到不同城市時，該用戶可以由不同ISP服務。本地ISP將傳輸所要求的信息和數據到新ISP，從而用戶信息「跟隨」用戶到新城市，使得數據更靠近用戶並且更易於訪問。在另一實施例中， 可以在管理用戶的信息的管理者ISP和在來自管理者ISP的控制下直接與用戶對接的伺服器ISP之間建立管理者-伺服器關係。在其他實施例中，當客戶環繞世界移動時，將數據從一個ISP傳輸到另一 ISP以使在更好的位置服務用戶的ISP成為傳遞這些服務的ISP。
ISP 250包括應用服務提供商(ASP) 252，其通過網絡提供基於計算機的服務到消費者。使用ASP模型供應的軟體有時也稱為按需軟體或軟體即服務(SaaS)。提供對具體應用程式(諸如消費者關係管理)的訪問的簡單形式是通過使用諸如HTTP之類的標準協議。 通過由賣主提供的特殊目的客戶端軟體或諸如薄客戶端之類的其他遠程接口，應用軟體駐留在賣主的系統並且由用戶通過使用HTML的網頁瀏覽器訪問。
在廣闊地理區域上傳遞的服務經常使用雲計算。雲計算是計算的一種類型，其中， 將可動態縮放並通常虛擬化的資源作為服務在網際網路上提供。用戶不需要是支持他們的 「雲」中的技術基礎架構的專家。雲計算可以分為不同服務，諸如基礎架構即服務(IaaS)、平臺即服務(PaaS)和軟體即服務(SaaS)。雲計算服務通常在線提供公共商務應用，其從網頁瀏覽器訪問，而將軟體和數據存儲在伺服器上。術語云基於如何在計算機網絡圖中描繪網際網路用作網際網路的隱喻，並且是其掩蓋的複雜基礎構架的抽象。
此外，ISP 250包括遊戲處理伺服器(GPS) 254，其由遊戲客戶端用來玩單人或多人視頻遊戲。在網際網路上玩的大多數視頻遊戲經由到遊戲伺服器的連接操作。典型地，遊戲使用專用伺服器應用，該專用伺服器應用收集來自玩家的數據並將其分配給其他玩家。 這比端到端的安排更高效和有效，但是它要求獨立服務來管理伺服器應用。在另一實施例中，GPS建立玩家和他們的各自的遊戲娛樂設備之間的通信來交換信息而不依賴中心化的 GPS。
專用GPS是獨立於客戶端運行的伺服器。這樣的伺服器通常運行在數據中心裡的專用硬體上，提供更多帶寬和專用處理能力。專用伺服器對於大多數基於PC的多人遊戲是管理遊戲伺服器的優選方法。巨量多人在線遊戲運行在通常由擁有遊戲權益的軟體公司管理的專用伺服器上，允許他們控制和更新內容。
廣播處理伺服器(BPS) 256將音頻或視頻信號分配給觀眾。對非常窄的範圍的觀眾廣播有時稱為窄廣播。廣播分配的最後環節是信號如何達到聽眾或觀看者，並且它可以藉助於無線電臺或TV臺通過大氣到達天線或接收器，或可以經由電臺或直接來自於網絡通過有線TV或有線無線電(或「無線電纜」)達到。網際網路也可以將無線電或TV帶給接受者，特別是藉助於允許共享信號和帶寬的多址通信。歷史上，廣播用地理地區來劃界，諸如國家廣播或地區廣播。但是，隨著於快速網際網路的拓展，因為內容可以達到幾乎世界上的任何國家，不用地理定義廣播。
存儲服務提供商(SSP) 258提供計算機存儲空間和相關管理服務。SSP也供應周期性備份和歸檔。通過將存儲作為服務供應，用戶可以訂購所要求的更多存儲。另一主要優勢是SSP包括備份服務且如果用戶的計算機的硬碟驅動損壞，用戶將不會丟失他們的全部數據。此外，多個SSP可以有用戶數據的完全或部分拷貝，允許用戶以獨立於用戶所在地或用來訪問數據的設備的高效方式訪問數據。例如，用戶可以在家庭計算機中訪問個人文件，以及當用戶在行進中在行動電話中訪問個人文件。
通信提供商260向用戶提供連接性。一種通信提供商是供應對網際網路的訪問的網際網路服務提供商(ISP)。ISP使用適於傳遞網際網路協議數據電文的數據傳輸技術(諸如，撥號、DSL、電纜數據機、無線或專用高速互連)連接其消費者。通信提供商也可以提供消息服務，諸如電郵、即時消息和SMS發簡訊。另一類通信提供商是網絡服務提供商(NSP)，其通過提供對網際網路的直接骨幹網訪問來出售帶寬或網絡訪問。網絡服務提供商可以由電信公司、數據承載商、無線通信提供商、網際網路服務提供商、供應高速網際網路訪問的有線電視運營商等構成。
數據交換268互連ISP 253內的多個模塊並且將這些模塊經由網絡266連接到用戶262。數據交換268可以覆蓋小的區域，其中ISP 250的全部模塊緊密鄰近，或當不同模塊地理分散時，可以覆蓋大的地理區域。例如,數據交換268可以包括數據中心的機櫃內的快速千兆乙太網(或更快)，或者洲際虛擬區域網路(VLAN)。
用戶262以客戶端設備264訪問遠程服務，該客戶端設備264包括至少CPU、顯示器和I/O。客戶端設備可以是PC、行動電話、上網本、PDA等。在一個實施例中，ISP 250識別客戶端使用的設備的類型，並且調整所採用的通信方法。在其他情況下，客戶端設備使用諸如html之類的標準通信方法來訪問ISP 250。
本發明的實施例可以以各種計算機系統配置實踐，該計算機系統配置包括手持設備、微處理器系統、基於微處理器或可編程消費電子器件、微計算機、主機計算機等。發明也可以在由通過網絡連結的遠程處理設備進行任務的分布式計算環境中實踐。
藉助於以上實施例，應當明白的是，發明可以採用各種計算實現的操作，包括存儲在計算機系統中的數據。這些操作是那些要求物理量的物理操縱的操作。這裡描述的、形成發明的部分的操作的任一種是有用的機器操作。發明也涉及用於進行這些操作的設備或裝置。裝置可以為了要求的目的而特殊構建的，諸如特殊目的計算機。雖然定義為特殊目的計算機，但是該計算機也可以進行不是該特殊目的的部分的其他處理、程序執行或例行程序，且仍然能夠為特殊目的而操作。替代地，操作可以由通用目的計算機處理，選擇性激活該通用目的計算機或由存儲在計算機存儲器、緩存或從網絡獲得的一個或多個電腦程式配置該通用目的計算機。當數據通過網絡獲得時，該數據可以由網絡上的其他計算機，例如，計算資源的雲處理。
本發明的實施例也可以定義為將數據從一個狀態轉換為另一狀態的機器。所轉換的數據可以保存到存儲裝置並隨後由處理器控制。處理器因此將數據從一個事物轉換為另一個。此外，方法可以由可以通過網絡連接的一個或多個機器或處理器處理。每個機器可以將數據從一個狀態或事物轉換為另一個，也可以處理數據、保存數據到存儲裝置，通過網絡傳輸數據、顯示結果或將結果傳遞給另一機器。
本發明的一個或多個實施例也可以作為在計算機可讀介質上的計算機可讀代碼來實施。計算機可讀介質是可以存儲數據的任何數據存儲器件，該數據之後可以由計算機系統讀取。計算機可讀介質的示例包括硬碟驅動、附網存儲裝置(NAS)、只讀存儲器、隨機訪問存儲器、CD-ROM、CD-R、CD-RW、磁帶和其他光和非光數據存儲器件。計算機可讀介質可以包括分布在網絡耦接的計算機系統上的計算機可讀有形介質，從而計算機可讀代碼以分布式存儲和執行。
儘管方法操作以具體順序描述，但是應當明白的是，可以在操作之間進行其他輔助操作，或者可以調整操作從而它們在略微不同的時間發生，或者可以在允許處理操作以關聯於處理的各種間隔發生的系統中分布，只要以合適的方式進行重疊操作的處理。
儘管之前的發明已經出於清晰理解的目的而詳細描述，顯然的是，可以在所附權利要求的範圍內實踐特定修改和改進。因此，本實施例被認為是示意性的而非限制性的，且發明不限於這裡給出的細節，但是可以在所附權利要求的範圍和等效物內修改。
權利要求
1.一種用於生成通過至少第一和第二設備可觀看的互動空間的方法，所述方法包括從所述第一設備檢測所述第二設備的位置或者從所述第二設備檢測所述第一設備的位置；在所述第一設備和第二設備之間交換同步信息數據以在三維(3D)空間中識別相對於所述第一和第二設備的物理位置的3D空間中的參考點，其中，所述第一和第二設備在設定所述參考點時建立其他設備的3D空間中的物理位置；在所述第一和第二設備的相應顯示器中生成互動場景的視圖，所述互動場景綁定於所述參考點並且包括虛擬物體，每個視圖示出全部或部分所述互動場景並且示出如從相應設備的當前位置所觀察到的互動場景，其中在所述3D空間中的設備移動使得相應視圖根據所述當前位置改變。
2.根據權利要求I所述的方法，其中，從所述第一設備檢測所述第二設備的位置進一步包括檢測所述第一設備已經在第一時間輕敲了第一物體；接收所述第二設備已經在第二時間輕敲了第二物體的信息；當所述第一時間和所述第二時間基本同時時，確定所述第一設備已經輕敲了所述第二設備。
3.根據權利要求I所述的方法，其中，從所述第一設備檢測所述第二設備的位置進一步包括在以所述第一設備中的相機拍攝的圖像中識別所述第二設備。
4.根據權利要求I所述的方法，其中，從所述第一設備檢測所述第二設備的位置進一步包括在以所述第一設備中的相機拍攝的圖像中檢測所述第二設備中的光源。
5.根據權利要求I所述的方法，其中，從所述第一設備檢測所述第二設備的位置進一步包括使用深度相機檢測所述第一設備和所述第二設備之間的距離。
6.根據權利要求I所述的方法，其中，從所述第一設備檢測所述第二設備的位置進一步包括在以所述第一設備中的相機拍攝的圖像中識別所述第二設備的顯示器。
7.根據權利要求I所述的方法，其中，從所述第一設備檢測所述第二設備的位置進一步包括在以所述第一設備中的相機拍攝的圖像中識別所述第二設備的顯示器中的圖案。
8.根據權利要求I所述的方法，進一步包括通過所述第一設備跟蹤所述第一設備的運動。
9.根據權利要求8所述的方法，其中，跟蹤所述第一設備的運動進一步包括使用推算定位來確定所述第一設備的當前位置。
10.根據權利要求9所述的方法，其中，跟蹤所述第一設備的運動進一步包括使用圖像信息跟蹤所述3D空間中的靜態特徵的位置；和基於所述靜態特徵的位置校正推算定位中的偏移。
11.根據權利要求10所述的方法，其中，所述靜態特徵從由桌子的邊緣、房間中的角落、窗戶或電視機構成的組中選擇。
12.根據權利要求I所述的方法，進一步包括當識別到所述參考點時，復位所述第一設備和所述第二設備中的位置跟蹤模塊。
13.一種用於生成通過至少第一和第二設備可觀看的互動空間的方法，所述方法包括檢測所述第一設備和所述第二設備之間的輕敲；在所述第一設備和所述第二設備之間交換同步信息數據以在檢測到所述輕敲時在三維(3D)空間中識別相對於所述第一和第二設備的物理位置的3D空間中的參考點； 在所述第一和第二設備的相應顯示器中生成互動場景的視圖，所述互動場景綁定於所述參考點並且包括虛擬物體，每個視圖示出全部或部分所述互動場景並示出如從相應設備的當前位置所觀察到的互動場景，其中，在3D空間中的設備移動使得相應視圖根據所述當前位置改變。
14.根據權利要求13所述的方法，其中，檢測輕敲進一步包括檢測所述第一設備已經在第一時間輕敲了第一物體；接收所述第二設備已經在第二時間輕敲了第二物體的信息；確定當所述第一和所述第二時間基本同時時，所述第一設備已經輕敲了所述第二設備。
15.根據權利要求14所述的方法，其中，第一設備已經輕敲第一物體進一步包括識別所述第一設備的運動的突然改變。
16.根據權利要求15所述的方法，其中，識別所述突然改變基於來自3軸加速度計的信肩、O
17.根據權利要求13所述的方法，其中，配置每個設備用於與所述虛擬物體的互動。
18.一種用於在可攜式設備當中共享虛擬實境的可攜式設備，所述可攜式設備包括位置模塊，用於跟蹤所述可攜式設備的位置，所述位置模塊配置以參考所述可攜式設備的位置檢測第二設備的位置；通信模塊，用於在所述可攜式設備和所述第二設備之間交換同步信息數據，其中，基於所述同步信息在三維(3D)空間中識別相對於可攜式設備的物理位置的3D空間中的參考佔.視圖生成器，創建綁定於所述參考點且包括虛擬物體的互動場景的視圖，所述視圖示出如從所述可攜式設備的當前位置所觀察到的全部或部分互動場景，其中所述3D空間中的可攜式設備移動使得所述視圖根據所述當前位置改變；和顯示器，用於示出所述視圖。
19.根據權利要求18所述的可攜式設備，其中，所述位置模塊包括位置跟蹤模塊，所述位置跟蹤模塊包括3軸加速度計；3軸陀螺儀；和相機。
20.根據權利要求19所述的可攜式設備，其中，所述位置跟蹤模塊進一步包括GPS模塊；和深度相機。
全文摘要
呈現了用於生成通過至少第一和第二設備可觀看的互動空間的方法、系統和電腦程式。該方法包括從第一設備檢測第二設備的位置或者反之亦然的操作。此外，同步信息數據在第一和第二設備之間交換以在三維(3D)空間中識別相對於設備的物理位置的三維空間中的參考點。設備在設定該參考點時建立其他設備的3D空間中的物理位置。該方法進一步包括用於在第一和第二設備的顯示器中生成互動場景的視圖的操作。互動場景綁定於參考點並且包括虛擬物體。顯示器中的視圖示出從相應設備的當前位置觀察到的互動場景。在3D空間中行動裝置使得根據當前位置的視角改變視圖。
文檔編號G06F3/033GK102939139SQ201180028950
公開日2013年2月20日 申請日期2011年1月26日 優先權日2010年4月13日
發明者G.韋辛, T.米勒 申請人:索尼電腦娛樂美國公司