用於控制擴增實境的方法及設備的製作方法

2023-06-06 16:52:21 4

用於控制擴增實境的方法及設備的製作方法
【專利摘要】本發明揭示用於控制擴增實境接口的方法及設備。在一個實施例中，一種適用於具有擴增實境功能的裝置ARD的方法包括：接收用於跟蹤多個對象的圖像數據；從所述多個對象中識別待選擇的對象；至少部分基於一組選擇準則確定是否已選擇所述對象；以及在確定已選擇所述對象的情況下致使隨所述對象顯現擴增。
【專利說明】用於控制擴増實境的方法及設備
[0001]對相關申請案的交叉參考
[0002]本申請案主張以下申請案的權益:2013年3月15日申請且標題為「用於控制擴增實境的方法及設備(Method and apparatus for controlling augmented reality)，，的第13/815,820號美國申請案；2012年7月26日申請且標題為「有形對象與擴增實境對象的交互(Interact1ns of Tangible and Augmented Reality Objects)，，的第 61/676，246號美國臨時申請案；2012年7月26日申請且標題為「維持擴增的連續性(MaintainingContinuity of Augmentat1ns) 」 的第 61/676，249 號美國臨時申請案；2012 年 7 月 26 日申請且標題為「用於控制擴增實境的方法及設備(Method and Apparatus for ControllingAugmented Reality) 」的第61/676，278號美國臨時申請案；2012年7月26日申請且標題為「有形對象與擴增實境對象的交互(Interact1ns of Tangible and Augmented RealityObjects)」的第61/676，255號美國臨時申請案；以及2012年7月26日申請且標題為「有形項目對虛擬空間中的顆粒系統擴增的影響(Tangible Items' Effect on ParticleSystem Augmentat1n in Virtual Spaces) 」的第 61/676，274 號美國臨時申請案。前述美國申請案的全文特此以引用的方式併入。

【技術領域】
[0003]本發明涉及擴增實境的領域。明確地說，本發明涉及用於控制擴增實境的方法及設備。

【背景技術】
[0004]常規擴增實境應用提供對現實世界環境的實況觀看，其元素可被計算機生成的感覺輸入(例如視頻、聲音、圖形或GPS數據)加以擴增。通過此類應用，對現實的觀看可通過計算裝置修改，且所述應用可增強用戶對現實的感知且提供關於用戶環境的更多信息。舉例來說，經擴增內容可實時地且在環境元素的語義上下文(例如在比賽期間的賽事統計及概述)中應用。隨著例如智慧型電話等移動裝置的激增，關於用戶的周圍現實世界的信息可在具有額外擴增內容的情況下顯示在移動裝置上，所述信息例如是關於具有重疊在現實世界對象上的虛擬對象的環境的人為信息。
[0005]在常規計算及遊戲應用中，用戶可能夠通過使用以下用戶接口裝置中的至少一者而在顯示器上選擇項目，所述用戶接口裝置例如滑鼠、觸摸墊、觸控螢幕或操縱杆。然而，對於常規擴增實境應用，問題中的一者為用戶的雙手可能都被佔用。舉例來說，一隻手可用以握住具有擴增實境功能的裝置，且另一隻手可用以處置有形對象。常規擴增實境應用的另一問題是可能出現擴增的偶然觸發，其可幹擾遊戲且使用戶感到沮喪。因此，需要可改進常規擴增實境應用的方法、電腦程式產品及具有擴增實境功能的裝置。


【發明內容】

[0006]本發明涉及用於控制擴增實境否方法及設備。根據本發明的一實施例，一種適用於具有擴增實境功能的裝置(ARD)的方法包括:接收用於跟蹤多個對象的圖像數據；從所述多個對象中識別待選擇的對象；至少部分基於一組選擇準則確定是否已選擇所述對象；以及在確定已選擇所述對象的情況下致使隨所述對象顯現擴增。
[0007]根據本發明的另一實施例，一種ARD包括包含處理邏輯的控制單元；所述處理邏輯包括:經配置以接收用於跟蹤多個對象的圖像數據的邏輯；經配置以從所述多個對象中識別待選擇的對象的邏輯；經配置以至少部分基於一組選擇準則確定是否已選擇所述對象的邏輯；以及經配置以在確定已選擇所述對象的情況下致使隨所述對象顯現擴增的邏輯。
[0008]注意，所述跟蹤包括3維跟蹤，包括:經配置以確定所述多個對象相對於所述ARD的相對姿勢的邏輯；以及經配置以使用所述多個對象相對於所述ARD的所述相對姿勢更新所述多個對象的狀態的邏輯，其中所述多個對象的所述狀態包含所述多個對象的關係信息。經配置以確定所述多個對象相對於所述ARD的相對姿勢的所述邏輯包括經配置以檢測所述多個對象相對於所述多個對象的先前所接收圖像數據的姿勢的邏輯。所述關係信息包括以下各者中的至少一者:所述多個對象之間在遊戲中的關係、所述多個對象之間在故事中的關係，及/或所述多個對象之間相對於背景的關係。
[0009]經配置以識別待選擇的對象的所述邏輯包括經配置以使用所述圖像數據分析所述多個對象的邏輯及經配置以識別最接近於由所述圖像數據表示的圖像的中心的所述對象的邏輯。經配置以識別待選擇的對象的所述邏輯進一步包括經配置以致使所述圖像數據中的所述多個對象顯現在所述ARD的顯示器上的邏輯及經配置以識別覆蓋所述ARD的所述顯示器的大多數中心像素的所述對象的邏輯。
[0010]經配置以確定是否已選擇所述對象的所述邏輯進一步包括經配置以測量所述對象與所述ARD之間的相對速度的邏輯及經配置以測量所述對象相對於所述ARD固定的時間量的邏輯。經配置以確定是否已選擇所述對象的所述邏輯進一步包括經配置以接收音頻命令的邏輯及經配置以測量所述音頻命令的振幅的邏輯。所述組選擇準則包括以下各者中的至少一者:所述對象在所述ARD的視圖中達預定時間周期、所述對象在所述ARD的視圖中且所述對象與所述ARD之間的相對速度低於預定閾值，及所述對象在所述ARD的視圖中且音頻命令的振幅超過預定值。經配置以致使所述擴增顯現的所述邏輯包括經配置以在所述ARD的顯示器中呈現所述對象與所述ARD之間的交互的邏輯。經配置以識別的所述邏輯包括經配置以確定所述對象已被放大的邏輯。
[0011]經配置以確定的所述邏輯包括:經配置以致使指示符被呈現的邏輯，其中所述指示符指示已識別所述對象；以及經配置以響應於所述指示符的呈現而確定所述對象是否被取消選擇的邏輯。經配置以確定所述對象是否被取消選擇的所述邏輯包括經配置以在所述對象相對於所述ARD的位置在呈現所述指示符之後維持閾值時間量的情況下確定已選擇所述對象的邏輯。所述指示符包括以下各者中的至少一者:圖標、所述對象在所述ARD的顯示器上的振動、當所述對象居中於所述ARD的所述顯示器上時所述ARD的振動，及經過的時間的表示。
[0012]所述具有擴增實境功能的裝置進一步包括:經配置以致使場景的圖像顯示在所述ARD的顯示器上的邏輯，所述場景包含一或多個對象；經配置以致使用從所述多個對象中識別待選擇的對象的指示符擴增所述圖像的邏輯；以及經配置以確定在用所述指示符擴增所述圖像之後所述對象是否已被取消選擇的邏輯。
[0013]根據本發明的又一實施例，一種電腦程式產品包括存儲用於由一或多個計算機系統執行的指令的非暫時性媒體；所述指令包括:用於接收用於跟蹤多個對象的圖像數據的指令；用於從所述多個對象中識別待選擇的對象的指令；用於至少部分基於一組選擇準則確定是否已選擇所述對象的指令；以及用於在確定已選擇所述對象的情況下致使隨所述對象顯現擴增的指令。
[0014]根據本發明的又一實施例，一種設備包括:用於接收用於跟蹤多個對象的圖像數據的裝置；用於從所述多個對象中識別待選擇的對象的裝置；用於至少部分基於一組選擇準則確定是否已選擇所述對象的裝置；以及用於在確定已選擇所述對象的情況下致使隨所述對象顯現擴增的裝置。
[0015]根據進一步實施例，提供用於提供用於擴增實境的話音及有形用戶接口的技術。本文中所說明的各種實例實施方案可實施於具有擴增實境(AR)功能的裝置上。所述ARD可為行動電話、平板計算機或包含用於執行機器可執行機器可執行指令的處理器的其它此類裝置、用於俘獲現實世界環境的圖像或視頻的相機，及用於顯示現實世界環境的擴增實境視圖的顯示器。這些技術可集成到多種擴增實境應用中以產生比常規AR應用更令人滿意且投入的用戶體驗。

【專利附圖】

【附圖說明】
[0016]在配合以下圖式閱讀了本發明的實施例的詳細描述之後，本發明的前述特徵及優點以及其額外特徵及優點將可更加明確地理解。
[0017]圖1說明根據本發明的一些方面的具有擴增實境功能的裝置。
[0018]圖2說明根據本發明的一些方面的示範性具有擴增實境功能的裝置的框圖。
[0019]圖3說明根據本發明的一些方面的至少部分基於來自用戶的觸發提供擴增的方法。
[0020]圖4說明根據本發明的一些方面的至少部分基於具有擴增實境功能的裝置與目標之間的相對速度提供擴增的另一方法。
[0021]圖5說明根據本發明的一些方面的至少部分基於具有擴增實境功能的裝置與背景之間的相對移動提供擴增的又一方法。
[0022]圖6說明根據本發明的一些方面的用於控制擴增實境接口的流程圖。
[0023]圖7說明用以提供與現實世界對象相關聯的擴增實境內容的具有擴增實境功能的裝置的實例。
[0024]圖8A、8B、8C及8D說明根據本發明的一些方面的用作自動家庭控制裝置的具有擴增實境功能的裝置的實例。
[0025]圖9說明根據本發明的一些方面的用於在具有擴增實境功能的裝置上提供擴增實境內容的實例方法的流程圖。
[0026]圖10說明根據本發明的一些方面的用於在具有擴增實境功能的裝置上提供擴增實境內容的實例方法的流程圖。
[0027]圖11說明根據本發明的一些方面的用以基於從用戶接收的音頻輸入控制角色的擴增實境表示的行為的實例行為方法的流程圖。
[0028]圖12說明根據本發明的一些方面的用於在辨識話音命令的具有擴增實境功能的裝置上提供擴增實境的實例方法的流程圖。
[0029]圖13說明根據本發明的一些方面的用於在具有擴增實境功能的裝置上提供擴增實境內容的實例方法的流程圖。
[0030]圖14說明根據本發明的一些方面的跨越多個具有擴增實境功能的裝置提供交互的方法。
[0031]圖15說明根據本發明的一些方面的用於在一或多個具有擴增實境功能的裝置向多個用戶提供擴增實境的實例方法的流程圖。
[0032]圖16說明根據本發明的一些方面的用於在多個具有擴增實境功能的裝置上提供擴增實境內容的實例方法的流程圖。
[0033]圖17說明根據本發明的一些方面的可用以實施具有擴增實境功能的技術的裝置的實例。
[0034]貫穿各圖使用相同數字。

【具體實施方式】
[0035]揭示控制擴增實境接口的實施例。呈現以下描述以便使得所屬領域的技術人員能夠製作並使用本發明。具體實施例和應用的描述僅是作為實例提供。所屬領域的技術人員將容易明白本文所述的實例的各種修改及組合，且在不脫離本發明的精神和範圍的情況下，本文中所界定的一股原理可以應用於其它實例和應用。因而，本發明並不希望限於所描述和展示的實例，而是應被賦予符合本文揭示的原理和特徵的最寬範圍。詞語「示範性」或「實例」在本文中用於意味著「充當實例、例子或說明」。本文中描述為「示範性」或描述為「實例」的任何方面或實施例未必應被解釋為比其它方面或實施例優選或有利。
[0036]圖1說明根據本發明的一些方面的具有擴增實境功能的裝置。如圖1所示，具有擴增實境功能的裝置(ARD) 14包含外殼101、顯示器112、一或多個揚聲器118，及麥克風116。可為觸控螢幕顯示器的顯示器112可說明由相機108俘獲的圖像或任何其它所要用戶接口信息。當然，ARD 14可包含未必與本發明有關的額外組件。
[0037]如本文中所使用，ARD裝置指代任何可攜式電子裝置，例如蜂窩式或其它無線通信裝置、個人通信系統(PCS)裝置、個人導航裝置(PND)、個人信息管理器(PM)、個人數字助理(PDA)、膝上型計算機或其它合適的移動平臺。移動平臺可能夠接收無線通信及/或導航信號，例如導航定位信號。術語ARD還意欲包含例如通過短程無線、紅外線、有線連接或其它連接而與個人導航裝置(PND)通信的裝置，而不管是在所述裝置處還是在PND處發生衛星信號接收、輔助數據接收及/或定位相關處理。而且，ARD意欲包含所有電子裝置，包含能夠俘獲用於姿勢跟蹤的圖像以及能夠執行擴增實境用戶接口功能的無線通信裝置、計算機、膝上型計算機平板計算機、智慧型電話、數位相機等。
[0038]圖2說明根據本發明的一些方面的示範性具有擴增實境功能的裝置的框圖。ARD14的移動平臺包含用於俘獲環境的圖像的相機108，所述圖像可為個別照片或視頻幀。ARD14的移動平臺還可包含傳感器109，傳感器109可用以提供ARD 14的移動平臺可藉以確定其位置及定向(即，姿勢)的數據。可與ARD 14的移動平臺一起使用的傳感器的實例包含加速度計、石英傳感器、陀螺儀、用作線性加速度計的微機電系統(MEMS)傳感器，以及磁力
i+o
[0039]ARD 14的移動平臺還可包含用戶接口 110，所述用戶接口 110包含能夠顯示圖像的顯示器112。用戶接口 110還可包含用戶可藉以將信息輸入到ARD 14的移動平臺的小鍵盤114或其它輸入裝置。如果需要，則可通過將虛擬小鍵盤集成到具有觸摸傳感器的顯示器112中而消除小鍵盤114。用戶接口 110還可包含麥克風116及一或多個揚聲器118 (例如，如果移動平臺為蜂窩式電話)。當然，ARD 14的移動平臺可包含與本發明不相關的其它組件。
[0040]ARD 14的移動平臺進一步包含控制單元120，控制單元120可連接到相機108及傳感器109以及用戶接口 110連同任何其它所要特徵且與之通信。控制單元120可由一或多個處理器122及相關聯的存儲器/存儲裝置124提供。控制單元120還可包含軟體126以及硬體128及固件130。控制單元120包含跟蹤單元132，所述跟蹤單元132經配置以跟蹤ARD 14的位置並且跟蹤由ARD 14監視的一或多個對象的位置。控制單元120可進一步包含擴增實境用戶接口單元134，所述擴增實境用戶接口單元134經配置以在ARD 14的顯示器112上呈現擴增實境交互。跟蹤單元132及擴增實境用戶接口單元134為了清楚起見而說明為與處理器122及/或硬體128分開，但可基於軟體126及固件130中的指令而組合及/或實施於處理器122及/或硬體128中。
[0041]根據本發明的方面，可結合一或多個有形接口項目來使用ARD 14。在本文所述的實例中的許多者中，有形接口項目稱為「對象」或「玩偶」。然而，還可使用其它類型的有形對象，且本文所揭示的技術不限於玩偶。舉例來說，有形接口項目可包含用戶的環境中的一或多個項目，例如可在ARD 14的相機的視野內的可樂罐、咖啡杯、雜誌或其它有形項目。
[0042]由ARD 14提供的擴增可形成連續故事路徑。此類連續故事路徑在本文中可被稱作「場景」。ARD 14的擴增邏輯可經配置以監視用戶的注意力，且如果用戶看起來對特定場景失去興趣，則改變場景。下文更詳細地描述用於與用戶交互及用於定製由ARD 14提供的擴增內容的技術。
[0043]根據本發明的實施例，ARD可經配置以避免擴增的偶然觸發，其可幹擾遊戲且使用戶感到沮喪。此外，知曉其中可觸發事件的情境可吸引進一步探索及交互，且因此增強用戶體驗。
[0044]在一些實施方案中，當用戶執行觸發動作(例如，放大浴缸22)時，可在項目觸發之前的時間t(例如，2到8秒)內監視即將發生的觸發17的指示，從而向用戶給出改變動作的可能性，因此避免觸發，如圖3中所說明。指示可呈以下形式:1)視覺指示符17(例如，視覺指示符變得較亮或較暗，或開始振蕩)；2)音頻(20)(例如，魔法精靈粉的聲音)；以及3)視覺與音頻的組合。在其它實施方案中，當用戶執行觸發動作，例如放大對象時，其可在動作觸發之前保持那一動作達預定時間周期。
[0045]在一種方法中，可至少部分基於用於例如針對學前兒童與青少年或成人的目標應用的各種用戶因素來確定「保持」的實施方案。所述因素可包含但不限於發育狀態及條件性因素，例如自閉症、部分失明(partial sightedness)、帕金森病等。在另一方法中，「保持」的實施方案可包含但不限於1)可調整的靜止度；2)在目標上的可調整時間；以及3)用於暫時性目標丟失的可調整容許度。
[0046]根據本發明的方面，對於可調整靜止度，如果學前兒童為應用程式受眾，那麼實施方案可允許明顯移動，但如果成人為應用程式受眾，則實施方案可允許最小移動。用於在目標上的可調整時間，如果學前兒童為應用程式受眾，則可使用1到3秒之間的時間，但如果成人為應用程式受眾，則可使用0.2到0.6秒之間的時間。對於暫時性目標丟失的可調整容許度，如果學前兒童為應用程式受眾，則實施方案可允許在明顯移動期間丟失目標；但如果成人為應用程式受眾，則實施方案可不允許丟失目標。
[0047]在又其它實施方案中，用戶可使用例如話音命令等二次交互方法來觸發事件。此夕卜，可使用ARD的傳感器數據來確定速度、加速度及/或減速度以便區分到新目標的移動與「環顧四周」，如圖4中所示。在一種方法中，如果當對象進入視圖(由灰色箭頭及矩形指示)時移動快速地減速，則ARD的控制單元可經配置以確定用戶是否希望選擇對象/與對象交互。在確定選擇對象之後，可即刻觸發擴增，其中可在以下情形中出現過衝及返回，所述情形包含但不限於:1)當對象進入視圖中時，ARD 14的移動快速減速；2)目標在ARD停止之前去往視圖外；3)緊接著反轉或校正ARD移動以使對象回到視圖中；以及4)ARD停止，其中對象在視圖中。
[0048]在另一方法中，如果速度改變較不明顯，則ARD的控制單元120可經配置以確定用戶是否正環顧四周。其可執行以下功能，包含但不限於:1)不開始擴增；2)展示可具有擴增(例如，發光、輕微振蕩、靜靜上覆……)但不開始動畫擴增的對象的指示；以及3)如果用戶通過以下方式起始與對象的交互，則開始擴增:a)突然停止在所述對象上，b)將對象保持在相機視圖中達預定時間周期，或c)與速度不相關的任何其它直接或間接方式。
[0049]在又其它實施方案中，ARD的控制單元可經配置以通過應用與確定目標與環顧四周相關聯的控制邏輯來使用參考背景12 (例如墊)跟蹤ARD 14的移動。在一種方法中，控制單元120可經配置以使用墊上的子標記或單獨地跟蹤墊的不同區域。在又其它實施方案中，跟蹤ARD相對於參考背景12(例如墊)的移動(由灰色箭頭及矩形指示)的方法可包含但不限於:1)跟蹤墊的子區域；2)跟蹤墊上的標記或子特徵；3)跟蹤可臨時或永久地組合以形成較大墊的多個小墊(例如，盥洗室地板上的瓷磚，例如12a到12e)，如圖5中所說明；以及4)跟蹤這些子區域/標記/小墊與總體墊的關係，使得使一個子區域/標記/小墊在相機視圖可使得ARD 14能夠確定用戶可看向較大墊上何處。
[0050]根據本發明的一些方面，圖6中描述的功能可由圖2的控制單元120實施。在一些實施方案中，所述功能可由處理器122、軟體126、硬體128及固件130或這些框的組合來執行以執行上文所描述的ARD的各種功能，包含由跟蹤單元132及擴增實境用戶接口單元134執行的功能。
[0051]圖6說明根據本發明的一些方面的用於控制擴增實境接口的流程圖。在框602中，控制單元120可經配置以接收用於跟蹤多個對象的圖像數據。在框604中，控制單元120可經配置以從所述多個對象中識別待選擇的對象。在框606中，控制單元120可經配置以至少部分基於一組選擇準則確定是否已選擇所述對象。在框608中，控制單元120可經配置以在確定已選擇所述對象的情況下致使顯現擴增。
[0052]根據本發明的實施例，在框602中執行的方法可進一步包含在框610及622中執行的方法。舉例來說，在框610中，控制單元120可經配置以確定所述多個對象相對於ARD的相對姿勢，且使用所述相對姿勢更新所述多個對象的狀態，其中所述多個對象的狀態包含所述多個對象的關係信息。在框610中執行的方法可進一步包含在框622中執行的方法，其中控制單元120檢測所述多個對象相對於所述多個對象的先前所接收圖像數據的姿勢。注意，關係信息包括以下各者中的至少一者:所述多個對象之間在遊戲中的關係、所述多個對象之間在故事中的關係，及所述多個對象之間相對於背景的關係。
[0053]在框604中執行的方法可進一步包含在框612及614中執行的方法。在框612中，控制單元120使用圖像數據分析所述多個對象，且識別最接近於由所述圖像數據表示的圖像的中心的對象。在框614中，控制單元120致使所述圖像數據中的所述多個對象顯現在所述ARD的顯示器上，且識別覆蓋所述ARD的顯示器的大多數中心像素的對象。在框604中執行的方法可進一步包含確定所述對象已被放大。
[0054]在框606中執行的方法可進一步包含在框616及618中執行的方法。在框616中，控制單元120測量所述對象與所述ARD之間的相對速度，且測量所述對象相對於ARD固定的時間量。在框618中，控制單元120接收音頻命令，且測量所述音頻命令的振幅。
[0055]所述組選擇準則包括以下各者中的至少一者:所述對象在所述ARD的視圖中達預定時間周期、所述對象在所述ARD的視圖中且所述對象與所述ARD之間的相對速度低於預定閾值，及所述對象在所述ARD的視圖中且音頻命令的振幅超過預定值。
[0056]在框608中執行的方法可進一步包含在框620中執行的方法，其中控制單元120在ARD的顯示器中呈現所述對象與ARD之間的交互。
[0057]參考框606，所述方法可進一步包含:致使指示符被呈現，其中所述指示符指示已識別所述對象；以及響應於所述指示符的呈現而確定所述對象被取消選擇。所述對象是否被取消選擇的確定包括在對象相對於ARD的位置在呈現所述指示符之後維持閾值時間量的情況下確定已選擇所述對象。所述指示符包括以下各者中的至少一者:圖標、對象在ARD的顯示器上振動，及經過的時間的表示。
[0058]根據本發明的一些方面，一種適用於ARD的方法包括:致使場景的圖像顯示在所述ARD的顯示器上，其中所述場景包含一或多個對象；致使用從所述多個對象中識別待選擇的對象的指示符擴增所述圖像；以及確定在用所述指示符擴增所述圖像之後所述對象是否已被取消選擇。
[0059]提供用於提供用於擴增實境的話音及有形用戶接口的技術。本文中所說明的各種實例實施方案可實施於ARD上。ARD 14可為行動電話、平板計算機或包含用於執行機器可執行機器可執行指令的處理器的其它此類裝置、用於俘獲現實世界環境的圖像或視頻的相機，及用於顯示現實世界環境的擴增實境視圖的顯示器。這些技術可集成到多種擴增實境應用中以產生比常規AR應用更令人滿意且投入的用戶體驗。
[0060]圖7說明遊戲環境的實例，其中ARD 14與現實世界項目結合使用以提供增強的用戶體驗。在圖7的實例中，例如墊等參考背景12可在現實世界及AR環境兩者中充當用於房間的表示的「地板」。在此實例中，由ARD 14提供的擴增包含牆壁及在現實世界環境中不存在的房間的其它特徵。ARD 14還可提供一或多個對象放置在墊上的擴增。ARD 14還可經配置以辨識存在於ARD 14的相機的視野中的對象，而不管對象是否放置在參考平面12(例如在圖7中所說明的墊)上。
[0061]如圖7的實例中所示，一或多個玩偶可放置在墊上。玩偶21在ARD 14上所顯示的AR環境中表示為由玩偶21表示的角色的擴增實境表示31。用戶可與玩偶21及提供於ARD 14上的角色的擴增實境表示31兩者交互。在裝置上所說明的AR環境中，玩偶21可製成動畫且對用戶交互作出響應。舉例來說，角色的擴增實境表示31可在AR環境中四處移動(例如，跳舞、坐下、站立，等)且與用戶交互(例如，唱歌，講話，或聽取用戶響應)。角色的擴增實境表示31還可通過分析用戶發聲及提供擴增而提供對用戶發聲的情境相關響應。
[0062]在一個示範性應用中，控制單元120可經配置以在裝置的視圖中跟蹤收音機，提供由收音機播放歌曲的擴增，且基於確定收音機已旋轉而調整歌曲的音量。在另一示範性應用中，控制單元120可經配置以在裝置的視圖中跟蹤電視，確定對象已被放置在電視附近，且基於所放置的對象觸發在電視上播放視頻的擴增。在又一示範性應用中，控制單元120可經配置以跟蹤便利貼，所述便利貼展示剩餘電視節目，且引起數字錄像機的記錄設定的改變以記錄所述電視節目。
[0063]圖8A、8B、8C及8D說明用作自動家庭控制裝置的具有擴增實境功能的裝置的實例。在圖8A、8B、8C及8D中所說明的實例中，說明家用項目29(可樂罐)及家用項目12 (雜誌)，且在ARD 14上提供用於家用項目29及12的經擴增對象34。還可使用其它類型的家用對象或其它類型的對象。
[0064]在一些實施方案中，經擴增對象34可完全覆蓋與經擴增對象34相關聯的有形對象(也可被稱作現實世界對象或現實對象)。在其它實施方案中，經擴增對象34可僅覆蓋有形項目的部分。舉例來說，可看到有形項目被經擴增對象34的一部分覆蓋，或可對有形項目進行濾波以提供更微妙的外觀。可應用的濾波器類型的一些實例為用以相對於場景的其餘項目減小有形項目的亮度、對比度及/或飽和度的濾波器。在一些實施方案中，環境擴增可用以覆蓋所有或一些有形項目，即使擴增內容可能小於項目的圖像。舉例來說，在圖8A中所說明的實例中，擴增內容16覆蓋有形項目:雜誌12。擴增內容16可能小於可樂罐29，但環境擴增已在ARD 14所顯示的擴增內容中減小可樂罐的對比度及飽和度。
[0065]在一些實施方案中，例如在圖8A、8B、8C及8D中所說明的實例中，針對有形項目提供的擴增內容可為與有形項目類型不同的對象。舉例來說，圖8A、8B、8C及8D中的可樂罐29已被看起來像電視機的經擴增對象34替換。可使用其它類型的表示。擴增內容與有形項目的關聯可為:(1)持久性的——持續跨越多個AR會話，直到有形項目與擴增內容之間的關聯被重新指派；(2)粘性的一一持續使用會話的持續時間(例如，只要應用程式接通)；或(3)寬鬆的，僅持續「場景」的持續時間。
[0066]根據本發明的方面，可與ARD 14結合使用的某些對象可具有與其相關聯的擬人化方面，例如一或多個面部特徵(例如，眼睛、口部或耳朵)或其它特徵(例如，動畫式移動)。ARD 14的擴增邏輯可經配置以提供與使用這些擬人化方面來與裝置的用戶通信相關聯的擴增內容。舉例來說，玩偶的經擴增表示可製作成動畫以展現感情，在場景中四處移動，唱歌，說話，且展示對用戶的關注(或「聽取」)。
[0067]對象可駐留在目標參考背景上。舉例來說，玩偶可駐留在地板、桌面、遊戲墊或其它表面上。ARD 14可經配置以跟蹤參考地板與一或多個玩偶。ARD 14可任選地在ARD 14所提供的AR視圖中將背景擴增上覆在現實世界的地板及其它部分上。圖8A、8B、8C及80說明一實例，其中項目可樂罐29駐留在例如雜誌等目標參考背景12上，目標參考背景12可充當用於顯示在ARD 14上的經擴增內容的參考平面。例如桌面、書本、紙張、牆壁或其它項目等其它目標參考背景也可充當參考平面。在ARD 14所提供的擴增內容中包含參考平面可為任選的。
[0068]在圖8A、8B、8C及8D中所說明的實例中，在ARD 14的用戶的茶几上發現的對象可經配置以控制電視34或其它電子裝置。在此實例中，可樂罐29與現實世界電視相關聯，且可用以控制電視機的某些功能，例如頻道及音量。如從圖8A、8B、8C及8D中可看出，ARD 14可經配置以顯示與可樂罐29相關聯的擴增實境內容16，包含電視機的表示。擴增內容16可包含待控制的裝置的表示。圖8B、8C及8D說明其中現實世界項目可樂罐29可充當現實世界電視機的遙控器的實例。ARD 14提供擴增內容16，其表示可用以控制電視的某些功能的控制項。在圖8B、8C及8D中所說明的實例中，用戶可通過移動或操縱現實世界對象可樂罐29來控制電視的某些功能。舉例來說，在圖8B中，用戶可向左或向右旋轉可樂罐29以調整電視的音量，或向上或向下移動可樂罐以改變電視上的頻道。在圖8C中所說明的實例中，用戶可向左或向右旋轉可樂罐29以調整電視的音量，且在圖8D中所說明的實例中，使用可向左或向右旋轉可樂罐29以改變電視的頻道。
[0069]儘管控制項在圖8B、8C及8D中所說明的實例中表示為箭頭，但其它類型的控制項可包含在擴增內容16中，例如擴增的可使用狀態的表示(例如，旋鈕、按鈕、控制杆)、使用方向(例如，如何旋擰或抬升可樂罐29以影響音量或改變TV上的頻道)或這些元素的組合。在圖8B、8C及8D中所說明的實例中，雜誌12可充當由ARD 14 114顯示的擴增內容中的參考平面16。在此實例中，雜誌12充當用於確定罐29是否已移動的參考平面。
[0070]圖9是用於在ARD 14上提供擴增實境的實例方法的流程圖。ARD 14的控制單元120可包含用於提供擴增實境體驗的擴增邏輯(框905)。所述擴增邏輯執行對象檢測以檢測在ARD 14的相機的視野中的對象(框910)。所述擴增邏輯還可任選地存取參考資料庫以進行對象檢測(框915)。所述參考資料庫可包含可通過擴增邏輯擴增的各種類型的對象的屬性，且所述擴增邏輯可比較在由ARD 14的相機俘獲的視頻或圖像中檢測到的對象的屬性。所述擴增邏輯可接著檢測在ARD 14的相機的視野中的有形目標項目(框920)。可使用參考信息檢測所述對象以對所發現的對象的類型進行分類(如果參考資料庫可用)。一旦已檢測到對象，所述擴增邏輯就可執行對象擴增(框925)。所述擴增邏輯還可接著執行對象跟蹤(框930)。舉例來說，返回參考圖7，如果用戶將玩偶21隨相機的視野移動到不同地點或用戶移動所述ARD而使得玩偶21在相機的視野內移動，則所述擴增邏輯可跟蹤所述對象在顯示於ARD 14上的「檢視區」內的地點，且在對象的新地點處顯示用於所述對象的擴增(框935)。所述擴增邏輯還可周期性地確定是否有任何新對象已進入相機的視野(框940)。如果檢測到新對象，則可將所述對象添加到待跟蹤及擴增的對象列表(框945)，且所述擴增邏輯可繼續在已檢測到的對象上執行對象擴增(框925)。
[0071]以下實例說明可如何將本文所揭示的擴增實境技術實施於具有擴增實境能力的裝置中。
[0072]根據本發明的方面，ARD 14可經配置以控制擴增實境、有形及話音用戶接口的組合來進行社會性遊戲。在一個實施方案中，ARD 14可經配置以促進社會遊戲探索及學習。此技術獎勵發聲以促進語言發展且提供大腦刺激。用戶可由於在與ARD 14交互的同時進行的發聲而受到獎賞。舉例來說，用戶30可用角色21參與到社會遊戲中。在用戶正發聲時，顯示在由用戶握持的裝置14上的角色的擴增實境表示31可能正顯示聽取擴增。與角色相關聯的聽取擴增可包含角色停止說話、通過「看」向裝置的屏幕而面向所述用戶，及指示注意力且促進用戶發聲的的其它此類動作。
[0073]顯示在裝置上的擴增實境表示中的角色可經配置以對用戶作出響應及/或引發用戶的響應。ARD 14可包含用以控制角色在場景的擴增實境表示中的行為的擴增邏輯。在實例以下實例中，與角色相關聯的擴增邏輯可經配置以對在ARD 14的麥克風輸入中檢測到的音頻事件作出響應。
[0074]再次參考圖8A、8B、8C及8D中所說明的實例，可使用話音命令來與由ARD 14顯示的經擴增視圖交互。舉例來說，用戶30可將相機指向例如可樂罐29等項目，且說出「TV」以使可樂罐29與現實世界環境中的電視相關聯。ARD 14可經配置以在可樂罐29上顯示與電視34相關聯或與用於控制電視的功能的控制項(圖8B、8C及8D)相關聯的擴增內容16，例如電視的表示(圖8A)。還可使用話音命令來將屬性指派給項目。舉例來說，用戶可說出「音量」以將音量控制項添加到與由ARD 14顯示的場景中的可樂罐29相關聯的擴增內容16，或用戶可說出「頻道」以將頻道控制項添加到與由ARD 14顯示的場景中的可樂罐29相關聯的擴增內容16。用戶可接著經由話音命令、ARD 14的觸控螢幕或其它用戶接口與具備擴增內容16的控制項交互。
[0075]圖10是用於在ARD 14上提供擴增實境的實例方法的流程圖。ARD 14運行對象檢測以檢測視野中的對象(框1005)。如上文所描述，ARD 14包含可俘獲現實世界場景的圖像或視頻的相機。ARD 14的擴增邏輯可分析場景的圖像或視頻以檢測待擴增的對象。舉例來說，可通過擴增邏輯及針對所檢測對象提供的擴增檢測玩偶或其它現實世界項目。ARD14可顯示表示在ARD 14的相機的視野中可見的現實世界環境的至少一部分的「檢視區」。擴增邏輯可經配置以將此視圖上的視聽內容(在本文中被稱作「擴增」)上覆到現實世界環境中以提供現實世界環境的擴增實境視圖。所述擴增邏輯可提供在背景、前景及/或在ARD14的視野內的一或多個有形對象上的上覆。
[0076]ARD 14的擴增邏輯可辨識可在ARD 14的視野內的有形對象(框1010)。所述擴增邏輯可經配置以實時地估計一或多個對象的姿勢(位置及定向)。所述擴增邏輯可經配置以辨識現實世界環境中的一或多個對象上的基準標記以辨識在ARD 14的視野內的有形對象。所述擴增邏輯還可經配置以使用自然特徵跟蹤來辨識在ARD 14的視野內的有形對象。所述擴增邏輯還可經配置以使用其它技術或其組合來辨識在ARD 14的視野內的有形對象。ARD 14可接著起始用於所辨識項目的視聽擴增(框1015)。舉例來說，如果所辨識項目為洋娃娃，則擴增邏輯可在由ARD 14顯示的經擴增視圖中顯示上覆在現實世界對象上的洋娃娃的動畫表示。所述擴增邏輯還可經配置以將表示製成動畫以唱歌、說話、在顯示於ARD 14上的AR環境中隨處移動，或進行其它此類行為。
[0077]可接著通過擴增邏輯起始話音檢測(框1020)。如果檢測到話音(框1025)，則擴增邏輯可修改角色的擴增以使得角色展現聽取行為(框1030)。舉例來說，角色可展現一或多個行為，例如停止說話、轉身面向ARD 14的屏幕、以專注方式向一側伸直頭部，及提供角色正在聽取的口頭指示。舉例來說，可將角色製成動畫以在用戶正說話時周期性地發出
_，，

Ο
[0078]圖11提供基於從用戶接收的音頻輸入的角色的行為方法的流程圖。所述方法以聽取來自用戶的音頻輸入(框1155)開始。擴增邏輯可接著確定用戶是否正在說話(框1160)。可修改所述方法以辨識用戶正在說話、唱歌、鼓掌、吹口哨還是正在提供其它類型的用戶輸入(框1162)。如果用戶並未說話(或提供其它類型的可聽響應)，則可起始引發用戶響應的動作(框1165)。缺乏來自用戶的可聽響應可指示缺乏來自用戶的注意，其可指示用戶已失去興趣或厭煩了當前場景。擴增邏輯可觸發角色的擴增實境表示31以執行一些動作以吸引用戶的注意。舉例來說，擴增邏輯可經配置以致使角色的擴增實境表示31開始唱歌、跳舞，或執行某一其它動作以引起用戶的注意。擴增邏輯還可經配置以辨識用戶是否未能在擴展時間周期內作出響應(其可指示用戶已離開、入睡或其它)、不再參與到擴增實境，且關斷或進入「休眠模式」，直到再次檢測到來自用戶的可聽聲音。
[0079]如果將用戶輸入中的內容辨識(框1170)為觸發內容，則可產生對用戶輸入的情境性響應(框1175)。舉例來說，如果用戶說出觸發單詞「狗」，則擴增邏輯可經配置以產生情境性響應，例如將角色製成動畫以提供響應「我喜歡狗！ 」在另一實例中，如果檢測到笑聲，則擴增邏輯可經配置以響應於在用戶輸入中檢測到笑聲而將角色製成動畫以笑。
[0080]否則，如果沒有發現情境匹配，或由用戶提供的可聽響應不可理解，則擴增邏輯可經配置以產生對可聽輸入的替代響應，所述替代響應不基於來自用戶的可聽輸入的內容(框1180)。舉例來說，擴增邏輯可經配置以將角色的擴增實境表示31製成動畫以說出「那是什麼？」或「哦，謝謝您與我分享。」擴增邏輯可經配置以返回到框1155，繼續聽取來自用戶的可聽輸入。
[0081]擴增邏輯可進一步經配置以進一步使用戶體驗更豐富。舉例來說，擴增邏輯可經配置以通過促進用戶使用以下技術中的一或多者來講話而促進用戶練習言語表達技能。
[0082]擴增邏輯可經配置以辨識用戶何時開始談話，且執行以下動作中的一或多者:(a)如果角色31的擴增實境表示當前正說話以吸引用戶發聲的關注，則停止說話。(b)將角色的擴增實境表示31製成動畫以提供角色正注意用戶的印象。舉例來說，可將角色的擴增實境表示31製成動畫以在用戶的方向上轉身。舉例來說，角色的擴增實境表示31可經配置以面向場景的擴增實境表示中的裝置的屏幕，以使得看起來角色的擴增實境表示31正面向用戶。(c)當用戶停止說話時，以動畫及/或發聲作出響應。
[0083]用動畫及/或發聲進行的響應可經配置以提供不同響應度。響應於簡單的音頻觸發，例如噪聲、笑聲、話音、鼓掌，由角色的擴增實境表示31提供的響應可更模糊且具較少上下文特定性。舉例來說，可將角色製成動畫以用微笑及點頭作出響應或可發出簡單的驚嘆詞，例如「哦！」在話音或聲音辨識實施於擴增邏輯中且辨識出觸發聲音或單詞的情況下，可提供更適合情境的響應。舉例來說，如果檢測到一陣笑聲，則擴增邏輯可經配置以將角色的擴增實境表示31製成動畫以與用戶一起笑。在另一實例中，如果檢測到響亮的噪聲，則擴增邏輯可經配置以將角色的擴增實境表示31製成動畫以說出「那是什麼？」在另一實例中，如果檢測到話音，則擴增邏輯可經配置以將角色的擴增實境表示31製成動畫以說出「謝謝您與我分享！ 」
[0084]在一些情況下，擴增邏輯可經配置以利用話音辨識算法來辨識來自用戶的可聽聲音中的一組觸發單詞或短語，且產生對用戶輸入的上下文適當響應。舉例來說，如果在擴增經配置以辨識出單詞「狗」的情況下用戶大喊「麥迪遜有一條新狗，它的毛真蓬鬆」，則擴增邏輯可經配置以將角色的擴增實境表示31製成動畫以說出「哦，我喜歡狗！ 」
[0085]在用戶尚未發展出強的言語表達技能且用戶發音可能又不太理想的情況下，辨識來自用戶的音頻響應中的特定單詞可尤其具有挑戰性。擴增邏輯可經配置以基於場景的上下文搜索來自用戶的可聽輸入中的特定單詞。舉例來說，如果ARD 14上描繪的擴增實境場景描繪狗、鉛筆、蘋果及鴨子，則擴增邏輯可經配置以搜索與所述場景中可見的對象相關聯的單詞。舉例來說，擴增邏輯可使狗與單詞「狗」、「幼犬」及「小狗」相關聯，且使鴨子與單詞「鴨子」、「鳥」及「小鴨」相關聯。
[0086]還可依據用戶的所確定言語表達水平來定製對用戶的可聽輸入的響應。舉例來說，擴增邏輯可經配置以基於在用戶的響應中識別的單詞來確定與所述用戶相關聯的水平言語表達水平。較複雜的單詞及/或短語可與較高言語表達水平相關聯，且擴增邏輯可經配置而響應以用戶的適當言語表達水平。擴增邏輯還可經配置以選擇對用戶音頻輸入的響應，其與稍高的言語表達水平相關聯以促進用戶的言語表達水平的提高。
[0087]還可定製由ARD 14顯示的場景的內容以將用戶說出的一或多個單詞或短語包含到場景的稍後部分中。舉例來說，如果用戶在與ARD 14交互的同時提及狗或足球，則狗或足球可集成到場景中。舉例來說，角色的擴增實境表示31可踢足球、提及狗，或在場景中稍後與狗玩耍。將用戶說出的單詞或短語集成到場景中可有助於使用戶更完全地投入到由ARD 14提供的AR環境。
[0088]擴增邏輯還可經配置以基於用戶的語音輸入而驅動環境中的角色及/或對象的動畫化。舉例來說，如果用戶提及其在足球遊戲中獲勝，則場景中的角色的擴增實境表示31可通過說出「您真擅長踢足球。」來作出響應，且開始踢足球。如果場景中涉及兩個以上角色，則角色的擴增實境表示31可經配置以響應於用戶的可聽輸入而與彼此交互。舉例來說，第一角色的擴增實境表示可詢問第二角色的擴增實境表示:「您也喜歡足球嗎？ 」，且所述兩個角色可接著開始來回踢足球。
[0089]擴增邏輯可經配置以使用戶投入且持續對話以促進用戶的言語表達技能的發展。用於促進此類發聲的一個技術包含持續與角色轉換，即使用戶移動裝置以使得角色超出相機的視野範圍且因此在ARD 14所提供的「檢視區」中不再可見。如果繼續檢測到來自用戶的話音響應，則應繼續轉換，即使對話中所涉及的一或多個角色不再處於ARD 14的檢視區中。此外，如果用戶將另一角色添加到ARD 14的視野，則擴增邏輯可經配置以識別新添加的角色且提供用於新添加的角色的視聽擴增。可將新添加的角色包含在已經在進行中的場景中。
[0090]擴增邏輯可包含一系列話音辨識方案以用以試圖識別由用戶提供的可聽響應。擴增邏輯可經配置以使用優雅降級方案用於確定如何對用戶作出響應。舉例來說，擴增邏輯可經配置以一個或話音辨識方案應用於可聽輸入，其中每一方案使所提出的單詞或短語與發聲相關聯且指派發聲為那一特定單詞或短語的百分比確定性。擴增邏輯可經配置以基於確定性百分比選擇對發聲的響應。在與發聲相關聯的確定性降低到預定閾值以下的情況下，可響應於所述發聲而發出簡單音頻觸發響應，即使可能不能以所要確定性水平確定用戶所說的內容。此外，如果在用戶的可聽響應中不能識別出任何單詞，則擴增邏輯可經配置以應用識別邏輯以確定來自用戶的可聽響應為語音、笑聲、哭聲還是非發聲(例如鼓掌)。如果可進行確定，則擴增邏輯可選擇對用戶的適當響應。如果無法對來自用戶的可聽響應進行分類，則可通過擴增邏輯選擇簡單的音頻觸發響應。
[0091]根據本發明的方面，ARD 14可經配置以控制擴增實境、有形及話音用戶接口的組合以便於遊戲。在一個實施方案中，ARD 14可經配置以通過獎勵發聲而促進社會遊戲探索、語言發展及大腦刺激。ARD 14可經配置以提供話音命令，用戶可使用所述話音命令來推進遊戲且增強用戶體驗。在一個實例中，在用戶30玩耍有形玩偶21且「經由」ARD 14看向經擴增場景16 (如在圖7中)時，用戶的手可能正忙於操縱玩偶21且握持ARD 14。用戶可通過將話音命令呈現給ARD 14而與場景中的對象交互。
[0092]圖12是用於在辨識話音命令的ARD 14上提供擴增實境的實例方法的流程圖。ARD14運行對象檢測(框1205)。如上文所描述，ARD 14包含可俘獲現實世界場景的圖像或視頻的相機。ARD 14可包含擴增邏輯，所述擴增邏輯可分析場景的圖像或視頻以檢測在由ARD14提供的視圖中可能經擴增的對象，例如玩偶或其它現實世界項目。ARD 14的擴增邏輯可接著辨識有形對象(框1210)。ARD 14可接著起始用於所辨識項目的視聽擴增(框1215)。舉例來說，如果所辨識項目為洋娃娃，則擴增邏輯可在顯示於ARD 14上的AR表示中顯示洋娃娃的草圖版本。所述擴增邏輯還可經配置以致使角色唱歌、說話、在顯示於ARD 14上的AR環境中四處移動，或進行其它此類行為。
[0093]可接著通過所述擴增邏輯起始話音檢測以識別由用戶說出的話音命令(框1220)。如果檢測到話音命令(框1225)，則所述擴增邏輯可修改角色的擴增以執行與所述命令相關聯的動作(框1230)。舉例來說，在圖14中所說明的實例中，用戶可說出「使用馬桶」，且擴增邏輯可經配置以將角色的擴增實境表示31製成動畫以在提供於ARD 14上的場景的AR表示中使用馬桶。話音命令還可為對角色的擴增實境表示31提出的問題的響應。舉例來說，角色的擴增實境表示31可詢問用戶「我應該洗澡嗎？ 」如果用戶響應以「是的」，則擴增邏輯可觸發角色的擴增實境表示31在AR場景中洗澡的動畫。如果用戶說出「不」或不作響應，則擴增邏輯可不觸發角色的擴增實境表示31在AR場景中洗澡的動畫，因為觸發事件尚未發生。
[0094]根據本發明的方面，ARD 14可經配置以控制擴增實境、有形及話音用戶接口的組合以實現持續參與。在一個實施方案中，ARD 14可經配置以促進參與以幫助發展言語表達技能。言語表達可用作確定參與及學習深度的指標。為獎勵言語表達且保持用戶參與，可使用用戶的言語表達來驅動場景。出於本發明的目的，場景被定義為顯示於ARD 14上的AR環境內的連續動作流程。擴增邏輯可經配置而以數種方式對言語表達作出響應以驅動場景。舉例來說，如果用戶在當前場景期間言語表達很多，則擴增邏輯可經配置以使場景保持在所述主題上，或深化其當前主題，或保持在當前目標等級內容處。如果用戶不進行言語表達，或減少言語表達，則擴增邏輯可經配置以將場景移動到新主題上或改變內容的目標等級。
[0095]圖13是用於在ARD 14上提供擴增實境以提供用戶的持續參與的實例方法的流程圖。ARD 14運行對象檢測(框1305)。如上文所描述，ARD 14包含可俘獲現實世界場景的圖像或視頻的相機。ARD 14可包含擴增邏輯，所述擴增邏輯可分析場景的圖像或視頻以檢測在由ARD 14提供的視圖中可能經擴增的對象，例如玩偶或其它現實世界項目。ARD 14的擴增邏輯可接著辨識有形對象(框1310)。ARD 14可接著起始用於所辨識項目的視聽擴增(框1315)。舉例來說，如果所辨識項目為洋娃娃，則擴增邏輯可在顯示於ARD 14上的AR表示中顯示洋娃娃的草圖版本。所述擴增邏輯還可經配置以致使角色唱歌、說話、在顯示於ARD 14上的AR環境中四處移動，或進行其它此類行為。
[0096]可由擴增邏輯起始話音檢測以識別用戶的發聲(框1320)。話音檢測可使用音頻消除濾波來濾除超出發聲的預期頻率範圍的聲音以消除不合需要的音頻輸入，例如背景噪聲，其可能不指示用戶的參與度。在一些情況下，話音檢測邏輯可經配置以尋找特定發聲。例如，用戶說出的特定單詞或短語。如果檢測到發聲(框1325)，則擴增邏輯可經配置以以將場景的視聽擴增提供在ARD 14上(框1330)。所述擴增邏輯可經配置以繼續提供擴增的至少音頻部分，而不管角色的擴增實境表示31是否保持處於ARD 14的顯示器上可見的檢視區中。舉例來說，所述用戶可為一用戶，且所述用戶可允許裝置移動或「偏移」出場景的視圖。此類移動可指示用戶可能不再參與到場景中且擴增邏輯不再需要產生角色的擴增實境表示31的表示。然而，只要用戶繼續發聲，擴增邏輯就可經配置以持續播放與角色的擴增實境表示31相關聯的擴增內容的音頻部分，因為持續發聲可指示用戶可能仍參與到場景中。舉例來說，如果用戶可響應於角色的擴增實境表示31唱歌而唱歌或跳舞。用戶的移動可致使ARD 14偏移且與角色的擴增實境表示31相關聯的玩偶移出相機的視圖。擴增邏輯可經配置以持續播放用於角色的擴增實境表示31的內容的至少音頻部分，即使角色在ARD14的顯示器上的可見表示可能不再可見。
[0097]根據本發明的方面，ARD 14可經配置以控制擴增實境、有形及話音用戶接口的組合以實現群組遊戲。在一個實施方案中，ARD 14可經配置以促進群組遊戲以幫助發展言語表達技能。有形用戶接口吸引多用戶交互且可用以促進用戶一起遊戲。此聯合遊戲行為可刺激玩遊戲的用戶之間的言語表達。所述方法通過用聚焦擴增獎勵共同言語表達來促進共同語言表達。
[0098]在群組遊戲期間，擴增邏輯可經配置以確定哪一用戶正提供可聽輸入以及擴增邏輯是否可對那一用戶作出響應。在其中多個用戶可使用單個裝置的實例中，擴增邏輯可識別檢測為裝置的主用戶的最響話音，且以一種方式對從所述主用戶接收的可聽輸入作出響應而以不同方式(如果作出相應)對來自次用戶的可聽輸入作出響應。在多個ARD—起使用的情況下，所述ARD可經配置以識別其何時可接近於其它ARD 15。在一些情況下，ARD 14可包含無線連接性，例如用於連接到WLAN連接的WiFi連接性，且ARD 14可使用由第二 ARD15發射的無線信號來檢測到第二 ARD 15的接近度。
[0099]根據本發明的方面，兩個用戶30及32可共享單個ARD 14。在本發明的一些其它方面中，每一用戶30及32可具有其自身的ARD 14或15，如圖14中所示。在兩者實例中，兩個用戶都可提供可由相應ARD 14及15辨識的話音命令。根據本發明的實施例，多個ARD可經配置以跨越所述多個ARD維持擴增。如圖14中所說明，如果具有對應具有擴增實境功能的裝置的多個用戶在相同時間或接近相同的時間正以相同遊戲設定玩遊戲，則某些擴增元素可保持跨越多個ARD實質上相同，而其它擴增元素可不同。
[0100]在一個示範性實施方案中，如果用戶30將狗25變為超級狗35，另一用戶32在另一 ARD 15上可同樣看到狗25在其相應擴增16及17中變為超級狗35。注意，來自每一 ARD的聲音擴增可與特定ARD可能指向的遊戲有關。
[0101]ARD 14的擴增邏輯可經配置以識別裝置的主用戶。在多個用戶使用單個ARD 14的情況下，ARD 14可識別裝置的主用戶且向主用戶提供的話音命令及/或言語表達給予優先級。舉例來說，如果當前沒有與ARD 14相關聯的主用戶，則ARD 14可經配置以選擇最響的用戶作為裝置的主用戶，因為此用戶可能為最接近於所述裝置的用戶。在已使用戶的話音與ARD 14相關聯之後，ARD 14可經配置以繼續將那一話音辨識為主用戶。ARD 14的擴增邏輯可經配置以對來自主用戶的發聲提供優勢聚焦，且對來自其它用戶的發聲提供次級聚焦。通過此方法，擴增邏輯可解決來自用戶的衝突性輸入，有利於裝置的主用戶。
[0102]在多個用戶(30及32)正使用多個ARD 14及15的情況下，例如在圖14中，每一ARD 14或15可識別那一裝置的主用戶，且向主用戶提供的話音命令及/或言語表達給予優先級。如上文所描述，如果當前沒有與ARD 14或15相關聯的主用戶，則ARD 14或15可經配置以選擇最響的用戶作為裝置的主用戶，因為此用戶可能為最接近於所述裝置的用戶。在兩個或兩個以上ARD 14及15彼此緊鄰的情況下，擴增邏輯可經配置以確定所述ARD是否正用於相同場景。舉例來說，在確定ARD是否用於相同場景時，可考慮ARD到彼此的接近度及ARD的定向。在可使用參考背景12或其它有形目標項目來界定「房間」的情況下，擴增邏輯可經配置以與另一 ARD的擴增邏輯共享信息，以確定兩個用戶是否都可採用相同場景的部分。如果所述ARD正用於不同場景，則擴增邏輯可經配置以識別裝置的主用戶且對那一用戶作出響應。如果兩個ARD都正用於相同場景且所述裝置中的一者可能不聚焦於場景上(例如，裝置可能已被用戶放下)，可一前一後地考慮話音，且可選擇裝置的主用戶。所述ARD(14及15)可經配置以使用點對點通信進行通信。舉例來說，所述ARD可經配置以使用藍牙、W1-Fi或其它無線協議進行通信。在一些實施方案中，所述ARD (14及15)可經配置以與無線接入點或無線基站進行通信，且可經由中間物伺服器將裝置之間的消息路由到彼此。在所述ARD之間交換的消息可包含每一對象相對於目標的姿勢及每一裝置接收的話音命令，以使得由所述兩個或兩個以上裝置顯示的擴增內容可同步。
[0103]擴增邏輯可經配置以供多個用戶使用。舉例來說，如果第一用戶提及足球且第二用戶提及狗，則擴增邏輯可將足球及狗兩者集成到場景中。擴增邏輯可經配置以將場景中的角色製成動畫以說出「我喜歡狗和足球」。
[0104]擴增邏輯還可經配置以促進每一用戶參與且發聲。如果一個話音聽到的次數遠多於另一話音，則擴增邏輯可提示來自第二用戶的響應。舉例來說，擴增邏輯可經配置以將場景中的角色製成動畫以說出「你呢？你喜歡什麼？ 」
[0105]擴增邏輯還可經配置以緩解或避免用戶之間的對抗。舉例來說，如果從一或多個話音檢測到爭論性語調或辱罵性詞語，則擴增邏輯可經配置以相應地作出響應。舉例來說，擴增邏輯可經配置以將角色的擴增實境表示31製成動畫以提示用戶端正其態度或引入新主題。舉例來說，角色可能大喊「嘿！你知道我真的喜歡什麼嗎？冰淇淋！」，則開始唱歌，或角色可能大喊「嘿，現在你們都注意！ 」，則唱一首關於在一起愉快玩耍的歌曲。
[0106]擴增邏輯可經配置以處置在群組遊戲期間由不同用戶給出的衝突性命令。舉例來說，如果兩個用戶正共享同一 ARD 14且接收到衝突的命令，例如用戶1說出「伯尼踢足球」且用戶2說出「伯尼小憩一會」，則擴增邏輯可解決所述衝突。擴增邏輯可經配置以使一個用戶給出的命令優先於另一用戶(例如，先到先得)。擴增邏輯可經配置以忽略所述命令中的一者或依次執行所述命令。在每一用戶具有ARD 14或正使用多個ARD的實施方案中，擴增邏輯可經配置而以類似於單個用戶裝置的方式解決衝突。
[0107]圖15為用於在一 ARD 14或多個裝置上向多個用戶提供擴增實境的實例方法的流程圖。可在第一 ARD 14處檢測第二 ARD 15的存在(框1505)。響應於檢測到第二 ARD 15接近於第一 ARD 14，第一 ARD 14可確定所述第二 ARD 15是否正顯示與由第一 ARD 14正顯示的擴增實境內容相關聯的擴增實境內容(框1510)。可在第一 ARD 14處分析多個用戶的發聲(框1515)，且可基於所述發聲確定第一 ARD 14的主用戶(框1520)。第一 ARD 14可接著定製由所述裝置提供的擴增實境內容以響應於所述發聲而提供情境相關內容。在選擇情境相關內容以提供給用戶時，第一 ARD 14可向主用戶提供的發聲給出比其它用戶提供的發聲更大的權重(框1525)。
[0108]圖16為用於在多個ARD上提供擴增實境內容的實例方法的流程圖。圖16中所說明的方法可用以實施其中一起使用多個ARD的擴增邏輯。所述方法可實施於ARD 14的擴增邏輯中。或者，一些或所有框可由伺服器實施。所述方法包含:從ARD 14的相機接收下一圖像(框1605)，及確定已知對象相對於相機的位置及定向(框1610)。如上文所描述，擴增邏輯可經配置以使用各種技術識別在相機的視野內的有形現實世界對象。可接著更新場景的當前狀態(框1615)。擴增邏輯可維持關於場景的當前狀態的信息，例如對象在場景內的位置及定向。如果一或多個對象移動，則可更新關於場景的當前狀態的信息以反映這些改變。所述方法還包含可與方法的第一分枝(框1605、1610及1615)實質上並行執行的第二分枝。包含在所述方法的第二分枝中的框還可在包含在方法的第一分枝中的框之前、之後或與其互混而依次執行。所述第二分枝可包含接收來自ARD 14的說話者的下一聲音樣本(框1620)。可接著將聲音輸入流分段成個別聲音、單詞及/或短語(框1625)。可識別與單詞或短語相關聯的說話者，且可將單詞或短語匹配到在資料庫中的已知單詞或短語的詞典(框1630)。如果先前已識別說話者，則可更新關於場景的信息以使從那一用戶接收的新發聲相關聯。如果先前尚未識別說話者，則擴增邏輯可開始跟蹤從那一用戶接收的發聲。
[0109]可接著將關於場景及所辨識單詞、短語及/或聲音的狀態更新的信息發送到可能接近於ARD 14的其它ARD (框1632)。ARD 14或另一 ARD 15的擴增邏輯還可經配置以確定兩個或兩個以上裝置是否正用以與相同場景交互，且在所述裝置不顯示相同場景的情況下不共享或捨棄關於場景狀態的所接收信息。還可從其它ARD接收關於狀態更新及所辨識聲音、單詞及/或短語的信息(框1635)。可在從其它ARD接收的內容中識別與所述單詞或短語相關聯的說話者，且可進行到資料庫中的已知單詞及/或短語的匹配(框1640)。擴增邏輯可接著基於對表示場景的狀態的信息所進行的更新而觸發動作(框1645)，且顯現擴增以反映場景的經更新狀態(框1650)。
[0110]圖17說明本文所述的ARD的另一實施方案。根據本發明的方面，ARD 14包含傳感器1705(例如，陀螺儀、加速度計、慣性測量單元(IMU)及/或其它類型的傳感器)及用於處理由傳感器1705收集的數據的傳感器處理器1710。ARD 14還包含相機1715及相機處理器1720。相機1715可經配置以俘獲可使用上文所描述的擴增邏輯擴增的現實世界場景的圖像及/或視頻。相機處理器1720可經配置以處理由相機1720收集的數據，且將由相機收集的數據轉換為可由擴增邏輯使用的格式。相機處理器1720可經配置以對從相機收集的數據執行各種類型的圖像或視頻處理以準備用於顯示在顯示器1725上的內容。
[0111]顯示器1725可為包含觸摸傳感器1735的觸控螢幕接口。圖形處理器1730可用以產生供顯示於顯示器1725上的圖形數據。擴增邏輯可經配置以將命令發送到圖形處理器1730以顯示經擴增圖像或視頻內容。觸摸傳感器處理器1740可處理由觸摸傳感器1735輸出的數據以識別用戶何時觸碰觸控螢幕。觸摸傳感器處理器1740可經配置以識別各種觸摸示意動作，包含對觸控螢幕的多手指觸碰。擴增邏輯可使用由觸摸傳感器處理器1740確定的示意動作信息來至少部分地確定擴增應如何響應於用戶輸入而作出反應。通信控制器1750可經配置以使得裝置能夠使用一個以上無線協議進行通信。通信控制器1750可經配置以允許裝置發送數據且從附近的無線裝置(包含無線接入點及其它ARD)接收數據。存儲器1760可包含易失性及/或持久性存儲器以用於存儲由ARD 14的各種組件使用的數據。存儲器1760可用以存儲用於包含在裝置中的處理器中的一或多者的處理器可執行程序代碼。在一些情況下，擴增邏輯可實施為存儲於存儲器1760中的處理器可執行指令。處理器控制器1755可經配置以控制傳感器處理器1710、相機處理器1720、圖形處理器1730及觸摸傳感器處理器1740中的一或多者。傳感器處理器1710、相機處理器1720、圖形處理器1730及觸摸傳感器處理器1740中的一或多者還可由控制器處理器1755實施。如圖17中所描述的ARD 14的各框可經由系統總線1770彼此通信。
[0112]根據本發明的方面，可使用數種技術執行識別及跟蹤圖像幀中的特徵。在一種方法中，可通過檢查每一 2乘2梯度矩陣的最小特徵值來執行識別特徵的方法。接著，使用最小化兩個窗之間的差異的牛頓-拉普森方法(Newton-Raphson method)來跟蹤特徵。多解析度跟蹤方法允許圖像之間的相對較大位移。注意，在從一個幀到下一幀跟蹤特徵期間，錯誤可能累積。為檢測潛在不良的特徵，移動裝置可經配置以監視在當前幀中圍繞所述特徵的窗中的圖像信號是否仍類似於在前一幀中圍繞所述特徵的圖像信號。因為可在許多幀上跟蹤特徵，因此圖像內容可能變形。為解決此問題，可用相似度或仿射映射來執行一致性檢查。
[0113]根據本發明的方面，為識別圖像中的對象，可提取所述對象上的若干點以提供所述對象的特徵描述(也稱為關鍵點、特徵點或簡稱為特徵)。當嘗試在含有許多其它對象的測試圖像中定位所述對象時，可接著使用從訓練圖像提取的此描述來識別所述對象。為執行可靠辨識，甚至在圖像縮放、噪聲及照明改變下仍可檢測從訓練圖像提取的特徵。此類點通常位於圖像的高對比度區域，例如對象邊緣上。
[0114]這些特徵的另一特性為其間的在原始場景中的相對位置可不從一個圖像到另一圖像而改變。舉例來說，如果僅將車門的四個拐角用作特徵，則其可有效而不管車門的位置如何；但如果使用幀中的若干點，則如果車門打開或關閉，辨識可能失敗。類似地，如果在所處理的組中的兩個圖像之間發生其內部幾何布置的任何改變，則位於鉸接或柔性對象中的特徵通常可能無效。在一些實施方案中，SIFT檢測且使用來自圖像的大量特徵，其可減少由所有特徵匹配錯誤的平均錯誤的局部變化引起的錯誤的貢獻。因此，所揭示方法可識別甚至處於雜物中且部分被遮擋的對象；因為SIFT特徵描述符對於均勻縮放、定向可不變，且對於仿射失真及照明改變部分地不變。
[0115]舉例來說，可首先從一組參考圖像提取對象的關鍵點且將其存儲於資料庫中。通過比較來自新圖像的每一特徵與此資料庫且基於其特徵向量的歐幾裡得距離找出候選匹配特徵來在新圖像中辨識對象。從整組匹配，可識別在對象及其在新圖像中的地點、縮放及定向上一致的關鍵點的子組以濾出良好匹配。可通過使用一股化的霍夫(Hough)變換的雜湊表實施方案來執行一致群集的確定。在對象及其姿勢上一致的3個或3個以上特徵的每一群集可接著經受進一步詳述的模型驗證，且隨後可捨棄離群值。可接著基於擬合準確度及可能的錯誤匹配的數目來計算一組特定特徵指示存在對象的概率。通過測試的對象匹配可以高置信度識別為正確的。
[0116]根據本發明的方面，圖像特徵產生將圖像變換成大的特徵向量集合，所述特徵向量中的每一者對於圖像平移、縮放及旋轉可為不變的，且對於照明改變為不變的並且對於局部幾何失真是穩健的。這些特徵與靈長類動物視覺中用於對象辨識的下顳葉皮層中的神經元具有類似特性。關鍵地點可被定義為在尺度空間(scale space)中應用於一系列經平滑化且重新取樣的圖像的高斯功能的差異結果的最大值及最小值。可捨棄低對比度候選點及沿著邊緣的邊緣響應點。優勢定向指派給局部化的關鍵點。此方法確保關鍵點對於匹配及辨識更為穩定。可接著通過考慮圍繞所述關鍵地點的半徑的像素、模糊化且重新取樣局部圖像定向平面來獲得對局部仿射失真穩健的SIFT描述符。
[0117]特徵匹配及編索引可包含存儲SIFT關鍵點及從新圖像識別匹配的關鍵點。在一種方法中，也稱為最佳區間優先搜索方法(best-bin-first search method)的k_d樹算法的修改可用以使用有限量的計算來以高概率識別最接近的相鄰者。最佳區間優先算法使用k-d樹算法的經修改搜索次序以使得可按距查詢地點最近的距離的次序搜索特徵空間中的區間。此搜索次序需要使用基於堆棧的優先級隊列來有效地確定搜索次序。可通過從訓練圖像識別每一關鍵點在關鍵點資料庫中的最接近的相鄰者來找出每一關鍵點的最佳候選匹配。最接近的相鄰者可被定義為距給定描述符向量具有最小歐幾裡得距離的關鍵點。可通過取距最近相鄰者的距離與次近者的距離的比率來確定匹配是正確的概率。
[0118]在一個示範性實施方案中，可拒絕距離比率大於0.8的匹配，此舉消除90%的錯誤匹配，同時捨棄小於5%的正確匹配。為進一步改進最佳區間優先算法的效率，可在檢查預定數目個(例如100個)最接近的相鄰候選者之後停止搜索。對於具有100，000個關鍵點的資料庫，此可提供較之確切的最接近相鄰者搜索加速約2個數量級，而又導致正確匹配數目的小於5%的損失。
[0119]注意，對於所述示範性實施方案，可使用霍夫變換來將可靠模型假設集群以搜索在特定模型姿勢上一致的關鍵點。可使用霍夫變換來通過使用每一特徵選出可與所述特徵一致的對象姿勢而識別具有一致解釋的特徵群集。當發現特徵群集選出對象的相同姿勢時，解釋正確的概率可高於任何單個特徵。可產生雜湊表中的條目以依據匹配假設預測模型地點、定向及縮放。可搜索雜湊表以識別在區間中具有至少3個條目的群集，且可將區間排序成大小的降序。
[0120]根據本發明的方面，SIFT關鍵點中的每一者可指定2D地點、縮放及定向。此外，資料庫中的每一匹配關鍵點可具有與訓練圖像(在其中發現所述關鍵點)有關的其參數的記錄。由這4個參數暗示的相似度變換可近似等於3D對象的6自由度姿勢空間，並且也不考量任何非硬質變形。因此，示範性實施方案可對於定向使用30度的寬區間大小，對於縮放使用因數2，且對於地點使用0.25倍的最大投影訓練圖像維度(使用預測縮放)。可向以較大縮放產生的SIFT關鍵樣本給出兩倍於以較小縮放產生的樣本的權重。對於此方法，較大縮放可實際上能夠濾出用於以較小縮放進行檢查的最可能相鄰者。此方法還通過向噪聲最小的縮放給出較大權重而改進辨識性能。根據本發明的方面，為避免區間指派中的邊界效應問題，每一關鍵點匹配可在每一維度中選出2個最近的區間，從而對於每一假設得到總共16個條目且進一步加寬了姿勢範圍。
[0121]根據本發明的方面，對於給定參數解，可通過檢查每一圖像特徵與模型之間的一致性來移除離群值。舉例來說，給定線性最小平方解，可能需要每一匹配在用於霍夫變換區間中的參數的錯誤範圍的一半內一致。在離群值被捨棄時，可用剩餘點來求解線性最小平方解，且所述過程可迭代。在一些實施方案中，如果在捨棄離群值之後剩餘小於預定數目個點(例如，3個點)，則可拒絕所述匹配。此外，可使用自上向下的匹配階段來添加與所投影模型位置一致的任何進一步匹配，所述匹配可能歸因於相似度變換近似或其它錯誤而從霍夫變換區間錯過。
[0122]接受或拒絕模型假設的決策可基於詳述的概率模型。給定模型的投影大小、區域內特徵的數目及擬合的準確度，所述方法首先計算到模型姿勢的錯誤匹配的預期數目。貝葉斯概率分析可接著給出可基於所發現的匹配特徵的實際數目呈現對象的概率。如果正確解釋的最終概率大於預定百分比(例如95% )，則可接受模型。
[0123]根據本發明的方面，在一種方法中，旋轉不變特徵變換(RIFT)方法可用作SIFT的旋轉不變一股化以解決雜物下或部分遮擋情境。可使用劃分成相等寬度的同心環的圓形歸一化片來建構RIFT描述符，且在每一環內，可計算梯度定向直方圖。為維持旋轉不變性，可在每一點處相對於從中心指向外的方向測量定向。
[0124]在另一方法中，可使用一股化的穩健不變特徵(G-RIF)方法。G-RIF以組合感知信息與空間編碼的統一形式編碼邊緣定向、邊緣密度及色調信息。對象辨識方案使用基於相鄰上下文的表決來估計對象模型。
[0125]在又一方法中，可使用加速穩健特徵(SURF)方法，其使用縮放及旋轉不變關注點檢測器/描述符，在可重複性、獨特性及穩健性方面，其可能性能優於先前所提議的方案。SURF依賴於整體的圖像用於圖像卷積以減少計算時間，且依靠最主要的現有檢測器及描述符的強度(對於檢測器及分布式描述符使用基於快速赫斯矩陣的測量)。SURF方法描述哈爾小波響應(Haar wavelet response)在關注點領域內的分布。整體的圖像可用於速度，且64個維度可用以減少用於特徵計算及匹配的時間。編索引步驟可基於拉普拉斯(Laplacian)的正負號，其增大描述符的匹配速度及穩健性。
[0126]在又一方法中，可使用主分量分析SIFT(PCA-SIFT)方法。在一些實施方案中，PCA-SIFT描述符為在支持區域內計算的在X及y方向上的圖像梯度的向量。梯度區域可在39x39個地點處取樣。因此，向量可具有維度3042。通過PCA，維度可減小到36。在又一方法中，可使用梯度地點-定向直方圖(GL0H)方法，其為經設計以增大其穩健性及獨特性的SIFT描述符的擴展。在一些實施方案中，可針對在徑向方向上具有三個區間(半徑設定到6、11及15)且在傾斜方向上具有8個區間(其導致17個地點區間)的對數極坐標地點柵格計算SIFT描述符。中心區間可不在傾斜方向上進行劃分。可在16個區間中量化梯度定向，從而導致272個區間的直方圖。通過PCA可減小此描述符的大小。可根據從各種圖像收集的圖像塊估計PCA的協方差矩陣。128個最大特徵向量可接著用於描述。
[0127]在又一方法中，可使用兩對象辨識算法來配合當前移動裝置的限制而使用。與經典 SIFT 方法相比，加速分段測試特徵(Features from Accelerated Segment Test, FAST)拐角檢測器可用於特徵檢測。此方法在離線準備階段(其中可以不同灰度層級產生特徵)與在線階段(其中可以移動裝置的相機圖像的當前固定灰度層級產生特徵)之間加以區分。在一個示範性實施方案中，可從預定固定片大小(例如15x15像素)產生特徵，且所述特徵形成具有36個維度的SIFT描述符。可通過將可擴展詞彙樹(scalable vocabularytree)集成在辨識管線中而進一步擴展所述方法。此允許有效地辨識移動裝置上的大量對象。
[0128]根據本發明的方面，局部圖像特徵的檢測及描述可有助於對象辨識。SIFT特徵可為局部的且基於對象在特定關注點處的外觀，且對於圖像縮放及旋轉可為不變的。其對於照明、噪聲的改變及視點的較小改變也可為穩健的。除這些特性之外，特徵可為高度獨特的，相對容易提取且允許以低失配概率正確地識別對象。可相對容易地對照局部特徵的(大)資料庫來匹配特徵，且通常可使用例如具有最佳區間優先搜索的k維(k-d)樹等概率算法。通過一組SIFT特徵進行的對象描述對於部分遮擋也可為穩健的。舉例來說，來自對象的少到3個SIFT特徵可足以計算其地點及姿勢。在一些實施方案中，對於小資料庫且在現代計算機硬體上，可準實時地執行辨識。
[0129]根據本發明的方面，可使用隨機樣本一致性(RANSAC)技術來移除由相機視圖中的移動對象引起的離群值。注意，RANSAC使用迭代方法來從含有離群值的一組所觀測數據來估計數學模型的參數。此方法可為非確定性的，因為其以相關聯概率產生合理結果，其中所述概率可隨著執行更多迭代而增大。
[0130]在一個示範性實施方案中，一組觀測到的數據值，可以對應置信度參數擬合到觀測結果的參數化模型。在此示範性實施方案中，所述方法迭代地選擇原始數據的隨機子組。這些數據可為假想的群內值(inlier)，且可接著如下測試所述假設:
[0131]1.可將模型擬合到假想的群內值，即從所述群內值重建構模型的所有自由參數。
[0132]2.接著可對照擬合的模型測試所有其它數據，且如果一點良好地擬合到所述估計模型，則可認為其是假想的群內值。
[0133]3.如果已將足夠數目的點分類為假想的群內值，則可認為所述估計模型可接受。
[0134]4.可從所有假想群內值重新估計所述模型，因為其僅已從初始組假想群內值進行了估計。
[0135]5.最終，可通過相對於模型估計群內值的錯誤來評估所述模型。
[0136]每當產生因為過少的點被分類為群內值而可被拒絕的模型或與對應錯誤測量一起產生改進的模型時，可重複以上程序預定次數。在後一種情況下，如果錯誤低於先前保存的模型，則可保持所述改進的模型。
[0137]在另一示範性實施方案中，可使用基於模型的運動跟蹤方法來主動地識別並移除在相機視圖中的移動對象。在一種方法中，跟蹤的目標可處理為模型辨識問題。可跟蹤目標的二進位表示，且可使用基於豪斯多夫距離(Hausdorff distance)的搜索來在圖像的若干區域中搜索對象。對於目標的二進位表示(模型)，可用模型歷史的概念來擴增從高斯平滑化圖像的標準坎尼邊緣檢測器(canny edge detector)的輸出。在每一幀處，可使用來自當前圖像的坎尼邊緣及當前模型來對每一目標執行豪斯多夫搜索。此外，可執行仿射估計以大致得出淨背景運動。從這兩個搜索的結果，可搜集關於目標的信息，且可使用所述信息來大致得出目標的運動並且在目標的區域中將背景與運動分離開來。為能夠處置危險性/不尋常的條件(例如被遮擋的對象進入陰影中，對象離開幀，或相機圖像失真提供不良圖像質量)，可保持關於目標的歷史數據，例如目標的過去運動及大小改變、目標的特徵性視圖(在所有時間存在的快照，其提供已跟蹤目標的不同方式的準確表示)，及在過去的匹配質量。
[0138]跟蹤目標的歷史可不僅僅適用於輔助危險性/不尋常的條件；可靠的運動跟蹤方法的那一部分可涉及歷史數據，而不僅僅是運動比較的逐幀方法。此歷史狀態可提供關於如何決定應將何內容視為目標的部分的信息(例如，以相同速度移動的接近於對象移動的事物應併入所述對象中)，且通過關於運動及大小的信息，所述方法可預測性地估計丟失的對象可能去往何處，或其可能重新出現於何處(其始終適用於恢復離開幀且在時間上稍後重新出現的目標)。
[0139]運動跟蹤方法中的固有挑戰可能由以下事實引起:相機可具有任意移動(相較於固定相機)，其使得難以開發可處置相機運動的不可預測改變的跟蹤系統。可使用具計算效益的仿射背景估計方案來提供關於相機及場景的運動的信息。
[0140]根據本發明的方面，可執行時間t的圖像到時間t+dt的圖像的仿射變換，其允許使兩個圖像的運動相關。此背景信息允許所述方法從時間t的圖像及仿射變換(其可為淨場景運動的近似)合成時間t+dt的圖像。此合成圖像可適用於產生新模型信息及從模型空間移除背景雜物，因為可採用在t+dt的實際圖像與在t+dt處所產生的圖像的差異來從目標周圍的空間移除圖像特徵。
[0141]除使用仿射變換作為清除搜索空間的工具之外，其還可用以歸一化目標的坐標移動:通過具有跟蹤背景可如何移動的向量及跟蹤目標可如何移動的向量，可採用所述兩個向量的差異來產生描述目標相對於背景的運動的向量。此向量允許所述方法預測性地匹配目標應處的位置，且預測危險條件(例如，在運動的方向上向前看可提供關於即將出現的障礙物的線索，並且保持跟蹤對象在危險條件下可能處於的位置。當對象進入危險條件時，所述方法可能仍能夠估計背景運動，且結合模型的先前移動的知識來使用所述背景運動猜測模型可能重新出現於何處或重新進入幀中。
[0142]背景估計可為對象的長期跟蹤的關鍵因素。注意，可在不進行背景估計的情況下執行短期跟蹤，但在一段時間之後，在沒有對背景的良好估計的情況下，可能難以有效地應對對象失真及危險。
[0143]根據本發明的方面，使用豪斯多夫距離作為匹配運算符的優點之一是其在匹配期間對於形狀的改變可能非常耐受，但使用豪斯多夫距離作為匹配運算符可能需要更準確地定義所跟蹤的對象。
[0144]在一種方法中，可使用從時間t+Ι圖像獲得新模型的基於直接擴張的方法(straight dilat1n-based method)。注意，在可能存在接近於對象的非對象特徵(其出現頻率很高)的一些情形中，擴張方法可能並不有效，因為其可能將整個場景緩慢地併入模型中。因此，可採用從幀到幀更新模型的方法，所述方法可耐受模型形狀的改變，但並不過於寬鬆以致將非模型像素併入到模型中。一個示範性實施方案為使用背景移除與將先前模型添加到當前模型匹配窗及採用看似穩定的像素以及其周圍的新像素(其隨時間推移可因為其可能不穩定而從模型消除或併入到模型中)的組合。此方法可有效地保持模型在圖像中相對清潔而無雜物。舉例來說，通過此方法，接近於卡車的道路不再被逐像素地拉入模型中。注意，模型可能顯得臃腫，但此可為建構模型的方式的歷史效果的結果，但其還可具有使搜索結果更為確定的特徵，因為此方法可使更多模型像素可能在下一幀中匹配。
[0145]注意，在每一幀處，可能存在大量計算要執行。根據一些實施方案，移動裝置可經配置以執行平滑化/特徵提取、匹配每一目標(例如每模型一個匹配)的豪斯多夫，以及仿射背景估計。這些操作中的每一者可個別地在計算上非常昂貴。為實現在移動裝置上的實時執行，設計可經配置以使用儘可能多的並行性。
[0146]根據本發明的一實施例，一種用於在移動裝置上提供擴增實境的方法包括:檢測在所述移動裝置的相機的視野內的有形現實世界對象；提供對應於所述有形現實世界對象的擴增實境對象，其中將所述擴增實境對象製成動畫包含:在所述移動裝置的顯示器上提供交互式顯示組件且經由所述移動裝置的音頻輸出提供交互式音頻組件；分析所述裝置的用戶的發聲以確定對用戶發聲的響應；以及響應於所述發聲而修改所述擴增實境對象以提供對所述用戶發聲的響應。
[0147]根據本發明的另一實施例，一種用於在移動裝置上提供擴增實境的方法包括:檢測在所述移動裝置的相機的視野內的有形現實世界對象；提供對應於所述有形現實世界對象的擴增實境對象，其中提供所述擴增實境對象包含:在所述移動裝置的顯示器上提供交互式顯示組件且經由所述移動裝置的音頻輸出提供交互式音頻組件；跟蹤所述裝置相對於所述有形現實世界對象的移動；確定所述有形現實世界對象是否仍在所述相機的視野內；響應於所述有形現實世界對象不再處於所述相機的視野內而分析所述裝置的用戶的發聲以評估用戶的投入程度；以及在所述投入程度超過預定閾值的情況下提供與所述擴增實境對象相關聯的交互式音頻組件，同時不再於所述移動裝置的顯示器上提供顯示組件。注意，所述移動裝置可為行動電話或平板計算機。
[0148]根據本發明的又一實施例，一種用於在移動裝置上提供擴增實境的方法包括:檢測在所述移動裝置的相機的視野內的有形現實世界對象；提供對應於所述有形現實世界對象的擴增實境對象，其中將所述擴增實境對象製成動畫包含:在所述移動裝置的顯示器上提供交互式顯示組件且經由所述移動裝置的音頻輸出提供與第一主題相關聯交互式音頻組件；分析所述裝置的用戶的發聲以確定所述用戶的投入程度；以及響應於所述用戶的投入程度超過預定閾值而提供與所述第一主題相關聯的額外交互內容。所述方法進一步包括響應於所述用戶的投入程度不超過所述預定閾值而將所述擴增實境對象製成動畫以提供與第二主題相關聯的交互內容。
[0149]根據本發明的又一實施例，一種用於在移動裝置上提供擴增實境的方法包括:檢測在所述移動裝置的相機的視野內的有形現實世界對象；將對應於所述有形現實世界對象的擴增實境對象製成動畫，其中將所述擴增實境對象製成動畫包含:在所述移動裝置的顯示器上提供交互式顯示組件且經由所述移動裝置的音頻輸出提供與第一主題相關聯交互式音頻組件；分析與所述擴增實境對象交互的多個用戶的發聲；基於所述發聲從所述多個用戶中確定與所述移動裝置相關聯的主用戶；以及響應於所述發聲而將所述擴增實境對象製成動畫以提供情境相關內容，其中當選擇情境相關內容時，由主用戶提供的發聲被給予比由其它用戶提供的發聲更大的權重。確定與所述移動裝置相關聯的主用戶的方法包含:分析所述多個用戶的發聲以識別具有最響發聲的用戶；以及使具有所述最響發聲的用戶與所述移動裝置相關聯。
[0150]根據本發明的又一實施例，一種用於在移動裝置上提供共享擴增實境體驗的方法包括:在第一移動裝置處檢測接近於所述第一移動裝置的第二移動裝置的存在；響應於檢測到所述第二移動裝置接近於所述第一移動裝置，確定所述第二移動裝置是否正顯示與由所述第一移動裝置正顯示的擴增實境內容相關聯的擴增實境內容；分析多個用戶的發聲；基於所述發聲確定與所述第一移動裝置相關聯的主用戶；以及定製所述擴增實境內容以響應於所述發聲而提供情境相關內容，其中當定製所述擴增實境內容時，由所述主用戶提供的發聲被給予比由其它用戶提供的發聲更大的權重。
[0151]注意，至少接下來的三個段落、圖1到2、圖6及其對應描述提供:用於接收用於跟蹤多個對象的圖像數據的裝置；用於從所述多個對象中識別待選擇的對象的裝置；用於至少部分基於一組選擇準則確定是否已選擇所述對象的裝置；以及用於在確定已選擇所述對象的情況下致使隨所述對象顯現擴增的裝置。
[0152]本文所述的方法和移動裝置可以取決於應用通過各種裝置實施。舉例來說，這些方法可以用硬體、固件、軟體或其組合實施。對於硬體實施方案，處理單元可以在一或多個專用集成電路(ASIC)、數位訊號處理器(DSP)、數位訊號處理裝置(DSro)、可編程邏輯裝置(PLD)、現場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子裝置、經設計以執行本文所述的功能的其它電子單元或其組合內實施。本文中，術語「邏輯控制」涵蓋通過軟體、硬體、固件或組合實施的邏輯。
[0153]對於固件及/或軟體實施方案，可用執行本文中所描述的功能的模塊(例如，程序、功能等等)實施方法。任何有形地體現指令機器可讀媒體都可以用於實施本文所述的方法。舉例來說，軟體代碼可存儲在存儲器中並且通過處理單元執行。存儲器可實施在處理單元內或處理單元外部。如本文所使用，術語「存儲器」是指任何類型的長期、短期、易失性、非易失性或其它存儲裝置且不限於任何特定類型的存儲器或數目的存儲器，或任何類型的存儲存儲器的媒體。
[0154]如果在固件及/或軟體中實施，則可將所述功能作為一或多個指令或代碼存儲在計算機可讀媒體上。實例包含編碼有數據結構的計算機可讀媒體及編碼有電腦程式的計算機可讀媒體。計算機可讀媒體可採用製品的形式。計算機可讀媒體包含物理計算機存儲媒體。存儲媒體可為可由計算機存取的任何可用媒體。作為實例而非限制，此類計算機可讀媒體可包括RAM、ROM、EEPROM、CD-ROM或其它光碟存儲裝置，磁碟存儲裝置或其它磁性存儲裝置，或任何其它可用於存儲指令或數據結構的形式的期望程序代碼並且可通過計算機存取的媒體；在本文中使用時，磁碟及光碟包含壓縮光碟(CD)、雷射光碟、光學光碟、數字多功能光碟(DVD)，軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現數據，而光碟用雷射以光學方式再現數據。上述各項的組合也應包含在計算機可讀媒體的範圍內。
[0155]除了存儲在計算機可讀媒體上之外，還可將指令及/或數據提供為通信設備中包含的發射媒體上的信號。舉例來說，通信設備可包含具有指示指令及數據的信號的收發器。所述指令及數據經配置以致使至少一個處理器實施權利要求書中概述的功能。即，通信設備包含具有指示用以執行所揭示的功能的信息的信號的發射媒體。在第一時間，通信設備中所包含的發射媒體可包含用以執行所揭示的功能的信息的第一部分，而在第二時間，通信設備中所包含的發射媒體可包含用以執行所揭示的功能的信息的第二部分。
[0156]本發明可以配合例如無線廣域網(WWAN)、無線區域網(WLAN)、無線個人區域網(WPAN)等各種無線通信網絡實施。術語「網絡」與「系統」常常可互換使用。術語「位置」與「地點」常常可互換使用。WWAN可為碼分多址(CDMA)網絡、時分多址(TDMA)網絡、頻分多址(FDMA)網絡、正交頻分多址(0FDMA)網絡、單載波頻分多址(SC-FDMA)網絡、長期演進(LTE)網絡、WiMAX(IEEE 802.16)網絡等。CDMA網絡可實施一或多種無線電接入技術(RAT)，例如 cdma2000、寬帶 CDMA(ff-CDMA)等等。Cdma2000 包含 IS-95、IS2000 和 IS-856標準。TDMA網絡可以實施全球移動通信系統(GSM)、數字高級行動電話系統(D-AMPS)或某種其它RAT。GSM及W-CDMA描述於來自名為「第三代合作夥伴計劃」(3GPP)的協會的文獻中。Cdma2000描述於來自名為「第三代合作夥伴計劃2」(3GPP2)的協會的文獻中。3GPP及3GPP2文獻可公開獲得。WLAN可為IEEE802.llx網絡，且WPAN可為藍牙網絡、IEEE 802.15x或某種其它類型的網絡。所述技術還可結合WWAN、WLAN及/或WPAN的任何組合來實施。
[0157]移動臺是指例如蜂窩式或其它無線通信裝置、個人通信系統(PCS)裝置、個人導航裝置(PND)個人信息管理器(PM)、個人數字助理(PDA)、膝上型計算機或能夠接收無線通信及/或導航信號的其它合適的移動裝置等裝置。術語「移動臺」還希望包含例如通過短程無線、紅外線線連接或其它連接(不管是衛星信號接收、輔助數據接收和/或在所述裝置或在所述PND處發生的與位置相關的處理)與個人導航裝置(PND)通信的裝置。而且，「移動臺」希望包含所有裝置，包含無線通信裝置、計算機、膝上型計算機等，其能夠例如經由網際網路、W1-Fi或其它網絡與伺服器通信，並且不管是在所述裝置處、伺服器處還是在與所述網絡相關聯的另一裝置處發生衛星信號接收輔助數據接收及/或與位置相關的處理。以上各者的任何可操作組合也被視為「移動臺」。
[0158]某個事物被「優化」、「需要」或其它說法並不指示本發明僅適用於被優化的系統或其中存在所述「所需」元件的系統(或其它歸因於其它說法的局限性)。這些名稱僅指代特定描述的實施方案。當然，許多實施方案是可能的。所述技術可以與除了本文中論述的協議之外的協議一起使用，包含正在開發或有待開發的協議。
[0159]相關領域的技術人員將認識到，可以使用所揭示的實施例的許多可能修改和組合，同時仍然採用相同的基本基礎機構和方法。出於解釋的目的，前文描述是參考具體實施例撰寫的。然而，上文的說明性論述並不希望是窮舉的或將本發明限於所揭示的精確形式。鑑於以上教示，許多修改及變化均是可能的。選擇且描述所述實施例是為了闡釋本發明的原理及其實際應用，且為了使得所屬領域的技術人員能夠以適合於所涵蓋的特定用法的各種修改最好地利用本發明及各種實施例。
【權利要求】
1.一種適用於具有擴增實境功能的裝置ARD的方法，其包括: 接收用於跟蹤多個對象的圖像數據； 從所述多個對象中識別待選擇的對象； 至少部分基於一組選擇準則確定是否已選擇所述對象；以及 在確定已選擇所述對象的情況下致使隨所述對象顯現擴增。
2.根據權利要求1所述的方法，其中所述跟蹤包括3維跟蹤，包括: 確定所述多個對象相對於所述ARD的相對姿勢；以及 使用所述多個對象相對於所述ARD的所述相對姿勢更新所述多個對象的狀態，其中所述多個對象的所述狀態包含所述多個對象的關係信息。
3.根據權利要求2所述的方法，其中所述確定所述多個對象相對於所述ARD的相對姿勢包括: 檢測所述多個對象相對於所述多個對象的先前所接收圖像數據的姿勢。
4.根據權利要求2所述的方法，其中所述關係信息包括以下各者中的至少一者: 所述多個對象之間在遊戲中的關係； 所述多個對象之間在故事中的關係；以及 所述多個對象之間相對於背景的關係。
5.根據權利要求1所述的方法，其中識別待選擇的對象包括: 使用所述圖像數據分析所述多個對象；以及 識別最接近於由所述圖像數據表示的圖像的中心的所述對象。
6.根據權利要求1所述的方法，其中識別待選擇的對象進一步包括: 致使所述圖像數據中的所述多個對象顯現在所述ARD的顯示器上；以及 識別覆蓋所述ARD的所述顯示器的大多數中心像素的所述對象。
7.根據權利要求1所述的方法，其中確定是否已選擇所述對象進一步包括: 測量所述對象與所述ARD之間的相對速度；以及 測量所述對象相對於所述ARD固定的時間量。
8.根據權利要求1所述的方法，其中確定是否已選擇所述對象進一步包括: 接收音頻命令；以及 測量所述音頻命令的振幅。
9.根據權利要求1所述的方法，其中所述組選擇準則包括以下各者中的至少一者: 所述對象在所述ARD的視圖中達預定時間周期； 所述對象在所述ARD的視圖中且所述對象與所述ARD之間的相對速度低於預定閾值；以及 所述對象在所述ARD的視圖中且音頻命令的振幅超過預定值。
10.根據權利要求1所述的方法，其中致使所述擴增顯現包括: 在所述ARD的顯示器中呈現所述對象與所述ARD之間的交互。
11.根據權利要求1所述的方法，其中所述識別包括確定所述對象已被放大。
12.根據權利要求1所述的方法，其中所述確定包括: 致使指示符被呈現，其中所述指示符指示已識別所述對象；以及 響應於所述指示符的呈現而確定所述對象是否被取消選擇。
13.根據權利要求12所述的方法，其中確定所述對象是否被取消選擇包括: 在所述對象相對於所述ARD的位置在呈現所述指示符之後維持閾值時間量的情況下確定已選擇所述對象。
14.根據權利要求12所述的方法，其中所述指示符包括以下各者中的至少一者: 圖標； 所述對象在所述ARD的顯示器上的振動； 當所述對象居中於所述ARD的所述顯示器上時所述ARD的振動；以及 經過的時間的表示。
15.根據權利要求1所述的方法，其進一步包括: 致使場景的圖像顯示在所述ARD的顯示器上，所述場景包含一或多個對象； 致使用從所述多個對象中識別待選擇的對象的指示符擴增所述圖像；以及 確定在用所述指示符擴增所述圖像之後所述對象是否已被取消選擇。
16.一種具有擴增實境功能的裝置ARD，其包括: 包含處理邏輯的控制單元，所述處理邏輯包括: 經配置以接收用於跟蹤多個對象的圖像數據的邏輯； 經配置以從所述多個對象中識別待選擇的對象的邏輯； 經配置以至少部分基於一組選擇準則確定是否已選擇所述對象的邏輯；以及 經配置以在確定已選擇所述對象的情況下致使隨所述對象顯現擴增的邏輯。
17.根據權利要求16所述的具有擴增實境功能的裝置，其中跟蹤包括3維跟蹤，包括: 經配置以確定所述多個對象相對於所述ARD的相對姿勢的邏輯；以及 經配置以使用所述多個對象相對於所述ARD的所述相對姿勢更新所述多個對象的狀態的邏輯，其中所述多個對象的所述狀態包含所述多個對象的關係信息。
18.根據權利要求17所述的具有擴增實境功能的裝置，其中經配置以確定所述多個對象相對於所述ARD的相對姿勢的所述邏輯包括: 經配置以檢測所述多個對象相對於所述多個對象的先前所接收圖像數據的姿勢的邏輯。
19.根據權利要求17所述的具有擴增實境功能的裝置，其中所述關係信息包括以下各者中的至少一者: 所述多個對象之間在遊戲中的關係； 所述多個對象之間在故事中的關係；以及 所述多個對象之間相對於背景的關係。
20.根據權利要求16所述的具有擴增實境功能的裝置，其中經配置以識別待選擇的對象的邏輯包括: 經配置以使用所述圖像數據分析所述多個對象的邏輯；以及 經配置以識別最接近於由所述圖像數據表示的圖像的中心的所述對象的邏輯。
21.根據權利要求16所述的具有擴增實境功能的裝置，其中經配置以識別待選擇的對象的邏輯進一步包括: 經配置以致使所述圖像數據中的所述多個對象顯現在所述ARD的顯示器上的邏輯；以及 經配置以識別覆蓋所述ARD的所述顯示器的大多數中心像素的所述對象的邏輯。
22.根據權利要求16所述的具有擴增實境功能的裝置，其中經配置以確定是否已選擇所述對象的邏輯進一步包括: 經配置以測量所述對象與所述ARD之間的相對速度的邏輯；以及 經配置以測量所述對象相對於所述ARD固定的時間量的邏輯。
23.根據權利要求16所述的具有擴增實境功能的裝置，其中經配置以確定是否已選擇所述對象的邏輯進一步包括: 經配置以接收音頻命令的邏輯；以及 經配置以測量所述音頻命令的振幅的邏輯。
24.根據權利要求16所述的具有擴增實境功能的裝置，其中所述組選擇準則包括以下各者中的至少一者: 所述對象在所述ARD的視圖中達預定時間周期； 所述對象在所述ARD的視圖中且所述對象與所述ARD之間的相對速度低於預定閾值；以及 所述對象在所述ARD的視圖中且音頻命令的振幅超過預定值。
25.根據權利要求16所述的具有擴增實境功能的裝置，其中經配置以致使所述擴增被顯現的邏輯包括: 經配置以在所述ARD的顯示器中呈現所述對象與所述ARD之間的交互的邏輯。
26.根據權利要求16所述的具有擴增實境功能的裝置，其中經配置以識別的所述邏輯包括經配置以確定所述對象已被放大的邏輯。
27.根據權利要求16所述的具有擴增實境功能的裝置，其中經配置以確定的所述邏輯包括: 經配置以致使指示符被呈現的邏輯，其中所述指示符指示已識別所述對象；以及 經配置以響應於所述指示符的呈現而確定所述對象是否被取消選擇的邏輯。
28.根據權利要求27所述的具有擴增實境功能的裝置，其中經配置以確定所述對象是否被取消選擇的邏輯包括: 經配置以在所述對象相對於所述ARD的位置在呈現所述指示符之後維持閾值時間量的情況下確定已選擇所述對象的邏輯。
29.根據權利要求27所述的具有擴增實境功能的裝置，其中所述指示符包括以下各者中的至少一者: 圖標； 所述對象在所述ARD的顯示器上的振動； 當所述對象居中於所述ARD的所述顯示器上時所述ARD的振動；以及 經過的時間的表示。
30.根據權利要求16所述的具有擴增實境功能的裝置，其進一步包括: 經配置以致使場景的圖像顯示在所述ARD的顯示器上的邏輯，所述場景包含一或多個對象； 經配置以致使用從所述多個對象中識別待選擇的對象的指示符擴增所述圖像的邏輯；以及 經配置以確定在用所述指示符擴增所述圖像之後所述對象是否已被取消選擇的邏輯。
31.—種存儲用於由一或多個計算機系統執行的指令的非暫時性媒體，所述指令包括: 用於接收用於跟蹤多個對象的圖像數據的指令； 用於從所述多個對象中識別待選擇的對象的指令； 用於至少部分基於一組選擇準則確定是否已選擇所述對象的指令；以及 用於在確定已選擇所述對象的情況下致使隨所述對象顯現擴增的指令。
32.—種設備，其包括: 用於接收用於跟蹤多個對象的圖像數據的裝置； 用於從所述多個對象中識別待選擇的對象的裝置； 用於至少部分基於一組選擇準則確定是否已選擇所述對象的裝置；以及 用於在確定已選擇所述對象的情況下致使隨所述對象顯現擴增的裝置。
33.根據權利要求32所述的設備，其中所述跟蹤包括3維跟蹤，包括: 用於確定所述多個對象相對於所述ARD的相對姿勢的裝置；以及 用於使用所述多個對象相對於所述ARD的所述相對姿勢更新所述多個對象的狀態的裝置，其中所述多個對象的所述狀態包含所述多個對象的關係信息。
34.根據權利要求32所述的設備，其中用於識別待選擇的對象的裝置包括: 用於使用所述圖像數據分析所述多個對象的裝置；以及 用於識別最接近於由所述圖像數據表示的圖像的中心的所述對象的裝置。
35.根據權利要求32所述的設備，其中用於確定是否已選擇所述對象的裝置進一步包括: 用於測量所述對象與所述ARD之間的相對速度的裝置；以及 用於測量所述對象相對於所述ARD固定的時間量的裝置。
36.根據權利要求32所述的設備，其中用於確定是否已選擇所述對象的指令進一步包括: 用於接收音頻命令的裝置；以及 用於測量所述音頻命令的振幅的裝置。
37.根據權利要求32所述的設備，其中所述組選擇準則包括以下各者中的至少一者: 所述對象在所述ARD的視圖中達預定時間周期； 所述對象在所述ARD的視圖中且所述對象與所述ARD之間的相對速度低於預定閾值；以及 所述對象在所述ARD的視圖中且音頻命令的振幅超過預定值。
38.根據權利要求32所述的設備，其中用於致使所述擴增被顯現的裝置包括: 用於在所述ARD的顯示器中呈現所述對象與所述ARD之間的交互的裝置。
【文檔編號】G06T19/00GK104508597SQ201380039208
【公開日】2015年4月8日 申請日期:2013年6月28日 優先權日:2012年7月26日
【發明者】維吉尼亞·沃克·基廷, 麥可·蓋爾沃茨, 佩爾·O·尼爾森 申請人:高通股份有限公司