增強實時視圖的計算機實施方法和計算機系統與流程

2023-10-18 17:30:59 2

本申請是2013年11月27日進入中國國家階段的國際申請日為2012年5月25日、國家申請號為201280025710.9(國際申請號為pct/us2012/039521)、名稱為「增強實時視圖」的發明專利申請的分案申請。

本申請涉及增強實時視圖領域，更具體地涉及增強實時視圖的計算機實施方法和計算機系統。

背景技術：

各種常規內容傳遞系統使計算設備用戶(例如，智慧型手機)能夠獲得與用戶(如通過使用計算設備的攝像機採集圖像)提供的與圖像有關的內容。例如，用戶可通過攝像機採集電影海報的圖像並且將所採集圖像上載到內容傳遞系統。內容傳遞系統進而返回與電影海報相關聯的電影有關的內容(例如，關於電影、多媒體內容等的信息)。

為了傳遞與上載圖像有關的內容，常規內容傳遞系統試圖將從客戶端設備接收的圖像與在內容傳遞系統的圖像資料庫中存儲的圖像匹配。圖像資料庫可以存儲來自雜誌，海報，報紙，英特網等的成千上萬張圖像。例如，圖像資料庫可以存儲對應於特定電影「x」的海報牆和廣告牌的圖像。因此，當內容傳遞系統從通信設備接收電影「x」的海報圖像時，系統試圖將接收的圖像與在其圖像資料庫中存儲的全部圖像匹配。這樣一種途徑可以是非常耗費資源的，並且當用戶以大量必須進行分析的圖像向系統提交請求時可以帶來顯著的延遲時間。

技術實現要素：

一方面，本發明提供一種計算機實施方法，其包括：使用圖像採集元件採集項目的圖像；將所述圖像中呈現的特徵與對應於項目庫中的項目的所存儲的特徵進行匹配，以識別匹配的項目；檢索與所述匹配的項目相關聯的可選擇的內容；使用特徵提取確定項目的多個角，以從所述圖像中提取與所述多個角對應的興趣點；至少部分地基於所述多個角確定邊界框；對於所述邊界框，確定滿足預定變形閾值的透視變形；以及在顯示元件上顯示所述可選擇的內容作為在邊界框上的疊加，其中響應於對所述可選擇的內容的選擇呈現所述匹配的項目供購買。

優選地，所述可選擇的內容包括下列各項中的至少一個：按鈕或超連結。

優選地，所述可選擇的內容包括與所述項目相關聯的項目信息，並且所述項目信息包括下列各項中的至少一個：價格、描述、客戶評價、客戶評論、特價優惠和促銷、或與關聯商品有關的關聯信息。

優選地，所述項目信息與在圖像採集元件相關聯的本地庫中的存儲信息匹配，並且其中所述存儲信息限定在項目庫中的項目。

優選地，所述項目信息與相對於作為所述圖像採集元件的主機的電子設備的遠程的存儲信息匹配，並且其中所述存儲信息限定在項目庫中的項目。

優選地，所述方法還包括：響應於在所述項目與所述項目庫中的項目之間發現多個匹配，確定到所述項目的附加匹配項目。

優選地，所述方法還包括：用當前位置標識符或時間戳中的至少一個對所述匹配的項目進行標記。

另一方面，本發明還提供一種用於以相關聯的內容增強實時採集和顯示的產品的圖像的計算機系統，其包括：

處理器；和

具有計算機可執行指令的存儲器，所述計算機可執行指令當在所述處理器上執行時，促使所述處理器：

使用圖像採集元件採集項目的圖像；

將所述圖像中呈現的特徵與對應於項目庫中的項目的所存儲的特徵進行匹配，以識別匹配的項目；

檢索與所述匹配的項目相關聯的可選擇的內容；

使用特徵提取確定項目的多個角，以從所述圖像中提取與所述多個角對應的興趣點；

至少部分地基於所述多個角確定邊界框；

對於所述邊界框，確定滿足預定變形閾值的透視變形；以及

在顯示元件上顯示所述可選擇的內容作為在所述邊界框上的疊加，其中響應於對所述可選擇的內容的選擇呈現所述匹配的項目供購買。

優選地，所述可選擇的內容包括下列各項中的至少一個：按鈕或超連結。

優選地，所述可選擇的內容包括與所述項目相關聯的項目信息，所述項目信息包括下列各項中的至少一個：價格、描述、客戶評價、客戶評論、特價優惠和促銷、或與關聯商品有關的關聯信息。

優選地，所述計算機可執行指令還促使所述處理器用當前位置標識符或時間戳中的至少一個對所述匹配的項目進行標記。

優選地，所述計算機可執行指令還促使所述處理器響應於所述用戶選擇所述可選擇的內容而檢索並且提供與所述圖像疊加的所述可選擇的內容相關聯的信息。

附圖說明

圖1圖示環境，其中可以實施各種實施方案。

圖2圖示環境的圖形表示，該環境可結合上文中關於圖1描述的並且可根據各種實施方案使用的一個或多個組件。

圖3圖示根據實施方案以(如呈現在電子設備上的)相關聯的內容增強實時採集和顯示的對象的圖像的實例。

圖4圖示根據實施方案用於以相關聯的內容增強實時採集和顯示的對象的圖像的流程圖。

圖5圖示在根據實施方案以相關聯的內容增強實時採集和顯示的對象的圖像中使用的檢測技術的實例的流程圖。

圖6圖示根據實施方案的伺服器端對象識別技術的流程圖。

圖7圖示在根據實施方案以相關聯的內容增強實時採集和顯示的對象的圖像中使用的識別技術的實例的流程圖。

圖8圖示在根據實施方案以相關聯的內容增強實時採集和顯示的對象的圖像中使用的疊加技術實例的流程圖。

圖9圖示在根據實施方案以相關聯的內容增強實時採集和顯示的對象的圖像中使用的標記技術的實例的流程圖。

圖10圖示在根據實施方案以相關聯的內容增強實時採集和顯示的對象的圖像中使用的電子設備的示例組件的流程圖。

圖11圖示根據實施方案以(如呈現在電子設備上的)相關聯的內容增強實時採集和顯示的對象的圖像的另一個實例。

具體實施方式

各種實施方案提供用於響應於匹配圖像信息而傳遞內容的方法和/或系統。特別地，響應於從通信設備提供的圖像，可以將內容傳遞到該通信設備，如計算設備或客戶端系統。該圖像可能包含至少一個興趣對象，並且可以通過通信設備(如在採集後立即上載圖像的地方)基本上實時地採集和上載對象的一個或多個圖像。可以將圖像信息與在對實時採集的對象進行匹配的圖像資料庫中的信息進行比較，以便確定關於可以用於確定有關內容的對象的身份或其他信息。可以將檢測和識別組件用於分析通過通信設備上載的圖像信息以確定圖像是否與任何項目、產品或(例如)在內容庫中存儲的其他類型的內容匹配。可以通過內容提供商以最新內容定期地更新內容庫。

各種實施方案還包括疊加伺服器，其當檢測和識別組件確定與對象相關聯的內容時，(例如)檢索相關聯的內容並且基本上實時地提供相關聯的內容到通信設備。在至少一些實施方案中，可以呈現該內容，使得內容增強(例如，疊加)(例如)視頻幀中的通過通信設備採集的對象的當前顯示圖像。內容疊加元素可採取不同的形狀和形式，如可包括框，按鈕，3d結構，動畫等等。內容疊加可以是互動式的，使得疊加可允許用戶訪問所呈現內容，編輯內容，基於所呈現內容進行研究，與同伴共享內容，導出內容等等。

圖1圖示根據各種實施方案用於實施各方面的環境100。如將要了解的，儘管出於解釋目的使用基於網頁的環境，但是仍可將不同的環境用以(視情況而定)實施各種實施方案。環境100包括電子客戶端設備102，其可以包括可操作來在適當網絡104上發送和接受請求、消息或信息並且將信息傳達回設備用戶的任何適當設備。這類客戶端設備的實例包括個人計算機，手機，手持式消息設備，筆記本電腦，機頂盒，個人數字助理，電子書閱讀器等等。該網絡可以包括任何適當網絡，包括企業內部網，英特網，蜂窩網絡，區域網或任何其他這類網絡或其組合。用於這樣一種系統的組件可以至少部分地取決於所選網絡和/或環境的類型。用於經由這樣一種網絡進行通信的協議和組件是眾所周知的，並且將不在本文中詳細討論。可以通過有線或無線連接和其組合實現網絡上的通信。在該實例中，網絡包括英特網，並且該環境包括用於響應於其接受請求和提供內容的網頁伺服器106，然而就其他網絡而言，可以使用滿足相似目的的替換設備，這對於本領域的普通技術人員而言是明了的。

說明性環境包括至少一個應用伺服器108和數據存儲器110。應理解，可存在若干應用伺服器，層或其他元件，進程或組件，其可以連結或以其他方式配置，其可以進行互動以執行任務如從適當數據存儲器獲得數據。如在本文中所使用的，術語「數據存儲器」指能夠存儲、訪問和檢索數據的任何設備或設備的組合，其可包括在任何標準、分布和聚集環境中的任何組合和數量的數據伺服器，資料庫，數據存儲設備和數據存儲媒介。應用伺服器可以包括任何適當硬體和軟體，該硬體和軟體用於按需與數據存儲器整合以執行客戶端設備的一個或多個應用方面，處理大部分數據訪問和應用的業務邏輯。應用伺服器協同數據存儲器提供訪問控制服務，並且能夠生成將被傳送到觀看者的內容(如文本、圖形、音頻和/或視頻)，其在該實例中可以html、xml或其他適當結構化語言的格式通過網頁伺服器提供給觀看者。可以通過網頁伺服器處理全部請求和響應的處理，以及客戶端設備102與應用伺服器108之間的內容傳遞。應理解網頁和應用伺服器不是必需的並且僅僅是示例組件，因為可以在如在本文其他地方討論的任何適當設備或主機上執行本文討論的結構化代碼。

數據存儲器110可以包括若干單獨的數據表，資料庫或用於存儲與特定方面有關的數據的其他數據存儲機構和媒介。例如，所述數據存儲器包括用於存儲生產數據112和用戶信息116的機構，其可以用於提供生產端的內容。還示出了數據存儲器包括用於存儲日誌數據114的機構，其可以用於報告、生成統計數據和其他這類目的。應理解這裡可以有可能需要存儲在數據存儲器中的很多其他方面，如頁面圖像信息和訪問權信息，其可以存儲在數據存儲器110中的上文中所列機構(視情況而定)中的任何一個中或在額外機構中。數據存儲器110通過與其相關聯的邏輯可操作來從應用伺服器108接收指令並且響應於應用伺服器108獲得、更新或以其他方式處理數據。在一個實例中，觀看者可能提交某一類型項目的搜索請求。在本例中，數據存儲器可能訪問用戶信息以驗證觀看者的身份，並且可以訪問目錄詳細信息以獲得關於該類型項目的信息。隨後可將信息返回給觀看者，如在觀看者經由用戶設備102上的瀏覽器能夠觀看的網頁上的結果列表中。可以在專用頁面或瀏覽器窗口中觀看特定興趣項目的信息。

每個伺服器通常將包括提供可執行程序指令以用於該伺服器的通用管理和操作的作業系統，並且通常將包括存儲指令的計算機可讀介質，該指令當通過伺服器的處理器執行時，允許伺服器執行它的預期功能。用於伺服器的作業系統和通用功能的合適實施方式是已知的或可通過市售獲得，並且(特別地考慮到本公開)通過本領域的普通技術人員可以輕易地實施。

一個實施方案中的環境是利用若干計算機系統和組件的分布式計算環境，該計算機系統和組件使用一個或多個計算機網絡或直接連接經由通信鏈路互連。然而，本領域的普通技術人員將了解這樣一種系統可以在與圖1中圖示的組件相比具有更少或更多數量組件的系統中同樣良好地運行。因此，本質上應將對圖1中的系統100進行的描述視為說明性的，並且不限制本公開的範圍。

圖2示出示例環境200，其中可實施各種實施方案。可利用上文中關於圖1描述的環境組件中的一個或多個實現環境200。環境200表示「增強現實」環境的實例。增強現實(ar)是物理，真實世界環境(其元素通過計算機生成的感官輸入(如語音或圖形)增強)的實時直接或間接視圖的術語。照慣例，實時地和在有環境元素的語義語境中完成增強。藉助先進的ar技術，關於用戶周圍真實世界的信息變成了互動式和可數碼操控式。可以在真實世界中疊加關於環境和其對象的人工信息。

實施方案中的環境200包括多個用戶201和203，其利用網絡，如英特網206，以使用客戶端計算(通信)設備202和204瀏覽各種內容提供商的內容。環境200可將英特網用作網絡；然而，應理解可將其他網絡用作英特網的替代物，或者除英特網以外還可以使用其他網絡。其他網絡的實例包括行動網路，企業內部網和大體上任何合適的通信網絡。將了解大量用戶和相關聯的計算設備可進行變化並且僅僅出於說明性目的示出用戶201和203和相關聯的計算設備202和204。

如在上文中討論的，客戶端計算設備202或204可是配備有圖像採集元件的任何移動通信設備，例如，行動電話，平板電腦，個人數字助理(pda)，增強真實(ar)眼鏡，頭戴式顯示器等等。設備202和204還可包括臺式計算機，筆記本計算機，電子書閱讀器，個人數字助理，視頻遊戲控制臺或控制器，電視機頂盒和可攜式媒體播放器等等。通信設備202或204可具有顯示屏，其在普通操作下將信息顯示給面向顯示屏(例如，在計算設備與顯示屏的同一側上，如設備204圖示)的用戶(或觀看者)。通過元件252和262圖示客戶端計算設備的顯示屏的放大版本。

通信設備可以包括一個或多個圖像採集元件，例如，包括設備前方的兩個圖像採集元件和設備後方的兩個圖像採集元件，然而應理解可以使用額外的或更少的圖像採集元件，並且還可以或可替代地放置在設備上的側、角或其他位置上。圖像採集元件還可以是相似或不同的類型。每個圖像採集元件可以是(例如)攝像機，電荷耦合設備(ccd)，運動檢測傳感器或紅外傳感器，或可以利用其他圖像採集技術。計算設備還可以包括至少一個麥克風或能夠採集音頻數據的其他音頻採集元件，和一個或多個單星定向元件，如加速度計，陀螺儀，數字羅盤或慣性傳感，其可以協助運動和/或定向。將參考圖8更加詳細描述包括客戶端計算(通信)設備的組件。

再次參考圖2，在實施方案中，用戶201和203可訪問通過內容提供商提供的內容以消費內容，搜索信息，購買供應用於消費或銷售的項目，參與社交網絡等等。如圖2中所示，環境200可包括通過疊加伺服器供應商244操作的通信伺服器242和通過內容提供商248操作的通信伺服器246。如在下文中將更加詳細描述的，在一些實施方案中可無需後端伺服器提供和支持所述功能。如所示的，在伺服器之間分布通過伺服器242和246提供的功能。大體上，可配置一個或多個伺服器以提供在伺服器242和246上實施的功能。相應地，在圖2中將伺服器242和246示作兩個單獨的元件僅僅用於說明性目的。如將要了解的，單個電子實體(未示出)可作業系統元件242、244、246和248。可替代地，不同的實體可控制元件242、244、246和248。電子實體或(多個)實體可以大量不同的方式操作，附屬於供應商248中的一個或多個或與供應商248中的一個或多個相關聯。

在實施方案中，環境200包括組件和指令，該組件和指令用於生成在設備屏幕252和262上的疊加元素256和266中呈現的內容。內容提供商248可提供各種類型的內容，如電子遊戲，新聞，視頻，購物或其他服務，搜尋引擎服務，音頻，社交網絡服務等等。應理解可將任何類型的內容包括在環境200或其變化中。可以各種方式(如通過應用界面或通過可能不適合分類成網站的其他機構)提供內容。在圖2圖示的實例中，內容提供商248，經由內容伺服器246，提供將在屏幕252和262上呈現的內容256和266，連同通過設備202和204分別通過它們的圖像採集元件採集的對象208和210的圖像254和264。

如圖2中所示，用戶201將其設備202指向對象208以採集隨後在屏幕252上顯示(254)的對象的圖像。相似地，用戶203將其設備204指向對象210以採集隨後在屏幕262上顯示(264)的對象的圖像。在這一點上，啟動檢測組件218和識別組件220以確定通過與設備202(204)相關聯的圖像採集元件採集的對象208(210)是否可識別。在實施方案中，可在屏幕252(262)上，例如，在設備202(204)的攝像機(即，圖像採集元件)的攝像機視圖中顯示對象。如果通過檢測和識別組件218和220識別到對象，與通信伺服器242和/或內容提供商伺服器246相關聯的疊加服務244從內容庫250檢索並且以特殊格式(例如，疊加元素256(266))提供與對象相關聯的信息以與在屏幕252(262)上的圖像對象254(264)疊加。

可以大量不同的方式將檢測組件218、識別組件220和疊加服務244與系統200相關聯。例如，執行這些元件中的一些或全部的指令可駐留在客戶端設備202和204上，並且在客戶端設備202和204上執行。可替換地，可使用通信伺服器242和/或內容提供商伺服器246經由網絡206訪問上述組件中的一些或全部。在一個實施方案中，疊加服務可駐留在客戶端設備上而不是伺服器上。此外，可將與庫相關聯的數據中的一些或全部存儲(高速緩存)在駐留在客戶端設備202(204)上的本地庫270(280)中，如下文將更加詳細描述。在下文中將參考圖3-7更加全面地討論檢測、識別和疊加功能及其應用。

圖3圖示根據實施方案以(如呈現在電子設備上的)相關聯的內容增強實時採集和顯示的對象的圖像的實例。如用來自攝像機並且指向興趣對象的兩個箭頭示出的，用電子設備306的圖像採集元件(例如，攝像機304)採集興趣對象302(圖書《戰爭與和平》)。電子設備顯示器308呈現用圖像採集元件304採集的對象302的圖像310。如在上文中參考圖2描述的，響應於對象識別和向疊加服務的提交，用包含基本上實時呈現的產品信息314的疊加元素312來增強圖像310。在實施方案中，在(如在下文中更加詳細描述的)計算的邊界框316內呈現圖像和疊加元素，該邊界框316在至少一些實施方案中接近在顯示的圖像信息中的確定的對象的邊界。這該實例中，疊加元素312是部分地與圖書302的圖像310疊加的並且包含在邊界框內的矩形。應理解，在一些實施方案中邊界框可以被計算但無需顯示給終端用戶。

圖4是圖示用於將攝像機實時視圖中的圖像與相關內容疊加的方法的流程圖400。流程400始於框402，其中將對象放置在設備攝像機視圖中。換言之，用戶正在將與用戶設備相關聯的攝像機指向特定對象(例如，書架上的圖書)並且有對象的幀出現在攝像機視圖中。在決策框406處，確定是否已經以檢測算法檢測到任何對象特徵。如果未檢測到特徵，流程移動到框422。在決策框410處，如果檢測到至少一個對象特徵，確定是否識別到與所確定的特徵相關聯的對象。如果未識別到對象，流程400移動到框422。如果識別到對象，流程移動到框414，其中將對象與在項目庫中存儲的產品或項目進行比較。在一個實施方案中，可將項目或產品信息高速緩存在與客戶端設備相關聯的存儲器中。如果在決策框414處，未發現匹配，流程移動到框422。在框418處，如果發現匹配，將產品信息呈現給用戶。在框422處，將幀和該幀中的選擇的特徵發送到伺服器以用於進一步對象識別。因此，本地客戶端對象識別和伺服器端對象識別可在兩個階段中發生。在一個實施方案中，當將包含對象的圖像的幀發送到伺服器時，與對象識別相關聯的全部任務在伺服器端上發生。隨後流程400結束。

圖5是圖示根據實施方案在伺服器端上的對象識別技術的實例的流程圖。流程500始於框502，其中從客戶端設備接收採樣幀。在框506處，將在採樣幀中確定的對象特徵與存儲項目(產品)的對象特徵進行比較。在下文中更加詳細地描述檢測/識別技術。在決策框510處，確定是否發現與任何存儲對象的匹配。在框514處，如果發現匹配，將與匹配產品相關聯的信息發送到客戶端設備用於疊加。隨後流程500結束。

圖6是圖示對象特徵檢測例程600的實例的流程圖。流程600始於框602，其中確定指向對象的設備處於穩定狀態以確保所採集圖像的足夠質量，所採集圖像將提供用於成功的對象檢測和識別。可使用各種技術(例如，使用與加速度計、固態羅盤、陀螺儀等等相關聯的傳感器輸入)來完成對攝像機是否穩定的判斷。在框606處，識別到當前幀中的興趣點。可通過使用(例如)興趣點檢測算法，如哈裡斯興趣點檢測算法(harrisinterestpointsdetectionalgorithm),莫拉維茨角檢測算法(moraveccornerdetectionalgorithm),fast等等識別興趣點。

在框610處，計算與每個興趣點相對應的特徵。特徵是與解決與某一應用有關的計算任務有關的一條信息。更具體地而言，特徵可以指應用於圖像，或圖像自身中的具體結構(從簡單結構如點或邊緣到更複雜的結構如對象)的一般領域運算的結果(特徵提取器或特徵檢測器)。特徵的其他實例與圖像序列中的運動有關，與根據不同圖像區域之間的曲線或邊界定義的形狀有關，或與這樣一種區域的屬性有關。可使用，例如，特徵計算算法如accumulatedsignedgradient(asg)等等計算在每個興趣點處的特徵。在框616處，計算在當前採樣幀與前一採樣(例如，最後採樣)幀中的特徵之間的對應。可將特徵之間的對應用於確定單應矩陣，即特徵點之間幾何學上地一致變換。本領域技術人員已知單應矩陣是將一組特徵點從給定位置變換到新變換位置的矩陣。更一般而言，單應矩陣是從真實投影平面到將直線映射到直線的投影平面的可逆變換。在計算機視覺領域，通過單應矩陣使空間中相同平坦表面的任何兩個圖像有關。在框618處，追蹤圖像特徵。可使用單應矩陣追蹤圖像特徵。可使用，例如，ransac算法計算單應矩陣。如果來自前一追蹤幀的單應矩陣足夠大，則選擇並且準備幀用於下文中參考圖7描述的識別階段。

這裡有若干普通類型的信息，其可幫助指明將什麼對象顯示在幀裡。一個這類實例是唯一地識別對象的條形碼。相應地，在決策框630處，如果在幀中檢測到條形碼，在框622處準備條形碼圖像數據並且將其提交到的識別算法。可幫助識別對象的另一種普通類型的信息是文本信息。因此，如果未檢測到條形碼，則在框634處確定圖像中是否存在任何文本。如果檢測到文本，準備文本以用於隨後搜索。另一種普通類型的信息是幀內的圖像(例如，人的面部)。在決策框638處，如果未檢測到文本，確定是否檢測到圖像內的任何面部。如果未檢測到面部，流程結束。如下文中參考圖6描述的，如果確實檢測到面部，準備包含面部的圖像以用於面部識別算法。隨後流程600結束。儘管上文中討論了條形碼、文本信息和面部圖像，但是仍可將幀內的其他類型的信息用於檢測幀內的對象。

圖7是描述根據實施方案的對象識別的實例的流程圖。流程700始於框702，其中處理了條形碼圖像數據。在決策框706處，確定條形碼是否有效。出於該目的，可使用條形碼解碼技術解碼條形碼並且隨後根據upc-a、upc-e或其他已知條形碼標準確認條形碼有效性。如果條形碼不是有效的(或是難以辨認的)，流程繼續進行到框714處。如果條形碼是有效的，檢索與條形碼相關聯的產品信息。產品信息可包括關於產品(即對象)的各種數據，包括在實施方案中的產品名稱和產品價格。

在決策框714處，如下文中參考圖6描述的，確定是否通過檢測算法發現了任何追蹤特徵。如果未發現這類特徵，流程移動到決策框742。在框718處，如果發現任何特徵，將特徵與在與客戶端設備有關的本地庫中存儲的產品特徵進行比較。在決策框722處，確定任何追蹤特徵與在本地庫中存儲的前一檢測產品的產品特徵是否匹配。在框726處，如果發現匹配，則從本地庫檢索高速緩存產品信息。在框730處，如果未發現匹配，隨後將圖像幀發送到伺服器並且伺服器將幀中的追蹤特徵與在遠離客戶端設備的庫中存儲的產品特徵進行比較。這可有利於檢測產品以及從本地庫檢索相關聯的產品信息，因為這是確定所需產品信息的快捷方法。如果未在本地庫中發現產品信息，將圖像幀發送到伺服器以用於進一步檢測/識別。在決策框734處，確定是否發現追蹤特徵與在遠程庫中存儲的產品特徵之間的任何匹配(或可接受水平的相關性)。如果未發現匹配(相關性)，流程移動到決策框742。如果發現匹配(相關性)，在框738處檢索與有匹配特徵的產品相關聯的產品信息並且流程結束。

如上文中討論的，這裡有用於檢測對象(包括文本數據、條形碼數據或面部數據)的若干普通類型的信息。在決策框742處，確定是否接收到任何文本數據。如果接收到文本數據，可驗證文本並且，如果發現是有效的，在框738處可將識別的文本用於檢索與該識別的文本相關聯的產品信息。在決策框746處，如果未接收到文本數據，確定是否接收到面部數據。在決策框760處，如果未接收到面部數據，確定是否識別到面部。在框768處，如果識別到面部，識別與識別的面部相關聯的信息。在一個實施方案中，信息可包括與個人(其面部已被識別)有關的數據。在框764處如果未識別到面部，允許用戶使用相關名稱對用戶攝像機視圖中顯示的面部作註解以用於未來識別目的。隨後流程700結束。

在一個實施方案中，可特定地應用識別算法。具體而言，如果在用戶設備上執行識別算法，以優化cpu使用，當該識別算法的部分中的一個在進行中(例如，如條形碼識別)時，隨後可不執行其他部分(例如，產品封面識別)。

圖8是圖示疊加例程800實例的流程圖。流程800始於框802，其中計算了初始邊界框。可通過將在庫中發現的對象的圖像角映射到使用通過成功圖像匹配表明的單應矩陣以查詢提交的圖像來計算初始邊界框。在框806處，更新邊界框。可通過應用來自追蹤初始邊界框的角的單應矩陣計算每個幀的更新的邊界框。實際上，計算旨在描繪圍繞用戶的視圖中的圖像的邊界框。

邊界框計算可能並不總是可靠的。例如，可將極少特徵點用於追蹤，該特徵點可覆蓋圖像的極小一部分，或單應矩陣可是不穩定的。為了限制邊界框的不規則變化，可檢查單應矩陣的有效性，使得框不具有超越特定(例如，預定)水平的透視變形，並且該邊界不會不切實際地變化。可將邊界框「快照」到最近的銳邊以使邊界框看起來更加自然。

在框814，可將疊加內容疊加在用戶視圖中。僅舉例來說，疊加內容可以是可選擇的內容(例如，「購買」按鈕)，使得用戶可以單擊和用攝像機視圖內的最小氣力購買在顯示屏中顯示的產品。可將這個技術描述作「增強現實中的單擊」。

在框818處，檢索產品信息可在計算的邊界框內增強(疊加)在用戶視圖中的圖像。產品信息可進行變化。例如，產品信息可包括(但可不限於)項目價格，客戶評價，評論，描述，其他格式的相同產品的特價優惠和促銷連結，數字下載的連接，列表，客戶討論，與通過已購買了對象(產品)的客戶購買的其他產品有關的信息等等。在框818中疊加的信息是可選的。

在框822處，將疊加內容格式化到邊界框上。在實施方案中，這可以3d格式完成以充分顯示「房地產」。例如，疊加元素可包括3d結構(如立方體)，其可將用戶的視圖中的對象的圖像疊加到設備的顯示器上。立方體的每面牆可包含與產品(對象)有關的內容，例如，一面牆可顯示產品的價格，另一面牆可顯示產品評論等等。除產品信息之外或替代產品信息，還可將可選擇的內容元素(例如，「購買」，「添加到購物車」或「選擇」按鈕)添加疊加元素(例如，上文中描述的3d結構)以使用戶能夠與顯示的內容互動。

其他類型的內容(而不是上文中討論的內容)可與在用戶的視圖中顯示的圖像疊加。例如，如在框826處所示的，可將產品的視頻預覽顯示給對象的圖像的邊界內的用戶。在實施方案中，可提供dvd(將其內容顯示在用戶的視圖中)的電影預覽，可提供顯示的玩具的遊戲預覽，可提供解釋如何使用特定產品的視頻等等。在框830處，還可將與產品有關的3d動畫提供給用戶。例如，如果對象(其圖像已被採集)是圖書，可提供示出圖書封面開篇並且顯示圖書中內容的動畫。如上文中描述的，可將可選擇的(「可點擊的」)內容元素添加到動畫並且製作為細節和進一步內容連結以如框834所示的使用戶能夠與內容互動。因此，在上文中實例中，有添加的可選擇的內容元素的動畫可允許用戶「翻轉」顯示的圖書的頁面並且示出每個翻轉頁面的內容。隨後流程800結束。

圖9是描述用於標記向用戶呈現的對象(例如，項目或產品)的方法的流程圖。標記項目可允許用戶創建產品列表並且從創建的列表抽取信息。可，例如，通過社交網絡(例如，通過或)與其他用戶共享創建的列表和列表內的單個產品。流程900始於框902其中如上文中參考圖3-5描述的識別產品。在決策框906處，確定是否識別到產品。在框908處，如果識別到產品，例如，以當前位置和時間戳標記識別的項目。在框912處，如果未識別到產品，將允許用戶將標記添加到產品，例如，手動地添加產品定義或描述。

在框916處，向用戶提供額外互動能力。例如，將允許用戶點擊顯示的產品，與朋友共享產品，通過位置或關鍵字搜索產品，將產品示作實時顯示視圖中的縮略圖並且允許用戶點擊縮略圖以查看詳情，導出產品列表(例如，如郵件或文件)供用戶使用，添加文本標籤等等。在上文中討論的圖書實例中，用戶可將標籤添加到說明將圖書借給用戶的朋友或圖書屬於用戶的程序庫的產品。隨後流程900結束。

圖10描述通信設備1000(如關於圖2描述的設備202)的一組基本組件。在該實例中，設備包括至少一個處理器1002,其用於執行可以存儲在存儲器設備中的指令或元件1004。指令可包括與上文描述的檢測，識別和疊加組件有關的指令。設備可包括很多類型的存儲器，數據存儲器或計算機可讀介質，如用於通過處理器1002執行的程序指令的第一數據存儲器，可以用於圖像或數據的相同或單獨的存儲器，可以用於與其他設備共享信息的可移動存儲器和可以用於與其他設備共享的任何數量的通信途徑。設備通常將包括至少一種類型的顯示元件1006，如觸控螢幕，電子油墨(e-ink)，有機發光二極體(oled)或液晶顯示器(lcd)，然而設備(如可攜式媒體播放器)可能經由其他手段(如通過揚聲器)傳達信息。

如討論的，很多實施方式中的設備將包括至少兩個圖像採集元件1008，如安置來確定觀看者的相對位置的至少一個圖像採集元件和可操作來使鄰近設備的用戶、人或其他可觀看的對象成像的至少一個圖像採集元件。圖像採集元件可以包括任何適當技術，如具有足夠解析度、焦距範圍和可觀看區域的ccd圖像採集元件，以當用戶正在操作設備時採集用戶的圖像。用於使用有計算設備的圖像採集元件採集圖像或視頻的方法是本領域眾所周知的並且將不在本文中詳細討論。應理解可以使用單個圖像、多個圖像、周期成像、連續圖像採集、圖像流等等執行圖像採集。

設備可以包括至少一個定向元件1010，如加速度計，數字羅盤，電子陀螺儀或慣性傳感，其可以協助確定設備定向中的運動或其他變化。設備可包括至少一個額外輸入設備1012，其能夠從用戶接收常規輸入。這個常規輸入可以包括，例如，下壓按鈕，觸摸板，方向盤，操作杆，鍵盤，滑鼠，軌跡球或任何其他這類設備或元件，使得用戶可以將命令輸入到設備。甚至可以通過無線紅外或藍牙或在一些實施方案中的其他連結連接這些輸入輸出(i/o)設備。然而，在一些實施方案中，這樣一種設備可能根本不包括任何按鈕並且可能僅通過視覺和音頻命令的組合控制，使得用戶可以控制設備而無需與該設備接觸。

圖11描述(根據上文中參考圖6相當詳細描述的)實施方案以(如呈現在電子設備上的)相關聯的內容增強實時採集和顯示的對象的圖像的實例1100。如上文中參考圖8描述的，電子設備顯示器1102包括以電子設備的圖像採集元件(例如，攝像機)採集的對象的圖像1104。該實例中的疊加元素是立方體1106形狀的3d結構，該立方體1106與圖像1104疊加。如示出的，立方體的全部側顯示關於圖書(《戰爭與和平》，列夫託爾斯泰)的不同信息。例如，側1108包括各種版本(精裝本和平裝本)的圖書價格。側1110包括名為「編輯評論」的可選擇的元素，其連結到關於圖書的評論。側1112包括已購買圖書(例如，列夫託爾斯泰所著的《安娜·卡列尼娜》)的用戶所購買的該圖書的描述。如上文中參考圖7描述的，可通過用戶移動立方體並且不同側可示出不同的產品信息。因此，在圖11中呈現的疊加實例允許用戶與疊加的內容互動並且圍繞顯示屏移動疊加元素(立方體1106)，使得立方體的全部側均可示出和顯示與產品的顯示的圖像相關聯的各種產品信息。

如上文討論的，可在種類繁多的操作環境中實施各種實施方案，其在一些情況下可以包括一個或多個計算機，計算設備或處理設備，其可以用於操作大量應用中的任何一個。客戶端設備可以包括大量通用個人計算機中的任何一個，如運行標準作業系統的臺式或筆記本電腦，以及運行移動軟體並且能夠支持大量社交和信息協議的蜂窩，無線或手持式設備。這樣一種系統還可以包括運行各種各樣可通過市售獲得的作業系統和其他用於如開發和資料庫管理目的的其他已知應用的大量工作站。這些設備還可以包括其他電子設備，如虛擬終端，瘦客戶端，遊戲系統和能夠經由網絡通信的其他設備。

還可以將各種方面實施為至少一個服務或網頁服務的部分，如可為服務導向架構的部分。服務如網頁服務可以使用任何適當類型的消息通信，如通過使用可擴展標記語言(xml)格式和使用適當的協議如soap(來源於「簡單對象訪問協議」)交換的消息。可以任何適當語言，如網際網路服務定義語言(wsdl)編寫這類服務提供或執行的處理。使用如wsdl的語言允許如各種soap框架中的客戶端代碼的自動生成的功能。

大多數實施方案利用本領域技術人員熟悉的用於使用各種各樣的可通過市售獲得的協議(如tcp/ip,osi,ftp,upnp,nfs,cifs和appletalk)中的任何一個支持通信的至少一個網絡。網絡可以是，例如，區域網，廣域網，虛擬專用網，英特網，企業內部網，企業外部網，公用交換電話網，紅外線網，無線網和任何其組合。

在利用網頁伺服器的實施方案中，網頁伺服器可以運行各種各樣的伺服器或中層應用，包括http伺服器，ftp伺服器，cgi伺服器，數據伺服器，java伺服器和業務應用伺服器。響應於來自客服端設備的請求，伺服器還可能夠執行程序或腳本，如通過執行可實施為以任何程式語言(如c,c#,或c++或任何腳本語言，如perl,python或tcl，以及其組合)編寫的一個或多個腳本或程序的一個或多個網頁應用。伺服器還可以包括資料庫伺服器(包括但不限於)那些可從和市售獲得的數據伺服器。

如下文中描述的，環境可以包括各種各種的數據存儲器和其他存儲器和存儲媒介。這些可以駐留在各種各種的位置中，如接近(和/或位於)計算機中的一個或多個或遠離整個網絡上的計算機中的任何一個或全部的存儲媒介上。在一組特定的實施方案中，信息可駐留在本領域技術人員熟悉的存儲區域網絡(「san」)中。相似地，可(視情況而定)本地和/或遠程地存儲用於執行計算機，伺服器或其他網絡設備功能的任何需要的文件。若系統包括計算化設備，每個這類設備可以包括可經由總線電耦合的硬體元件，該元件包括(例如)至少一個中央處理單元(cpu)，至少一個輸入設備(例如，滑鼠，鍵盤，控制器，觸控螢幕或觸摸板)和至少一個輸出設備(例如，顯示設備，印表機或揚聲器)。這樣一種系統還可以包括一個或多個存儲設備，如磁碟設備，光學存儲設備和固態存儲設備如隨機訪問存儲器(「ram」)或只讀存儲器(「rom」)，以及可移動媒介設備，存儲卡，快閃記憶體卡等等。

如上文中描述的，這類設備還包括計算機可讀存儲媒介閱讀器，通信設備(例如，數據機，網卡(有線或無線)，紅外線通信設備)和工作存儲器。可將計算機可讀存儲介質閱讀器與表示用於暫時和/或永久地包含，存儲，傳送和檢索計算機可讀信息的遠程，本地，固定和/或可移動的存儲設備以及存儲媒介的計算機可讀存儲介質連接，或配置計算機可讀存儲介質閱讀器來接收該計算機可讀存儲介質。通常系統和各種設備還將包括大量軟體應用，模塊，服務或定位於至少一個工作存儲器設備內的其他元件，包括作業系統和應用程式，如客戶端應用或網頁瀏覽器。應了解根據上文描述的內容替換實施方案可具有眾多變化。例如，還可能使用定製硬體和/或可能在硬體，軟體(包括可攜式軟體，如小應用程式)或二者中實施特定元件。此外，可以運用到其他計算設備如網絡輸入/輸出設備的連接。

用於包含代碼或代碼部分的存儲媒介和計算機可讀媒介可以包括本領域已知或使用的任何適當媒介，包括存儲媒介和通信媒介(如但不限於)以用於信息(如計算機可讀指令，數據結構，程序模塊或其他數據)存儲和/或傳送的任何方法或技術實施的易失性和非易失性，可移動和不可移動媒介，包括ram，rom，eeprom，閃速存儲器或其他存儲器技術，cd-rom，數字多功能光碟(dvd)或其他光學存儲器，磁帶盒，磁帶，磁碟存儲器或其他磁存儲設備或可以用於儲存所需信息並且可以通過系統設備訪問的任何其他介質。

基於本文提供的公開和教導，本領域的普通技術人員將了解實施各種實施方案的其他方式和/或方法。

條款：

1.一種用於以相關聯的內容增強基本上實時採集和顯示的對象的圖像或流的計算機實施方法，其包括：

在以可執行指令配置的一個或多個計算機系統的控制下，

使用通過用戶操作的電子設備的圖像採集元件採集對象的圖像的流中的至少一個圖像；

在所述電子設備的顯示元件上顯示所述所採集的至少一個圖像；

確定定義所述對象的一個或多個特徵，所述一個或多個特徵來源於所述對象的所述至少一個圖像；

將定義所述對象的所述確定的一個或多個特徵與定義在項目庫中存儲的多個項目的特徵匹配；

當發現匹配時，從所述項目庫檢索與所述匹配項目相關聯的內容，所述內容包括所述用戶可選擇的內容元素；以及

在所述電子設備的所述顯示元件上基本上實時地顯示疊加元素中的所述檢索內容，使得所述疊加元件增強在所述電子設備的所示顯示元件上顯示的所述圖像，

其中所述用戶通過訪問所述用戶可選擇的所述內容元素能夠與在疊加元素中顯示的所述檢索內容互動。

2.根據條款1所述的計算機實施方法，其中所述疊加元素通過與所述圖像疊加增強所述圖像，其中所述疊加元素選自下列各項中的一個：框，按鈕，三維(3d)結構，動畫，音頻，視頻，網頁或互動式用戶界面。

3.根據條款1所述的計算機實施方法，其中所述電子設備的圖像採集元件選自視頻攝像機或照片攝像機中的一個。

4.一種用於以相關聯的內容增強基本上實時採集和顯示的對象的圖像的計算機實施方法，其包括：

在以可執行指令配置的一個或多個計算機系統的控制下，

接收定義通過電子設備基本上實時採集的視頻的採樣幀的信息；

至少部分地基於所述接收的信息確定表示在所述採樣幀中採集的對象的信息；

促使所述確定的信息與定義多個項目的存儲信息匹配以定位與所述所採集對象匹配的項目；

檢索與所述匹配項目相關聯的內容；以及

提供所述檢索內容用於在所述電子設備上與所述所採集圖像一同顯示，

其中在疊加元素中呈現所述檢索內容，所述疊加元素與在所述電子設備上顯示的所述所採集圖像疊加。

5.根據條款4所述的計算機實施方法，其中所述內容包括所述用戶可選擇的內容元素，所述內容元素包括下列各項中的至少一個：按鈕或超連結。

6.根據條款4所述的計算機實施方法，其中所述內容包括與所述項目相關聯的信息，所述信息包括下列各項中的至少一個：項目價格，所述項目的描述，所述項目的客戶評價，所述項目的客戶評論，與所述項目有關的特價優惠和促銷，與所述項目有關的產品有關的信息，或所述用戶可選擇的使所述用戶能夠購買所述項目的至少一個內容元素。

7.根據條款4所述的計算機實施方法，其中將所述確定的信息與在所述電子設備處的存儲信息匹配並且其中將定義多個項目的信息存儲在與所述電子設備相關聯的本地庫中。

8.根據條款4所述的計算機實施方法，其中將所述確定的信息與遠離所述電子設備的存儲信息匹配並且其中將定義多個項目的信息存儲在遠程庫中。

9.根據條款4所述的計算機實施方法，其還包括：

當在一個或多個對象與存儲項目之間發現多個匹配時，確定到每個對象的大量匹配項目。

10.根據條款4所述的計算機實施方法，其還包括：以當前位置標識符或時間戳中的至少一個標記所述匹配項目。

11.一種用於以相關聯的內容增強實時採集和顯示的對象的圖像的計算機實施方法，

其包括：

在以可執行指令配置的一個或多個計算機系統的控制下，

以電子設備採集對象的至少一個圖像，通過所述電子設備顯示所述所採集圖像至少部分地基於所述對象的所述至少一個所採集圖像確定表示所述對象的信息；

將所述確定的信息與定義多個項目中的每個項目的存儲信息匹配；

從所述庫檢索與所述匹配項目相關聯的內容；

將所述所採集圖像與在疊加元素中呈現的所述檢索內容疊加，所述檢索內容包括至少一個可選擇的內容元素；以及

響應於用戶選擇所述至少一個可選擇的內容元素，將所述所採集圖像與所述內容元素相關聯的內容疊加。

12.根據條款11所述的計算機實施方法，其還包括：使所述用戶能夠輸入第二疊加元素並且以所述第二疊加元素內的關於所述對象的額外內容標記所述對象。

13.根據條款11所述的計算機實施方法，其還包括：響應於所述用戶在所述疊加元素中輸入搜索查詢，檢索相對應於所述搜索查詢的搜索結果。

14.根據條款11所述的計算機實施方法，其中所述疊加元素包括框。

15.一種用於以相關聯的內容增強實時採集和顯示的對象的圖像的計算機系統，其包括：

處理器；和

具有計算機可執行指令的存儲器，所述計算機可執行指令當在所述處理器上執行時，促使所述處理器：

接收定義通過電子設備基本上實時採集的視頻的採樣幀的信息；

至少部分地基於所述接收的信息確定表示在所述採樣幀中採集的對象的信息；

促使所述確定的信息與定義多個項目的存儲信息匹配以定位與所述所採集對象匹配的項目；

檢索與所述匹配項目相關聯的內容；

提供所述檢索內容用於在所述電子設備上與所述所採集圖像一同顯示；以及

促使在疊加元素中呈現所述檢索內容，所述疊加元素與在所述電子設備上顯示的所述所採集圖像疊加。

16.根據條款15所述的計算機系統，其中所述內容包括所述用戶可選擇的內容元素，所述內容元素包括下列各項中的至少一個：按鈕或超連結。

17.根據條款15所述的計算機系統，其中所述內容包括與所述項目相關聯的信息，所述信息包括下列各項中的至少一個：項目價格，所述項目的描述，所述項目的客戶評價，所述項目的客戶評論，與所述項目有關的特價優惠和促銷，與所述項目有關的產品有關的信息，或所述用戶可選擇的使所述用戶能夠購買所述項目的至少一個內容元素。

18.根據條款15所述的計算機系統，其中所述計算機可執行指令還促使所述處理器以當前位置標識符或時間戳中的至少一個標記所述匹配對象。

19.根據條款16所述的計算機系統，其中所述計算機可執行指令還促使所述處理器，響應於所述用戶選擇內容元素，檢索並且提供與所述內容元素相關聯的信息，所述信息與所述所採集圖像疊加。

20.一種用於以相關聯的內容增強實時採集和顯示的對象的圖像的具有計算機可執行指令的計算機可讀存儲介質，所述計算機可執行指令當通過計算機執行時，促使所述處理器：

接收定義通過電子設備基本上實時採集的視頻的採樣幀的信息；

至少部分地基於所述接收的信息確定表示在所述採樣幀中採集的對象的信息；

促使所述確定的信息與定義多個項目的存儲信息匹配以定位與所述所採集對象匹配的項目；

檢索與所述匹配項目相關聯的內容；

提供所述檢索內容用於在所述電子設備上與所述所採集圖像一同顯示；以及

促使在疊加元素中呈現所述檢索內容，所述疊加元素與在所述電子設備上顯示的所述所採集

圖像疊加。

21.根據條款20所述的計算機可讀存儲介質，其中所述內容包括所述用戶可選擇的內容元素，所述內容元素包括下列各項中的至少一個：按鈕或超連結。

22.根據條款20所述的計算機可讀存儲介質，其中所述內容包括與所述項目相關聯的信息，所述信息包括下列各項中的至少一個：項目價格，所述項目的描述，所述項目的客戶評價，所述項目的客戶評論，與所述項目有關的特價優惠和促銷，與所述項目有關的產品有關的信息，或所述用戶可選擇的使所述用戶能夠購買所述項目的至少一個內容元素。

23.根據條款20所述的計算機可讀存儲介質，其中所述疊加元素是框。

24.根據條款21所述的計算機可讀存儲介質，其中所述計算機可執行指令還促使所述計算機，響應於所述用戶選擇內容元素，檢索並且提供與所述內容元素相關聯的信息，所述信息與所述所採集圖像疊加。

25.根據條款10所述的計算機實施方法，其還包括：查詢所述標記項目以確定所述項目的當前位置。

相應地，將說明書和附圖看作是說明性的而非是限制性的。然而，顯然在不脫離如權利要求書所述的更廣精神和本公開範圍的情況下可對其做出各種修改和變化。