基於相關3d點雲數據來擴充圖像數據的技術的製作方法

2023-08-03 08:39:06 1

專利名稱：基於相關3d點雲數據來擴充圖像數據的技術的製作方法
基於相關3D點雲數據來擴充圖像數據的技術MM本發明的諸個實施例一般涉及移動計算設備，尤其涉及使用相關內容來擴充所捕捉的圖像。置量移動計算設備通常包括相機、位置和取向傳感器、以及越來越強大的計算資源。移動計算設備也能夠建立高帶寬連接以使用雲計算基礎設施和服務提供商。包括在移動計算設備中的顯示器可被用作為實況取景器，允許設備用戶捕捉實時圖像數據(諸如圖片、視頻)；然而，大部分應用無法使用移動計算設備可用的計算資源來
向用戶提供與所顯示的實況取景(即，取景器)中的主題相關的附加信息。嘗試增強實況取景的少量應用被限制為顯示基本信息(諸如用戶和特定位置之間的距離)，或與用戶周圍環境有關的基本信息(諸如，實況取景內的商業類型)。附圖
簡沭以下描述包括對附圖的描述，附圖具有對本發明的諸個實施例的實施方式的示例性圖示。附圖應該以示例方式而非限制性方式來解讀。如在此所使用的，對一個或多個「實施例」的引述應該被理解為描述了本發明的至少一個實施方式中所包括的特定特徵、結構或特性。因此，本文中所出現的諸如「在一個實施例中」或「在替換實施例中」的語句描述了本發明的多種實施例和實施方式，但不是必定要指代相同的實施例的。然而，它們也不是必定要互相排斥的。圖I示出根據本發明的實施例的在移動計算設備上所顯示的經擴充的3D取景的示例。圖2是根據本發明的實施例的過程的流程圖。圖3示出可由本發明的諸個實施例所處理的圖像數據、3D點雲數據和平面分段。圖4是示出根據本發明的實施例的用於處理3D點雲數據並提取平面分段的流程圖。圖5是根據本發明的實施例的改進所提取平面的過程的流程圖。圖6示出根據本發明的實施例的對平面分段進行群集化。圖7是根據本發明的實施例的對平面片段進行邊界化的過程的流程圖。圖8示出根據本發明的實施例的虛擬特徵匹配和平面片段提取。圖9是可包括本發明實施例的系統的框圖。以下給出了包括附圖描述的對特定細節和實施方式的描述，以及對本文所給出的發明概念的其它潛在實施例或實施方式的討論，附圖可示出下述實施例中的一些或全部。下面給出了對本發明諸個實施例的概述，並參照附圖給出了更為詳細的描述。具體描沭本發明的諸個實施例涉及提供將被顯示在移動計算設備上的使用相關數據擴充的圖像數據的系統、設備和方法。本發明的諸個實施例描述了對第一圖像數據和3D點雲數據進行處理以從3D點雲數據中提取第一平面片段。該第一平面片段與第一圖像數據中所包括的對象相關聯。接收第二圖像數據(諸如，經由移動計算設備中所包括的圖像傳感器來捕捉)，第二圖像數據包括在第一圖像數據中捕捉的對象。生成與該對象有關的第二平面片段，其中第二平面片段與第二圖像數據中所捕捉的對象在幾何上一致。如下所述，該平面片段是至少部分基於第二圖像數據、第一圖像數據以及第一平面片段而生成的。本發明的諸個實施例可進一步使用與該對象相關聯的內容(諸如，文本、圖像或視頻、或某種3D結構)來擴充第二圖像數據。經擴充的內容可被顯示在例如移動計算設備所包括的顯示器上，其中該內容被顯示為與第二平面片段在幾何上一致。圖I示出根據本發明的實施例的在移動計算設備上顯示的經擴充的3D取景的示例。移動計算設備100包括顯示器110。設備100可以是任何便攜計算系統，諸如膝上型計算機、平板計算機、智慧型電話、手持式計算設備、車載計算系統，等等。在該示例中，顯示器110包括經由設備100中所包括的圖像傳感器(諸如，相機) (沒有示出)對用戶的周圍環境的實時取景120。可以理解，通過顯示實時取景120，設備100可作為顯示圖像數據(諸如，圖片、視頻)以允許用戶觀察設備圖像傳感器的目標的取
旦取
ο在該實施例中，使用平面片段130、140和150對實時取景120進行擴充。平面片段130、140和150對應於在取景120中標識的對象。在該示例中，平面片段130、140和150對應於取景120中的樓宇131、141和151。平面片段130、140和150是通過下述的過程從與取景120有關的3D信息中提取的。每個平面片段在幾何上與實時取景120中它們相對應的對象的表面平面相一致(即，在該示例中，與顯示器110中所看到的樓宇131、141和151的前側相一致)。在該示例中，平面片段130、140和150包括與實時取景120中它們相對應的對象相關的數據。平面片段130包括與樓宇相關的圖像(在該示例中，用戶在樓宇131中的圖片)。平面片段140包括與移動計算設備顯示器上至少一個平面片段內的樓宇中運作的商業有關的文本數據。在該示例中，所述文本數據標識樓宇141中所包括的商業。平面片段150包括樓宇151內捕捉的視頻數據。在每個平面片段中所包括的經擴充的內容與它們相對應的平面片段在幾何上一致(即，與實時取景120中它們相對應的對象的表面平面在幾何上一致)。經擴充的內容可以例如被包括在設備100的存儲器儲存中，或經由網絡連接(諸如，無線網際網路連接)從資料庫獲取。圖2是根據本發明的實施例的過程的流程圖。在此所示的流程圖提供了對多個處理動作的序列的示例。雖然被示出為特定的序列或次序，但除非有特別說明，這些動作的次序是可以被改動的。因此，所示的實現應該被理解為僅僅是示例，並且所示的處理可以按照不同的次序來執行，並且一些動作可以並行地執行。此外,在本發明的多個實施例中,可以省略一個或多個動作，因此，並不是每個實施方式都需要所有的動作。其他處理流程也是可能的。圖像數據(可替換地在此被稱為「預存儲的」圖像數據，以使該數據區別於由移動計算設備所捕捉的圖像數據)和對應於圖像數據的3D點雲數據被處理以提取至少一個平面片段，步驟200。在一些實施例中，如下所述，該3D點雲數據被預處理以使數據更適合後續操作(諸如，基於所捕捉的圖像數據的解析度或移動計算系統上可用的計算資源對該數據進行下採樣)。
在一個實施例中，預存儲的圖像數據是具有至少一個對象的圖片。所提取的平面片段與該對象相關聯。例如，如上所述，預存儲的圖像數據可包括樓宇的圖像，並且所提取的平面片段將是樓宇的平面。經由移動計算設備中包括的圖像傳感器對該對象的圖像數據進行捕捉，步驟210。可以理解，所捕捉的圖像數據可包括靜態圖片、視頻數據、或圖像傳感器的目標的實時顯示數據(諸如，圖I中的實況取景)。生成第二平面片段，第二平面片段與所捕捉的圖像中的對象有關，步驟220。該平面片段與出現在所捕捉的圖像數據中的對象(諸如，圖I中所述的所捕捉的實況取景中所包括的樓宇的側面)在幾何上一致。可至少部分基於所捕捉的圖像數據、操作200中所述的預存儲的圖像數據、以及操作200中所述的至少一個平面片段來生成第二平面片段。第二平面片段被與所捕捉的圖像數據相整合(可替換地，在此稱為「記錄」)，步驟·230。在一個實施例中，所捕捉的圖像數據與移動計算設備的實況取景相關，並因此，至少一個平面片段與該實況取景相整合。使用第二平面片段中的附加內容來擴充所捕捉的圖像數據，步驟240。附加內容與由至少一個平面片段所表示的相應對象有關。可以理解，附加內容將會被顯示在幾何上與第二平面片段相一致的經擴充的圖像中，步驟250。圖3示出可由本發明的諸個實施例處理的圖像數據、3D點雲數據和平面分段。3D點雲350對應於樓宇305的預存儲2D圖像300。雲350中的每個3D點表示圖像300的像素的實際3D位置。圖像300中的一些像素可能不具有對應的3D點，諸如，在天空中的像素。在一些實施例中，3D點雲數據350被轉換到更適於後續處理的坐標系統中。例如，如果3D點雲數據350格式為「緯度、經度、海拔」，則更有益地可以將該格式轉換為本地坐標系統(諸如，東方、北方、上方(ENU))，由此坐標的值可以更小(即，相比於以地心為原點的系統的坐標)。該轉換也可更好地傳遞3D點雲數據350的垂直和水平取向。在一些實施例中，3D點雲數據350是源自對大型3D點雲數據集進行再採樣，以使得計算更為快速。這可通過對預存儲的圖像或對應的3D點雲進行下採樣來完成。例如，對於300x500的圖像，對應的3D點雲數據的大小可包括多達150，000個點。通過以水平和垂直維度上以速率10進行採樣，可以將3D點的數目下降到1，500個點。為了從3D點雲數據350提取平面，本發明的實施例可使用隨機採樣一致性(RANSAC)方法，並將預存儲的圖像300和3D點雲數據350組合以引導RANSAC中的採樣過程，而不是隨意地採樣3D點雲數據。圖4是根據本發明的實施例的用於處理3D點雲數據並提取平面片段的流程圖。從圖像隨機選擇N參考(Nref)個像素，步驟410。對每個像素，執行一系列操作(即，選擇參考像素，步驟420)。這些操作將在下文描述。在本地鄰域中(即，在參考像素周圍的WxW窗口)，隨機地選擇兩個其他像素，使得三個像素是非共線的，步驟430。將IR3中指向由對應於三個像素的3D點構成的平面(P參考，Pref)的法線Nref計算為叉積，步驟440。對於此操作，可以假定，對應於鄰近像素的3D點更有可能位於相同的平面上。因此，可以理解，通過施加局部約束來檢測共面3D點，根據本發明的處理相比於隨意地採樣3D點雲數據而言更快地收斂到優勢面。對於每個3D點(在此稱為IR3中的點M)，確定其是否位於平面(P參考)上，並且計算其在平面上的投影誤差(P參考E= [η參考.(M-M參考)]2，Pref :E= [nref.(M-Mref) ] 2)，其中M參考(Mref)是對應於參考像素的3D點，步驟450。如果誤差E小於容限閾值ε，即E < ε，則點M被假定為位於平面(P參考)上，步驟460。隨後計算平面(P參考)的得分，即「屬於」其的3D點的歸一化數目參考得分={(P參考)中的M} /N, scoreref= | {M in (Pref)} /N，其中N是3D點雲數據中點的總數
目，步驟470。選擇N參考(Nref)個所獲得的得分中的最大得分，步驟480。如果其大於閾值L，即參考得分> L (scoreref >L)，則平面(P參考)被選擇為「所提取的」平面，並且獲得其法線向量和偏置的最小平方估計，步驟490。來自3D點雲的「屬於」所提取平面的所有點M(即，對該平面的投影誤差小於容限ε)可以在後續處理中被去除。一旦所有平面都已經被提取，並且假定超過一個平面已經被提取，則本發明的諸個實施例可進一步改進所提取的平面。圖5是根據本發明的實施例的改進所提取平面的過程的流程圖。與預存儲的圖像有關的數據可被用於確定用於過濾不正確平面的標準，步驟500。例如，在市內場景中，樓宇通常是主要建築。因此，為了獲取粗略的3D模型，如果已知預存儲的圖像是市內場景，那麼大多數平面將被假定為可能是垂直的或是水平的。不符合過濾標準的平面將被去除，步驟510。因此，在該示例中，既不是垂直的也不是水平的所提取平面將被去除，並且屬於這些平面的3D點將不被分配給任何平面。每個未被去除的平面也可與類似地經處理的平面(即，具有類似法線矢量和偏置的平面)進行比較，並且僅僅保留具有最大點數目的所提取的平面，步驟520。如果沒有剩餘的平面需要處理，步驟525，則處理未被分配給任何平面的剩餘3D點，步驟530。對於每個未分配的3D點，計算其對於每個經改進的所提取平面的投影誤差，並且選擇最小投影誤差和對應的平面(P最小，Pmin)，步驟540。容限閾值可從ε增加到ε 』 =因子X ε，( ε 』 = factor χ ε )。如果最小投影誤差小於ε 』，步驟545,貝丨J 3D點被分配給對應的平面(P最小)，步驟550 ;否則將其捨棄，步驟555。例如，3D點雲數據350的最終所提取的平面將是平面390、391和392。因此，由圖5描述的示例過程的結果可以是將每個3D點及其對應的像素映射至平面的3D點雲數據的掩碼。該掩碼被用於創建所捕捉的圖像數據的更為緊湊且更高層的表示。在圖3中，樓宇305的右側牆壁的大多數3D點/像素是相同的顏色(諸如，綠色，雖然在附圖中沒有示出色彩)。代替了將該數據存儲為3D點/像素和對應的平面索引的對，本發明的諸個實施例可指定由右側牆壁上的綠色編碼像素所佔據的全部區域(例如，例如，確定邊界多邊形)。進一步地，互相遠離的並且位於同一平面內的區域可以被群集化。與樓宇305有關的更高層信息可被獲取，以適當地對平面進行群集化。例如，相同色彩的像素可被群集化至與圖6所示的樓宇305的右側牆壁的兩個不同部分相對應的分離群集中。在該實施例中，3D點雲數據350包括與樓宇350 (如圖3所示)的右側牆壁相對應的群集600和610。高層信息可被用於確定是否在該側壁上存在廣告板。本發明的諸個實施例可因此根據牆壁的每個片段來對平面片段進行群集化一即，群集600生長為平面片段620 (對應於牆壁)，群集610生長為平面片段630 (對應於廣告板)。對於樓宇的情況，所期望的最終效果可以是一組樓宇牆壁邊界矩形。如果3D點雲數據和預存儲的圖像與市內區域有關，可以假定屬於垂直平面的大部分3D點對應於樓宇的牆壁。因此，通過矩形來對垂直平面片段進行近似的目標得到證明。在本發明的一個實施例中，在圖像和3D點雲數據中的信息被用於通過使用3D點雲中生長的區域來對平面進行群集化。兩個3D點之間的相似度距離是對應像素之間的像素距離。處理操作可對每個平面迭代，提取η個種子，並圍繞這些種子而生長平面片段。圖7是根據本發明的實施例的對平面片段進行邊界化的過程的流程圖。對與上述的市內環境有關的群集中的片段執行過程700。作為示例，繼續將本發明的諸個實施例用於已知的市內環境，選擇垂直片段，步驟710。對於每個垂直片段，找到具有最大和最小垂直坐標的兩個極端3D點，步驟720。因此，獲取了邊界框的上水平邊和下水平邊，並且可基於這些點來確定平面內方向，步驟730。也找到片段內的具有水平方向上的最大和最小坐標的另外兩個極端3D點，步驟740。使用這些極端點和平面內方向，可以確定該片段的邊界框的兩個垂直邊，步驟750。·在一些實施例中，可以將對象的多個2D圖像或多個取景角度的場景與來自不同取景角度的對應3D點雲數據集合一起預存儲。這些點雲數據集合可以重疊。在這些實施例中，所有點雲數據可被合併以提高所提取的平面片段的精度。為了標識重疊區域，點雲數據的集合可被限制在局部鄰域內，並且可以合併相關的點雲信息。可以理解，可以通過不同的過程以不同的次序執行多個任務提取平面、組合點雲數據、噪聲移除。在一個實施例中，每個點雲數據集合被建模為實際3D點的噪聲測量集合(噪聲源可以包括測量點的不確定性，其取向、傳感器噪聲，等等)。可隨後獲得噪聲統計的估計以及重疊區域中的原始3D點。這些噪聲統計可被用於獲取所有點雲數據集合的3D點的更好估計，以提取平面。可以理解，在重疊區域中的3D點具有最精確的估計，並因此這些點在估計其所屬的平面時被給予優先級(例如，加權最小平方可被用於平面參數的估計，對這些點給予更大的權重)。在另一個實施例中，對每個3D點雲數據集合分離地進行平面提取。可以基於重疊平面的法線矢量相似度以及其局部接近度來標識這些重疊平面。對於每個重疊平面集合，屬於其的所有3D點雲數據可被收集以基於該更大的點集合做出對平面的新的(S卩，更為精確的)估計。在一個實施例中，接收到與3D點雲數據相關聯的置信度/可靠性信息。該額外信息可與3D點雲數據一起用於推斷3D點測量的可靠性。例如，通過允許具有更高可靠性的3D點在平面估計中起到更大作用，可對上述的平面提取算法進行調整。在RANSAC中的採樣方法可被偏置以從更可靠的3D點中進行更多採樣。進一步的，加權最小平方(而不僅僅是最小平方)可被用於估計平面參數。權重可以與3D點的可靠性得分成比例或作為其的遞增函數。在一個實施例中，色彩信息可被用於從3D點雲數據中更為精確地提取平面。例如，色彩信息和像素距離可被組合以形成上述的區域生長過程中的相似度距離。在該實施例中，位於同一個平面內的、在像素距離上是靠近的並且具有相似的色彩(即，對應於預存儲的圖像中的相同色彩像素)的3D點將傾向於被分配給相同的平面片段。可以理解，從3D點雲數據中所提取的平面片段形成了預存儲圖像數據的粗略3D模型。該數據可被用於從所捕捉的圖像數據中提取平面片段。因此，3D模型中的平面片段可與所捕捉的圖像數據以及預存儲的圖像數據一起被處理(即，整合)，由此使得能將所捕捉的圖像數據與粗略3D模型一起記錄。粗略3D模型的記錄允許多個應用投射相應平面片段內的數據(即，靜態圖像和視頻)。換句話說，用戶可使用移動計算設備來獲取圖像，並在移動計算設備或臺式機上將該圖像記錄在模型的正確視角內。與視頻圖像數據相似的，所記錄的實況取景可以實時地通過添加在正確視角(例如如圖I所示)內的附加信息(諸如，文本、圖像或視頻、或一些3D結構)來擴充。在一個實施例中，移動計算設備使 用系統組件和應用(諸如，全球定位系統(GPS)傳感器、蜂窩或WiFi網絡連接、取向傳感器)來縮小設備的位置和其圖像傳感器的取景角度。在粗略的3D模型側，位置和取向信息以及相關的近似位置(此處的取景接近於近似取景)的預存儲的圖像數據(即，參考模型)可被用於從這些圖像中提取視覺特徵。因此，上述的處理生成了具有對應視覺特徵的平面片段，即記錄過程所用的參考模型。在一個實施例中，視覺特徵從行動裝置的圖像或視頻幀中提取，並與參考模型(即，預存儲的圖像)中的視覺特徵相匹配。圖8示出這類匹配。從所捕捉的圖像890的對象800的預存儲圖像830的點對應820中估計多個全息圖810(在該示例中，對象800是牆壁上的繪畫)。在該示例中，全息圖轉換的假定是合法的，因為平面結構被假定為在對象800的場景中。接下來，每個全息圖矩陣被解壓縮為圖像傳感器旋轉和平移參數。這些單獨參數可被組合以獲得旋轉和平移參數的一個噪聲更少的版本，以產生匹配平面對象830。因此，可標識對象800以及由圖像傳感器對其捕捉所採用的視角。相關的圖像數據可被顯示在與對象相對應的平面片段850內(諸如，如上所述的圖標、文本數據、圖像數據)。圖9是可包括本發明實施例的系統的框圖。系統900可包括預處理模塊910，用於執行涉及預存儲的圖像和3D點雲數據的操作以如上所述地生成平面片段。系統900可進一步包括圖像傳感器920，以如上所述地捕捉圖像數據。平面提取模塊930可如上所述地處理預存儲的圖像、所捕捉的圖像、以及它們的相關平面片段以提取與對象有關的平面。記錄模塊940可如上所述地使用所提取的平面片段中的關聯內容來擴充所捕捉的圖像數據。經擴充的圖像數據可被顯示在顯示器950上。在該示例中，經由處理器960執行模塊910、930和940。如上所述的系統900的所有組件可經由總線970被操作地耦合。可以理解，在圖9中所述的多個模塊可均被包括在移動計算設備中，或單獨地分散在不同位置(即，圖9的任意或所有模塊可被包括在與移動計算設備交互的伺服器中，以提供「後端處理」)。進一步的，可以理解，與所述模塊相關的操作僅僅是示例性的實施例，上述的任意操作可經由操作地耦合到一起的多個設備來執行。在此被稱為過程、伺服器或工具的多個組件可以是用於執行所述功能的裝置。在此所述的每個組件包括軟體或硬體，或其組合。每個和所有組件可被實現為軟體模塊、硬體模塊、特定功能硬體(諸如，應用特定硬體、ASIC、DSP，等等)、嵌入式控制器、硬線電路、硬體邏輯，等等。軟體內容(諸如，數據、指令、配置)可經由包括非暫時性有形計算機或機器可讀存儲介質的工業製品來提供，其提供的內容表示可被執行的指令。該內容可使得計算機執行在此所述的各種功能/操作。計算機可讀存儲介質包括提供任意的機制以提供(即，存儲和/或傳輸)計算機(諸如，計算設備、電子系統，等等)可訪問形式的信息，諸如可記錄/不可記錄介質(諸如，只讀存儲器(ROM)、隨機存取存儲器(RAM)、磁碟存儲介質、光存儲介質、快閃記憶體設備，等等)。內容可以是可直接執行(「對象」或「可執行」形式)的、原始碼或不同代碼(「差值(delta)」或「補丁(patch)」編碼)。計算機可讀存儲介質也可包括可從其下載內容的儲存器或資料庫。計算機可讀介質也可包括在銷售或派送 時其上存儲有內容的設備或產品。因此，派送具有所存儲內容的設備、或者在通信介質上提供內容以供下載也被理解為提供了在此所述的這些內容的工業製品。
權利要求
1.一種用於擴充圖像數據的設備，包括 用於處理第一圖像數據和3D點雲數據以從所述3D點雲數據中提取第一平面片段的裝置，所述第一平面片段與所述第一圖像數據中包括的對象相關聯； 用於至少部分基於第二圖像數據、第一圖像數據以及第一平面片段來生成與第二圖像數據中所捕捉的對象相關的第二平面片段的裝置，所述第二圖像數據是經由移動計算設備中所包括的圖像傳感器所捕捉的，所述第二圖像數據包含所述對象；以及 用於使用與所述對象相關聯的內容來擴充所述第二圖像數據的裝置，所述擴充與所述第二平面片段在幾何上一致。
2.如權利要求I所述的設備，其特徵在於，所述用於處理第一圖像數據和3D點雲數據以提取第一平面片段的裝置包括用於基於與所述第一圖像數據相關聯的元數據來確定所提取的第一平面片段的形狀和取向的裝置，所述元數據具有所述第一圖像數據的地理信息或與所述第一圖像數據中所捕捉的對象相關的數據。
3.如權利要求I所述的設備，其特徵在於，至少部分基於第二圖像數據、第一圖像數據以及第一平面片段來生成與第二圖像數據中所捕捉的對象相關的第二平面片段包括基於所述第一圖像數據中所捕捉的對象的色彩數據，將所述第一平面片段與所述第二圖像數據中所捕捉的對象相匹配。
4.如權利要求I所述的設備，其特徵在於，用於處理3D點雲數據的裝置包括用於對3D點雲數據進行下採樣的裝置。
5.如權利要求I所述的設備，其特徵在於，處理第一圖像數據和3D點雲數據以從所述3D點雲數據中提取第一平面片段進一步是基於與3D點雲數據的數據點相關聯的可靠性數據。
6.如權利要求I所述的設備，其特徵在於，所述第二圖像數據包括由所述移動計算設備的圖像傳感器所捕捉的實況取景，並且與對象相關聯的內容包括文本、靜態圖像數據或視頻圖像數據。
7.如權利要求I所述的設備，其特徵在於，所述3D點雲數據包括 從第一取景點所捕捉的第一 3D點雲數據集合；以及 從第二取景點所捕捉的第二 3D點雲數據集合，並且用於處理第一圖像數據和3D點雲數據以從所述3D點雲數據中提取第一平面片段的裝置還包括 用於處理所述第一 3D點雲數據集合和所述第一圖像數據以提取第一初始平面片段的裝置； 用於處理所述第二 3D點雲數據集合和所述第一圖像數據以提取第二初始平面片段的裝置；以及 用於組合第一和第二初始平面片段以形成所述第一平面片段的裝置。
8.一種用於擴充圖像數據的系統，包括 至少一個處理器； 顯示器； 由處理器執行的軟體，以 處理第一圖像數據和3D點雲數據以從所述3D點雲數據中提取第一平面片段，所述第一平面片段與所述第一圖像數據中包括的對象相關聯，至少部分基於第二圖像數據、第一圖像數據以及第一平面片段，生成與第二圖像數據中所捕捉的對象有關的第二平面片段， 使用與所述對象相關聯的內容來擴充所述第二圖像數據，所述擴充與所述第二平面片段在幾何上一致， 將具有與所述對象相關聯的經擴充內容的第二圖像顯示在所述顯示器上；以及 圖像傳感器，用於捕捉具有所述對象的第二圖像數據。
9.如權利要求8所述的系統，其特徵在於，處理第一圖像數據和3D點雲數據以提取第一平面片段包括基於與所述第一圖像數據相關聯的元數據來確定所提取的第一平面片段的形狀和取向，所述元數據包括所述第一圖像數據的地理信息或與所述第一圖像數據中所捕捉的對象相關的數據。
10.如權利要求8所述的系統，其特徵在於，至少部分基於第二圖像數據、第一圖像數據以及第一平面片段來生成與第二圖像數據中所捕捉的對象相關的第二平面片段包括基於所述第一圖像數據中所捕捉的對象的色彩數據，將所述第一平面片段與所述第二圖像數據中所捕捉的對象相匹配。
11.如權利要求8所述的系統，其特徵在於，處理3D點雲數據包括對所述3D點雲數據進行下採樣。
12.如權利要求8所述的系統，其特徵在於，處理第一圖像數據和3D點雲數據以從所述3D點雲數據中提取第一平面片段進一步是基於與3D點雲數據的數據點相關聯的可靠性數據。
13.如權利要求8所述的系統，其特徵在於，所述第二圖像數據包括由所述移動計算設備的圖像傳感器所捕捉的實況取景，並且所述內容包括文本、靜態圖像數據或視頻圖像數據。
14.如權利要求8所述的系統，其特徵在於，所述3D點雲數據包括 從第一取景點所捕捉的第一 3D點雲數據集合；以及 從第二取景點所捕捉的第二 3D點雲數據集合，並且處理第一圖像數據和3D點雲數據以從所述3D點雲數據中提取第一平面片段還包括 處理所述第一 3D點雲數據集合和所述第一圖像數據以提取第一初始平面片段； 處理所述第二 3D點雲數據集合和所述第一圖像數據以提取第二初始平面片段；以及 組合第一和第二初始平面片段以形成所述第一平面片段。
15.一種用於擴充圖像數據的方法，包括 處理第一圖像數據和3D點雲數據以從所述3D點雲數據中提取第一平面片段，所述第一平面片段與所述第一圖像數據中包括的對象相關聯； 接收經由移動計算設備中所包括的圖像傳感器所捕捉的第二圖像數據，所述第二圖像數據包括所述對象； 至少部分基於第二圖像數據、第一圖像數據以及第一平面片段，生成與第二圖像數據中所捕捉的對象有關的第二平面片段；以及 使用與所述對象相關聯的內容來擴充所述第二圖像數據，所述擴充與所述第二平面片段在幾何上一致。
16.如權利要求15所述的方法，其特徵在於，處理第一圖像數據和3D點雲數據以提取第一平面片段包括基於與所述第一圖像數據相關聯的元數據來確定所提取的第一平面片段的形狀和取向，所述元數據包括所述第一圖像數據的地理信息或與所述第一圖像數據中所捕捉的對象相關的數據。
17.如權利要求15所述的方法，其特徵在於，至少部分基於第二圖像數據、第一圖像數據以及第一平面片段來生成與第二圖像數據中所捕捉的對象相關的第二平面片段包括基於所述第一圖像數據中所捕捉的對象的色彩數據，將所述第一平面片段與所述第二圖像數據中所捕捉的對象相匹配。
18.如權利要求15所述的方法，其特徵在於，處理第一圖像數據和3D點雲數據以從所述3D點雲數據中提取第一平面片段進一步是基於與3D點雲數據的數據點相關聯的可靠性數據。
19.如權利要求15所述的方法，其特徵在於，所述第二圖像數據包括由所述移動計算設備的圖像傳感器所捕捉的實況取景，並且所述內容包括文本、靜態圖像數據或視頻圖像數據。
20.如權利要求15所述的方法，其特徵在於，所述3D點雲數據包括 從第一取景點所捕捉的第一 3D點雲數據集合；以及 從第二取景點所捕捉的第二 3D點雲數據集合，並且處理第一圖像數據和3D點雲數據以從所述3D點雲數據中提取第一平面片段還包括 處理所述第一 3D點雲數據集合和所述第一圖像數據以提取第一初始平面片段； 處理所述第二 3D點雲數據集合和所述第一圖像數據以提取第二初始平面片段； 組合第一和第二初始平面片段以形成所述第一平面片段。
全文摘要
本發明的諸個實施例描述了對第一圖像數據和3D點雲數據進行處理以從3D點雲數據中提取第一平面片段。該第一平面片段與第一圖像數據中所包括的對象相關聯。接收第二圖像數據，該第二圖像數據包括在第一圖像數據中所捕捉的對象。生成與該對象有關的第二平面片段，其中第二平面片段與第二圖像數據中所捕捉的對象在幾何上的一致。該平面片段是至少部分基於第二圖像數據、第一圖像數據以及第一平面片段而生成的。本發明的諸個實施例進一步使用與該對象相關聯的內容來擴充第二圖像數據。該經擴充的圖像可被顯示，使得顯示該內容以與第二平面片段在幾何上的一致。
文檔編號G06T17/00GK102959946SQ201180002820
公開日2013年3月6日 申請日期2011年9月26日 優先權日2010年9月24日
發明者M·E·裘巴斯, I·V·科津特塞夫, 吳翌, Y·蓋特, H·W·豪斯塞科爾 申請人:英特爾公司