以參考特徵匹配圖像特徵的方法

2023-10-11 05:21:29

以參考特徵匹配圖像特徵的方法
【專利摘要】一種以參考特徵匹配圖像特徵的方法，該方法包括下列步驟：提供通過一拾取裝置拾取的一當前圖像，提供一組參考特徵，其中每個該等參考特徵包括至少一第一參數，所述第一參數是至少部分地指示有關一廣域坐標系統的參考特徵的一位置和/或方位，其中所述廣域坐標系統是一地面坐標系統或一對象坐標系統，或所述第一參數是至少部分地指示有關一高度的參考特徵的一位置，在一特徵檢測過程中檢測所述當前圖像中的至少一特徵，關聯所述檢測特徵於至少一第二參數，所述第二參數是至少部分地指示有關所述廣域坐標系統的檢測特徵的一位置和/或方位，或所述第二參數是至少部分地指示有關一高度的檢測特徵的一位置，以及通過決定在所述至少一第一參數以及所述至少一第二參數之間的一相似度測量，而匹配所述檢測特徵與所述一組參考特徵的參考特徵的至少之一。
【專利說明】以參考特徵匹配圖像特徵的方法
【技術領域】
[0001]本發明是針對一種以參考特徵匹配圖像特徵的方法，包括下列步驟:提供通過一拾取裝置拾取的一當前圖像，提供參考特徵，檢測在一特徵檢測過程中的當前圖像中的至少一特徵，以及將所述檢測特徵與所述參考特徵的至少之一匹配。
【背景技術】
[0002]在利用攝影機取得的圖像的處理中的許多任務，例如，在增強實境應用以及計算機視覺中，需要找出對應於相同實體3D表面的相同對象或景象的多個圖像中的點或特徵。一常見方法，例如，在參考文獻[I]中所揭示的SIFT中，首先以具有高重複性的方法檢測圖像中的特徵。這意味著，對應至相同實體3D表面的圖像中的部分被選擇作為對於不同視角、不同旋轉以及照明設置的特徵的可能性是高的。特徵通常在尺度空間(即，在不同的尺度上)中被提取。因此，每個特徵具有除了其的二維位置外的可重複尺度。此外，可重複方位(旋轉)自在特徵附近的區域(例如，強度梯度的主要方向)中的像素強度被計算出。
[0003]最後，為啟用特徵的比較以及匹配，一特徵描述符是需要的。通常的方法使用計算的特徵的尺度以及方位以轉換特徵描述符的坐標，其提供對於旋轉以及尺度的不變性。描述符是，例如，一個η-維的實數向量，其通常利用連接局部圖像強度函數的直方圖被構建，例如，在參考文獻[I]中的梯度。
[0004]給予一當前特徵，自一當前強度圖像被檢測以及被描述，一重要工作是在將被稱為參考特徵的一組被提供的特徵中，找出對應至相同的實體表面的一特徵。一自然方法是通過徹底地搜尋找出當前特徵的描述符的最接近鄰近者以及選擇對應的參考特徵作為匹配。更先進的方法採用描述符領域中的空間數據結構以加速匹配。遺憾地是，沒有已知的現有方法可啟用高維度空間中最接近鄰近者的搜尋，其是顯著地更快於徹底的搜尋。這是為什麼通常的方法反而使用近似最接近鄰近者的搜尋，例如，通過空間分割數據結構被啟用，例如,參考文獻[I]中的kd-樹。
[0005]標準方法的限制:
[0006]隨著參考特徵的數目增加，匹配一單一當前特徵的時間上升，使得在一些點的實時處理成為不可能。同時，特徵描述符的特殊性隨參考特徵的總數目而減少。雖然第一個問題可隨著最佳化數據結構啟用快速近似最接近鄰近者的搜尋至一定的程度而被解決，但若不包含任何進一步的信息則第二問題不能被解決。
[0007]已經提出的解決辦法:
[0008]Reitmayr以及Drummond的參考文獻[5]說明依賴視覺跟蹤的一戶外增強實境系統。為初始化視覺跟蹤，即去找出有關於世界的攝影機位置以及方位而不必具有自在先幀的任何知識，他們使用GPS以得到裝置的粗略位置。給予的這個位置，他們試圖通過在粗略的GPS測量附近的一些位置樣本的受限的攝影機位置初始化視覺跟蹤，直至初始化成功。
[0009]Schall等人的參考文獻[7]在Kalman濾波器中將一差動GPS/MU硬體模塊與氣壓高度測量組合，以改進使用者的3D位置評估的精確度。這濾波的慣性跟蹤再次與允許自然特徵的線上學習的無漂移視覺全景跟蹤器被組合。該方法不使用任何(離線學習)參考特徵。
[0010]不同的方法存在，其是根據作用如參考特徵的一組地理參考局部圖像特徵。這些方法的假設是，如果拾取裝置的位置是大約地已知，例如，通過GPS，則僅那些安置於拾取裝置附近的參考特徵可能是可見的。這類型方法的一些範例將在下面被說明。
[0011]Kumar等人的參考文獻[2]使用GPS定位以縮小至拾取裝置附近的搜尋區域，並且使用一組預先建立的詞彙樹以找出這搜尋區域中的最佳匹配圖像。
[0012]同樣地，陳(Chen)等人的參考文獻[4]使用通過GPS的關於裝置位置的在先信息以改進特徵匹配。他們討論為每個空間區域使用一小的詞彙樹，如參考文獻[2]，並且將這結果與使用一廣域詞彙樹以及包含GPS位置作為特徵匹配評分過程中的在先信息的方法進行比較。他們達成結論，第二方法將提供較佳的結果。
[0013]在參考文獻[8]中，Arth等人使用潛在可視集合(PVS)並且因而不僅考慮特徵的空間附近，而且也考慮視程限制。即使他們不在他們的室內試驗中使用GPS，他們亦說明GPS可如何被在戶外應用中使用以決定拾取裝置的粗略位置，其接著可被使用來取回這位置的參考特徵的潛在可視集合。
[0014]Bleser以及Stricker的參考文獻[3]提出一視覺慣性跟蹤方法，其應用慣性傳感器來測量攝影機自在先幀至當前幀的相對移動。這知識被使用來預測位置並且因此定義圖像空間中逐幀被跟蹤的特徵的2D搜尋空間。由於他們僅使用相對攝影機轉換的測量，他們的技術不適合於攝影機位姿跟蹤的初始化。
[0015]雖然參考文獻[7]不使用環境的任何參考特徵或任何模型,被說明在參考文獻
[5]中的方法卻使用，但是不限制根據測量的GPS位置的參考特徵的搜尋空間。然而，參考文獻[2]、[4]以及[8]是如此。根據拾取裝置的位置，他們決定哪個參考特徵可能是可見的以及哪個最有可能是不可見。這決定被採用於每圖像位準上，表示參考特徵的相同子集被考慮為對於當前攝影機圖像中的所有當前特徵的一可能的匹配。
[0016]現代手持裝置提供比裝置位置更多的傳感器數據。例如，數位羅盤測量有關北方的裝置方位並且慣性傳感器提供有關重力的裝置方位。攝影機圖像中的特徵的2D位置，以及其的深度，如果可行的話，也包含一些應用中的有用信息。
[0017]如上面的設定，已知的現有技術方法減少在拾取位置附近對特徵的搜尋空間，並且因而避免與遠處特徵匹配。但是，尤其是在城市環境中，時常是相似外觀特徵的情況，其易於導致錯配，其被彼此接近安置並且在相同時間可能兩者皆是可見的。範例包含通常看起來都非常相似的建築物外觀窗戶。其明顯地很可能具有在相同時間在攝影機圖像中可見到許多看起來相似的窗戶。這使得任何廣域方法，即減少一每圖像位準上的搜尋空間，如上面的設定，不適用於防止錯配。

【發明內容】

[0018]本發明的一目的是提供一種以參考特徵匹配圖像特徵的方法，該方法可改善實時的處理而保持特徵描述符的特殊性，即使是具有一增加的參考特徵總數目。
[0019]依據本發明一論點，其提供一種以參考特徵匹配圖像特徵的方法，該方法包括下列步驟:提供通過一拾取裝置拾取的一當前圖像，提供一組參考特徵，其中每個該等參考特徵包括至少一第一參數，所述第一參數是至少部分地指示關於一廣域坐標系統的參考特徵的一位置和/或方位，其中所述廣域坐標系統是一地面坐標系統或一對象坐標系統，或所述第一參數是至少部分地指示有關一高度的參考特徵的一位置，在一特徵檢測過程中檢測所述當前圖像中的至少一特徵，關聯所述檢測特徵於至少一第二參數，所述第二參數是至少部分地指示有關所述廣域坐標系統的檢測特徵的一位置和/或方位，或所述第二參數是至少部分地指示有關一高度的檢測特徵的一位置，以及通過決定在所述至少一第一參數以及所述至少一第二參數之間的一相似度測量，匹配所述檢測特徵與所述一組參考特徵的參考特徵的至少之一。尤其是，所述廣域坐標系統可以是一地面坐標系統或一對象坐標系統，例如，一建築物或一產品。
[0020]依據一實施例，該方法包括當匹配所述檢測特徵時通過在所述一組參考特徵內之一減低參考特徵的數量而定義一搜尋空間的步驟，其中所述搜尋空間根據所述至少一第二參數被決定。
[0021]因此，依據本發明的論點，其通過考慮廣域坐標系統(世界坐標)坐標中他們的位置的至少部分的知識，提出減少用於匹配局部圖像特徵的搜尋空間。在當前圖像中給予的一當前特徵，該方法是在具有(部分地已知的)世界坐標的一組參考特徵中尋找一對應特徵。尤其是，依據關於在當前圖像被取得時拾取裝置的位置和/或方位的可用的信息，以及當前圖像的特定像素的可能可用的深度，世界坐標中一當前特徵的(部分)位置可被確定。這接著被用以通過僅考慮那些參考特徵減少搜尋空間，作為可能的匹配被安置接近至世界坐標中的當前特徵的(部分)位置。產生的匹配可，例如，被用以初始化在一增強現實應用中的視覺攝影機跟蹤方法。
[0022]如上面的設定，依據參考文獻[2]、[4]以及[8]的方法根據拾取裝置的位置決定哪些參考特徵可能是可見的以及哪些最可能是不可見的。這個決定被採用於一每圖像位準上，表示參考特徵的相同子集被考慮作為對於一當前攝影機圖像中的所有當前特徵的可能匹配。依據本發明的方法不同於這些方法，因其將一攝影機圖像的檢測特徵關聯於有關廣域坐標系統的檢測特徵的一至少部分的位置和/或方位信息，並且在每特徵位準上採用這一決定。可能匹配參考特徵組根據其(部分地)已知的廣域位置對於當前攝影機圖像中的每個檢測特徵被決定。
[0023]依據一實施例，所述廣域坐標系統提供有關一特徵的地理參考位置和/或方位的信息。例如，至少一第一以及第二參數中的至少之一是至少部分地指示一經度以及緯度。
[0024]依據一實施例，至少一第一以及第二參數中的至少之一是至少部分地指示有關相對於該拾取裝置的一相對高度、或一絕對高度的一位置。
[0025]依據一實施例，所述檢測特徵的位置和/或方位通過一方程式被描述，該方程式描述一幾何形狀，例如，一點、一射線、一直線、一圓、一圓錐形、或一圓柱形。例如，匹配所述檢測特徵與所述一組參考特徵的步驟僅考慮該組參考特徵中具有至所述幾何形狀的距離是在一閾值之下的一位置的那些參考特徵為可能的匹配。
[0026]依據一實施例，至少一第一以及第二參數的至少之一是在一特徵描述符領域中和/或在一空間領域中的一空間數據結構的部分，例如，其中所述空間數據結構包含一限定容積，例如，軸對齊方塊、定位方塊、球形、任意容積，或一網格，或任何類型的樹型，例如，四分樹型(Quadtree)、八叉樹型(Octree)、二元空間分割樹型(BSP-tree)、k維空間樹型(kd-tree)、多維空間索引樹型(R-tree)。
[0027]最好是，當拾取所述當前圖像時，所述至少一第二參數使用有關所述廣域坐標系統的拾取裝置的至少部分的位置和/或方位被決定。
[0028]依據本發明一實施例，至少一第一參數可以是至少部分地指示有關廣域坐標系統的參考特徵的僅僅一位置和/或至少部分地指示一位置以及方位。同樣地，依據本發明一實施例，所述至少一個第二參數是至少部分地指示有關廣域坐標系統的檢測特徵的一位置或至少部分地指示一位置以及方位。在這些實施例中，檢測特徵的方位可能不被所述方法所考慮。
[0029]如果檢測特徵一元素的深度信息是可用的，則至少一第二參數可使用所述當前圖像中的至少一元素的一深度作為所述檢測特徵的一部分而被決定。
[0030]依據一實施例，該至少一第二參數使用關聯於所述拾取裝置的一坐標系統中的一重力向量的一測量值以及所述當前圖像中的至少一元素的一深度作為該檢測特徵的一部分而被決定。例如，檢測特徵的位置是至少部分地以通過具有一法線是或對應至所述重力向量的一平面被描述，而該平面指示高度。
[0031]依據一實施例，至少一第二參數通過進一步使用所述拾取裝置的一組固有參數、以及所述當前圖像中的所述檢測特徵的一位置而被決定。
[0032]利用組合朝向所述拾取裝置的所述檢測特徵的一決定的距離以及該拾取裝置的方位，而計算有關所述廣域坐標系統或該拾取裝置的一坐標系統的該檢測特徵的一 3維位置。
[0033]依據一實施例，所述一組參考特徵被取得自至少一參考圖像，該至少一參考圖像通過不同於所述拾取裝置的一第二拾取裝置被記錄。例如，該至少一參考圖像的拾取時間是至少比所述當前圖像的拾取時間早一天。
[0034]依據一實施例，所述方法進一步包括提供所述拾取裝置的至少一部分的位置、方位和/或高度的步驟，其中關聯於所述檢測特徵的至少一第二參數的一不確定性信息被導出。
[0035]依據一實施例，所述不確定性信息被用以影響所述匹配過程。例如，該不確定性信息通過依據所述不確定性而改變關於位置和/或方位的個別的自由度的至少之一的各自權重(例如，笛卡兒(Cartesian)坐標中的x，y, z),以影響所述匹配過程。
[0036]依據另一實施例，至少一個不確定性信息可影響作為將被匹配的匹配候選者的參考特徵的選擇。例如，至少一個方法進一步包括提供作為匹配候選者的參考特徵的選擇為根據被影響的一權重，其中一較高的不確定性減少所述權重並且一較低的不確定性增加所述權重。
[0037]例如，所述不確定性信息根據用來提供所述拾取裝置的位置、方位和/或高度的傳感器類型被決定。
[0038]依據一實施例，所述方法進一步包含為在所述當前圖像中的一對象的檢測、分類或局部化，或為在所述廣域坐標系統中的所述拾取裝置的局部化，或為在所述拾取裝置的初始位姿評估，或為在所述拾取裝置的初始化位姿跟蹤使用一匹配結果的步驟。
[0039]在一可能的實施例中，該方法被使用在一增強現實應用中。
[0040]本發明也是關於一電腦程式產品，其適用於被載入一數字計算機的內部存儲器並且包括軟體代碼段，當所述產品在所述計算機上運行時，利用所述軟體代碼段依據本發明的方法被執行。
【專利附圖】

【附圖說明】
[0041]本發明進一步的論點以及實施例將通過參考下面的圖形而更詳細地被說明，其中:
[0042]圖1A是展示匹配一組當前特徵與一組參考特徵的標準方法的流程圖；
[0043]圖1B是用來闡述特徵的檢測、描述以及匹配的說明；
[0044]圖1C展示由兩組玩偶以及拾取其圖像的一拾取裝置所構成而用於闡述特徵深度的範例景象；
[0045]圖2解釋進行特徵匹配的現有技術，其流程圖中包含一裝置位置粗略的先驗知識，例如通過GPS提供；
[0046]圖3展示依據本發明一實施例的方法流程圖；
[0047]圖4是展示本發明一實施例與目前方法的比較的闡述；
[0048]圖5展示一範例景象，在其中依據本發明一實施例的方法被應用；
[0049]圖6顯示通過一拾取裝置所取得的一範例景象的圖像；
[0050]圖7顯示以拾取裝置所取得的另一範例景象的圖像；
[0051]圖8展示依據本發明一實施例的一方法的可能應用；
[0052]圖9闡述有關FAST轉角檢測器以及SIFT特徵描述符的特徵尺度或尺寸，作為檢測點特徵的方法的常見範例；
[0053]圖1Oa展示依據本發明一實施例的方法的流程圖；
[0054]圖1Ob展示依據本發明另一實施例的方法的流程圖；
[0055]圖1Oc展示依據本發明另一實施例的方法的流程圖；
[0056]圖11闡述一範例景象，其將依據本發明的實施例的技術與標準方法進行比較，其展示一拾取裝置拾取由兩組玩偶所構成的景象的設置。【具體實施方式】
[0057]技術人員應明白，本發明論點的下面說明僅關於用來說明以及闡述本發明原理及論點的實施例，而非限定如申請專利範圍中所定義的本發明範疇。
[0058]在下面，名詞例如「廣域坐標系統」、「世界坐標系統」、「廣域坐標」以及「世界坐標」可替換地被使用，並且被用於指示如上所述的一廣域坐標系統及其坐標。
[0059]假定提供一組地理參考局部圖像特徵，其中每個特徵具有除了一特徵描述符外的描述其在廣域坐標系統中的(部分)位置和/或方位的相關性質。我們將參看此組特徵作為參考特徵。參考圖像的取得、來自參考圖像的參考特徵的檢測與描述以及他們(部分)位置和/或方位的決定可通過任何方法被執行並且為了簡潔理由，將不進一步被說明。進一步地，存在的方法可至少部分地決定有關高度的參考特徵的位置，例如，當拾取一參考圖像時通過使用一氣壓計作為傳感器裝置。熟悉本領域技術人員應非常明白可提供此類參考特徵的此類方法。
[0060]從這個意義上講，一特徵是一圖像中的一突顯元素，其可以是一點、一線、一曲線、一連接區域或任何其他像素組。一特徵描述符涉及提供一區別性描述的方法，例如，依據一個或複數個圖像中的其局部鄰近者的一特徵的實數向量形式。[0061]關聯於特徵的一廣域坐標系統中的一(部分)位置和/或方位和/或高度(如下面更詳細地說明)的任何參數可被儲存作為分別的特徵描述符的一部分，或除了分別的特徵描述符之外者可被儲存。如適當的話，可選擇其方式以關聯這信息與一分別的特徵。
[0062]使用一拾取裝置，例如一攝影機，一當前圖像被拾取並且在該當前圖像中的至少一當前特徵被檢測並且被描述。對於每個當前特徵，其目標是找出一組參考特徵中對應至相同實體表面的一特徵。
[0063]圖1A展示匹配一組當前特徵與和圖1B有關的一組參考特徵的標準方法的流程圖。在步驟Sll中，利用一拾取裝置取得的當前圖像Cl被提供。下一步驟S12接著檢測並且描述當前圖像Cl中的特徵(選擇性:依據所評估的模型-特徵-位置的已選擇性的提取)，其中每個產生的當前特徵CF具有一特徵描述符D(CF)以及在攝影機圖像Cl中的2D位置。可被使用在特徵檢測以及描述的可能方法，將參考實施範例而更詳細地在下面被說明。
[0064]一組參考特徵RF,各具有廣域坐標系統的一描述符D(RF)以及一(部分)位置和/或方位被提供於步驟S13中。在步驟S14中，來自步驟S12的當前特徵CF以及來自步驟S13的參考特徵RF被匹配。例如，對於每個當前特徵，參考特徵被搜尋，其具有與有關一確定距離度量的當前特徵的描述符最接近的描述符。
[0065]依據步驟S15，一應用使用該等特徵匹配，例如，為了在一增強現實應用中非常準確地評估拾取設備的位置和方向，將所記錄的虛擬3D對象空間集成入攝影機圖像中。
[0066]如下面將更詳細地描述，當匹配特徵時，在一圖像中一元素，例如，像素，的一深度可被用作為進一步的信息。通常，一圖像中的一元素(例如，像素)的深度可定義成在這元素(像素)中被成像的實體表面與拾取位置，尤其是拾取裝置的光學中心之間的距離。
[0067]就此而言，圖1C展示由兩組玩偶SI與S2(各組包括一高的以及一小的玩偶)以及一拾取裝置⑶所構成的範例景象。該組Si的實體點PPl通過拾取裝置被成像於像素IPl中。這像素的深度是D1，那是在拾取裝置的光學中心0C，其定義攝影機坐標系統的原點，和實體點PPl之間的距離。相似地，該組S2的一個第二實體點PP2被成像於IP2中並且具有深度D2。注意到，攝影機固有參數(尤其是焦距)的評估，允許計算出給定其在圖像平面IPl上的深度Dl和其像素位置的點PPl的笛卡兒坐標中的3D位置。
[0068]有許多方法可能提供一圖像中的一元素(例如，像素)的深度，其可能被用於依據本發明將在下面的段落中被說明的匹配過程中。
[0069]來自被校準攝影機的深度:
[0070]依據一實施例以確定一強度圖像中的至少一元素的深度，具有已知相對位置和/或方位的至少兩個拾取裝置，其各拾取一分別的強度圖像，其中對應關係被發現於該等圖像中並且該等拾取裝置的相對位置和/或方位被用以計算強度圖像中的至少一元素的深度，其是該等對應關係的至少之一的部分。
[0071]尤其是，提供深度數據的一可能性是如下所述:至少兩個攝影機，記錄具有已知的相對位姿以及理想的已知固有參數的強度，可在大約相同時間或當不移動時在不同時間拾取圖像。對應關係可被發現在兩圖像中，並且攝影機的相對位姿以及固有參數可被使用以計算任一圖像坐標系統中的對應性深度。在試圖找出對應關係之前重新得到相對位姿以及固有參數是有利的，因為他們可被使用以通過引介另外的限制(例如，同軸幾何)而簡化對應關係的創建。
[0072]例如，根據點特徵的對應關係的尋找可如下所述被實施:為自一個圖像至另一圖像匹配一 2D特徵，關於指定尺寸的2D特徵的斑塊在其他圖像中被搜尋。例如，差異值平方和(SSD)或標準化相關性(NCC)可分別地被使用作為距離或相似度量。為減低搜尋對應的斑塊所需要的比較數量，其僅沿著另一圖像中的特徵點的同軸線被搜尋。為簡化進行一ID-搜尋的沿著同軸線的搜尋，圖像首先被矯正。具有最高相似性的兩個斑塊被設定成為相關。如果具有最高相似性的那個是顯著地比第二最高相似性的更相似，則前面的那個將被考慮作為匹配對應關係。
[0073]當然，熟悉本技術人員明白，許多可能性存在以得到對應關係。其也可能得到對應關係而不必考慮同軸線。當然，過程也可以迭代的形式被實施，其使用初始深度評估與我們所提的實際尺度特徵描述符工作並且再計算具有較高精確度的特徵的對應關係以及位置。
[0074]來自至少一移動的攝影機的深度:
[0075]依據另一實施例來決定一強度圖像中的至少一元素的深度，至少一拾取裝置自不同裝置在不同時間點從不同的位置拾取強度圖像，其中對應關係被發現於不同的圖像中並且在不同圖像間的拾取裝置的相對位置和/或方位以及對應關係的結構被重新獲得，並且被用來計算強度圖像中至少一元素的深度，其是該等對應關係的至少之一的部分。
[0076]例如，至少一個攝影機在不同的時間點自不同的位置拾取圖像。理想地，一些其他傳感器測量值是可用的(例如，GPS位置)。該等圖像以及另外信息，如果可用的話，接著被分析。不同圖像中的對應關係被發現，例如，通過逐圖像跟蹤特徵或通過檢測局部特徵並且使用尺度不變描述符以匹配它們。接著，一所謂的自移動產生的結構(SfM)的方法被使用以重新獲得在不同的圖像以及對應關係的結構之間的相對位姿。熟悉本領域技術人員應明白，亦有許多不同方法。理想地，另外的傳感器數據，像GPS位置或攝影機的已知的移動(例如，通過在車子中測量該車子的移動)可被使用來提供實體尺度的對應關係的結構。另外地，如果在任何圖像中，具有已知尺寸的一已知對象，可被取回(例如，一現鈔或標誌)，實體尺度也可被取回。在實體尺度不能被取回的情況中，一尺度被假設，並且我們的方法仍然可被使用，但是僅將用於進行這確切情節中的進一步的匹配。例如，為了跟蹤攝影機移動以便對視頻遊戲疊加遊戲角色，移動的確切尺寸可能不是問題，但是實際的相對移動是重要的。通過真實尺度特徵描述符的增強的匹配在此會是有用的。
[0077]再者，這過程可以迭代的方式被實施，其使用初始尺度評估以改善對應關係，導致位姿評估以及結構中的較高的精確度。
[0078]來自圖像匹配的深度:
[0079]依據另一實施例以決定一強度圖像中的至少一元素的深度，其提供強度圖像的至少一資料庫，其中對於每個該等強度圖像的一總體深度，或對於至少一圖像區域的深度，或對於一個或多個像素的深度是已知的，並且利用拾取裝置拾取的強度圖像(當前強度圖像)對照於這資料庫而被匹配。匹配結果被使用以計算當前強度圖像中的至少一元素的深度。
[0080]例如，取回相關於一圖像的深度的方法是如下所述:我們假設圖像的一資料庫存在並且對於每個圖像的總體深度(例如，10米)或對於分別的圖像區域的深度或對於每個像素的深度的任一者是已知的。所採取的當前圖像對照於這資料庫被匹配。為了加速過程和/或為增加魯棒性，一可選的步驟可被使用以產生用於圖像匹配的最佳化數據結構。這可，例如，自特徵描述符建立一詞彙樹或一 KD-樹。
[0081]該方法可使用來自資料庫圖像的詳細的深度信息(如果存在的話)以及我們提議的真實尺度特徵描述符或使用其他方法試圖記錄兩圖像。如果這是不可能或沒有詳細的深度信息被提供，則所給予的那個深度或平均深度被返回。
[0082]來自3D模型信息以及傳感器信息的深度:
[0083]依據另一實施例以決定一強度圖像中至少一元素的深度，當拾取有關一環境模型的強度圖像(其可以是一初始評估)時，則其提供一環境模型以及有關拾取裝置的位置和/或方位的信息，其中該環境模型以及有關拾取裝置的位置和/或方位的信息被組合併且被使用以計算強度圖像中至少一個元素的深度。例如，假設一環境模型可被提供，其可以，例如，是一所構建的3D模型或環境的掃描。當有關環境模型的圖像被取得時，如果有關拾取裝置的位置和/或方位的任何信息是已知的，則兩者可被組合。例如，通過用假設的攝影機位姿以及攝影機固有參數而渲染的(rendering) 3D模型，每個像素的深度可通過環境模型自由環境模型提供的深度緩衝區被獲得，以及在渲染期間被使用的深度緩衝區而被得到。雖然一初始位姿評估對這個方法是必須的，使用假設的深度以及具有紋理的環境模型的本發明，該位姿接著可在其他應用之間被改善並且變得更精確。當然這過程也可反覆地被使用。
[0084]來自專用傳感器的深度:
[0085]依據另一實施例以決定一強度圖像中至少一元素的深度，其提供至少一傳感器以取得深度信息或範圍數據以及有關該拾取裝置的至少一傳感器的至少一個相對位置和/或方位，其中該深度信息或範圍數據被使用以計算強度圖像中至少一元素的深度。優選地，位姿(位置與方位)以及傳感器以及拾取裝置二者的固有參數是已知的。
[0086]尤其是，取得深度信息的方法是使用特別傳感器，其專用於取得深度信息或範圍數據。例如，其可是飛行時間機構，類似於雷射掃描儀或飛行時間攝影機。另一範例是傳感器，其投射一已知的光樣型(pattern of light)進入環境中並且在通過具有一傳感器的環境被反射之後取得該樣型。通過匹配投射的信息與所接收的樣型以及通過知曉投射器朝向取得傳感器的位姿和通過知曉投射器與傳感器兩者的固有參數，深度可被計算。
[0087]允許深度數據的取得的另一傳感器是參考文獻[6]的全光攝影機。
[0088]為了使用具有強度圖像的深度傳感器的信息，位姿以及固有參數兩者皆是已知的。深度信息接著可被轉換成為攝影機坐標系統並且被使用。
[0089]圖2說明對於特徵匹配的現有技術的方法，例如，如在參考文獻[4]中說明的基於GPS的方法，該方法流程圖中包含一粗略的在先拾取裝置位置，例如，利用GPS被提供。在步驟S21中，當前圖像被提供，並且這圖像中的特徵被檢測和描述於步驟S22中。產生的一組當前特徵對各個特徵具有一描述符以及圖像坐標中的2D位置。步驟S23提供廣域坐標系統中的拾取裝置的一(部分)位置和/或方位。與一組參考特徵一起被提供於步驟S24中，(部分地)具有已知的廣域坐標系統中的坐標，拾取裝置的(部分)裝置和/或方位以及當前特徵被使用於步驟S25中的匹配步驟中。在此處，拾取裝置位置和/或方位的(部分的)知識被使用來減少可能是可見參考特徵的搜尋空間。對於每個當前特徵，具有最相似的描述符的參考特徵被發現於具有相似於拾取裝置的位置和/或方位的該組參考特徵中。最後，在步驟S26中，一應用使用當前以及參考特徵匹配。如在圖1A的步驟S15中，這應用可以是，但不限於，一增強現實應用。
[0090]依據本發明的論點，提議通過考慮世界坐標(或廣域坐標)中它們的位置的(部分)知識，以減少用於匹配利用一拾取裝置所取得的當前圖像的圖像特徵的搜尋空間。一廣域坐標系統可以是一地面坐標系統或一對象坐標系統(例如，建築物或一產品封裝箱或一車子)，其具有關於地球的重力的固定高度或固定方位。
[0091]為減少搜尋空間，依據本發明的方法優選使用所有可用的信息以至少部分地描述廣域坐標系統中的當前特徵的位置和/或方位(亦即，不屬於拾取裝置)。由於可被決定的特徵位置的自由度，是嚴重取決於拾取裝置的位置以及方位上的可用信息，本發明論點的不同實施範例將在下面更詳細地被說明。
[0092]圖3描述依據本發明一實施例的方法流程圖。在步驟S31中，利用拾取裝置所取得的一當前圖像被提供。一廣域坐標系統中的這個拾取裝置的(部分)位置和/或方位被提供在步驟S32中。接著，步驟S33檢測以及描述來自被提供的當前圖像的特徵並且計算每個當前特徵在廣域坐標系統中的(部分)位置和/或方位。各具有一描述符以及廣域坐標系統中的一(部分)位置和/或方位的一組參考特徵被提供於步驟S34中，其中在步驟S35中，該等參考特徵與當前特徵一起作為至匹配的輸入。所提議的匹配方法(步驟S35)接著通過在該組參考特徵中尋找具有最接近的描述符的參考特徵而對於每個當前特徵找出匹配的參考特徵，該組參考特徵具有接近廣域坐標系統中的當前特徵的(部分地)已知位置和/或方位的廣域坐標系統中的一(部分)位置和/或方位。最後，特徵匹配被使用於步驟S36中的一應用中，其對應至如上所述的步驟S15以及S26。
[0093]—當前特徵的位置可利用一方程式E被描述,方程式E描述一點、一射線、一直線、一圓、一圓錐體、或一圓柱體或任何其他的幾何形狀。該匹配步驟接著僅考慮具有通過E被定義的至該幾何形狀的距離是在一閾值ε (epsilon) 一下的一位置的那些參考特徵作為可能的匹配。因此，ε是，例如，取決於被使用以計算當前特徵的部分位置的傳感器測量值所決定的精確度。取決於部分空間信息的分別來源的不確定性，在一參考特徵以及一當前特徵的位置之間的距離測量不必定地需要是歐幾裡德(Euclidean)距離，但是可具有對於不同自由度的不同權重。其也可以是取決於在一參考特徵以及拾取裝置之間的距離。
[0094]不確定性傳輸的詳細說明可被發現於參考文獻[9]中。
[0095]本構想的論點具有對於同軸幾何概念的一些相似性。如果在二攝影機之間的轉換是已知的，找到對應的特徵的問題被簡化，至於第一圖像中的每個特徵，如果其是完全可見於該圖像中，則第二圖像中的一直線(「同軸線」)可被確定而包含對應的特徵。然而，本方法的一論點中，不同於其更通用且該方法在3D中的使用限制，反之同軸幾何限制是在2D圖像空間中。另一重要差別是受限制的匹配過程的參考坐標系統。例如，在同軸幾何中，一切事務被結合至圖像空間，而本方法是根據在廣域坐標系統，使得它們無關於對應的攝影機位姿。
[0096]實施範例:
[0097]這部分不僅根據可用的信息而討論本發明論點的不同實施例，同時也提到特徵檢測、特徵說明以及一在所給定的空間限制下匹配兩個特徵集的方法的實施範例。
[0098]可被用於本發明的在一個圖像中檢測特徵的方法包括但是不限於高斯之拉普拉斯(LoG)的局部極值、高斯差分(DoG)或赫斯亞行列式(DoH)、最大穩定極值區域(MSER)、赫利斯(Harris)特徵、或基於學習的轉角檢測器，例如，FAST。檢測邊緣(邊緣元素)的方法也適用於在此方法中。所使用的特徵檢測方法是不受限定於可運行在2D強度灰階圖像上的方法，但是也可被執行在包含RGB、HSV以及Lab的任何其他色彩空間中的圖像上，或唯一地包含深度信息或提供深度以及強度兩個信息的範圍圖像。
[0099]描述特徵的方法可在上述的任何形式的圖像上工作並且可包含SIFT (尺度-不變特徵轉換)、SURF (加速魯棒特徵)、GL0H(梯度位置以及方位統計圖)、HOG (定位梯度統計圖)、2.0T-SIFT，或任何其他方法以比較包含類似於隨機蕨的基於分類的方法的局部特徵。
[0100]我們方法中的匹配程序的最自然方法是，在考慮其可能的匹配之前對於當前以及參考特徵的每個組合進行徹底的搜尋並且檢查它們空間距離並且計算在二描述符之間的距離。更詳盡的構想的實施例將使用描述符領域和/或空間領域中的空間數據結構以加速匹配。適當的數據結構包含，但不限於容積(軸對齊方塊、定位方塊、球形、任意容積)，網格(一致的或不是一致的)，或任何類型的樹型(例如，四分樹型、八叉樹型、二元空間分割樹型、k維空間樹型、多維空間索引樹型)。匹配過程中的參考以及當前特徵的角色是可交換的，即要麼對每個當前特徵搜尋一匹配參考特徵要麼反之亦然。其也不必定需要在任何一特徵組之一中找出對於每個單一特徵的匹配，但是匹配過程目標在找出一參考特徵以及一當前特徵之間的至少一匹配。
[0101]所述所發現的特徵匹配接著可被使用於包括對象檢測、對象分類、對象局部化以及廣域坐標系統中的攝影機局部化的應用。後者，同時也被稱為「自我局部化」，例如，可通過魯棒位姿評估方法，例如，RANSAC、PROSAC或M-評估器被執行。注意到，此等方法需要固有攝影機參數的評估，尤其是，焦距。根據拾取裝置位置和/或方位上的可用信息以及像素的深度，形成本發明構想的不同的可能實施例。它們不同於空間限制以減少對於參考特徵的位置和/或方位的搜尋空間，該參考特徵是一給定當前特徵的潛在的匹配。我們所考慮尤其重要的範例將在下面詳細地被說明。
[0102]該等方法假設攝影機的固有參數的評估將是可用的。這評估，例如，可產生自一校正程序或一合理的猜測，例如，根據攝影機解析度。根據拾取裝置的位置的指示的那些方法是可由兩個不同的實施例被知曉。裝置的經度以及緯度根據測量值，例如，GPS而被提供。依據被使用的硬體，其可能是無高度測量值可用或它們可能是非常不精確的。如果拾取裝置的絕對高度的測量值是可用的並且可被考慮為充分地精確，則其被使用。否則使用一假設，例如，使用者被安置在街道位準上並且握有拾取裝置在他或她手中在街道位準上面大約1.5至2米的高度。裝置高度可無關於經度以及緯度地被測量，例如，通過一氣壓計。
[0103]在下面，我們將假設一特徵是一點(亦即，一特徵點，關鍵點或相交點)。但是本發明可以任何其他類型特徵的相似方式被實施，例如，通過將一特徵的重心視為其的位置。其他特徵可以是邊緣、小邊或區域。
[0104]在下面，本發明一實施例使用來自裝置位置以及3D裝置方位的射線或點作為實施範例被說明。
[0105]如果在世界坐標中的拾取裝置位置(例如，通過GPS以及任意的一氣壓計)以及3D方位(例如，通過慣性傳感器以及數位羅盤的組合測量)是已知的，依據本發明論點的方法與攝影機的固有參數以及當前圖像中的當前特徵的位置一起使用這信息以定義這個特徵被安置的世界坐標中的一射線。如果另外地，特徵的深度的評估是可用的，則該方法可計算世界坐標中的當前特徵的絕對3D位置。
[0106]在匹配階段中，最合適的參考特徵被認為比一閾值(epsilon)更接近於當前特徵被安置的點或射線。再次，在一參考特徵以及一點或射線之間的距離度量可以被定義為包含位置和/或方位的分別的自由度的一個或多個不確定性的方式。用於這組態的世界坐標領域中的一適當的空間數據結構將是一均勻的網格。3DDDA算法，例如，將被應用以決定一射線穿透的有關的單元格。對一網格中的每個單元格，描述符領域中的任何空間數據結構可被應用來儲存包含在單元格中的參考特徵，例如，KD-樹型。
[0107]圖4是展示本發明一實施例與一現有技術方法的比較的說明。尤其是，圖4在一非常粗略位準上比較本發明論點與當前技術。城市區域的頂視圖被展示，其中一使用者在一測量位置握有一拾取裝置CD(在左方描述中為CDl以及在右方描述中為CD2)，在測量位置中拾取裝置拾取一環境圖像。在被拾取的圖像中，一特徵F被檢測(在左方描述中為Fl以及在右方描述中為F2)。現有技術(左方描述)根據已知的拾取裝置CD的位置定義用於對應至當前特徵F的參考特徵的一搜尋空間SS1。依據本發明論點的方法(右方描述)計算特徵F的(部分)位置並且根據F的(部分地已知)位置定義用於對應至F的參考特徵的不同的搜尋空間SS2。如在圖4中所見，搜尋空間SS2是顯著地小於依據在先技術方法的搜尋空間SS1。因此，依據本發明的方法除了導致較少錯配的技術狀況之外還允許進一步地減少搜尋空間。
[0108]在下面，本發明另一實施例使用來自2D重力方向的ID特徵高度以及ID特徵深度作為實施範例被說明。這實施例或相關於這實施例被說明的本發明論點可能被使用而不必或結合任何上述實施例或本發明論點。
[0109]提供關聯於拾取裝置的坐標系統中的重力向量的測量值，例如，通過慣性傳感器，以及當前攝影機圖像中的當前特徵深度，例如，通過立體深度(depth-from-stereo)方法，依據本發明論點的方法計算這個特徵的相對或絕對高度。
[0110]圖像中一特徵的2D位置與固有攝影機參數一起導致定義關聯於拾取裝置的一坐標系統中的3D射線。此外，因特徵深度可能是已知的，攝影機對齊的坐標系統中的特徵的3D位置可被計算。自拾取裝置光學中心至3D特徵位置的向量接著被投射至導致特徵高度的標準化重力向量上。
[0111]上述方法導致有關拾取裝置的一相對高度測量。為了計算特徵的絕對高度，裝置的絕對高度需要被添加。這可以被測量，例如，通過GPS或氣壓計，或可以是根據如上面說明的一假設。
[0112]圖5闡述如上所述的本發明論點的一可能實施例。尤其是，圖5展示一拾取裝置CD，其提供裝置坐標(亦即，拾取裝置坐標系統的坐標)中一重力向量G以及特徵Fl的深度D的測量值。給予二片段信息，有關拾取裝置CD的特徵Fl的相對高度RA可被計算。尤其是，圖像中的特徵Fl的2D位置能夠與固有攝影機參數一起定義關聯於拾取裝置的坐標系統中的3D射線。當特徵Fl的深度D是已知時，攝影機對齊坐標系統中的特徵的3D位置可被計算。自拾取裝置CD光學中心至特徵Fl的3D特徵位置的向量接著被投射至導致特徵Fl的相對高度RA的標準化重力向量上。增加拾取裝置CD的(絕對)高度CDA導致特徵Fl的絕對高度AA。類似的計算可供用於特徵F2以計算其之高度。[0113]供用於對應至當前特徵Fl的參考特徵的搜尋空間接著被定義在其之高度AA附近。注意到，以此方式，參考特徵F2不被考慮作為可能匹配，雖然其看來非常相似於FlJM其不是落進搜尋空間之中。因此，依據這論點的本發明減低錯配的可能性。
[0114]依據一實施例，在匹配階段中，當前特徵的位置通過具有重力向量是法線的一平面被說明。將是用於當前特徵的一候選匹配者的參考特徵的空間限制即它們至該平面的距離是在一特定閾值之下。因該平面描述一高度，該限制也可被視為迫使一參考以及一當前特徵的高度絕對差是在閾值之下。
[0115]用於這實施例中的廣域坐標系統領域的一適當數據結構將是具有沿著重力軸的大多數次分割之一非均勻網格。再者，任何數據結構可被使用以依據它們的描述符而分類單元格中的所有特徵。
[0116]進一步的可能實施例:
[0117]在下面，我們將扼要地說明本發明論點的多種可能實施例。依據一實施例，名詞「2D位置」涉及拾取裝置的經度以及緯度，而「3D位置」另外地包含高度。名詞「1D旋轉」涉及對於重力的方位，例如，通過羅盤所得到者，「2D旋轉」是相對於重力的旋轉(例如，通過慣性傳感器所測量者)以及「3D旋轉」涉及兩信息的結合。
[0118]本發明一可能實施例將使用拾取裝置的2D位置以及3D旋轉與當前特徵的位置以及深度一起定義世界坐標中的一垂直線，一對應的參考特徵需要近似地被安置在其上。
[0119]本發明的另一可能實施例將使用拾取裝置的2D位置以及3D旋轉與當前特徵的位置一起定義世界坐標中的一個半平面，一對應的參考特徵需要相關地被安置在其上。
[0120]本發明的另一可能實施例將使用拾取裝置的3D位置以及ID旋轉與一當前特徵的位置以及深度一起定義世界坐標中的一半圓，一對應的參考特徵需要相關地被安置在其上。
[0121]本發明的另一可能實施例將使用拾取裝置的3D位置以及ID旋轉與一當前特徵的位置一起定義世界坐標中的一個半平面，一對應的參考特徵需要相關地被安置在其上。
[0122]本發明的另一可能實施例將使用拾取裝置的2D位置以及ID旋轉與一當前特徵的位置一起定義世界坐標中的一個半平面，一對應的參考特徵需要相關地被安置在其上。
[0123]本發明的另一可能實施例將使用拾取裝置的3D位置以及2D旋轉與一當前特徵的位置以及深度一起定義世界坐標中的一圓，一對應的參考特徵需要相關地被安置在其上。
[0124]本發明的另一可能實施例將使用拾取裝置的3D位置以及2D旋轉與一當前特徵的位置一起定義世界坐標中的一圓錐體，一對應的參考特徵需要相關地被安置在其上。
[0125]本發明的另一可能實施例將使用拾取裝置的2D位置以及2D旋轉與一當前特徵的位置以及深度一起定義世界坐標中的一圓柱體，一對應的參考特徵需要相關地被安置在其上。
[0126]本發明的另一可能實施例將使用拾取裝置的ID位置以及2D旋轉與一當前特徵的位置以及深度一起定義世界坐標中的一平面，一對應的參考特徵需要相關地被安置在其上。
[0127]本發明的另一可能實施例將使用拾取裝置的3D位置與一當前特徵的位置以及深度一起定義世界坐標中的一球體，一對應的參考特徵需要相關地被安置在其上。
[0128]一可能實施例可依據下面的公式計算在一參考特徵(利用指標I被指示)對照於來自一當前圖像之一提取特徵(利用指標2被指示)之間的匹配可能性MP_A:
[0129]MP_A = l/sqrt[(xl_x2)~2*weightx+(yl_y2)~2*weighty+(zl_z2)~2*weightz]
[0130]其中「權重(weight) 」取決於特徵位置評估被傳送的不確定性，根據該裝置的當前位姿評估被傳送。例如，如果距離是已知的以及高度與高度角度，但是非x，y坐標(標示圖像中的2D位置)，則權重x(weightx)以及權重y (weighty)是O,而權重z (weightz)是非零。權重X、權重y、權重z標示用於分別的X，y, z坐標的分別的權重。
[0131]換言之，MP_A根據在可能通過資料庫或參考模型被提供的參考特徵以及已被提取但是尚未被匹配的當前特徵之間的空間中的笛卡兒距離被決定。隨著在該等特徵之間的距離增加，匹配可能性將減少。這提供非常可靠的結果，但是其高度地依賴於非常好的位姿評估的初始化。
[0132]另一實施例可計算在參考特徵I的特徵描述符向量Vl以及提取特徵2的特徵描述符v2之間的匹配可能性MP_B，如自當前技術方法所已知者:[0133]MP_B = I/sqrt [ (vl-v2) '2] ?
[0134]換言之，MP_B考慮在被提供的信息之間的圖像中的相似性(例如，強度差量)。
[0135]有利地，一可能實施例可組合如上所述的兩個匹配可能性計算。例如，MP_A可被計算以決定一限定的當前匹配的預選擇，並且接著MP_B可關於其中MP_A超出一確定閾值的參考特徵以及當前特徵被計算。或者，1?_8可能首先被計算以決定一限定的當前匹配的預選擇並且接著MP_B可關於參考特徵以及當前特徵的被計算。
[0136]在一可能實施例中，其可能根據位姿評估的不確定性被決定，何者匹配機率的位姿評估不確定性將被計算、被組合和/或在其中匹配機率將被計算的順序。例如，如果攝影機位姿的不確定性是低的，MP_A可能是較佳的或優先於MP_B，表示MP_A或MP_A以及MP_B組合的任一者(其中MP_A被使用於預選擇)可被使用。
[0137]依據一實施例，不確定性信息通過根據不確定性(例如，笛卡兒坐標中的X，y, z)而改變關於位置和/或方位的分別自由度的至少之一的一分別的權重以影響匹配過程。例如，當匹配候選者將被匹配時，不確定性信息影響參考特徵的選擇。例如，當具有一權重時，作為匹配候選者的參考特徵的選擇根據該權重被影響，一較高的不確定性可能減少該權重並且一較低的不確定性可能增加該權重。
[0138]例如，用來提供拾取裝置的位置、方位和/或高度的不確定性信息根據傳感器型式被決定。
[0139]假設我們被提供於廣域坐標系統中的拾取裝置的(部分)位姿上的一粗略預知以及相同廣域坐標系統中的環境的一參考模型(例如，剖析參考特徵集合或一三角形網格)。我們提出將參考模型(的部分)轉換成為關聯於拾取裝置的坐標系統，並且將其投射至攝影機圖像平面上。特徵檢測方法接著使用這投射的信息於其僅檢測它們鄰近中具有參考模型被投射的部分的圖像中的那些位置的特徵。
[0140]圖6顯示通過一拾取裝置取得的範例景象的圖像。該圖像的景象包含風景(山、岸邊、海)以及一些人工對象(屋子)。使用拾取裝置的粗略位姿，例如自GPS、一數位羅盤、以及一加速器，鄰近中可用的參考模型RM通過那位姿被渲染。這模型不包含山或海上的任何信息，但是專有地代表景象中的人工結構。根據被投射的參考模型應，涵蓋投射的參考模型以及其局部鄰近者的一適應式區域AR被形成。依據本發明的方法接著僅檢測在這區域AR內部的特徵，因在圖像的其他區域中被檢測的特徵很可能在參考模型中不具有任何對應關係。
[0141]圖7闡述另一實施例，其展示通過拾取裝置所取得的另一範例景象的圖像。假設僅有關拾取裝置的重力的粗略方位是已知的，例如，通過一加速器被提供，一更通常的參考模型被使用，例如，地平線。通過在已知的方位考慮之下投射地平線H進入圖像中並且通過僅檢測在這投射線鄰近之一適合區域AR中的特徵，檢測在地面及天空的特徵被避免。這提供匹配中的有利條件，因戶外情節中的地面上的特徵通常是非常重複的並且天空的特徵是明顯地無用的，因天空隨時時間激烈地改變景象。
[0142]依據本發明一實施例，所述方法可被使用於客戶伺服器架構中，於其中一個或多個客戶，例如，在移動式裝置上執行，通過網絡，例如，無線LAN、GSM或任何其他寬帶網絡(WAN)，與一伺服器通訊。
[0143]圖8闡述在客戶C以及伺服器S之間的通訊範例的流程圖。在步驟S81中，在客戶C決定其的粗略(部分的)位姿(位置以及方位)之後，這信息被使用作為至伺服器S的一詢問。在步驟S82中，伺服器S接著依據該詢問於其的資料庫SDB中產生參考模型的一子集。該子集，例如，可對應至整個參考模型的部分，其被安置鄰近客戶(部分)的位置。在步驟S83中，該子集被傳送以響應該客戶C，接著客戶C通過所取回的子集而更新其之局部資料庫CDB。在步驟S84中，在拾取一新的幀(圖像)之後，當前特徵被檢測、被描述並且被匹配於施加空間限制的局部資料庫CDB中的局部參考模型，如上面的說明(步驟S85)。在步驟S86中，該等匹配接著被使用以決定拾取裝置的狀態。在拾取一新的幀(圖像)之後(步驟S87)，取決於位姿評估是否成功，客戶C繼續進行(步驟S88)。如果成功，該方法相對至在先幀而評估拾取裝置位姿(亦即，幀-至-幀跟蹤)，否則客戶C依據一些推理(步驟S89)而產生新的當前特徵以嘗試初始化跟蹤(步驟S85)，或傳送一新的詢問至伺服器S (步驟S81)。選擇地，在步驟S810中，導致一成功位姿評估的匹配可被使用以更新伺服器資料庫SDB。
[0144]特徵檢測以及特徵描述:
[0145]任何二維計算機視覺方法的一強的限制是其操作在一投射空間中。這使得其不可能從產生自一對象的實際實體尺度的尺度而辨認產生自一對象至攝影機的距離的尺度。對於產生自攝影機至一對象的距離的尺度的不變性清楚地在許多應用中是所需求的，並且是對於尺度不變性的原始動機。但是，在不同實體尺度的相似特徵的存在情況中，尺度的不變性使得它們難以辨認。例如，如在參考文獻[I]中被說明的一描述符將不可能在一真正建築物以及其之一小型模型之間辨認。除此之外，通過自圖像強度計算一可重複特徵尺度而提供尺度不變性的方法是高度地依賴這被計算的尺度的精確度以及重複性。
[0146]依據本發明實施例，該方法因此也包含檢測以及描述來自一強度圖像的特徵的方法，其對於產生自在拾取裝置以及對象之間距離的尺度是不變的，但其卻是易敏感於多種應用對象的真正實體的尺度。就此而言，此方法的各種實施例是可設置如下所述:
[0147]在一實施例中，該方法可包括下列步驟:提供利用攝影機拾取的一強度圖像，提供一方法以供決定強度圖像中的至少一元素的深度，在一特徵檢測過程中檢測強度圖像中至少一特徵，其中該特徵檢測通過處理在取決於強度圖像中至少一元素的深度的一尺度的強度圖像的圖像強度信息而被執行，並且提供至少一檢測特徵的一特徵描述符。[0148]依據一實施例，特徵描述符包括依據通過強度圖像提供的圖像強度信息的至少一第一參數，以及包含描述符坐標，該等描述符坐標依據作為檢測特徵的一部分的強度圖像中至少一元素的深度被測量，或特徵描述符根據通過在檢測特徵附近的一支撐域中的強度圖像提供的信息而描述檢測特徵，其中該支撐域依據作為檢測特徵的一部分的強度圖像中至少一元素的深度被測量。
[0149]依據本發明另一實施例，該方法可包含檢測以及描述來自一強度圖像的特徵的方法，該方法包括下列步驟:提供通過一攝影機拾取的一強度圖像，提供一方法以供決定強度圖像中的至少一元素的深度，根據通過強度圖像提供的圖像強度信息而檢測強度圖像中至少一特徵，提供至少一檢測特徵的一特徵描述符，其中該特徵描述符根據通過強度圖像提供的圖像強度信息而包含至少一第一參數，以及包含描述符坐標，該等描述符坐標依據作為檢測特徵的一部分的強度圖像中至少一元素的深度被測量，或其中該特徵描述符根據通過在檢測特徵附近的一支撐域中的強度圖像提供的信息而描述檢測特徵，其中該支撐域依據作為檢測特徵的一部分的強度圖像中至少一元素的深度被測量。
[0150]依據本發明另一實施例，該方法可包含檢測以及描述來自一強度圖像的特徵的方法，該方法包括下列步驟:提供通過一攝影機拾取的一強度圖像，提供一方法以供決定強度圖像中的至少一元素的深度，根據通過強度圖像提供的圖像強度信息而檢測強度圖像中的至少一特徵，以及提供具有一特定尺度的一指標的至少一檢測特徵的一特徵描述符，該特徵描述符包含根據通過強度圖像提供的信息的至少一第一參數，以及至少一第二參數，其是指示作為檢測特徵的一部分的強度圖像中至少一元素的尺度及深度的組合。當參考描述符坐標時，我們參看強度數值的坐標，自其中描述符關於一定義的特徵中心而被建立。圖3有助於了解所述概念。
[0151]因此建議採用強度圖像中一元素(例如，一像素)的深度以供用於在強度圖像中的特定元素(像素)的特徵檢測和/或描述。因此，特徵可以真實(實體)尺度被檢測並且被描述，比較至強度圖像上的標準尺度不變的特徵描述符則提供被改進的獨特性，而不弓I介任何限制在攝影機移動上。
[0152]依據一實施例，在建議的方法中，其在特徵檢測過程中決定強度圖像中的至少一元素是否屬於一檢測特徵或不取決於強度圖像中的強度值。
[0153]尤其是，依據本發明一實施例，該建議的方法僅根據強度圖像而檢測以及描述特徵。尤其是，一特徵的深度被使用以通過關於一真正(實體)尺度而改進過程，但是對照於當前技術，在特徵附近的任何其他局部幾何的知識不被使用。
[0154]依據這些實施例的方法，在一論點中僅使用一個純量數值，其是距離的一指示，以改進唯一來自2D強度圖像中被檢測並且被描述的特徵的檢測和/或描述。
[0155]不同的方法存在以提供關聯強度圖像中特定像素的深度信息。範例包含立體視覺、飛行時間攝影機以及使用結構光的方法。在下面，我們假設我們被提供一強度圖像以及一方法以供決定強度圖像中至少一元素的深度。這方法可以，例如，是一相關深度映射中的一查詢操作(可能是使用內插和/或外插)或其可能是來自包含自不同視角的對應的實體元素的給予的第二強度圖像的立體深度的計算。
[0156]1、依據本發明一實施例在真實尺度的特徵檢測:
[0157]通常，依據這論點的一方法包括下列步驟:提供通過一拾取裝置拾取的一強度圖像，提供一方法以供決定強度圖像中的至少一元素的深度，在一特徵檢測過程中檢測強度圖像中至少一特徵，其中該特徵檢測通過處理在依據強度圖像中至少一元素的深度的一尺度的該強度圖像的圖像強度信息而被執行，並且提供至少一檢測特徵的一特徵描述符。
[0158]依據一實施例，特徵描述符包括依據通過強度圖像提供的圖像強度信息的至少一第一參數，以及作為尺度指示的至少一第二參數。
[0159]依據一實施例，特徵描述符包含依據通過強度圖像提供的圖像強度信息的至少一第一參數，以及包含描述符坐標，該等描述符坐標依據作為檢測特徵的部分的強度圖像中的至少一元素的深度被測量，或特徵描述符根據通過在檢測特徵附近的一支撐域中的強度圖像中提供的信息而描述檢測特徵，其中該支撐域依據作為檢測特徵的一部分的強度圖像中的至少一元素的深度被測量。
[0160]一特徵是一圖像中的一顯著的元素，其可以是一點(在文獻中時常被稱為關鍵點或相關點)、一線、一曲線、一區域、或圖像的任何其他子集。特徵檢測算法通常是顯著性檢測器。例如，它們找出線、邊緣、或一微分運算器的相對極值。一特徵檢測器可被視為映射像素的一區域至一響應的一函數。在文獻中，這區域被稱為特徵檢測器的採樣窗口、支撐域或測量孔徑。該響應是決定哪些元素是特徵以及哪些不是的最終閾值。為了在一定尺度提取特徵，採樣窗口或支撐域的任何一個可因此被測量，或圖像可在計算特徵檢測器的響應之前通過反向尺度係數被縮放。一特徵的尺度(或尺寸)接著被定義作為被使用以檢測它的採樣窗口或支撐域的尺寸。
[0161]在這種情況中，圖9展示快速(FAST)轉角檢測器的一尺寸(在左邊的展示)，如用於檢測點特徵的方法的通常範例。在這範例中，一特徵F的尺度(或尺寸)被定義為如展示的「尺度I」或「尺度2」，其等對應至被使用以檢測它的採樣窗口或支撐域(此處通過圓形組像素被定義)的尺寸。在圖9左邊上，提供決定一像素是否為一特徵(採樣窗口或支撐域)的圖像區域(在此處通過圓形組像素被限定)以兩個不同尺度，尺度I以及尺度2被展示而標明兩個不同尺寸的支撐域。
[0162]例如，在本發明一論點中，該方法包括下列步驟:定義一支撐域作為涵蓋強度圖像的一部分的區域，根據在該特徵附近的支撐域中的信息而檢測強度圖像中的至少一特徵，其中支撐域的一尺寸對應於具有至少一特徵被檢測的尺度而被決定。
[0163]依據一實施例，至少一特徵被檢測的尺度依據於支撐域的深度取樣。例如，支撐域以反比於強度圖像中的至少一元素的深度被測量以供特徵檢測過程決定其是否為檢測特徵的一部分。
[0164]用於特徵檢測方法的常見範例包含高斯之拉普拉斯(LoG)、高斯差分(DoG)、赫斯亞行列式(DoH)、最大穩定極值區域(MSER)、赫利斯(Harris)特徵、或學習為基礎轉角檢測器，例如，FAST。對於檢測邊緣特徵,廣泛已知的算法,例如,肯尼(Canny)、莎貝爾(Sobel)或普利衛特(Prewitt)可被應用。
[0165]例如，特徵檢測在反比例依據於強度圖像中至少一元素的深度的至少一尺度被運行以供特徵檢測過程決定其是否為檢測特徵的一部分。
[0166]依據一實施例，在至少一特徵被檢測的至少一尺度對應至該特徵的一實體尺寸。
[0167]在本發明的一可能實施例中，提議決定一元素是否為一特徵或不取決於強度圖像中的數值以及元素深度。更明確地說，對於各檢測元素，特徵檢測以反比例依據於推定的元素深度的一個或多個尺度被實行。
[0168] 在本發明一實施例中，特徵檢測僅使用一個真實尺度(例如，毫米)以檢測特徵。在另一實施例中，多於一個的真實尺度(例如，毫米)，其依據被使用的深度以檢測特徵(例如，30毫米以及60毫米以供用於更遠於50公分以及較接近於100公分的特徵)。因此，雖然圖像尺度(像素)被改變至真實尺度，例如，通過使其反比例於深度，於量度距離的實體或真實尺度可不同地以及獨立地被測量。
[0169]因此，在特徵被檢測的尺度對應至一真實(實體)的尺寸而替代攝影機像素單位的尺度。拾取裝置焦距的評估是以絕對真實尺度檢測特徵所需求的。
[0170]圖1Oa展示根據本發明這論點的方法的實施範例流程圖。步驟S51通過一拾取裝置，例如，一攝影機，拾取一強度圖像，或裝載一強度圖像，並且提供一方法以決定強度圖像中的至少一元素，例如，一特定像素，的深度，(關於此一方法的可能實施例，進一步的詳細說明在上面被提供)。步驟S52，其定義提取特徵的尺度，是取決於深度取樣。對於各支撐域，其可以是如一像素一般地小，檢測強度圖像中的特徵的尺度依據於對該區域的一深度取樣。在本發明一實施例中的支撐域是由多於8個像素所構成。如上面的說明，自深度決定尺度的一可能方式是一反比關係，其導致真實(實體)尺度。隨後，步驟S53產生用於不同尺度的所提供的強度圖像表示。在步驟S54中，特徵以所需的尺度被檢測。尤其是，在特徵檢測過程中，用於不同尺度的強度圖像的分別表示被產生並且強度圖像中的特徵以分別的尺度被檢測。對於特徵描述，至少一方位被指定於步驟S55中，例如，在鄰近像素的主要梯度方向或使用一方位傳感器測量，例如，通過重力被對準。最終，在步驟S56中，考慮它們的尺度以及方位，特徵被描述，並且在步驟S57使用如在標準方法中的所述特徵。
[0171]尤其注意到，步驟S53以及S54是範例。允許以不同尺度檢測特徵的任何方法可被應用於此，包含以縮放它們的採樣孔徑(或支撐域)以取代工作在強度圖像的尺度版本上那些方法。
[0172]本發明一實施例使用點特徵(亦即，關鍵點或相關點)。特徵檢測在此情況中通過一方法被執行而依據在該點附近的採樣窗口中的圖像強度決定對於一圖像(亦即，一像素)中的一單一點是否為一特徵。
[0173]例如，FAST轉角檢測器，其時常被使用作為特徵檢測器，將如下所述地被使用在本發明一實施例中。給予一像素，檢測器依據其的強度以及在具有半徑3.5像素的圓附近上的像素強度決定其是否為一特徵(轉角)。所提議的方法將首先自一深度提供方法以決定像素深度。給予這深度(深度--)、一所需的真實尺度(半徑--)以及拾取裝置的焦距(焦距(像素單位)，對應至所需的真實尺度的像素中的直徑或半徑(半徑可如下所示被計算:
[0174]半徑憾=焦距憾*半徑_/深度真正
[0175]如上面的說明，對應至表面上一些真實尺度的圖像中的尺度反比例於深度地變化。這是自深度決定尺度的一可能方式。
[0176]為了以對應至用於FAST轉角檢測器的半徑(半徑的真實尺度檢測一特徵，原始檢測器的任何的修改將被使用而以一半徑的像素的半徑以取代原定3.5像素而操作，或在具有半徑的半徑的候選像素附近的一斑塊通過半徑/3.5的係數被尺度調整，並且檢測通過標準檢測器被執行在被尺度調整的圖像斑塊上。[0177]取代提供用於各深度的一分別尺度，其可以是計算地有利於指定一深度範圍至一尺度。例如，5-10米的範圍被指定100毫米的尺度並且範圍在10米之上者被指定至300毫米。
[0178]本發明另一可能實施例可使用其他深度指示值，如上所述的取代深度。一實施例使用以攝影機為中心的笛卡兒坐標系統的Z-值，其中Z-軸是與攝影機的光軸在同一直線。
[0179]一般，其也是清楚的，深度或距離，不必定是精確地自攝影機的中心被測量。
[0180]選擇地，圖像或部分圖像，在特徵被提取或描述符被建立之前，可能依據另外的固有參數而不失真。
[0181]本發明不需要正交計算(其需要密集的深度數據)的昂貴步驟、圖像的投射返回為3D、以及三角測量。替代一圖像網格，本發明的方法使用一簡單2D強度圖像用以產生尺度空間。其不根據正切平面執行任何鄰近地區的正交化並且根本也不考慮特徵描述中的法線。尤其是，依據本發明，在特徵檢測過程期間沒有依據深度數據的3D網格被產生。
[0182]2、依據本發明進一步實施例的真實尺度的特徵描述:
[0183]通常，依據這論點的方法包括下列步驟:提供通過一攝影機拾取的一強度圖像，提供一方法以供決定強度圖像中至少一元素的深度，依據通過強度圖像提供的圖像強度信息檢測強度影響中的至少一特徵，以及提供至少一檢測特徵的一特徵描述符。
[0184]在第一可能性中，特徵描述符包括依據通過強度圖像提供的圖像強度信息的至少一第一參數，以及包含描述符坐標，該等描述符坐標依據作為檢測特徵的一部分的強度圖像中至少一元素的深度被測量。
[0185]另外地，在一第二可能性中，特徵描述符描述依據通過在檢測特徵附近的一支撐域中的強度圖像提供的圖像強度信息的檢測特徵，其中支撐域依據作為檢測特徵的一部分的強度圖像中的至少一元素的深度被測量。
[0186]一特徵描述符根據在特徵附近的圖像的一支撐域中的可用信息描述一特徵。特徵描述符的尺度是支撐域的尺寸。為清楚起見以及作為一範例，圖9展示在所展示的右邊上，以兩個不同尺度的SIFT描述符的支撐域(此處通過具有展示如直線的一相對梯度的一框形或矩形被定義)，標明不同尺寸的支撐域的尺度3以及尺度4，在此處是框形或矩形。
[0187]一描述符的尺度通常被選擇而線性地依據描述的特徵尺度。在本發明一較佳實施例中，被使用在建立特徵描述符的支援像素是由在一像素附近的幾何圖形(例如，在一圓的邊緣上，或在一橢圓內部的所有像素)所指定的像素所構成，其被辨識作為一特徵，其中幾何圖形僅依據深度變化。變化可以是重新評估幾何圖形或以不同的深度改變幾何圖形形狀。不同的深度可以是區間，例如，0-0.5米以及0.5米-5米及在5米以上。注意到，有關支撐域，我們指示具有非零供獻權重的支撐域的部分。
[0188]例如，強度圖像中的支援點被使用於提供特徵描述符，其包括通過已在特徵檢測過程中被辨識作為檢測特徵的一部分的該等點之一者附近的一幾何圖形所指定的點，其中幾何圖形依據該等點之一者的深度而變化，尤其是，其中該變化可在不同的深度重新調整該幾何圖形大小或改變該幾何圖形形狀。
[0189]依據一實施例，在不同的真實尺度的支撐域被使用，其中這些支撐域的一支撐域在較小的決定深度被決定為較小並且在較大的決定深度被決定為較大。
[0190]一特徵描述符可以是一實數向量，例如，SIFT或SURF，但是也可以是分類為基礎的方法，例如，隨機FERNS。此外，統計式描述符，如同一外形的曲率或(實體)長度，可被使用。在本質上，能夠匹配特徵的任何方法在這揭示說法中被考慮為一特徵描述符。
[0191]依據一實施例，其提議依據通過上述方法提供的強度圖像中的數值以及特徵深度，而描述一特徵。這提議的更多特定實施例將在下面被說明。
[0192]依據一實施例，特徵描述符的支撐域成反比於作為檢測特徵的一部分的強度圖像中至少一元素的深度被尺度調整。
[0193]依據另一實施例，特徵描述符的描述符坐標反比例於作為檢測特徵的一部分的強度圖像中至少一元素的深度被尺度調整。
[0194]尤其是，其提議反比例於特徵深度而尺度調整特徵描述符的坐標或支撐域。這導致特徵描述符的尺度對應至一真實尺度並且不僅改進特徵描述符尺度的重複性但同時也能夠辨認在不同的實體尺度的相似特徵。
[0195]如果真實尺度將對應 至可在不同的裝置各處被使用的一絕對尺度，拾取裝置的焦距評估是所需的。在一定距離(深度--)對應至一絕對真實尺度(S^1)的像素(S像素)中的尺度接著被計算如:
[0196]S像素=焦距像素*S真正/深度真正。
[0197]圖1Ob展示依據本發明這論點的一實施例方法的流程圖。在步驟S61中，在通過一拾取裝置拾取一強度圖像或裝載一強度圖像並且提供給予一要求像素的深度的方法之後，在步驟S63中，特徵以在步驟S62中被定義的尺度被檢測。這些尺度對於真實(實體)尺度不具有一已知的關係，但是在圖像坐標中被定義。在步驟S65中，為了描述一特徵，我們併入通過深度提供方法被提供的特徵深度。深度被使用以量度描述符坐標以對應至一真實尺度，如上面的說明。在步驟S66中，在方位指定之後，特徵使用對應至一真實尺度的描述符尺度在步驟S67中被描述。最終，在步驟S68中，被描述的特徵被使用於應用中。在本發明的可能實施例中，特徵被提取以便提供深度(例如，使用一立體攝影機)。因此，特徵可即時地被傳送至步驟S65並且步驟S62，S63以及S64 (亦即，對應至圖1Oa中的步驟S53以及S54的特徵提取FE)不必須得被進行(再)。
[0198]在這部分中被提議的方法的一實施例使用點特徵(亦即，關鍵點或相關點)以及供用於此等特徵的特徵描述符。給予一圖像中的一 2D點，一尺度以及選擇地一方位，其計算一描述符，例如，其可根據在一特徵附近的支撐域中的強度值通過一實數向量被表示。此等方法的通俗範例包含SIFT以及SURF。
[0199]為了支援處理具有強深度變化的景象，我們提議定義複數個對應至真實尺度的所需的特徵描述符尺度。因此本發明之一可能實施例使用不同的真實尺度支撐域，其中支撐域在較小的深度是較小並且在較高的深度數值是較大。例如，當成像一處遠的山時，因它將涵蓋小於一像素，50毫米*50毫米的一支撐域是無意義的。另一方面，10000毫米*10000毫的一支撐域，對於此一景象可能是有意義的，而其是清楚地不能在一室內桌面環境中實行。
[0200]依據如上所述在部分I中和/或在這部分2中的一實施例，尺度被定義作為一廣域設置並且特徵描述符不包含指示尺度和/或支撐域的至少一第二參數。
[0201]3、依據本發明進一步實施例的尺度不變真正尺度察覺特徵描述:
[0202]依據本發明這論點，其提議根據強度圖像定義特徵描述符的尺度，如在標準方法中所處理的一般。根據這論點的方法包括下列步驟:提供通過一攝影機拾取的一強度圖像，提供一方法以供決定強度圖像中至少一元素的深度，根據通過強度圖像提供的圖像強度信息檢測強度圖像中至少一特徵，以及通過一特定尺度的指標提供至少一檢測特徵的一特徵描述符。特徵描述符包含根據通過強度圖像提供的圖像強度信息的至少一第一參數以及至少一第二參數，該第二參數指示尺度以及作為檢測特徵的一部分的強度圖像中至少一元素的深度的組合。
[0203]例如，第二參數是指示尺度以及作為檢測特徵的一部分的強度圖像中至少一元素的深度的一乘積。
[0204]依據一實施例，該第二參數，其選擇地包含有關拾取裝置的焦距的信息，被使用作為一連續特徵匹配過程中的一選擇步驟的基礎，在其中僅另一強度圖像的那些特徵被考慮作為具有包含相似至少第二參數的至少一參數的一特徵描述符的檢測特徵的可能匹配。
[0205]最好是，第二參數是對於檢測特徵至拾取裝置的距離是不變的。
[0206]依據一實施例，特徵描述符除了在特徵附近的支撐域中的強度圖像的一描述之外還包含一純量值，例如，s*d。因而s指示特徵描述符尺度並且d是指示特徵深度。雖然這數值是一特徵對於拾取裝置的距離是理想地不變的，它提供一特徵的明顯的描述。如果一特徵的深度d(或距離)加倍，則強度圖像中這特徵的尺寸，以及因此其之尺度s將減少一半。熟悉本領域技術人員應明白，焦距不是要緊的，只要它是常數。但是在一般情況中，要緊的是，任何攝影機可被使用。因此，該常數將是以(s*d)/f作為替代，其中f是焦距。這是重要的，以便確保數據在不同焦距攝影機之間可操作。尺度以及深度(以及選擇地焦距)的乘積，例如，可被使用以通過僅考慮具有一相似s*d數值的那些特徵作為可能匹配而加速特徵匹配。
[0207]圖1Oc展示依據本發明這論點的一實施例方法的流程圖。在步驟S71中，在通過拾取裝置拾取一強度圖像或裝載一強度圖像以及提供一方法以得到強度圖像中特定點的深度取樣之後，強度圖像的一尺度空間以在步驟S72中被定義的尺度在步驟S73中被產生。在步驟S74中，特徵自尺度空間圖像被提取。對於每個特徵，一方位在步驟S75中被指定並且在步驟S76中一描述被計算。注意，該方法到目前為止無不同於一常規尺度不變的方法，例如，SIFT。在下面步驟S77中，依據本發明通過在步驟S71中所提供的方法被提供的特徵深度被併入。在此情況中，深度形成描述符的一部分並且與特徵尺度以及選擇地焦距相乘，如上面的說明。最終，上述特徵被使用在步驟S78的應用中。在本發明可能的實施例中，特徵被提取以便提供深度(例如，使用立體攝影機)。因此，特徵可即時地被傳送至步驟S75並且步驟S72、S73以及S74(亦即，特徵提取FE)不必須得被進行(再)。
[0208]範例結果的描述:圖11比較依據本發明上述論點(如參考在第1-3點中)與標準方法的在一拾取裝置⑶拾取由兩組玩偶SI以及S2所構成的景象的結構中的技術。各組包含兩組不同尺度的相似玩偶(亦即，一高玩偶以及一較小玩偶)。兩組玩偶SI以及S2被安置在離拾取裝置⑶不同的距離。圖11左方展示通過⑶被拾取的圖像。涵蓋的方形指示對於被安置在每個玩偶右眼的特徵的標準尺度不變特徵描述符的支撐域。在該插圖RH、R12、R13以及R14展示被分別特徵的支撐域所涵蓋著的圖像部分。如同所見，由於尺度的不變性，它們都是相同的。雖然這啟用在不同距離，例如，Rll以及R13的一對象的匹配特徵，它不在不同的實體尺度，例如，Rll以及R12，提供在相似對象之間的識別力。
[0209]相對的，12展示通過在各玩偶右眼的四個特徵的支撐域的相同拾取圖像，其依據本發明提議的方法被尺度調整。雖然支撐域以及因此描述符對於自攝影機至對象的距離，例如，R21以及R23或R22以及R24，是不變的，但其對於不同尺度的相似對象是不同的。例如，支撐域R21以及R22在它們圖像內容中是明顯地不同，其導致不同的特徵描述符。
[0210]依據本發明一實施例，用以提供參考和/或當前深度取樣，供決定強度圖像中至少一元素的深度的方法是依據於拾取裝置的一光學焦點。
[0211]依據本發明另一實施例，在用以決定強度圖像中至少一元素的深度的方法中，強度圖像中的元素的深度取樣通過提取強度圖像以及至少一進一步的強度圖像的特徵並且使用拾取強度圖像以及至少一進一步的強度圖像的立體攝影機組對的同軸幾何匹配它們而被產生。在其中特徵被提取以便提供深度(例如，使用一立體攝影機)的情況中，提取的特徵可即時地被使用於特徵描述。例如，在第一步驟中，兩組強度圖像Il以及12通過攝影機被拾取或被裝載，其接著可選擇地被接受預處理。在一尺度空間或一組離散尺度已被定義之後，在Il和/或12的尺度空間中的特徵被檢測並且對應關係被決定，例如，使用單眼攝影機結構的立體攝影機組對的同軸幾何或尺度不變的特徵描述符。通過Fi標出兩個對應特徵並且X，y標出分別特徵Fi的一 2維位置，一檢測特徵對應關係C (Fl (x, y)、F2 (x, y))被考慮以描述將3D空間的相同點進入Il以及12中的投射，並且因此，深度，亦即，這點在3D空間中的位置，例如，可通過三角測量被計算。在最終使用上述特徵在一應用中之前，提取的特徵或關鍵點K被描述。該描述包含描述符V，其自強度數據被產生。此外，取決於應用，儲存它們的位置在圖像(x，y)或它們的3D位置(可自深度被計算)中可能是有意義的。選擇地，尺度S、方位ο以及被決定的深度d也可相關於關鍵點被儲存。為了使用本發明這實施例，其是不必須儲存該尺度作為描述符的部分。例如，尺度也可廣域地對於某些深度被定義為10毫米或1000毫米或使用來自深度d的一般公式根據，其應用至該應用中的所有特徵。如有關圖1Ob以及圖1Oc所述，依據如上面部分2 (例如，自圖1Ob中的S65開始)或部分3 (例如，自圖1Oc中的S75開始)中所述的本發明一實施例的任一方法可被使用。在依據部分3 —實施例的情況中，K將也進一步地包括自組合s以及d(以及選擇地攝影機的焦距)所導出的數值。
[0212]依據本發明進一步的實施例，強度圖像中至少一元素的深度使用視覺搜尋算法以初始地比較不同距離而被評估。
[0213]依據本發明一實施例，該方法可進一步包括下列步驟:提供廣域坐標系統中的拾取裝置的位置以及方位的測量，自該測量決定拾取裝置的位姿，提供環境的3D模型，其中該位姿被組合在3D模型中使用以計算強度圖像中一特徵的至少一元素的深度，例如，通過自拾取裝置中心投射一虛擬射線通過該特徵進入3D模型中。
[0214]廣域坐標系統中拾取裝置的位置的測量可通過一 GPS傳感器/接收器，IR或RFID三角測量，或通過局部化方法使用多頻率或無線基礎建設被提供。廣域坐標系統中拾取裝置的方位的測量可通過一慣性傳感器、一加速器、一迴轉儀、一羅盤或一機械、電磁、聲音、或光學跟蹤系統的至少之一被提供。在本發明這種情況中，一慣性傳感器通過使用下列的任何組合:磁力計(例如，羅盤)、移動傳感器/轉動傳感器(加速器/迴轉儀)、重力傳感器以及提供此信息的其他傳感器，而例如，可連續地提供包含關於環境的一對象或裝置的位置和/或方位的傳感器信息。
[0215]具有真實尺度特徵描述符的深度提供方法的可能組合可被使用在光學位姿評估以及跟蹤中，例如，以便產生戶外AR體驗。例如，深度使用粗略傳感器數據以及一環境模型被提取。一強度圖像Il通過拾取裝置被拾取或被裝載。此外，當拾取Il的同時，拾取裝置的一初始位姿自粗略傳感器測量值(例如，GPS位置以及方位傳感器信息)被評估。最後，包含3D數據以及圖像數據(相似於Google街道圖)的一先進環境模型被提供。如果用於跟蹤的一參考模型(例如，已經包含特徵3D坐標以及特徵描述符)不預先被產生，則需圖像數據。環境模型使用假設的攝影機位姿被裝載，亦即，環境模型自強度圖像Il的攝影機視角被渲染。深度信息自環境模型被取回並且被使用於接著的步驟中用以計算檢測特徵的真實尺度描述符。換言之，使用對齊於圖像Il的深度信息，真實尺度特徵在一固定尺度(例如I米)被提取。因為環境模型組合3D數據以及圖像數據，具有I米尺度的實體尺度特徵的一參考3D模型可被產生(這當然可預先被完成)。該結果接著可被使用以在Il以及3D實體尺度特徵中產生特徵的對應關係。使用一最佳化算法，在環境模型的坐標系統中的Il的改善位姿可被計算。該改善位姿接著可被使用於一應用，例如，一增強現實的旅遊數據的視覺化，或選擇地被使用以使狀態評估改善並且通過過程而重複，直至在定義的品質閾值之下的位姿中的改變已經達成為止。
[0216]參考文獻:
[0217][I]David G.Lowe.Distinctive Image Features from Scale-1nvariantKeypoints.1nt.J.Comput.Vision60，2(November2004)，91-110，2004
[0218][2]A.Kumar, J.-P.Tardifj R.Anatij and K.Daniilidis.Experiments onvisual loop closing using vocabulary trees.1n Computer Vision and PatternRecognition (CVPR) Workshops, June2008.Anchorage, AK.[0219][3]Gabriele Bleser and Didier Strieker.Advanced tracking throughefficient image processing and visual-1nertial sensor fusion.Computer&Graphics，Vol.33，Pages59_72，Elsevier, New York, 2/2009.[0220][4] D.Chen, G.Baatzj K.Koeserj S.Tsai，R.Vedanthamj T.Pylvanainenj K.Roimelaj X.Chen, J.Bach, M.Pollefeysj B.Girodj and R.Grzeszczuk.City-scale landmarkidentification on mobile devices.1EEE International Conference on ComputerVision and Pattern Recognition (CVPR), June2011.[0221][5]Gerhard Reitmayr and Tom W.Drummond.1nitialisation for VisualTracking in Urban Environments.1n Proceedings of the20076th IEEE and ACMInternational Symposium on Mixed and Augmented Reality(ISMAR ? 7).1EEE ComputerSociety, Washington, DC, USA，1-9，2007.[0222][6]D.V.Johnston, Learning Depth in Lightfield Images, CS229MachineLearning Autumn2005，Stanford University,2005，http://www.Stanford, edu/class/cs229/proj2005/Johnston-LeamingDeptMnLightfieldlmages.pdf
[0223][7] Gerhard Schallj Daniel Wagner, Gerhard Reitmayr，EliseTaichmannj Manfred Wie-ser, Dieter Schmalstiegj and Bernhard Hofmann-We11enhof.Global pose estimation using mult1-sensor fusion for outdoor AugmentedReality. 1n Proceedings of the20098th IEEE International Symposium on Mixed andAugmented Reality, 2009[0224][8]Clemens Arth，Daniel Wagner, Manfred Klopschitzj Arnold Irscharaj andDieter Schmalstieg.Wide area localization on mobile phones.1n Proceedings ofthe20098th IEEE International Symposium on Mixed and Augmented Reality(ISMARO19).IEEE Computer Society, Washington, DC, USA，73-82，2009.[0225][9]US7768534B2.
【權利要求】
1.一種以參考特徵匹配圖像特徵的方法，包括下列步驟: 提供通過一拾取裝置拾取的一當前圖像， 提供一組參考特徵，其中每個所述參考特徵包括至少一第一參數，所述第一參數是至少部分地指示有關一廣域坐標系統的參考特徵的一位置和/或方位，其中所述廣域坐標系統是一地面坐標系統或一對象坐標系統，或所述第一參數是至少部分地指示有關一高度的參考特徵的一位置， 在一特徵檢測過程中檢測所述當前圖像中的至少一特徵， 關聯所述檢測特徵於至少一第二參數，所述第二參數是至少部分地指示有關所述廣域坐標系統的檢測特徵的一位置和/或方位，或所述第二參數是至少部分地指示有關一高度的檢測特徵的一位置， 通過決定在所述至少一第一參數以及所述至少一第二參數之間的一相似度測量，匹配所述檢測特徵與所述一組參考特徵的參考特徵的至少之一。
2.依據權利要求1的方法，包括當匹配所述檢測特徵時通過在所述一組參考特徵內的一減低數量的參考特徵而定義一搜尋空間的步驟，其中所述搜尋空間根據所述至少一第二參數被決定。
3.依據權利要求1或2的方法，其中所述廣域坐標系統提供有關一特徵的地理參考位置和/或方位的信息。
4.依據權利要求1至3之一的方法，其中所述至少一第一以及第二參數中至少之一是至少部分地指示一經度以及緯度。
5.依據權利要求1至4之一的方法，其中所述至少一第一以及第二參數中至少之一是至少部分地指示有關相對於所述拾取裝置的一相對高度、或一絕對高度的一位置。
6.依據權利要求1至5之一的方法，其中所述檢測特徵的位置和/或方位通過一方程式被描述，所述方程式描述一幾何形狀，例如，一點、一射線、一直線、一圓、一圓錐體、或一圓柱體。
7.依據權利要求6的方法，其中匹配所述檢測特徵與所述一組參考特徵的步驟僅考慮該組參考特徵中具有至所述幾何形狀的距離是在一閾值之下的一位置的那些參考特徵為可能的匹配。
8.依據權利要求1至7之一的方法，其中所述至少一第一以及第二參數中至少之一是在一特徵描述符領域中和/或在一空間領域中的一空間數據結構的部份，例如，其中所述空間數據結構包含一限定容積，例如，軸對齊方塊、定位方塊、球形、任意容積，或一網格，或任何類型的樹型，例如，四分樹型(Quadtree)、八叉樹型(Octree)、二元空間分割樹型(BSP-tree)、k維空間樹型(kd-tree)、多維空間索引樹型(R-tree)。
9.依據權利要求1至8之一的方法，其中當拾取所述當前圖像時，所述至少一第二參數使用有關所述廣域坐標系統的拾取裝置的一至少部分的位置和/或方位被決定。
10.依據權利要求1至9之一的方法，其中所述至少一第二參數使用所述當前圖像中的至少一元素的一深度作為所述檢測特徵的一部分而被決定。
11.依據權利要求1至10之一的方法，其中所述至少一第二參數使用相關於所述拾取裝置的一坐標系統中的一重力向量的一測量值以及所述當前圖像中的至少一元素的一深度作為所述檢測特徵的一部分而被決定。
12.依據權利要求11的方法，其中所述檢測特徵的位置是至少部分地通過具有一法線是或對應至所述重力向量的一平面被描述，而所述平面指示高度。
13.依據權利要求9至12之一的方法，其中所述至少一第二參數通過進一步使用所述拾取裝置的一組固有參數、以及所述當前圖像中的所述檢測特徵的一位置而被決定。
14.依據權利要求1至13之一的方法，進一步包括通過組合朝向所述拾取裝置的所述檢測特徵的一決定的距離以及所述拾取裝置的方位，而計算有關所述廣域坐標系統或所述拾取裝置的一坐標系統的所述檢測特徵的一 3維位置。
15.依據權利要求1至14之一的方法，其中所述一組參考特徵取自至少一參考圖像，所述至少一參考圖像通過不同於所述拾取裝置的一第二拾取裝置被記錄。
16.如權利要求15的方法，其中所述至少一參考圖像的拾取時間是至少比所述當前圖像的拾取時間早一天。
17.依據權利要求1至16之一的方法，進一步包括提供所述拾取裝置的至少一部分的位置、方位和/或高度的步驟，其中以此為基礎關聯於所述檢測特徵的至少一第二參數的一不確定性信息被導出。
18.依據權利要求17的方法，其中所述不確定性信息用以影響所述匹配過程。
19.依據權利要求18的方法，其中所述不確定性信息通過依據所述不確定性而改變關於位置和/或方位的分 別的自由度的至少之一的一相應權重，以影響所述匹配過程。
20.依據權利要求18或19的方法，其中所述不確定性信息影響作為將被匹配的匹配候選者的參考特徵的選擇。
21.依據權利要求20的方法，進一步提供作為匹配候選者的參考特徵的選擇為根據被影響的一權重，其中一較高的不確定性減少所述權重並且一較低的不確定性增加所述權重。
22.依據權利要求17至21之一的方法，其中所述不確定性信息根據用以提供所述拾取裝置的位置、方位和/或高度的一傳感器類型被決定。
23.依據權利要求1至22之一的方法，進一步包含使用一匹配結果的步驟，其使用所述匹配結果在所述當前圖像中一對象的檢測、分類或局部化，或在所述廣域坐標系統中的所述拾取裝置的局部化，或在所述拾取裝置的初始位姿評估，或在所述拾取裝置的初始化位姿跟蹤。
24.依據權利要求1至23之一的方法，其中所述方法用於一增強現實應用中。
25.一種電腦程式產品，其適用於被載入一數字計算機的內部存儲器並且包括軟體代碼段，當所述產品在所述計算機上運行時利用所述軟體代碼段，依據權利要求1至24的任一項的方法被執行。
【文檔編號】G06K9/46GK103959308SQ201180073205
【公開日】2014年7月30日 申請日期:2011年8月31日 優先權日:2011年8月31日
【發明者】D·庫爾茨, 彼得·梅爾 申請人:Metaio有限公司