用於估計攝像機運動以及用於確定實境三維模型的方法

2023-06-14 05:01:06

用於估計攝像機運動以及用於確定實境三維模型的方法
【專利摘要】一種用於估計攝像機運動以及用於確定環境的三維模型的方法，包括以下步驟：a.提供攝像機的固有參數；b.提供一組由攝像機以第一攝像機位姿拾取的參考二維成像點，以及與該組參考二維成像點關聯的參考深度樣本；c.使用參考深度樣本和固有參數確定環境的三維模型；d.提供一組由攝像機以第二攝像機位姿拾取的當前二維成像點，以及與該組當前二維成像點關聯的當前深度樣本，並使用當前深度樣本和固有參數確定當前三維模型；e.利用圖像配準方法估計第一攝像機位姿與第二攝像機位姿之間的攝像機運動；f.基於所述估計的攝像機運動確定所述三維模型和所述當前三維模型之間的相似性度量，並且如果確定該相似性度量滿足第一條件，用該當前三維模型的至少一個點更新環境的三維模型，並將該組當前二維成像點加入到該組參考二維成像點。
【專利說明】用於估計攝像機運動以及用於確定實境三維模型的方法
[0001]本發明涉及一種用於估計攝像機運動以及用於確定環境的三維模型的方法。
[0002]關於已知或未知的場景的可視化的實時跟蹤是基於視覺的增強現實(AR)應用的必要的和無疑的組成部分。使用終端用戶硬體確定攝像機關於未知環境的相對運動成為可能得益於參考文件[I]的方法的啟發。這種方法是執行從拾取圖像提取視覺特徵的實時跟
足示O
[0003]特徵是圖像中的顯著元素，其可為一點(通常被稱為關鍵點或興趣點)、一直線、一曲線、一連接區域或任何一組像素。特徵通常在尺度空間中提取，即以不同的尺度。因此，除了在圖像中的其二維位置之外，每個特徵具有一可重複的尺度。此外，可重複的方向(旋轉)通常從在圍繞該特徵的區域中像素的強度計算，例如作為強度梯度的主導方向。最後，為了使特徵的比較和匹配成為可能，需要一特徵描述符。常見的方法使用一特徵的計算的尺度和方向來轉換描述符的坐標，其為旋轉和尺度提供了不變性。最終，該描述符是一 η維的向量，這通常是通過連接局部圖像強度的函數的直方圖構建，如在參考文獻[13]中公開的梯度。
[0004]特徵需要在許多圖像中可見，為此攝像機已經執行了為估計深度和以此重建特徵的3D坐標系足夠充分的一運動。這通常基於結構來自運動原理。為了獲得重建點的正確縮放的3D坐標系並因此獲得正確縮放的攝像機運動，這些方法通常需要環境的某些部分的一明確的手工測量或需要用已知的物體配備它。另一種引起尺度的可能性是要求用戶執行一有約束的攝像機運動-通常攝像機需要在兩個已知幀之間移動以至於它的光學中心位置隨一米制的已知縮放平移(metrically known scaled translation)而變化。
[0005]然而，這種類型的方法有一些限制。在重建一點並將其添加到特徵圖之前，該點需要在具有一估計的攝像機位姿的多個幀之上被跟蹤。這延遲了在完整的攝像機運動的估計中新的可視物理點的參與。此外，要麼環境需要被部分地測量或預先配備，要麼用戶需要具有關於系統的一些經驗以便正確地執行允許正確尺度估計的有約束的攝像機運動。最後，由於現有的方法主要是基於視覺特徵(通常從某些紋理梯度可得到處提取)，即使在後期處理和網合(meshing)之後，為遮蔽處理或諸如可能需要環境的網狀版本的類似AR任務，從現有的方法中獲得的在線特徵圖通常是稀疏的且無法使用。
[0006]參考文獻[2]的作者表明，利用一單一標準手持式攝像機被連接到一功能強大的PC的一更高的計算能力，並利用圖形處理單元(GPU)的計算能力，當使用參考文獻[3]的PTAM方法執行跟蹤時，有可能獲得一桌面尺度環境的一密集表示和高紋理場景(highlytextured scene)。在線創建的圖的密度隨立體稠密匹配和基於GPU的實現而增加。
[0007]存在現有方法處理組合的範圍強度數據。除了強度圖像，他們利用與該強度圖像相關的包含密集深度信息的一範圍圖。像素的深度指的是拾取裝置的主點和在該像素上成像的物理3D表面之間的距離。
[0008]圖8顯不了包含兩組玩偶SI和S2(每組包含一高和一矮玩偶)的一場景，以及一拾取裝置⑶。SI組的一物理點PPl用該拾取裝置在像素IPl上成像。這個像素的深度為D1，拾取裝置光學中心OC和物理點PPl之間的距離，該光學中心OC定義了攝像機坐標系的原點。類似地，S2組的一第二物理點PP2在IP2上成像並具有深度D2。注意，攝像機固有參數(特別是焦距)的估計允許在給定其深度Dl及其在圖像平面IPl上像素位置的一點PPl的笛卡爾坐標(Cartesian coordinates)中計算3D位置。
[0009]參考文獻[4]的作者們用一組合:一飛行時間(204x204)解析度攝像機和一(640x480) RGB攝像機和改進的度量模型和被參考文獻[I]的MonoSLAM使用的擴展卡爾曼濾波器的創新公式，代替通常使用的標準手持式視頻攝像機，以改善跟蹤結果。由於這種方法是基於擴展卡爾曼濾波器，相較於基於關鍵幀的方法它提供了較低的精確度。如在參考文獻[5]中精彩討論的，在現代的應用和系統中，基於關鍵幀的方法給予每單位計算時間以最佳精度。
[0010]微軟的終端用戶設備的XbOX360Kinect是一低成本和相對高的解析度的RGB-D攝像機，包含由紅外結構光投影儀結合一紅外攝像機組成的一立體音響系統，其允許像素深度計算，並且用於提供強度圖像的一攝像機被記錄到其中。這個設備已由參考文獻[6]直接地用於室內環境的基於面元(surfel)的建模。然而，該所提出的系統不實時運行且處理已記錄的視頻；它不執行任何實時或幀間跟蹤。
[0011]因此，提供同時估計一攝像機運動以及為確定考慮到上述各方面的一真實環境的一三維模型的一跟蹤方法將是有必要的。
[0012]本發明的說明
[0013]根據本發明的一方面，公開了用於估計攝像機運動以及用於確定環境的三維模型的方法，包括以下步驟:
[0014]a)提供攝像機的固有參數；
[0015]b)提供一組由攝像機以第一攝像機位姿拾取的參考二維成像點，以及與該組參考二維成像點關聯的參考深度樣本；
[0016]c)使用參考深度樣本和固有參數確定環境的三維模型；
[0017]d)提供一組由攝像機以第二攝像機位姿拾取的當前二維成像點，以及與該組當前二維成像點關聯的當前深度樣本，並使用當前深度樣本和固有參數確定當前三維模型；
[0018]e)利用圖像配準方法估計第一攝像機位姿與第二攝像機位姿之間的攝像機運動；
[0019]f)基於所述估計的攝像機運動確定所述三維模型和所述當前三維模型之間的相似性度量，並且
[0020]如果確定該相似性度量滿足第一條件，用該當前三維模型的至少一個點更新環境的三維模型,並將該組當前二維成像點加入到該組參考二維成像點。
[0021]特別地，利用圖像配準方法可估計第一攝像機位姿和第二攝像機位姿之間的相對攝像機運動。
[0022]例如，可使用所述估計的攝像機運動在通用坐標系中進行三維模型和當前三維模型之間的一相似性度量的確定。
[0023]在本發明的另一方面，採用三維模型和由步驟d)至f)的一前一次迭代產生的該組參考二維成像點，為每一新組當前二維成像點和與那組當前二維成像點關聯的當前深度樣本重複步驟d)至f)。
[0024]在本發明的上下文中，其中，一組二維點可相當於諸如一色彩圖像或一灰度圖像的強度圖像的至少一部分，例如，在一強度圖像中的一感興趣區域，源於一強度圖像或來源於在一強度圖像上執行一分割算法及類似行為的一簇二維點或特徵點。貫穿本公開，當我們談到強度圖像時，我們指的是圖像表示從環境反射的不同數量的光，主要取決於環境的材質和光亮情況。強度圖像可將強度按照不同的位解析度(例如8位或高動態範圍)編碼入一個(例如灰度級)或多於一個的通道(例如RGB-紅-綠-藍)。
[0025]因此，本發明提出利用一組參考二維成像點及相關聯的深度樣本。例如，該方法可使用包括至少一個由攝像機以第一攝像機位姿拾取的參考強度圖像的一組參考強度圖像，以及與該至少一個參考強度圖像關聯的深度樣本。此外，提出利用一相似性度量來確定該當前組二維成像點和該當前攝像機位姿是否被添加到一組用於跟蹤的參考二維成像點中，以及該當前組二維成像點和與該當前組二維成像點關聯的當前深度樣本是否被用於創建和/或更新三維模型。換句話說，對於跟蹤，因為假設來自環境的附加信息的貢獻並不足夠高，當一當前組二維成像點或與該當前組二維成像點關聯的當前深度樣本並不有助於三維模型時，諸如一當前強度圖像的一當前組二維成像點可不被用作諸如一參考圖像的一組參考二維成像點之內。因此，本發明關閉跟蹤過程和重構過程之間的循環，使得能夠同時估計攝像機運動並確定環境的三維模型。
[0026]作為根據本發明的方法的一結果，所述確定的攝像機運動估計被正確地縮放，例如在一AR應用中能夠使一跟蹤不需要測量環境或用諸如基準標記(fiducial markers)的已知尺寸的對象配備它，且不需要初步已知的和/或受約束的攝像機運動。通過利用環境的三維模型作為一遮蔽模型，該方法可用於處理在挑戰性的AR場景和應用中的中速到快速攝像機運動和顯示遮蔽。
[0027]本發明的另一方面是提供一種用於估計攝像機運動和確定環境的三維模型的方法，包括以下步驟:
[0028]a)提供攝像機的固有參數；
[0029]b)提供一組由攝像機以第一攝像機位姿拾取的參考二維成像點以及與該組參考二維成像點相關聯的參考深度樣本；
[0030]c)使用該參考深度樣本和固有參數確定環境的一三維模型；
[0031]d)提供一組由攝像機以第二攝像機位姿拾取的當前二維成像點以及與該組當前二維成像點相關聯的當前深度樣本，並使用該當前深度樣本和固有參數確定當前三維模型；
[0032]e)利用圖像配準方法估計第一攝像機位姿和第二攝像機位姿之間的攝像機運動；
[0033]f)基於所述估計的攝像機運動確定所述三維模型中至少一個三維點與所述當前三維模型中相關聯的三維點之間的相似性度量，並且
[0034]如果確定該相似性度量滿足第一條件，改善該當前三維模型和/或該三維模型。
[0035]特別地，利用圖像配準方法可估計第一攝像機位姿和第二攝像機位姿之間的一相對攝像機運動。
[0036]例如，使用所述估計的攝像機運動在通用坐標系中可進行在三維模型中至少一個三維點和在當前三維模型中一關聯的三維點之間的一相似性度量的確定。
[0037]更深層面，本發明的實施例和有益特點從下面的公開的實施例中是顯而易見的。[0038]本發明的另一方面還與一種電腦程式產品有關，其適於被加載到數字計算機的內部存儲器中並且包括軟體代碼段，當所述產品運行在所述計算機上時利用該代碼段執行根據本發明的方法。
[0039]本發明現參照說明本發明的各種實施例的附圖將更詳細地描述。
[0040]圖1比較用於組合跟蹤以及未知環境的三維重構的標準方法(Ia)和本發明(Ib)；
[0041]圖2表示了根據本發明的一實施例，a)初始三維參考模型的創建和b)同步跟蹤及未知環境的三維重構；
[0042]圖3表示了根據本發明，當前圖像是否被用於更新環境的三維模型的決策過程的詳細實施例；
[0043]圖4表示了在通用坐標系中兩個局部網格的對準所得為一組合網格；
[0044]圖5表示了通過攝像機(左)及其相應的紋理網格(右)從一個攝像機觀察點拾取的一輸入3D點雲；
[0045]圖6表示了在兩幅圖像之間基於確定的攝像機運動的一三維點的深度值的一優化；
[0046]圖7給出了用於所提出的方法以及幾個PTAM初始化的所述估計的攝像機位姿的所有序列的評估結果；
[0047]圖8表示了由兩組玩偶和一拾取裝置組成的典型場景，每組玩偶包括一高和一矮玩偶；
[0048]圖9說明了關於FAST轉角檢測器和SIFT特徵描述符的特徵的尺度或尺寸，作為檢測點特徵的方法的常見例子；
[0049]圖1Oa表示了根據本發明的一實施例的方法的流程圖；
[0050]圖1Ob表示了根據本發明另一實施例的方法的流程圖；
[0051]圖1Oc表示了根據本發明另一實施例的方法的流程圖；
[0052]圖11說明了根據本發明實施例的技術與標準方法相比較的一典型場景，該場景顯示了一設置，其中拾取裝置拾取由兩組玩偶組成的場景。
[0053]如上所述，一組二維強度成像點可由強度圖像的至少一部分表示。為求簡化說明的緣故，根據本發明的一方法的一實施例是關於這樣的附圖進行描述:其中的參考組和當前二維成像點是以強度圖像的形式提供。然而本領域技術人員勢必了解這僅表示本方法的一個實施例且不將本發明限制在完整的強度圖像的使用上。當然，這對在計算過程中使用二維強度成像點的一組或子組和深度樣本而不是完整的強度圖像和/或深度圖像對本發明的目的是足夠的。
[0054]在圖1a中，參考文獻[6]根據技術狀況描述了用於來自未知環境的三維模型的組合跟蹤和重構的一標準方法。在這個例子中，重構過程是一網合(meshing)過程(P2)。換句話說，以經網合(meshed)的三維點雲的形式獲得三維模型。但對本領域技術人員顯而易見的是在此附圖和下面的附圖中描述的實施例不應將根據本發明的方法限制在經網合(meshed)的三維點雲的確定上。本領域技術的人理解，通過使用合適的重構方法，三維模型也可以被確定為來自該組當前和/或參考二維成像點及關聯的深度樣本的一三維點雲、一基於邊緣的模型、一 Bezier曲面模型、一三維CAD模型或一容積模型。[0055]在圖1a描述的實施例中，由攝像機拾取的至少一個當前強度圖像被提供給跟蹤過程(Pl)。此外，與當前強度圖像關聯的當前深度樣本被提供給網合(meshing)過程(P2)。用於提供與強度圖像關聯的深度樣本的方法在下文中更詳細地公開。在跟蹤過程Pl中，首先基於當前強度圖像和一組參考圖像估計一當前攝像機位姿(見下文)。可選地，該攝像機位姿估計也可利用當前深度樣本。
[0056]在下一步驟中，然後確定當前攝像機位姿和與該組參考圖像之內的參考強度圖像(多個圖像)關聯的參考攝像機位姿(多個位姿)之間的差值是否大於一定閾值。例如，所述確定的攝像機位姿具有比來自與該組參考圖像之內的參考強度圖像相關聯的參考攝像機位姿的一定義的閾值更遠的一平移，這表明當前強度圖像已被從一相對新的觀察點拾取。如果經確定該差值大於該閾值，當前強度圖像和所述確定的當前攝像機位姿被添加到該組參考圖像中以用於在Pl中進一步跟蹤。
[0057]此外，當前攝像機位姿，與該當前組二維成像點關聯的當前深度樣本用作至網合(meshing)過程P2的輸入。這裡，在第一步中，一相似性度量在現存網格，即三維模型，和由基於當前攝像機位姿的當前深度樣本提供的附加信息之間確定。當相似性度量超過一定義的閾值時，該當前組二維成像點，例如當前圖像，以及該當前攝像機位姿被用於更新現存網格。例如，該相似性度量可被定義，使得當前深度樣本之內的至少一個三維點必須尚未被包括在網格中，以便用於更新網格。一初始網格可在網合(meshing)過程P2的最初迭代中創建。在這種情況下，如上述定義的相似性度量將表明，來自當前攝像機觀察點的所有三維點尚未包括在網格中，且因此當前深度樣本將被用於創建該網格的第一估計。有利的是，諸如顏色和紋理信息的附加信息可從當前強度圖像獲得並被用於著色三維模型。
[0058]綜上所述，在圖1a中顯而易見，用於跟蹤過程Pl和網合(meshing)過程P2的決策實例，即三維模型的創建，是完全獨立的。即使其對重構環境的三維模型沒有貢獻(即如果其在相似性測試中失敗)，當前強度圖像可被添加到該組參考圖像中。另一方面，正因為攝像機的平移運動不夠大，因此例如對於基於SLAM跟蹤需要的基線不足夠，即使旋轉運動可能顯著，當前強度圖像可被丟棄。在圖1b中描述的本發明的典型實施例中，根據現有技術對於上述過程的一差異變得清晰可見。代替具有用於追蹤過程Pl和三維模型的重構過程P2的兩個獨立的決策實例，它是基於相似性度量來確定是否當前強度圖像和當前攝像機位姿被添加到用於追蹤的該組參考圖像，以及是否當前強度圖像和/或與當前強度圖像相關聯的當前深度樣本被用於創建和/或更新該三維模型。換句話說，像假定來自環境的附加信息的貢獻不夠高，當其對該三維模型沒有貢獻時當前圖像可能不被用作用於跟蹤的參考圖像。因此，本發明關閉跟蹤過程Pl和重構過程P2之間的循環，使得能同步地估計攝像機運動和構建環境的三維模型。此外，如上所解釋的，根據本發明的方法能夠從最初第一幀跟
足示O
[0059]本發明的更詳細的觀點在圖2a和圖2b中的實施例中介紹。圖2a表示源自與至少一個參考強度圖像關聯的參考深度樣本的初始三維參考模型的創建。在步驟SI中，參考三維點雲使用與參考強度圖像關聯的深度樣本計算。對於每一個具有一度量的深度值Zi的均勻2D圖像點Pi，相應的非均勻3D點Xi為:
[0060]Xi = ZiIT1Pi
[0061]其中，K為攝像機固有參數的(3X3)上三角矩陣。[0062]給定所述記錄的參考強度圖像，如圖5所示顏色可以被關聯至每個三維點。(在下面更詳細解釋)。
[0063]根據本發明的一實施例，三維點到攝像機的距離的一閾值可被定義，且具有低於該閾值的距離的最合適的三維點被選擇用於網合(meshing)。換句話說，如果確定深度值高於一定義的閾值，至少當前深度樣本其中之一可被丟棄。那麼，距深度傳感器不遠於一定距離的最合適的點被保存在當前三維模型中。這有助於在深度度量的不確定性隨著深度顯著增加的情況下改善當前三維模型的品質。
[0064]在接下來的步驟S2中，參考網格從三維點雲確定，例如，通過在三維點雲內確定三角形。可選地，當參考強度圖像被額外考慮時，網合(meshing)可通過使用已知的鄰域優化。
[0065]在圖2b中描述了根據本發明的一實施例的未知環境的同步追蹤和三維重構，其中至少一個參考強度圖像，與至少一個參考強度圖像關聯的參考深度樣本和至少一個關聯的攝像機位姿，以及環境的三維模型(如上文所述已確定的)的初始估計作為輸入。根據所述實施例，提供了一當前強度圖像和與該當前強度圖像關聯的當前深度樣本。然後一當前三維點雲，即一當前三維模型，利用與該當前強度圖像關聯的當前深度樣本和固有參數
(S3)確定。可選地，該當前三維點雲也可在S3中相網合(meshed)(未示於圖2b)。
[0066]此外，通過圖像配準方法確定攝像機在一組參考圖像中至少一個參考強度圖像和當前強度圖像之間的運動(S4)，以便確定當拾取當前強度圖像時攝像機的位姿。
[0067]步驟S3和S4可在不同實例或當前強度圖像的副本上順序地或並行地處理。
[0068]使用所述確定的當前攝像機位姿，在S6中在通用坐標系中確定環境的參考三維模型和當前三維模型之間的相似性度量。例如，使用所述確定的當前攝像機位姿，可以完成將三維模型渲染至攝像機的當前視野的坐標系(即渲染至當前三維模型的坐標系)並對此在攝像機的當前視野的坐標系中確定參考三維模型的深度圖(S5)。然後該相似性度量可在諸如通過使用參考三維模型的參考深度圖的三維模型和諸如未經網合(meshed)或已網合(meshed)的三維點雲(S6)的當前三維模型之間確定。
[0069]該相似性度量是表示參考三維模型和當前三維模型之間的重疊。當執行諸如在AR應用中常見的實時跟蹤時，攝像機具有一典型的微小幀間運動，即在兩個圖像之間。例如，這意味著在兩個連續圖像的兩個創建的網格之間有一巨大的重疊。這種重疊需要被重視，因為否則，當每個新拾取的強度圖像和與該強度圖像關聯的深度樣本被集成到參考三維模型中時，由於潛在的大量冗餘數據，將在幾分鐘後溢出主存儲器的容量。例如，在圖4中描述了以第一網格Ml形式的第一三維模型和以第二網格M2形式的第二三維模型。當在通用坐標系中對準Ml和M2時，在這種情況下兩個網格之間的重疊很小。通過將兩個網格組合入一組合的三維模型CM中，無需增加大量的冗餘數據即可實現一更加全面的環境的重構。
[0070]在接下來的步驟S7中，它被確定取決於相似性度量是否使用從與當前強度圖像(SSa)關聯的當前深度樣本確定的三維點雲的至少一個點更新環境的三維模型的估計，以及是否包括其確定的關聯的攝像機位姿的當前強度圖像被加入參考圖像組(SSb)。例如，如果相似性度量不滿足第一條件，例如不超過一定義的閾值，當前強度圖像和與當前強度圖像關聯的當前深度樣本將被丟棄。在這種情況下，為新的當前強度圖像和與該新的當前強度圖像關聯的當前深度樣本重複步驟S3至S7,該新的當前強度圖像基於未更新的三維模型和包括至少一個參考圖像的一組參考圖像。如果該相似性度量超過該閾值，處理步驟8，並在之後基於更新的環境的參考三維模型以及至少包括參考圖像和作為附加參考強度圖像的前一次循環的當前強度圖像的更新組參考圖像重複步驟S3至S7。環境的三維模型的更新(SSa)可由連接的兩個可通過用與當前強度圖像關聯的攝像機位姿的翻轉來轉換的三維點實現的三維點雲組成。其它諸如在參考文獻[7]中披露的結合兩個或多個網格的方法對本領域的技術人員是已知的。
[0071]圖3表示了根據本發明的一實施例，是否將與一當前強度圖像的當前深度樣本用於更新環境的三維模型(圖2中的步驟S7至S8a)的決策過程的一詳細的實施例。
[0072]如上所述，由於噪聲隨距離增加，其可以被定義為距當前攝像機視野不遠於一定距離的最合適的三維點被保存。根據本發明的另一方面，對於在當前三維點雲中的至少一個點而言，其可進一步確定是否關聯的三維點存在於參考三維模型中。此外，它可確定是否在所述當前三維點雲中的點的深度和在所述參考三維模型中確定的關聯的的三維點的深度之間的差值高於一定義的閾值。
[0073]基於這個信息，三維點的濾波可被執行或相似性度量可以各種方式定義。例如，它可以被定義為用於每個拾取的當前強度圖像和與該當前強度圖像關聯的當前深度樣本，首次成像的最合適的三維點可被用於擴展參考三維模型。換句話說，它可以被定義為在當前三維點雲中最合適的點，對此確定在三維模型中非關聯的三維點，該最合適的點被用於在步驟SSa中更新三維模型。然後用於步驟S7的相似性度量被定義，使得在當前三維點雲中的點的數量必須超出一定閾值，該閾值可等於1，對此確定在參考三維模型中非關聯三維點(像素數(numPixel), S6b)。
[0074]如該圖3所述，這可通過使用二元掩模和深度緩衝實現。例如，在S6a中創建二元掩模，其中當參考網格中的深度值與當前深度值之間的差值大於O時，它可以被定義為在參考網格中具有非關聯的三維點的當前三維點雲中的一點，對此深度樣本是可使用的。為了在特別是出現在該記錄的深度圖的邊界上的參考網格中關閉小縫隙，二元掩模可能被破壞，使得儘管已經存在的幾何結構比所述閾值更接近，新的幾何結構也可被添加在邊界上。三維點將被暴露且可被直接考慮用於更新網格(SSa)，對此在其再投影二維位置上非幾何結構被渲染。
[0075]然而，僅依靠二元掩模會阻止增加來自被首次在已經重構的幾何結構前觀測的對象的信息，例如當圍繞固定對象移動攝像機試圖掃描其幾何結構時發生的情況。根據本發明的另一方面，利用至少一些定義的閾值，可以檢察被掩蔽的像素是否儲存在該經渲染的深度緩存中的深度大於深度圖的值，也可以用於添加接近的對象。
[0076]根據另一方面，相似性度量可被定義，使得被添加至三維模型的參考網格的三角形的數量必須超過一定閾值。根據另一方面，該相似性度量可以被定義，使得所述添加的網格的物理尺寸必須超過一定尺寸，例如以平方毫米給定。
[0077]可選地，在S8中，基於至少一個參考強度圖像和當前強度圖像的所述估計的攝像機運動可被用來改善當前三維點雲和/或參考三維模型。這可通過以下方式實現:基於所述估計的攝像機運動確定在三維模型中的三維點的深度和與該組當前二維成像點關聯的當前深度樣本的三維點的深度；從在三維模型中的三維點的深度以及在當前三維模型中關聯的三維點的深度確定一改善的三維點的深度；和用所述確定的改善的深度(見圖6)更新當前三維點雲中和/或三維模型中三維點的深度。例如，使用圖像匹配方法，來自參考強度圖像中的特徵點Fl在當前強度圖像中確定。然後，一改善的深度值可從與參考強度圖像中的特徵點Fl關聯的深度值和與當前強度圖像中所述確定的匹配的特徵點Fl關聯的深度值確定。
[0078]根據本發明的一方面，該方法可以進一步包括記錄相似性度量和/或相似性度量隨時間的方差，且如果經確定該相似性度量和/或該相似性度量在一定義的時間幀內的的方差滿足第二條件，三維模型不再更新且該當前組二維成像點不再加入該參考組二維成像點。此外，該方法可包括確定滿足第一條件的相似性度量的頻率以及如果經確定更新的頻率降到一定義的閾值以下，三維模型不再更新且該當前組二維成像點不再加入到該參考組二維成像點。
[0079]本發明的進一步的方面是提供一種用於確定環境的三維模型的方法，其中三維模型中至少一個三維點和基於所述確定的估計的攝像機運動的當前三維模型中關聯的三維點之間的相似性度量被確定，且如果經確定該相似性度量滿足第一條件，改善所述當前三維模型和/或所述三維模型。基於所述估計的攝像機運動，所述當前三維模型中關聯的三維點可被確定。
[0080]在這種情況下，該相似性度量可以被定義為三維模型中三維點的深度和當前三維模型中關聯的三維點的深度之間的差值。三維點該改善的深度可從三維模型中的三維點的深度和當前三維模型中關聯的三維點的深度確定，並被用於更新所述當前三維模型和/或所述三維模型中三維點的深度。
[0081]下面，將更詳細地說明本發明的幾個方面的優選實施例。
[0082]提供深度樣本的可能的方法
[0083]有幾種方法可以提供一圖像中一元素，例如一像素，的深度，其可以通過根據將在下面的段落中描述的本發明的方法所使用。
[0084]來自校準攝像機的深度:
[0085]根據一實施例以確定強度圖像中至少一個元素的深度，具有已知的相對位置和/或方向的至少兩個拾取裝置每個拾取各自的強度圖像，其中，在圖像中發現對應，拾取裝置的相對位置和/或方向用於計算強度圖像中至少一個元素的深度，該元素是至少所述對應其中之一的一部分。
[0086]具體地講，提供深度數據的一種可能性如下:記錄具有已知相對位姿和理論上已知固有參數的強度的至少兩個攝像機，可以在大約相同的時間，或當不動時，在不同的時間拾取圖像。可以在兩個圖像中找到對應，而攝像機的相對位姿和固有可用於計算任一圖像坐標系中的對應深度。在試圖找到對應之前檢索相對位姿和固有參數是有利的，因為它們可以用於通過引入額外的約束條件(例如，極幾何)，以簡化建立對應關係。
[0087]例如，基於點特徵的對應的發現可如下實現:為了匹配從一個圖像到另一個的二維特徵，在另一圖像中搜索指定大小的二維特徵周圍的斑塊。例如，平方差的和(SSD)或歸一化互相關(NCC)可以分別用作距離或相似性度量。為了減少搜索相應的補丁所需比較的次數，僅沿另一圖像中的特徵點的極線搜索它。為了簡化沿極線的搜索到一維搜索，首先糾正圖像。具有最高相似性的兩個補丁被設定成關聯。如果最高相似性的所述比第二高相似性具有顯著地更相似，前者將被認為是匹配的對應。[0088]當然，專家很清楚，存在很多的可能性以獲得對應。也有可能不考慮極線而獲得對應。當然，該過程也可以以迭代的方式實現，採用初始深度估計與我們提出的真實尺度特徵描述符一起工作，並重新計算具有更高精度的特徵的對應和位置。
[0089]來自至少一個移動攝像機的深度:
[0090]根據另一實施例，為了確定強度圖像中至少一個元素的深度，至少一個拾取裝置在不同的時間點從不同的位置拾取強度圖像，其中，在不同圖像中發現對應，不同圖像和對應的一結構之間的拾取裝置的相對位置和/或方向被恢復並用於計算強度圖像中至少一個元素的深度，該元素是至少所述對應其中之一的一部分。
[0091]例如，至少一個攝像機在不同的時間點從不同的位置拾取圖像。理想的情況是一些附加的傳感器量度可用(例如GPS位置)。圖像和附加信息，如果可用，於是進行分析。例如通過從圖像到圖像跟蹤特徵，或通過檢測局部特徵以及使用尺度不變量描述符來匹配它們，在不同圖像中發現對應。然後，使用來自運動的所謂的結構(SfM)的方法來恢復在不同圖像和對應的結構之間的相對位姿。本領域技術人員已知許多不同的方法。理想的情況下，附加的傳感器數據，如GPS位置或攝像機的已知運動(例如在汽車中通過測量汽車的運動)可以用來為該對應的結構提供一物理尺度。另外，如果在任何一圖像中檢索到具有已知大小的已知對象(例如一美元的鈔票或一標記)，也可以檢索到物理尺度。如果不能檢索到物理尺度，假定一尺度，仍然可以使用我們的方法，但僅對在這個確切情況下的進一步的匹配有意義。例如，為了為視頻遊戲添加遊戲角色以跟蹤攝像機的運動，運動的確切大小可能並不重要，但現實的相對運動是重要的。這裡，通過真實尺度特徵描述符的增強匹配可以有幫助。
[0092]此外，這個過程可以以迭代的方式來實現，使用初始尺度估計來改善該對應，導致位姿估計和結構中更高的準確度。
[0093]來自圖像匹配的深度:
[0094]根據另一實施例，為確定強度圖像中至少一個元素的深度，提供強度圖像的至少一個資料庫，其中，已知每個強度圖像的總體深度，或至少一個圖像區域的深度，或一個或多個像素的深度，將拾取裝置拾取到的強度圖像(當前強度圖像)與該資料庫進行匹配。匹配的結果被用來計算當前強度圖像中的至少一個元素的深度。
[0095]例如，為了檢索關聯到一圖像的深度的方法如下:我們假設圖像的資料庫存在並且已知每個圖像的一個總體深度(例如，10米)，或各個圖像區域的深度，或每個像素的深度。所拾取的當前圖像現在匹配這個資料庫。為了加速該過程和/或增加魯棒性，可使用一可選的步驟，為圖像匹配創建優化的數據結構。例如，其可以從特徵描述符建立一詞彙樹或KD-樹。
[0096]該方法可以嘗試使用來自資料庫圖像的詳細的深度信息(如果存在)和我們所提出的真實尺度特徵描述符，或使用其他方法來記錄這兩個圖像。如果這不可能或未提供詳細的深度信息，返回一個給定深度或平均深度。
[0097]來自三維模型信息和傳感器信息的深度:
[0098]根據另一實施例，為確定強度圖像中至少一個元素的深度，當拾取關於環境模型(其可能是初始估計)的強度圖像時，提供環境模型和關於拾取裝置的位置和/或方向的信息，其中，所述環境模型和關於拾取裝置的位置和/或方向的信息相結合，並用來計算強度圖像中的至少一個元素的深度。
[0099]例如，假定可以提供環境模型，例如，其可以是構造的三維模型或環境的掃描。當獲取到關於環境模型的圖像時，如果已知關於拾取裝置的位置和/或方向的任何信息，可將兩者結合。例如，通過渲染具有假定的攝像機位姿和攝像機固有的三維模型，每一個像素的深度可以從由環境模型所提供的深度緩衝區中獲得，並在渲染過程中使用。雖然對於這種方法，初始位姿估計是必需的，通過使用假定的深度以及具有紋理的環境模型的本發明，位姿可以隨後被改善，並且在其他應用中變得更加準確。當然這個過程也可能被反覆使用。
[0100]來自專用傳感器的深度:
[0101]根據另一實施例，為確定強度圖像中的至少一個元素的深度，提供至少一個傳感器，用於檢索深度信息或範圍數據，以及關於拾取裝置的至少一個傳感器的至少一個相對位置和/或方向，其中，所述深度信息或範圍數據被用來計算強度圖像中的至少一個元素的深度。優選地，已知傳感器和拾取裝置兩者的位姿(位置和方向)和固有參數。
[0102]特別地，檢索深度信息的一種方法是使用專用傳感器，其專用於檢索深度信息或範圍數據。例如，這可以是飛行裝置如雷射掃描儀的時間，或飛行攝像機的時間。另一例子是傳感器，其將光的已知圖案投射到環境中，並且在具有傳感器的環境反射後檢索該圖案。通過匹配投射的信息和接收到的圖案並通過知道面向檢索傳感器的投影儀的位姿並通過知道投影儀和傳感器兩者的固有參數，可以計算出深度。
[0103]允許深度數據的檢索的另一傳感器是全光照相機，見參考文獻[14]。
[0104]為了使用深度傳感器的信息與強度圖像，兩者的位姿和固有是已知的。深度信息可以隨後被轉換到攝像機的坐標系中並被使用。
[0105]攝像機運動估計
[0106]本發明的一方面是用圖像配準方法估計第一和第二攝像機位姿之間，即拾取該組參考二維成像點和拾取該組當前二維成像點之間，的相對攝像機運動。根據本發明的一方面，所述圖像配準方法可以是基於特徵的或基於強度的。它可以是基於二維成像點，例如僅強度圖像，或者它可能還考慮到與該組參考二維成像點關聯的深度樣本和與該組當前二維成像點關聯的深度樣本。
[0107]在基於特徵的圖像配準方法中，可以從該組參考二維成像點，如至少一個參考強度圖像，提取二維圖像特徵，並且，基於所述提取的圖像特徵，通過確定二維對應，可以估計攝像機運動。此外，從該組當前二維成像點，例如當前的強度圖像，提取二維圖像特徵，並且使用除了從該組參考二維成像點提取的圖像特徵的提取的當前特徵確定對應，可能是有利的。
[0108]基於亮度的圖像配準方法可以基於迭代最小化過程，其中，將來自該組參考二維成像點的第一組像素與來自該組當前二維成像點的一計算組像素比較，並且用於比較的來自該組當前二維成像點的該計算組像素在每一次迭代時變化。例如，圖像配準方法中的比較可以基於圖像強度的差異，如參考文獻[8]中所述。
[0109]給出兩個RGB-D圖像之間的二維-二維對應，通過如在公式(I)中給出的公式未投射它們，可以計算參考圖像二維特徵的三維位置。這給出了一組二維-三維對應，其可以用於位姿估計，例如通過應用參考文獻[3]的PTAM方法。
[0110]可選地，可以基於三維-三維對應確定攝像機位姿估計，該三維-三維對應從二維-二維匹配建立。從這些對應，例如可以使用參考文獻[9]的方法，其具有比二維-三維方法計算成本更低的優點。當使用三維-三維對應時，從當前深度樣本計算出的深度圖像也將被作為輸入提供給圖2b中的S4(未示出)。
[0111]此外，通過應用基於深度數據的方法，例如參考文獻[10]、[11]中的迭代最接近點(ICP)方法，可以進一步改善該位姿。在這種情況下，通過根據本發明的方法可以實現初始化或連續跟蹤，並且可以獲得該位姿的附加改善。
[0112]如果提出的方法獲得一紋理三維模型，建立圖像配準的另一種可能性，是要遵循跟蹤的「綜合分析」指示，其中，利用當前攝像機位姿估計，迭代地渲染整個紋理模型，隨後二維光流從合成的生成視圖跟蹤到拾取的攝像機圖像，直到收斂。
[0113]可選地，在S4中，參考二維成像點的一最接近的子組可從該組參考二維成像點中選擇，用於估計攝像機運動，基於關聯的攝像機位姿(多個位姿)之間的差異或圖像對準。使用最接近的子組，例如一最接近的圖像，而不是多個圖像，對該方法的速度明顯具有積極的效果，同時它也通過合理的假設所支持，即在視覺上，諸如物理上最接近的參考圖像也應該是在視覺上最相似的一個，這相應地導致了一更好的配準。
[0114]特徵檢測和描述
[0115]如上所述，根據本發明的方法可使用基於特徵的圖像配準方法。任何二維的計算機視覺方法的強烈限制是，它在投影空間工作。這使得無法區分對象到攝像機的距離產生的尺度，和對象的實際的物理尺度產生的尺度。在許多應用中，攝像機到對象的距離產生的尺度不變性是顯著期望的，並且是尺度不變性的原始動機。然而，在不同的物理尺度存在類似特徵的情況下，尺度不變性使得它們難以區分。例如，如參考文獻[13]中所述的描述符將無法區分真實的建築物和它的一縮微模型。除此之外，提供尺度不變性的方法，通過計算圖像亮度特徵的可重複的尺度，高度依賴於這個所述計算的尺度的精確度和可重複性。
[0116]根據本發明的實施例，該方法因此還包括一種從強度圖像檢測和描述特徵的方法，該強度圖像對於由攝像機和對象之間的距離產生的尺度是不變的，但是對於用於一各種應用的一對象的真實的(物理的)尺度是敏感的。這個方法可以用於針對提供由攝像機拾取的該組參考和/或當前的二維成像點，以及根據步驟b或d的參考和/或當前的深度樣本。在這方面，這種方法的各種實施例可以闡述如下:
[0117]在一個實施例中，所述方法可包括以下步驟:提供由攝像機拾取的強度圖像，提供一種用於確定該強度圖像中的至少一個元素的深度的方法，在特徵檢測過程中檢測該強度圖像中的至少一個特徵，其中，通過以一取決於該強度圖像中至少一個元素的深度的尺度處理該強度圖像的圖像強度信息，並提供至少一個檢測到的特徵的特徵描述符，來執行該特徵檢測。
[0118]根據一實施例，該特徵描述符包含基於該強度圖像所提供的圖像強度信息的至少一個第一參數，並且包含描述符坐標，其依靠是檢測到的特徵的一部分的強度圖像中的至少一個元素的深度來縮放，或者該特徵描述符基於由所述檢測到的特徵周圍的一支撐域中的強度圖像所提供的信息描述所述檢測到的特徵，其中，所述支撐域依靠是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的深度來縮放。
[0119]根據本發明的另一實施例，所述方法可以包括一種用於從強度圖像中檢測和描述特徵的方法，包括如下步驟:提供由攝像機拾取的強度圖像，提供一種用於確定該強度圖像中至少一個元素的深度的方法，基於由該強度圖像提供的圖像強度信息檢測該強度圖像中的至少一個特徵，提供至少一個檢測到的特徵的特徵描述符，其中，所述特徵描述符包含基於由該強度圖像提供的圖像強度信息的至少一個第一參數，並且包含描述符坐標，其依靠是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的深度來縮放，或者其中，所述特徵描述符基於由所述檢測到的特徵周圍的一支撐域中的強度圖像所提供的信息描述所述檢測到的特徵，其中，所述支撐域依靠是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的深度來縮放。
[0120]根據本發明的另一實施例，所述方法可以包括一種用於從強度圖像中檢測和描述特徵的方法，包括如下步驟:提供由攝像機拾取的強度圖像，提供一種用於確定該強度圖像中至少一個元素的深度的方法，基於由該強度圖像提供的圖像強度信息檢測該強度圖像中的至少一個特徵，並提供至少一個具有特定尺度的指示符的所述檢測到的特徵的特徵描述符，所述特徵描述符包括基於由該強度圖像提供的信息的至少一個第一參數，以及表示是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的尺度和深度的組合的至少一個第二參數。當涉及描述符的坐標時，我們指的是強度值的坐標，從所述強度值的坐標建立與一定義的特徵中心相關的描述符。圖3有助於理解這個概念。
[0121]因此，為了在強度圖像中那個特定元素(像素)的特徵檢測和/或描述，建議使用該強度圖像中一元素(例如，一像素)的深度。由此，可以在真實的(物理的)尺度檢測和描述特徵，提供相比於強度圖像的標準尺度不變特徵描述符的一種改善的獨特性，不引入攝像機運動的任何約束。
[0122]根據一實施例，在所提出的方法中，在特徵檢測過程中，根據該強度圖像中的強度值，無論該強度圖像中的至少一個元素是否屬於一檢測到的特徵，都會作出決定。
[0123]特別地，根據本發明的一實施例，所提出的方法僅基於強度圖像檢測和描述。特別地，特徵的深度用於通過與真實的(物理的)尺度關聯而改進該過程，但與現有技術的情況相反，不使用特徵周圍的局部幾何形狀的任何其他知識。
[0124]根據這些實施例的方法在一方面中僅使用一個標量值，該標量值是距離的一指示，以改進特徵的檢測和/或描述，該特徵是僅從二維強度圖像中檢測並描述的。
[0125]存在不同的方法，用來提供關聯到強度圖像中特定像素的深度信息。例證包括立體視覺，飛行時間攝像機和使用結構光的方法。在下文中，我們假定，我們提供強度圖像和用於一種確定所述強度圖像中的至少一個元素的深度的方法。這種方法可以是例如在關聯的深度圖中的查找操作(可能使用內插和/或外推)，或者可以是立體照片深度的計算，並且給出包含來自一不同視圖的相應物理元素的第二強度圖像。
[0126]1、根據本發明的一實施例，在真實的尺度上的特徵檢測:
[0127]通常，根據該方面的方法包括以下步驟:提供由拾取裝置拾取的強度圖像，提供一種用於確定該強度圖像中至少一個元素的深度的方法，在特徵檢測過程中，檢測該強度圖像中的至少一個特徵，其中，通過以某一尺度處理該強度圖像的圖像強度信息來執行該特徵檢測，所述尺度取決於該強度圖像中至少一個元素的深度，並提供所述至少一個檢測到的特徵的一特徵描述符。
[0128]根據一實施例，所述特徵描述符包含基於由所述強度圖像提供的圖像強度信息的至少一個第一參數，以及指示所述尺度的至少一個第二參數。[0129]根據一實施例，所述特徵描述符包含基於由所述強度圖像提供的圖像強度信息的至少一個第一參數，並且包含描述符坐標，其依靠是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的深度來縮放，或者所述特徵描述符基於由所述檢測到的特徵周圍的一支撐域中的強度圖像所提供的信息描述所述檢測到的特徵，其中，所述支撐域依靠是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的深度來縮放。
[0130]特徵是圖像中的一顯著元素，其可以是一點(在文獻中通常稱為關鍵點或興趣點)、一直線、一曲線、一區域或該圖像的任何其它子組。特徵檢測算法通常是特點檢測器。例如，它們發現線、邊、或微分算子的局部極值。特徵檢測器可以被看作是將像素的區域映射到響應的函數。在文獻中，這個區域被稱為特徵檢測器的採樣窗口、支撐域或測量孔徑。該響應最終被閾值化，以決定哪些元素是特徵，而哪些不是。為了以一定尺度提取特徵，可以相應地縮放該採樣窗口或該支撐域，或者在計算該特徵檢測器的響應之前，用逆縮放因子縮放該圖像。特徵的尺度(或尺寸)隨後被定義為用來檢測它的採樣窗口或支撐域的尺寸。
[0131]在這種情況下，圖9示出了 FAST轉角檢測器(圖上的左側)的尺寸，作為用於檢測點特徵的方法的常見例子。在這個例子中，如圖所示，特徵F的尺度(或尺寸)被定義為「尺度I」或「尺度2」，相應於用於檢測它的採樣窗口或支撐域的尺寸(在這裡由圓形組像素定義)。在圖9的左側，決定像素是否是特徵(採樣窗口或支撐域)的圖像區域(這裡由圓形組像素分隔)以兩種不同尺度顯示，尺度I和尺度2指定該支撐域的兩種不同尺寸。
[0132]例如，在本發明的一方面，所述方法包括以下步驟:將支撐域定義為覆蓋所述強度圖像的一部分的區域，基於該特徵周圍的支撐域中的信息檢測該強度圖像中的至少一個特徵，其中，相應於所述尺度確定該支撐域的尺寸，以該尺度檢測所述至少一個特徵。
[0133]根據一實施例，檢測至少一個特徵的尺度取決於用於該支撐域的深度樣本。例如，與所述強度圖像的至少一個元素的深度成反比縮放所述支撐域，對其來說，該特徵檢測過程確定它是否是所述檢測到的特徵的一部分。
[0134]關於特徵檢測方法的常見例子包括:高斯拉普拉斯(LoG)、高斯差分(DoG)、Hessian行列式(DoH)、最大穩定極值區域(MSER)、哈裡斯特徵、或基於學習的轉角檢測器，如FAST。為了檢測邊緣特徵,可以使用廣為人知的算法,例如Canny、Sobel或Prewitt。
[0135]例如，在至少一個尺度執行特徵檢測，該尺度成反比取決於該強度圖像中至少一個元素的深度，對其來說，該特徵檢測過程確定它是否是所述檢測到的特徵的一部分。
[0136]根據一實施例，檢測所述至少一個特徵的至少一個尺度相應於該特徵的物理尺寸。
[0137]在本發明的一個可能的實施方式中，如果元素是特徵，或者不取決於強度圖像中的值和該元素的深度，那麼建議作出決定。更具體地，對於每個檢測到的元素，在成反比依賴於推定的元素的深度的一個或多個尺度執行所述特徵檢測。
[0138]在本發明的一個實施方式中，特徵檢測僅使用一個真實的尺度(例如，以mm)來檢測特徵。在另一個實施方式中，一個以上的真實的尺度(例如，以_)，其依賴於深度並用於檢測特徵(例如，30mm和60mm,對於特徵,離開50cm更遠,且比IOOcm更近)。因此，當圖像尺度(以像素)轉向真實尺度時，例如通過使它與所述深度成反比，可以不同地且獨立地縮放米制距離的物理的或真實的尺度。[0139]因此，檢測特徵的尺度(多個尺度)相應於一真實的(物理的)尺寸，而不是攝像機像素單元的尺度。
[0140]該拾取裝置的焦距的估計需要在絕對真實尺度檢測特徵。
[0141]圖1Oa顯示了根據本發明的該方面的這種方法的一示例性實施例的流程圖。步驟S51，使用拾取裝置，例如攝像機，拾取強度圖像，或者加載強度圖像，並且提供了一種方法，用於確定該強度圖像中的至少一個元素，例如特定像素，的深度(上文提供了關於這種方法的可能的實施方式的進一步的細節)。步驟S52，其定義在哪個尺度提取特徵，這取決於深度樣本。對於每個支撐域，其可以小到一像素，檢測該強度圖像中特徵的尺度(多個尺度)取決於該區域的深度樣本。在本發明的一個實施方式中，支撐域由多於8個像素組成。如上面所解釋的，確定來自該深度的尺度的一種可能的方式是一種反比關係，其產生真實的(物理的)尺度。此後，步驟S53生成為不同尺度所提供的強度圖像的表示。在步驟S54中，在所希望的尺度中檢測特徵。特別地，在特徵檢測過程中生成不同尺度的強度圖像的各自的表示，並在各自的尺度檢測該強度圖像中的特徵。對於特徵描述，在步驟S55中指定至少一個方向，例如，作為相鄰像素的主導梯度方向，或使用方向傳感器測量，例如，引力校準。最終，在步驟S56中，考慮其尺度和方向來描述所述特徵，並且步驟S57如同以標準的方法使用所述描述的特徵。
[0142]請注意，特別地，步驟S53和S54是示範性的。任何允許在不同尺度檢測特徵的方法可以在這裡應用，包括那些縮放它們的取樣孔徑(或支撐域)，而不是處理該強度圖像的縮放版本的方法。
[0143]本發明的一實施例使用點特徵(即關鍵點或興趣點)。在這種情況下，如果一圖像中的單個點(即一像素)是一特徵或者不是，基於該點周圍的採樣窗口中的圖像強度，用一種決定上述的方法來執行所述特徵檢測。
[0144]例如，經常被用作特徵檢測器的FAST轉角檢測器，將在本發明的實施方式中使用如下。給定一像素，該檢測器依靠其強度和它周圍以3.5個像素為半徑的圓上像素的強度，確定它是否是一特徵(轉角)。提出的方法將首先確定來自深度提供方法的該像素的深度。給定了此深度(Depthieal)、對應於所期望的真實尺度的:期望的真實尺度(RadiUSreal)JP像素中拾取裝置的焦距(FocalLengthpixel),像素中的直徑或半徑(Radiuspixel)可以計算如下:
[0145]Radiuspixel = FocalLengthpixel*Radiusreal/Depthreal
[0146]如上面所解釋的，對應於該表面的一些真實尺度的圖像中的該尺度與深度成反比例變化。這是確定來自深度的尺度的一種可能的方式。
[0147]對於FAST轉角檢測器，為了在對應於半徑Radiusreal的真實尺度檢測一特徵，或者將使用原始檢測器的一修改，其以Radiuspixel個像素，而不是默認的3.5個像素為半徑進行操作，或者由Radiuspixel/3.5的因子縮放半徑為Radiuspixel的候選像素周圍的斑塊,並使用標準檢測器在那個縮放的圖像斑塊上執行檢測。
[0148]代替為每個深度提供一單獨的尺度，為尺度指定一深度範圍在計算上可能是有利的。例如，5-10m的範圍被指定到IOOmm的尺度，而IOm以上的範圍被指定到300mm。
[0149]如上所述，本發明的另一可能的實施例可以使用其他深度指示值，而不是深度。一個實施例使用以攝像機為中心的笛卡爾坐標系的z值，其中，z軸與攝像機的光軸共線。[0150]通常，也清楚的是，不必從攝像機的中心精確地測量深度或距離。
[0151]可選地，在提取特徵或建立描述符之前，根據附加的固有參數，所述圖像或圖像的一部分可以不失真。
[0152]本發明不需要正常計算(這需要密集的深度數據)、將圖像背投射至三維、以及三角測量的昂貴步驟。代替圖像網格，本發明的方法使用簡單的二維強度圖像，用於創建尺度空間。它不執行任何基於切面的近鄰標準化，也根本不考慮所述特徵描述中的標準。
[0153]特別地，根據本發明，在特徵檢測過程期間，不創建基於該深度數據的三維網格。
[0154]2、根據本發明的一進一步的實施例，在真實尺度的特徵描述:
[0155]通常，根據該方面的方法包括以下步驟:提供由攝像機拾取的強度圖像，提供一種用於確定該強度圖像中至少一個元素的深度的方法，基於由該強度圖像提供的圖像強度信息檢測該強度圖像中的至少一個特徵，並提供所述至少一個檢測到的特徵的一特徵描述符。
[0156]在第一種可能性中，所述特徵描述符包含基於由所述強度圖像提供的圖像強度信息的至少一個第一參數，並且包含依靠是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的深度來縮放的描述符的坐標。
[0157]另外，在第二種可能性中，所述特徵描述符基於由所述檢測到的特徵周圍的一支撐域中的強度圖像所提供的圖像強度信息描述所述檢測到的特徵，其中，所述支撐域依靠是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的深度來縮放。
[0158]特徵描述符基於在圍繞特徵的圖像的支撐域中的可用信息描述特徵。特徵描述符的尺度是支撐域的尺寸。為清楚起見，並作為一例子，圖9在圖的右側示出了在兩個不同尺度的SIFT描述符的支撐域(此處由框架或具有描繪為直線的對比度的矩形定義)，指定該支撐域的不同尺寸的尺度3和尺度4，此處是框架或矩形。
[0159]通常依靠該特徵的尺度線性地選擇描述符的尺度來描述。在本發明一個優選的實施例中，用於構造該特徵描述符的支撐像素由像素周圍的幾何圖形指定的像素組成(例如，在圓的邊緣上，或橢圓內的所有像素)，該像素已被識別為特徵，其中，該幾何圖形只根據深度而變化。變化可以是調整幾何圖形的大小，或改變在不同的深度的幾何圖形的形狀。不同深度可以是間隔，例如0-0.5m和0,5m - 5m和5m以上。請注意,對於支撐域,我們指的是具有非零貢獻權重的支撐域的部分。
[0160]例如，強度圖像中的支撐點用於提供特徵描述符，其包括由所述點中的一個點周圍的幾何圖形所指定的點，所述點在特徵檢測過程中作為所述檢測到的特徵的一部分已被識別，其中，所述幾何圖形根據所述點中的一個點的深度變化，特別是其中，所述變化可以是調整幾何圖形的大小，或改變在不同的深度的幾何圖形的形狀。
[0161]根據一實施例，使用在不同的真實尺度的支撐域，在這些支撐域中，一支撐域在較小的確定深度時被確定為較小，而在較大的確定深度時較大。
[0162]特徵描述符可以是一實數(real-numbered)的矢量,如SIFT或SURF,但也可以是基於分類的方法，如隨機FERNS。此外，可以使用統計描述符，比如輪廓的曲率或(物理的)長度。在本質上，任何允許特徵匹配的方法被認為是在本公開的用語中的特徵描述符。
[0163]根據一實施例，建議依靠通過上述的方法所提供的強度圖像中的值和特徵的深度來描述一特徵。這個建議更具體的實施方式說明如下。[0164]根據一實施例，特徵描述符的支撐域與是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的深度成反比例進行縮放。
[0165]根據另一實施例，特徵描述符的描述符坐標與是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的深度成反比進行縮放。
[0166]尤其是，建議將坐標或該特徵描述符的支撐域與該特徵的深度成反比例進行縮放。這將導致對應於真實尺度的特徵描述符的尺度，並且不僅提高了特徵描述符尺度的重複性，而且還允許區分在不同的物理尺度的相似特徵。
[0167]如果真實尺度應該對應於可以在不同的裝置中使用的絕對尺度，則需要估計拾取裝置的焦距。在一定距離(D^threal)對應於絕對真實尺度(Sreal)的像素(Spixels)中的尺度隨後被計算為
[0168]Spixels = FocalLengthpixels*Sreal/D 印 threal.[0169]圖1Ob示出了根據本發明這方面的一實施例的方法的流程圖。在步驟S61中，在用拾取裝置拾取強度圖像，或加載強度圖像，並提供給出的所請求的像素的深度的方法之後，以步驟S62中定義的尺度在步驟S63中檢測特徵。這些尺度與真實的(物理的)尺度不具有已知的關聯，但在圖像坐標系中定義。為描述步驟S65中的特徵，我們合併通過深度提供方法所提供的特徵的深度。使用該深度縮放描述符坐標，以對應於一真實尺度，如上面所解釋的。在步驟S66中，在指定方向之後，在步驟S67中，使用對應於一真實尺度的描述符尺度來描述所述特徵。最後，在步驟S68中，在應用中使用所述描述的特徵。在本發明的可能的實施方式中，提取特徵，以便提供深度(例如，使用立體攝像機)。在這種情況下，所述特徵可以立即被傳遞到步驟S65，而不必(再)進行步驟S62、S63和S64(即圖1Oa中對應於步驟S53和S54的特徵提取FE)。 [0170]在本節中提出的方法的一實施例使用點特徵(即關鍵點或興趣點)和關於這樣的特徵的特徵描述符。給定一圖像中的一二維點、一尺度和一任選的方向，它計算一描述符，其可以例如由基於在一個特徵周圍的支撐域中的強度值的一真實值矢量來表示。這類方法的典型例子包括SIFT和SURF。
[0171]為了支持處理具有強深度變化的場景，我們建議定義對應真實尺度的多個所需的特徵描述符尺度。因此，本發明的一個可能的實施例使用不同的真實尺度支撐域，其中所述支撐區域在較小的深度時較小，在較高的深度值時較大。例如，當成像遠處的山時，50mmx50mm的支撐域是沒有意義的，因為它將覆蓋少於一個像素的距離。另一方面，對於這樣的場景，10000mm xlOOOOmm的支撐域可能是有意義的,而在室內桌面環境中,這顯然是不可行的。
[0172]根據以上的第I節中和/或此第2節中描述的一實施例，所述尺度被定義為一全局設置，而所述特徵描述符不包含指示該尺度和/或支撐域3的至少一個第二參數。根據本發明的一進一步的實施例的尺度不變量真實尺度感知特徵描述:
[0173]根據本發明的這一方面，如標準方法中所做的那樣，建議基於所述強度圖像定義特徵描述符的尺度。根據此方面的方法包括以下步驟:提供由攝像機拾取的強度圖像，提供一種用於確定該強度圖像中至少一個元素的深度的方法，基於由該強度圖像提供的圖像強度信息檢測該強度圖像中的至少一個特徵，並為至少一個檢測到的特徵的特徵描述符提供一特定尺度的一指示器。所述特徵描述符包含基於由所述強度圖像提供的圖像強度信息的至少一個第一參數，以及表示該尺度和是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的深度的組合的至少一個第二參數。
[0174]例如，第二參數表示該尺度與是所述檢測到的特徵的一部分的強度圖像中的至少一個元素的所述深度的乘積。
[0175]根據一實施例，可選地包括關於所述拾取裝置焦距的信息的所述第二參數，被用作用於在隨後的特徵匹配過程中的選擇步驟的基礎，該過程中，只有另一強度圖像的那些特徵被認為是所述檢測到的特徵的可能的匹配，所述檢測到的特徵具有包括類似於所述至少第二參數的至少一個參數的特徵描述符。
[0176]優選地，對於一檢測到的特徵到所述拾取裝置的距離，第二參數是不變的。
[0177]根據一實施例，除了該特徵周圍的一支撐域中的強度圖像的描述，所述特徵描述符包含一標量值，例如s*d。由此，s表示該特徵描述符的尺度而d是該特徵的深度。由於對於一特徵到所述拾取裝置的距離，此值在理論上是不變的，這提供了特徵的一獨特的描述。如果一特徵的深度d(或距離)加倍了強度圖像中此特徵的尺寸，則因此其尺度S將減少一半。顯然，對於本領域技術人員來說，焦距不重要，由於它是常數。但在一般情況下，當可以使用任何攝像機時，它是重要的。因此，該常數將由(S*d)/f代替，其中f是焦距。為了確保具有不同焦距的攝像機之間的數據的互用性是重要的。通過只將那些特徵看作是具有類似的S*d值的可能的匹配，尺度和深度(和焦距任選)的乘積可以例如用於加速特徵匹配。
[0178]圖1Oc示出了根據本發明這方面的一實施例的方法的流程圖。在步驟S71中，在用拾取裝置拾取強度圖像，或加載強度圖像，並提供一種用於獲得該強度圖像中特定點的深度樣本的方法之後，以步驟S72中定義的尺度，在步驟S73中創建該強度圖像的尺度空間。在步驟S74中，從該尺度空間圖像提取特徵。對於每一個特徵，在步驟S75中指定一方向，並在步驟S76中計算一描述。注意，該方法迄今未不同於常規的尺度不變量方法，例如SIFT。在下面的步驟S77中，根據本發明，通過在步驟S71中所提供的方法所提供的特徵的深度被合併。在這種情況下，該深度形成該描述符的一部分，並且被乘以特徵尺度和可選的焦距，如上面所述。最後，在步驟S78中，在應用中使用所述描述的特徵。在本發明的可能的實施方式中，提取特徵，以便提供深度(例如，使用立體攝像機)。在這種情況下，所述特徵可以立即被傳遞到步驟S75，而不必(再)進行步驟S72、S73和S74(即特徵提取FE)。
[0179]示例性結果的描述:圖11將根據本發明的上述方面的技術(如在點1-3中涉及的)與標準方法進行比較，其比較的設置為，其中拾取裝置CD拾取由兩組玩偶，SI和S2組成的場景。每組包含在不同尺度的兩個類似的玩偶(即一高的玩偶和一較小的玩偶)。兩組SI和S2位於與拾取裝置⑶的距離不同的位置。左圖1l示出了用⑶拾取的圖像。重疊的方塊為位於每個玩偶右眼的特徵指示標準的尺度不變量特徵描述符的支撐域。插圖R11、R12、R13和R14示出了由單獨特徵的支撐域覆蓋的圖像的部分。如可以看到的，它們都由於尺度不變性而相同。而這使在不同距離的對象的特徵能夠匹配，例如Rll和R13，它不提供在不同物理尺度的類似對象(例如Rll和R12)之間的辨別。
[0180]與此相反，12示出了具有每個玩偶右眼處四個特徵的支撐域的相同的拾取圖像，根據本發明提出的方法縮放。而支撐域並且因此，對於一對象到攝像機的距離該描述符是不變的，例如R21和R23或R22和R24，關於在不同尺度的類似對象，它不同。例如，支撐域R21和R22顯然有不同的其圖像內容，這將導致不同的特徵描述符。[0181]根據本發明的一實施例，為了提供參考的和/或當前的深度樣本，一種用於確定強度圖像中至少一個元素的深度的方法基於所述拾取裝置的一光學焦點。
[0182]根據本發明的另一實施例，在用於確定強度圖像中至少一個元素的深度的方法中，通過提取該強度圖像和至少一個較遠的強度圖像的特徵，並且使用立體攝像機對的對極幾何拾取該強度圖像和至少一個較遠的強度圖像匹配它們，生成該強度圖像的元素的深度樣本。在這種情況下，在提取特徵以提供深度的地方(例如，使用立體攝像機)，所述提取的特徵可立即用於該特徵描述。例如，在第一步驟中，兩個強度圖像Il和12由攝像機拾取或被加載，然後其可以可選地接受預處理。對於單攝像機設置，例如使用立體攝像機對的對極幾何或尺度不變量特徵描述符，在一尺度空間或一組離散的尺度已定義之後，在Il和/或12的此尺度空間中檢測特徵，並確定對應。一檢測到的特徵的對應C (Fl (X，y)，F2 (x, y))和Fi指定所述兩個相應的特徵，並且X，y指定各自的特徵Fi的一二維位置，被認為是將三維空間中同一點的投影描述到Il和12中，因此，所述深度，即該點的三維空間中的位置可以例如通過三角測量來計算。在一應用中最終使用所述描述的特徵之前，描述提取的特徵或關鍵點K。該描述包含描述符V，它是從強度數據創建的。此外，依靠該應用，對於存儲圖像中它們的位置(x，y)或它們的三維位置(可以從深度來計算)，可以是有意義的。可選地，該尺度S、方向ο和確定的深度d也可以關於該關鍵點存儲。為了使用本發明的這個實施例，沒有必要將該尺度存儲為該描述符的一部分。例如，對於特定深度，尺度也可以全局定義到IOmm或1000mm,或者使用依賴於深度d的通式,它適用於該應用中的所有特徵。如上所述，關於圖1Ob和10c，可以使用根據如以上第2節(例如，在圖1Ob中，從S65開始)或第3節(例如，在圖1Oc中，從S75開始)中所描述的本發明的一實施例的方法。如果是根據第3節的一實施例，K還將進一步包括從結合s和d導出的值(和可選的攝像機的焦距)。
[0183]根據本發明的一進一步的實施例，使用可視化搜索算法估計該強度圖像的至少一個元素的深度，以最初比較不同的距離。
[0184]根據本發明的一實施例，該方法可以進一步包括以下步驟:提供全局坐標系中的拾取裝置的位置和方向的測量，從該測量確定拾取裝置的位姿，提供環境的三維模型，其中，所述位姿與該三維模型結合使用，以計算該強度圖像中一特徵的至少一個元素的深度，例如，藉助於將來自該拾取裝置中心的虛擬光線通過該特徵投射到三維模型中。
[0185]全局坐標系中的拾取裝置的位置的度量值可通過GPS傳感器/接收器、IR或RFID三角測量、或通過使用寬帶或無線基礎設施的定位方法來提供。全局坐標系中拾取裝置的方向的度量值可通過慣性傳感器、加速度計、陀螺儀、羅盤，或機械的、電磁的、聲學的、或光學的跟蹤系統中的至少一個來提供。在本發明的上下文中，慣性傳感器可通過使用以下任意組合:磁力計(例如指南針)、運動傳感器/旋轉傳感器(加速計/陀螺儀)、重力傳感器及提供此類信息的其他傳感器，例如連續地提供包括一對象或裝置相對於環境的位置和/或方向的傳感器信息。
[0186]具有真實尺度特徵描述符的深度提供方法的可能的組合可被用在光學位姿估計和跟蹤中，例如為了創建室外AR體驗。例如，使用粗糙度傳感器數據和環境模型提取深度。強度圖像Il由拾取裝置拾取或載入。此外，當拾取Il時該拾取裝置的初始位姿從諸如GPS位置和方向傳感器信息的粗糙度傳感器度量值估計。最後，提供了一種包括3D數據和圖像數據的先進的環境模型(類似於Google街景)。圖像數據是唯一必要的，如果用於跟蹤的參考模型(例如已包含特徵3D坐標和特徵描述符)還沒有被提前創建。使用假定的攝像機位姿載入環境模型，即環境的模型被從強度圖像Il的攝像機觀察點渲染。深度信息從環境模型中重新得到並在用於計算檢測的特徵的真實尺度描述符的下一步驟中使用。換句話說，使用與圖像Il 一同記錄的深度信息，真實尺度特徵在一固定的尺度下被提取，例如I米。由於環境模型結合3D數據和圖象數據，具有尺度為Im的物理尺度特徵的參考3D模型可被創建(這當然可以提前完成)。之後該結果可被用來創建Il中的特徵和3D物理尺度特徵之間的對應關係。使用優化算法，可計算環境模型坐標系中改善的Il的位姿。之後該改善的位姿可被用於諸如旅遊數據的增強現實可視化的一應用，或可選地被用來改善位姿估計和迭代該過程，直到位姿的變化已經趨於低於一定義的品質閾值。
[0187]三維模型生成
[0188]如上面所解釋的，所述確定的三維模型可以各種形式被確定，這取決於其可用的數據和用於重構的方法。三維模型可使用與一組二維成像點相關聯的深度樣本和/或從一組二維成像點確定的附加信息被確定為一三維點雲、一經網合(meshed)的三維點雲、一基於邊緣的模型、一 Bezier曲面模型、一三維CAD模型、或一容積模型。該組二維成像的點可以是一強度圖像。
[0189]例如，用於確定一經網合(meshed)的三維點雲的一合適的重建方法可以是參考文獻[7]的方法。這裡，當工作在固定的容積時與每一頂點對最大邊長對應的一固定閾值也可用來代替一柔性閾值使用。基於容積模型的變換方法由參考文獻[12]所述。
[0190]根據本發明的實施例中，三維模型和/或當前三維模型進一步包括使用諸如顏色、紋理、和/或陰影信息的固有變量從該組參考二維成像點和/或該組當前二維成像點確定的附加信息。例如，該附加信息可通過將至少一個相應的參考二維成像點的顏色關聯到三維模型(圖2中未示出)來確定。當三維模型被確定為一三維點雲或如圖2a所述的一經網合(meshed)的三維點雲時，該三維點雲可使用頂點映射進行著色，其中在該組二維成像點中的相應的像素的顏色或灰度值被關聯至三維模型的每個頂點。或者該三維模型可使用紋理映射進行著色，其中該組二維成像點中相應的像素的二維位置被關聯至三維模型的每個頂點。圖5表示從一定攝像機觀察點拾取的對象的一三維點雲的網合(meshing)和紋理結果。
[0191]示範性評價結果
[0192]圖7的表格給出了對基於本發明(「提出的」)的所有序列的方法以及對多個如參考文獻[3]所示的PTAM初始化所述估計的攝像機位姿的評價的示範性結果。描述了所提出的方法以及具有不同初始化的PTAM的旋轉和平移中誤差的均值和方差。幀0+5被用於PTAM05,幀0+10被用於PTAMlO等。每個序列的最佳值被以粗體字突出。
[0193]從結果可清楚的是，為了初始化PTAM，必須小心地移動攝像機一定距離以建立初始立體結構。這些幀的基線影響PTAM創建的圖的尺度(和PTAM估計的軌跡的尺度)。
[0194]根據本發明(「建議」)的方法始終在序列的第一幀被初始化，並且能夠跟蹤完整序列。在評價PTAM時，對於所有序列，相同的第一幀被使用，初始立體結構設置的第二幅圖像從第I幀到第50幀變化。對於一些圖像對，PTAM的初始化沒有成功。
[0195]與此相反，得益於米制的深度圖(metric depth maps)的使用，該所提出的方法為所有四個序列估計一相同的場景尺度。進一步評價表明，無論每個序列的從前50幀中的第一個被關閉，需要軌道的度量對準的尺度因子值在I周圍相對穩定且具有低方差。
[0196]圖7表示PTAM方法的準確度和精確度取決於被用於初始化的那個圖像對。為了總是獲得最好的旋轉和平移估計，用戶應當使用哪個幀並沒有明確的規則。儘管在兩幀之間存在巨大的基線，其甚至不能與一些圖像對一同初始化。這是PTAM方法的缺點之一。例如，當比較根據本發明的用於在幀O上初始化第一序列的方法，和PTAM方法在這個序列(使用幀O和幀15)上能達到的最好的結果時，儘管PTAM方法有良好的旋轉估計，根據本發明的方法仍然得到比PTAM方法更好的平移估計且攝像機軌道估計更接近於參考地面實況軌跡。
[0197]應用場景
[0198]根據本發明的一實施例可用在旨在幫助需要買前在房間中虛擬地體驗新家具(例如一壁櫥)的該類用戶的基於增強現實的虛擬家具體驗應用。用戶不僅會檢查家具的顏色和樣式，而且還會檢查家具的大小。這就需要正確地縮放攝像機位姿估計。應用本發明，家具可用正確的尺度放置在期望的位置，而不需要修改環境。此外，由於環境的重構，用戶得到可能的未來外觀更多逼真的印象。為了進一步幫助用戶，人們可為限制虛擬家具的移動使用一密集重構，這個限制移動例如它不能被意外地推「穿過」牆壁或在有如門或抽屜的運動部件的情況，它可以自動地檢查是否它們可被操作使用它們的全部的運動的設計的範圍。
[0199]本發明也可以被用於視覺差異檢驗方面。這在諸如樣機研究的工業應用中用處很大。它通常需要形象化地將樣機與製造的模型進行比較。由於不需要通過施工工程師手工照原樣分析，使用AR允許減少施工成本。本例假定一跟蹤的高精確度，對此當前機械測量系統被用的最好。然而，對於較粗糙的差異檢驗，通過所提出的方法在線創建的密集網格可能足夠了。一旦當前所需的幾何形狀被記錄到當前所觀察的狀態，可輕易地突出其潛在的差值。萬一沒有一對象的當前狀態的深度信息，人們可使用虛擬剪切平面來執行視覺差異檢驗。
[0200]雖然已參考示範性實施例和應用場景描述了本發明，通過本領域技術人員將了解到可能做出的各種變化以及元素的等同替換其不脫離本權利要求的範圍。因此，其意圖是，本發明不局限於所公開的具體實施例，而是本發明將包括落入所附權利要求的範圍內的所有實施例，並且可以應用到工業以及商業領域中的各種應用。
[0201]參考文獻
[0202][1]A.J.Davison.2003.Real-Time Simultaneous Localisation and Mappingwith a Single Camera.1n Proceedings of the Ninth IEEE International Conferenceon Computer Vision-Volume2(ICCV' 03), Vol.2, pp.1403-.[0203][2] R.A.Newcombe and A.J.Davison.2010.Live dense reconstructionwith a single moving camera.1EEE Conference on Computer Vision and patternRecognition (CVPR)，2010.[0204][3]G.Klein and D.Murray.2007.Parallel Tracking and Mapping for Small ARWorkspaces.1n Proceedings of the20076th IEEE and ACM International Symposium onMixed and Augmented Reality(ISMAR' 07), pp.1-10.[0205][4] V.Castaneda，D.Mateus，and N.Navab.2011.Slam combining tof andhigh-resolution cameras.1n Proceedings of the2011IEEE Workshop on Applicationsof Computer Vision(WACVi 11), pp.672-678.[0206][5]H.Strasdatj J.Montiel and A.J.Davison.2010.Real-time MonocularSLAM:Why Filter ?.1n2010IEEE International Conference on Robotics and Automation (ICRA)，Anchorage, Alaska, USA，pp.2657-2664.[0207][6]P.Henry, M.Kraininj E.Herbstj X.Renj and D.Fox.2010.RGB-D Mapping:Usingdepth cameras for dense3d Modeling of indoor environments.1n Proc.0f2010International Symposium on Experimental Robotics(ISER^ 10).[0208][7]G.Turk and M.Levoy.1994.Zippered polygon meshes from range images.1nProceedings of the21st annual conference on Computer graphics and interactivetechniques (SIGGRAPH，94).ACM, New York, NYj USA, pp.311-318.[0209][8]B.D.Lucas and T.Kanade.1981.An iterative image registrationtechnique with an application to stereo vision.1n Proceedings of the7thinternational joint conference on Artificial intelligence-Volume2 (IJCAIi 81), Vo
1.2.，pp.674-679.[0210][9] S.Umeyama.1991.Least-Squares Estimation of TransformationParameters Between Two Point Patterns.1EEE Trans.Pattern Anal.Mach.1ntell.13，4，pp.376—380.[0211][10] P.J.Besl and N.D.McKay.1992.A Method for Registration of 3-DShapes.1EEE Trans.Pattern Anal.Mach.1ntell.14，2 (Februaryl992)，pp.239-256.[0212][11]Z.Zhang.1994.1terative point matching for registration offree-form curves and surfaces.1nt.J.Comput.Visionl3, 2(0ctoberl994), pp.119-152.[0213][12]B.Curless and M.Levoy.1996.A volumetric method for buildingcomplex models from range images.1n Proceedings of the23rd annual conferenceon Computer graphic s and interactive techniques (SIGGRAPH' 96).ACM, NewYork, NYj USA，pp.303-312.[0214][13]D.G.Lowe.2004.Distinctive Image Features from Scale-1nvariantKeypoints.1nt.J.Comput.Vision60, 2，pp.91-110.[0215][14]D.V.Johnston, Learning Depth in Lightfield Images, CS229MachineLearning Autumn 2005，Stanford University, 2005，
[0216]http://www.Stanford.edu/class/cs229/proj2005/Johnston-LearningDepthInLightfieldlmages.pdf
【權利要求】
1.一種用於估計攝像機運動以及用於確定環境的三維模型的方法，包括以下步驟: a.提供攝像機的固有參數； b.提供一組由攝像機以第一攝像機位姿拾取的參考二維成像點，以及與該組參考二維成像點關聯的參考深度樣本； c.使用參考深度樣本和固有參數確定環境的三維模型； d.提供一組由攝像機以第二攝像機位姿拾取的當前二維成像點，以及與該組當前二維成像點關聯的當前深度樣本，並使用當前深度樣本和固有參數確定當前三維模型； e.利用圖像配準方法估計第一攝像機位姿與第二攝像機位姿之間的攝像機運動； f.基於所述估計的攝像機運動確定所述三維模型和所述當前三維模型之間的相似性度量，並且 如果確定該相似性度量滿足第一條件，用該當前三維模型的至少一個點更新環境的三維模型，並將該組當前二維成像點加入到該組參考二維成像點。
2.根據權利要求1所述的方法，進一步包括使用所述三維模型和由步驟d)至f)的前一次迭代產生的該組參考二維成像點，重複步驟d)至f)。
3.根據權利要求2所述的方法，進一步包括記錄該相似性度量和/或該相似性度量的隨時間的變化，如果確定該相似性度量和/或在一定義的時間幀中的該相似性度量的變化滿足第二條件，則不再更新所述三維模型，並且不再將該當前組二維成像點加入到該參考組二維成像點。
4.根據權利要求2所述的方法，進一步包括確定滿足該第一條件的該相似性度量的頻率，如果確定該更新的頻率下降到低於一定義的閾值，則不再更新該三維模型，並且不再將該當前組二維成像點加入到該參考組二維成像點。
5.根據前述權利要求中的一項所述的方法，其特徵在於，步驟f)進一步包括:將該三維模型渲染到所述當前三維模型的坐標系中，並確定該三維模型和所述當前三維模型之間的相似性量度。
6.根據前述權利要求中的一項所述的方法，其特徵在於，所述相似性度量表示該三維模型和所述當前三維模型之間的重疊。
7.根據前述權利要求中的一項所述的方法，其特徵在於，對於所述當前三維模型中的至少一個點，確定在該三維模型中是否存在一相關聯的三維點。
8.根據權利要求7所述的方法，其特徵在於，確定所述當前三維模型中該點的深度和該三維模型中所述確定的相關聯的三維點的深度的點的深度之間的差值是否高於一定義的閾值。
9.根據權利要求7至8中的一項所述的方法，其特徵在於，所述相似性度量被定義，沒有為所述當前三維模型確定該三維模型中相關聯的三維點，這樣所述當前三維模型中點的數量必須超過一定閾值。
10.根據權利要求7至9中的一項所述的方法，其特徵在於，沒有為所述當前三維模型確定該三維模型中相關聯的三維點，只有所述當前三維模型中的點被用於更新該三維模型。
11.根據前述權利要求中的一項所述的方法，進一步包括:基於所述估計的攝像機運動確定該三維模型中一三維點的深度，並從關聯到該組當前二維成像點的當前深度樣本確定該三維點的深度；從該三維模型中該三維點的深度確定該三維點的一改善的深度，並確定所述當前三維模型中該相關聯的三維點的深度；以及更新該當前三維點雲中和/或具有確定的改善的深度的該三維模型中該三維點的深度。
12.一種用於估計攝像機運動以及用於確定環境的三維模型的方法，包括以下步驟: a.提供攝像機的固有參數； b.提供一組由攝像機以第一攝像機位姿拾取的參考二維成像點以及與該組參考二維成像點相關聯的參考深度樣本； c.使用該參考深度樣本和固有參數確定環境的一三維模型； d.提供一組由 攝像機以第二攝像機位姿拾取的當前二維成像點以及與該組當前二維成像點相關聯的當前深度樣本，並使用該當前深度樣本和固有參數確定當前三維模型； e.利用圖像配準方法估計第一攝像機位姿和第二攝像機位姿之間的攝像機運動； f.基於攝像機運動的估計確定所述三維模型中至少一個三維點與所述當前三維模型中相關聯的三維點之間的相似性度量，並且 如果確定該相似性度量滿足第一條件，改善該當前三維模型和/或該三維模型。
13.根據權利要求12所述的方法，其特徵在於，基於所述估計的攝像機運動確定所述當前三維模型中相關聯的三維點。
14.根據權利要求12或13所述的方法，其特徵在於，該相似性度量被定義為該三維模型中該三維點的深度和所述當前三維模型中該相關聯的三維點的深度之間的差值。
15.根據權利要求12至14中的一項所述的方法，其特徵在於，所述三維點的改善的深度從該三維模型中該三維點的深度和所述當前三維模型中所述相關聯的三維點的深度來確定，並用於更新所述當前三維模型中和/或該三維模型中該三維點的深度。
16.根據前述權利要求中的一項所述的方法，其特徵在於，如果確定該深度值高於一定義的閾值，則丟棄當前深度樣本中的至少一個。
17.根據前述權利要求中的一項所述的方法，其特徵在於，所述圖像配準方法是基於特徵的或基於強度的。
18.根據權利要求17所述的方法，其特徵在於，在所述基於特徵的圖像配準方法中，從該組參考二維成像點提取二維圖像特徵，並通過確定基於所述提取的圖像特徵的二維對應來估計該攝像機運動。
19.根據前述權利要求中的一項所述的方法，其特徵在於，該三維模型和/或當前三維模型進一步包括附加信息，使用所述固有參數從該組參考二維成像點和/或該組當前二維成像點確定所述附加信息。
20.根據權利要求19所述的方法，其特徵在於，通過將至少一個對應的參考二維成像點的顏色與該三維模型相關聯來確定所述附加信息。
21.一種適合於加載到數字計算機的內部存儲器中的電腦程式產品，並包括軟體代碼段，當在所述的計算機上運行所述的產品時，用所述軟體代碼段執行根據權利要求1至20中的任一項的方法。
【文檔編號】G06T7/00GK103988226SQ201180073209
【公開日】2014年8月13日 申請日期:2011年8月31日 優先權日:2011年8月31日
【發明者】S·本希馬寧, 希巴斯汀·利貝克內希特, 安德裡亞·休伯 申請人:Metaio有限公司