從灰度圖像中檢測和描述特徵的方法

2023-09-22 23:36:40 4

從灰度圖像中檢測和描述特徵的方法【專利摘要】本發明提供了從灰度圖像中檢測和描述特徵的方法。在若干方面的一個中，方法包括步驟：提供由捕獲設備捕獲的灰度圖像，提供用於確定灰度圖像中的至少一個元素的深度的方法，在特徵檢測處理中檢測灰度圖像中的至少一個特徵，其中通過處理尺度處的灰度圖像的圖像灰度信息來執行特徵檢測，所述尺度取決於灰度圖像中至少一個元素的深度，以及提供所述至少一個檢測到的特徵的特徵描述符。例如，特徵描述符包含至少一個第一參數和至少一個第二參數，所述至少一個第一參數基於由灰度圖像提供的信息，所述至少一個第二參數是尺度的指示。【專利說明】從灰度圖像中檢測和描述特徵的方法[0001]本發明致力於從灰度圖像中檢測和描述特徵的方法。[0002]攝像機採用的圖像處理中的眾多任務(諸如在增強現實應用和計算機視覺中)需要找到在多個圖像中相同對象或場景的點或特徵，所述點或特徵對應相同的物理3D結構。通用的方法，例如在SIFT[1]中是使用具有高再重複性的方法來首先檢測圖像中的特徵。這意味著，對於不同的視角、不同的旋轉和照度設置，將對應相同的物理3D表面的點選為特徵的概率高。[0003]特徵是圖像中的顯著元素，其能夠是點(經常稱作關鍵點或者興趣點)、線、曲線、連通區域、或者任意像素的集合。通常在尺度空間中提取特徵，即，在不同的尺度處提取特徵。因此，每一個特徵除了在圖像中的其兩維位置之外還具有可重複的尺度。此外，通常從圍繞特徵的區域中的像素的灰度中計算可重複的方位(旋轉)，例如，作為灰度梯度的主方向。[0004]最終，為了能使特徵的比較和匹配，需要特徵描述符。通用的方法使用特徵的計算出的尺度和方位來變換描述符的坐標，其提供了對於旋轉和尺度的不變性。最後，描述符是η維向量，其通常通過連接本地圖像灰度的函數直方圖來構造，諸如[I]中公開的梯度。[0005]圖1以流程圖概述了特徵檢測和描述的標準方法。首先，在步驟Sll中，加載或者通過攝像機捕獲灰度圖像I，其接著在步驟S12中所述灰度圖像I可選地經歷預處理。接著，在步驟S14中，在步驟S13中已經定義尺度空間或者離散尺度集合之後，在此尺度空間檢測特徵並且計算和與圖像中的每個特徵的尺度和位置一起存儲他們的正則方位(旋轉)。所檢測的特徵以F(s，X,y,ο)來指定,其中，s指定尺度，X、y指定二維位置，以及ο指定特徵F的方位。接著，在最終在應用中使用所提取的特徵(步驟S16)之前，在步驟S15中描述他們，其中，V指定描述符。[0006]標準方法的限制:[0007]任意兩維計算機視覺方法的強的限制在於其操作在投影空間。這使得不可能從自對象的實際物理尺度得到的尺度中辨別自對象到攝像機的距離中得到的尺度。[0008]在眾多應用中明確期望對於從自攝像機到對象的距離中得到的尺度的不變性，並且所述不變性是尺度不變性的原始動機。但是，在不同的物理尺度處存在相似特徵的情況下，對於尺度的不變性使得他們不可辨別。例如，如在[I]中所描述的描述符將不能在真實建築和其小型模型之間辨別。[0009]除此之外，通過從圖像灰度中計算特徵可重複的尺度來提供尺度-變性的方法高度取決於這一計算出的尺度的精確性和可重複性。[0010]已經提議的方案:[0011]使用圍繞每一個特徵的小塊上的相似性或距離函數，例如歸一化互相關(NCC)或者絕對差之和(SAD)，來比較特徵的大多數樸素方法能夠在不同的尺度處的相似特徵之間辨別。但是，這些技術對於自攝像機和對象之間的距離得到的尺度不是不變的，這在真實世界應用中是明確期望的。這意味著，他們將能夠從小型模型中辨別真實建築，但是他們不能從不同的距離中匹配建築或小型模型。[0012]存在工作在組合的範圍-灰度數據上的方法。除了灰度圖像之外，他們利用範圍圖，所述範圍圖包含與灰度圖像相關聯的密集的深度信息。像素的深度指捕獲設備的主點和成像在此像素上的物理3D表面之間的距離。[0013]圖2示出了由玩偶的兩個集合SI和S2(每一個集合包括高和小玩偶)、以及捕獲設備⑶組成的場景。使用捕獲設備將集合Si的物理點PPl成像在像素IPl中。這一像素的深度為DI，即捕獲設備的光學中心OC和物理點PPI之間的距離，其中，所述捕獲設備的光學中心OC定義了攝像機坐標系的原點。類似地，將集合S2的第二物理點PP2成像在IP2中並且具有深度D2。注意，攝像機固有參數(特別是焦距)的估計，允許在給定點PPl的深度Dl和在圖像平面IPl上的其像素位置下，計算點PPl的笛卡爾坐標中的3D位置。[0014]Smith等人[5]給出了在圖4中說明的從組合的範圍-灰度數據中檢測和描述物理尺度處的特徵的方法。給定灰度圖像和登記的密集的深度圖(步驟S41)，他們首先在步驟S42中為深度圖中的每個點計算法線。接著，他們將灰度圖像像素投影到深度點的切平面上(步驟S43)並且在步驟S44中對在圖像柵格中得到的反投影灰度像素進行三角測量。在這一圖像柵格上執行所有以下步驟，所述圖像柵格為具有用於每個頂點的灰度信息的物理尺度處的3D柵格。[0015]接著，作者定義了物理尺度的集合，在所述物理尺度處，從柵格中檢測特徵(步驟S45)。基於點的距離和點的法線來計算貢獻權重的平滑核，用於將圖像柵格中的灰度和法線兩者平滑到不同的物理尺度空間(步驟S46)。將平滑的圖像柵格上的拉普拉斯-貝爾特拉米算子的局部極值用作特徵(S47)。對於特徵描述，他們對每一個特徵使用3D坐標系，所述3D坐標系由其法線和投影到切平面上的相鄰的像素灰度的主梯度方向來定義(步驟S48、S49)。這一3D坐標系用於變換他們的特徵描述符的坐標，以提供對於旋轉和視角的不變性(步驟S410)。最後，在步驟S411中，應用使用所描述的特徵。[0016]雖然這一方法明確地改進了特徵描述處理，但是，圖像柵格的創建和處理是非常昂貴的並且需要密集的深度數據。在柵格處理之後，步驟S48是另一昂貴的步驟。[0017]相似的方法已經由Wu等人[3]提議，其中他們使用圍繞特徵候選者的已知的局部幾何結構，來計算切平面並且在有結構的3D模型投影到該切平面之上執行特徵檢測和描述。但是，他們的描述符是尺度不變的，並且因此不提供所提議的技術的益處。[0018]注意，通篇公開中，術語「物理尺度」和「真實尺度」是可互換的。[0019]範圍數據上的特徵描述符上的相關工作:[0020]存在大量關於範圍圖像中的特徵的提取和描述的文獻，例如，如在[2，4]中所公開的。這些完全工作在範圍圖像上並且不使用任何灰度圖像。範圍圖像以每像素編碼朝攝像機的環境的距離。可能顯示將距離表示為灰度的範圍圖像，但是他們的數據源保持不同。當範圍數據或者3D數據存在時，能夠以眾多不同的方式創建範圍圖像。在通篇該公開文獻中，當我們談及灰度圖像時，我們指代表從環境反射的不同量的光的圖像，大多數取決於環境的材料和光的狀況。灰度圖像能夠以不同的比特解析度(例如8比特或者高動態範圍)來編碼一個(例如灰度級)或者多於一個通道(例如RGB—紅一綠一藍)中的灰度。[0021][2]的作者利用範圍圖像上的尺度空間來檢測尺度不變的特徵。由此，他們的方法不提供不同尺度處的相似特徵的辨別性。類似地，2.5DSIFT[4]是在沒有任何灰度數據的情況下適應SIFT到範圍圖像。這一尺度不變的特徵檢測器和描述符針對每個特徵計算表面法線和圍繞特徵的範圍數據中的主梯度方向，以便為每個特徵定義用於變換其描述符的3D正則方位。接著，後者計算描述符支持區域中的形狀指數的直方圖。[0022]描述範圍數據中的特徵的任何樸素法使能夠匹配不同的距離處的特徵並且在不同的尺度處的相似特徵的區分，所述樸素法不是尺度不變的。[0023]對於大量場景和對象，僅僅使用範圍圖像的這樣的特徵描述符可很好地工作。但是，人造對象和環境主要由分段平坦表面組成。當平坦表面不包含用於明顯描述的任何有用信息時，人造環境中的邊緣和角經常是成直角的和高度重複的。在這樣的情況下，灰度圖像中可見的結構經常能夠提供關於特徵的更多的明顯的信息。[0024]本發明的目標是提供從灰度圖像中檢測和描述特徵的方法，對於大量應用，其對於自攝像機和對象之間的距離得到的尺度是不變的，但是對對象的真實(物理)尺度敏感。[0025]根據本發明的方面，提供了從灰度圖像中檢測和描述特徵的方法，包括步驟:提供由捕獲設備捕獲的灰度圖像，提供用於確定灰度圖像中至少一個元素的深度的方法，在特徵檢測處理中檢測灰度圖像中的至少一個特徵，其中特徵檢測通過在尺度處處理灰度圖像的圖像灰度信息來執行，以及提供所述至少一個檢測到的特徵的特徵描述符，其中，所述尺度取決於灰度圖像中至少一個元素的深度。[0026]根據實施例，特徵描述符包含基於灰度圖像提供的圖像灰度信息的至少一個第一參數，並且包含描述符坐標，所述描述符坐標取決於灰度圖像中至少一個元素的深度而按比例確定，所述至少一個元素是檢測到的特徵的一部分，或者特徵描述符基於灰度圖像提供的信息來描述圍繞檢測到的特徵的支持區域中的檢測到的特徵，其中支持區域取決於灰度圖像中至少一個元素的深度而按比例確定，所述至少一個元素是檢測到的特徵的一部分。[0027]根據本發明的另一方面，提供了從灰度圖像中檢測和描述特徵的方法，包括步驟:提供由捕獲設備捕獲的灰度圖像，提供方法以確定灰度圖像中至少一個元素的深度，基於灰度圖像提供的圖像灰度信息來檢測灰度圖像中的至少一個特徵，提供所述至少一個檢測到的特徵的特徵描述符，其中特徵描述符包含基於灰度圖像提供的圖像灰度信息的至少一個第一參數，並且包含描述符坐標，所述描述符坐標取決於灰度圖像中至少一個元素的深度而按比例確定，所述至少一個元素為檢測到的特徵的一部分，或者其中特徵描述符基於灰度圖像提供的信息描述圍繞檢測到的特徵的支持區域中的檢測到的特徵，其中支持區域取決於灰度圖像中至少一個元素的深度而按比例確定，所述至少一個元素為檢測到的特徵的一部分。當提及描述符坐標時，我們指灰度值的坐標，從所述坐標中關於預定義的特徵中心而構建描述符。圖3有助於理解所述概念。[0028]根據本發明的另一方面，提供了從灰度圖像中檢測和描述特徵的方法，包括步驟:提供由捕獲設備捕獲的灰度圖像，提供方法以確定灰度圖像中至少一個元素的深度，基於灰度圖像提供的圖像灰度信息來檢測灰度圖像中的至少一個特徵，以及給所述至少一個檢測到的特徵的特徵描述符提供特定尺度的指示符，特徵描述符包含基於灰度圖像提供的信息的至少一個第一參數，以及指示組合灰度圖像中至少一個元素的尺度和深度的至少一個第二參數，所述至少一個元素為檢測到的特徵的一部分。[0029]本發明還涉及電腦程式產品，所述電腦程式產品適於加載到數字計算機的內部存儲器中並且包括軟體代碼段，藉由所述軟體代碼段，當在所述計算機上運行所述產品時，執行根據本發明的任意所描述的方面和實施例的方法。[0030]因而提議利用灰度圖像中元素(例如像素)的深度以用於灰度圖像中此特定元素(像素)處的特徵檢測和/或描述。由此，能夠在真實(物理)尺度處檢測和描述特徵，提供改進的相比於灰度圖像上的標準尺度不變特徵描述符而言的辨別性，而不引入攝像機移動上的任何限制。[0031]根據本發明的方面，在所提議的方法中，作出灰度圖像中至少一個元素是否屬於檢測到的特徵的決定，這取決於灰度圖像中的灰度值。[0032]特別地，根據本發明的方面，所提議的方法僅僅基於灰度圖像來檢測和描述特徵。特別地，特徵的深度用於通過關聯真實(物理)尺度來改進處理，但是與現有技術形成對t匕，不使用圍繞特徵的本地幾何結構的任何其他知識。[0033]可以在以上提及的對象的上下文中預期[5]中描述的方法，但是由於其操作在與特徵的切面相鄰的特徵中的圖像柵格和投影梯度上，其不是普遍適用的。這需要密集的深度數據並且不能應用在具有稀疏深度信息的圖像上。相比於本發明的方案，其還是更加計算密集的，本發明的方案針對性能進行優化，而同時具有接近[5]的所有優點。[0034]在一個方面中，根據本發明的方法僅僅使用一個標量值以改進特徵的檢測和/或描述，所述標量值是距離指示，所述特徵僅僅從2D灰度圖像中檢測和描述。[0035]存在不同的方法以提供與灰度圖像中的特定像素相關聯的深度信息。示例包括使用結構光的立體視覺、飛行時間攝像機和方法。以下，我們假設將灰度圖像和用於確定灰度圖像中至少一個元素的深度的方法提供給我們。這一方法能夠例如是關聯的深度圖中的查找操作(可能使用內插和/或外插)或者其能夠是從給定第二灰度圖像的立體中計算深度，所述第二灰度圖像包含來自不同視角的對應的物理元素。[0036]現在將通過參考以下附圖來更具體地描述本發明的進一步的方面和實施例，其中:[0037]圖1為以流程圖概述了特徵檢測和描述的標準方法；[0038]圖2示出了由兩個玩偶的集合組成的示例性場景以及捕獲設備，其中每一個玩偶的集合包括聞的和小的玩偶；[0039]圖3說明了關於FAST角點檢測器和SIFT特徵描述符的特徵尺度或者大小，作為用於檢測點特徵的方法的通用示例；[0040]圖4示出了根據Smith等人[5]從組合的範圍灰度數據中檢測和描述物理尺度處的特徵的方法；[0041]圖5示出了根據本發明的一個方面的實施例的方法流程圖；[0042]圖6示出了根據本發明的另一方面的實施例的方法流程圖；[0043]圖7示出了根據本發明的另一方面的實施例的方法流程圖；[0044]圖8示出了根據本發明的另一方面的實施例的方法流程圖；[0045]圖9說明了示例性場景，其比較根據本發明的方面的技術和標準方法，示出其中捕獲設備捕獲由玩偶的兩個集合組成的場景的建立；[0046]圖10示出了相比於標準方法(左)的應用本發明的方面到SIFT特徵(右)的示例性結果。[0047]圖11示出了根據本發明的技術確定的描述符的可能的使用。[0048]本領域技術人員應該將本發明的方面的以下描述理解為僅僅用於解釋和說明本發明的原理和方面的實施例，而非限制如所附權利要求書中定義的本發明的範圍。[0049]1、根據本發明的第一方面的真實尺度處的特徵檢測:[0050]通常，根據這一方面的方法包括步驟:提供捕獲設備捕獲的灰度圖像，提供用於確定灰度圖像中至少一個元素的深度的方法，在特徵檢測處理中檢測灰度圖像中的至少一個特徵，其中通過處理尺度處的灰度圖像的圖像灰度信息來執行特徵檢測，所述尺度取決於灰度圖像中至少一個元素的深度，以及提供所述至少一個檢測到的特徵的特徵描述符。[0051]根據實施例，特徵描述符包含至少一個第一參數和至少一個第二參數，所述至少一個第一參數基於由灰度圖像提供的圖像灰度信息，所述至少一個第二參數是尺度的指/Jnο[0052]根據實施例，特徵描述符包含基於由灰度圖像提供的圖像灰度信息的至少一個第一參數，並且包含取決於灰度圖像中的至少一個元素的深度而成比例的描述符坐標，所述至少一個元素為檢測到的特徵的一部分，或者特徵描述符基於由圍繞檢測到的特徵的支持區域中的灰度圖像提供的信息來描述檢測到的特徵，其中取決於灰度圖像中至少一個元素的深度而使支持區域成比例，所述至少一個元素為檢測到的特徵的一部分。[0053]特徵是圖像中的突出元素，其能夠是點(在文獻中通常稱作關鍵點或興趣點)、直線、曲線、區域(例如如文獻[6]中所描述的)或者圖像的任意其他子集。特徵檢測算法通常是突出檢測器。例如，他們找到線、邊緣、或者微分算子的局部極值。能夠將特徵檢測器視為將像素的區域映射到響應的功能。在文獻中，將這一區域稱作採樣窗口、支持區域或者特徵檢測器的測量孔徑。最終將響應取門限以決定哪些像素是特徵以及哪些不是。為了提取特定尺度處的特徵，能夠相應地使採樣窗口或支持區域成比例或者在計算特徵檢測器的響應之前，使用逆比例因子使圖像成比例。接著，將特徵的尺度(或者大小)定義為用於檢測其的採樣窗口或者支持區域的大小。[0054]在這一上下文中，圖3說明了FAST角點檢測器的大小(左側的說明)，作為用於檢測點特徵的方法的通用示例。在這一示例中，將特徵F的尺度(或者大小)定位為如所示的「尺度I」或者「尺度2」，其對應用於檢測其的採樣窗口或者支持區域(這裡通過像素的循環集合來定義)的大小。在圖3的左側，在兩個不同的尺度處示出了貢獻於決定像素是否為特徵的(採樣窗口或支持區域)圖像區域(這裡通過像素的循環集合來劃界)，所述兩個不同的尺度尺度I和尺度2指定支持區域的兩個不同的大小。[0055]例如，在本發明的一個方面中，方法包括步驟:將支持區域定義為覆蓋部分灰度圖像的區域，基於圍繞特徵的支持區域中的信息來檢測灰度圖像中的至少一個特徵，其中，與尺度一致地確定支持區域的大小，在所述尺度處檢測到所述至少一個特徵。[0056]根據實施例，檢測到所述至少一個特徵的尺度取決於支持區域的深度採樣。例如，支持區域(按像素)與灰度圖像中的至少一個元素的深度按比例成反比，對於所述至少一個元素，特徵檢測處理確定其是否是檢測到的特徵的一部分。[0057]特徵檢測方法的通用的示例包括高斯拉普拉斯(LoG)、高斯差分(DoG)、海森行列式(DoH)、最大穩定極值區域(MSER)、哈裡斯特徵、或者基於學習的角點檢測器，諸如FAST。為了檢測邊緣特徵，能夠應用廣泛知曉的算法，諸如Canny、Sobel、或者Prewitt。[0058]例如，在至少一個尺度處執行特徵檢測，所述至少一個尺度反向成比例地取決於灰度圖像中至少一個元素的深度，對於所述至少一個元素，特徵檢測處理確定其是否是檢測到的特徵的一部分。[0059]根據實施例，所述至少一個尺度對應特徵的物理大小，在所述至少一個尺度處檢測到所述至少一個特徵。[0060]在本發明的一個可能的實現中，我們提議，作出元素是否是特徵的決定，取決於灰度圖像中的值和此元素的深度。更具體地說，對於每一個檢測到的元素，我們在一個或者更多個尺度處執行特徵檢測，所述一個或更多個尺度反向成比例地取決於推定元素的深度。[0061]在本發明的一個實現中，特徵檢測僅僅使用一個真實尺度(例如按mm)來檢測特徵。在另一實現中，取決於深度的多於一個的真實尺度(例如按_)用於檢測特徵(例如對於比50cm遠並且比IOOcm近的特徵,按30mm和60mm)。因此，當例如通過使圖像尺度與深度成反比來將圖像尺度(按像素)轉化成真實尺度時，能夠不同地和獨立地按比例確定按度量距離的物理尺度或真實尺度。[0062]由此，替代按攝像機像素單元的尺度，在其中檢測到特徵的(多個)尺度對應真實(物理)大小。[0063]需要捕獲設備的焦距的估計，以便在絕對的真實尺度處檢測特徵。[0064]圖5示出了根據本發明的第一方面的這一方法的示例性實施例的流程圖。步驟S51使用捕獲設備(諸如攝像機)捕獲灰度圖像，或者加載灰度圖像，並且提供方法以確定灰度圖像中的至少一個元素(諸如特定像素)的深度(關於這樣的方法的可能的實現，下面提供進一步的細節)。步驟S52定義在哪些尺度處提取特徵，其取決於深度樣本。對於每一個支持區域，在其中檢測灰度圖像中的特徵的(多個)尺度取決於區域的深度樣本，所述每一個支持區域能夠與像素一樣小。在本發明的一個實施例中，支持區域由多於8個像素組成。如以上所解釋的，從深度中確定尺度的一個可能的方式是反向成比例關係，所述反向成比例關係得到真實(物理)尺度。然後，步驟S53為不同尺度生成所提供的灰度圖像的表示。在步驟S54中，在期望的尺度處檢測特徵。特別地，在特徵檢測處理中生成不同尺度的灰度圖像的各自的表示，並且在各自的尺度處檢測灰度圖像中的特徵。為了特徵描述，在步驟S55中分派至少一個方位，例如作為相鄰像素的主梯度方向或者使用方位傳感器測量(例如與重力對齊)來分派至少一個方位。最後，在步驟S56中考慮他們的尺度和方位來描述特徵，並且步驟S57如在標準方法中的使用所描述的特徵。[0065]特別注意，步驟S53和S54是示例性的。這裡能夠應用允許在不同的尺度處檢測特徵的任意方法，包括替代作用在灰度圖像的成比例的版本而使他們的採樣孔徑(或者支持區域)成比例的那些方法。[0066]本發明的一個實施例使用點特徵(即，關鍵點或者興趣點)。在這一情況下，使用基於圍繞點的採樣窗口中的圖像灰度來為圖像中的單個點(即，像素)來決定其是否是特徵的方法。[0067]例如，FAST角點檢測器頻繁地用作特徵檢測器，其將用在本發明的如下實現中。給定像素，取決於其灰度和以3.5個像素為半徑的圍繞其的圓周上的像素的灰度，檢測器確定其是否為特徵(角點)。所提議的方法將首先從深度-提供方法中確定此像素的深度。給定這一深度(深度?；)、期望的真實尺度(半徑?；)、以及按像素的捕獲設備的焦距(焦距1^，對應於期望的真實尺度的按照像素的直徑或半徑(半徑能夠計算如下:[0〇68]半徑像素=焦距像素*半徑真實/深度真實[0069]如上所解釋的，對應於表面上某真實尺度的圖像中的尺度與深度成反比地變化。這是從深度確定尺度的一個可能的方式。[0070]為了檢測真實尺度處的特徵，替代默認的3.5個像素，將使用以半徑個像素的半徑操作的原始檢測器的修改，或者具有半徑半徑的繞候選像素的塊通過因子半徑/3.5來成比例，並且使用標準檢測器在此成比例的圖像塊上執行檢測，其中，所述真實尺度對應FAST角點檢測器的半徑半徑胃$。[0071]替代為每一個深度提供單獨的尺度，將深度範圍指定給尺度將是計算上的優點。例如，將5-10m的範圍指定給IOOmm的尺度以及將IOm以上的範圍指定給300mm。[0072]如上所述，替代深度，本發明的另一可能的實施例可以使用其他深度指示值。一個實施例使用以攝像機為中心的笛卡爾坐標系的z值，其中z軸與攝像機的光軸共線。[0073]通常，還清楚深度或者距離不一定要從攝像機的中心精確測量。[0074]可選地，在提取特徵或者建立描述符之前，根據額外的固有參數，圖像或者部分圖像能夠不失真。[0075]在與文獻[5]中的方法的比較中，本發明不需要正則計算(其需要密集的深度數據)、圖像後投影到3D中、以及三角測量的昂貴步驟。替代圖像柵格，本發明的方法使用簡單的2D密度圖像以創建尺度空間。其不執行如文獻[5]中的基於切平面的附近的任意正規化，並且還一點不考慮特徵描述中的正則。[0076]特別地，根據本發明，在特徵檢測處理期間，沒有創建基於深度數據的3D柵格。[0077]2、根據本發明的第二個方面的真實尺度處的特徵描述[0078]通常，根據這一方面的方法包括步驟:提供由捕獲設備捕獲的灰度圖像，提供用於確定灰度圖像中至少一個元素處的深度的方法，基於由灰度圖像提供的圖像灰度信息來檢測灰度圖像中至少一個特徵，提供所述至少一個檢測到的特徵的特徵描述符。[0079]在第一可能性中，特徵描述符包含基於由灰度圖像提供的圖像灰度信息的至少一個第一參數，並且包含描述符坐標，其取決於灰度圖像中至少一個元素的深度而成比例，所述至少一個元素為檢測到的特徵的一部分。[0080]可選地，在第二可能性中，特徵描述符基於由灰度圖像提供的圍繞檢測到的特徵的支持區域中的圖像灰度信息來描述檢測到的特徵，其中支持區域取決於灰度圖像中至少一個元素的深度而成比例，所述至少一個元素是檢測到的特徵的一部分。[0081]特徵描述符基於圍繞特徵的圖像的支持區域中的可用信息來描述特徵。特徵描述符的尺度是支持區域的大小。為了清楚並且作為示例，圖3在說明的右側上說明了兩個不同的尺度處的SIFT描述符的支持區域(這裡通過具有對比梯度的以直線描述的框架或者矩形)，所述兩個不同的尺度為尺度3和尺度4，這裡他們分派框架或者矩形的不同的支持區域大小。[0082]取決於待描述的特徵的尺度，通常線性地選擇描述符的尺度。在本發明的一個優選的實施例中，用於構建特徵描述符的支持像素由圍繞像素的幾何結構規定的像素組成(例如在圓周的邊緣上，或者橢圓內的所有像素)，所述像素已經識別為特徵，其中幾何結構僅僅根據深度而變化。變化使得能夠在不同的深度處調整幾何結構的大小或者幾何結構的形狀。不同的深度能夠是間隔，例如0-0.5m和0.5m-5m以及5m以上。注意，通過支持區域，我們指具有非零貢獻權重的部分支持區域。[0083]例如，灰度圖像中的支持點用於提供特徵描述符，所述特徵描述符包括由圍繞點中之一的幾何結構規定的點，所述點中的一個已經在特徵檢測處理中識別為檢測到的特徵的一部分，其中幾何結構根據所述點中的一個的深度而變化，特別地，其中變化能夠是在不同的深度處調整幾何結構的大小或者改變幾何結構的形狀。[0084]根據實施例，使用不同真實尺度處的支持區域，其中這些支持區域中的支持區域在更小的確定出的深度處確定為更小，並且在更大的確定出的深度處確定為更大。[0085]特徵描述符能夠是實數向量，例如SIFT或者SURF，但是還能夠是基於分類的方法，諸如隨機FERNS。此外，能夠使用統計描述符，例如輪廓的曲率或者(物理)長度。本質上，在本公開的說法中，考慮使能特徵匹配的任何方法為特徵描述符。[0086]根據本發明的一個方面，提議描述由以上描述的方法提供的取決於灰度圖像中的值和特徵深度的特徵。下面將解釋這一提議的更具體的實現。[0087]根據實施例，特徵描述符的支持區域反比於灰度圖像中的至少一個元素的深度而成比例，所述至少一個元素為檢測到的特徵的一部分。[0088]根據另一實施例，特徵描述符的描述符坐標反比於灰度圖像中的至少一個元素的深度而成比例，所述至少一個元素為檢測到的特徵的一部分。[0089]特別地，提議特徵描述符的坐標或者支持區域反比於特徵的深度而成比例。這得到對應於真實尺度的特徵描述符的尺度並且不僅僅提高特徵描述符尺度的可再現性，還使能區分不同的物理尺度處的類似特徵。[0090]如果真實尺度應該對應能夠在不同的設備上使用的絕對尺度，需要捕獲設備的焦距的估計。接著，對應特定距離(深度處的絕對真實尺度(Smj)的按像素的尺度(St素)計算為:[0091]S像素=焦距像素*S真實/深度真實[0092]圖6示出了對應本發明的第二個方面的實施例的方法的流程圖。在步驟S61中，使用捕獲設備捕獲灰度圖像或者加載灰度圖像，並且提供給出所請求的像素的深度的方法之後，在步驟S63中，檢測在步驟S62中定義的尺度處的特徵。這些尺度不具有與真實(物理)尺度的已知關係，但是在圖像坐標中定義。為了在步驟S65中描述特徵，我們引入由深度提供方法提供的特徵的深度。如上所解釋的，深度用於將描述符坐標按比例到真實尺度。在在步驟S66中的方位指定之後，在步驟S67中使用對應真實尺度的描述符尺度來描述特徵。最後，在步驟S68中，在應用中使用所描述的特徵。在本發明的可能的實現中，提取特徵，從而提供深度(例如，使用立體攝像機)。在此情況下，特徵能夠立即傳遞到步驟S65，並且不(不再)一定非要進行步驟S62、S63和S64(即，對應於圖5中的步驟S53和S54的特徵提取FE)。[0093]在本節中所提議的方法的實施例，使用點特徵(即，關鍵點或者興趣點)以及用於這樣的特徵的特徵描述符。給定圖像中的2D點、尺度以及可選地給定方位，其計算描述符，所述描述符能夠例如是基於圍繞特徵的支持區域中的灰度值而由真實值向量來表示。這樣的方法的流行示例包括SIFT和SURF。[0094]圖10示出了相比於標準方法(左)的將我們的發明應用到SIFT特徵(右)的結果O[0095]為了支持處理具有更強深度變化的場景，我們提議定義對應於真實尺度的多個期望的特徵描述符尺度。因此本發明的一個可能的實施例使用不同的真實尺度支持區域，其中，支持區域在更小的深度處更小，並且在更高的深度值處更大。例如，在對遠方山脈成像時，50mmX50mm的支持區域沒有意義，因為將覆蓋小於像素的路。另一方面，10000_XIOOOOmm的支持區域將對這樣的場景有意義，雖然其在室內桌面環境中明顯不可行。[0096]根據第一方面和/或第二方面的實施例，將尺度定義為全局設置並且特徵描述符不包含至少第二參數，所述第二參數指示尺度和/或支持區域。[0097]3、根據本發明的第三個方面的尺度不變真實尺度察覺特徵描述:[0098]根據本發明的這一方面，提議如在標準方法中完成地，基於灰度圖像定義特徵描述符的尺度。根據這一方面的方法包括步驟:提供由捕獲設備捕獲的灰度圖像，提供用於確定灰度圖像中至少一個元素的深度的方法，基於由灰度圖像提供的圖像灰度信息來檢測灰度圖像中的至少一個特徵，以及提供具有特定尺度的指示符的所述至少一個檢測到的特徵的特徵描述符。特徵描述符包含基於由灰度圖像提供的圖像灰度信息的至少一個第一參數和指示灰度圖像中的所述至少一個元素的尺度和深度的組合的至少一個第二參數，所述至少一個元素是檢測到的特徵的一部分。[0099]例如，第二參數指示灰度圖像中至少一個元素的尺度和深度的乘積，所述至少一個元素是檢測到的特徵的一部分。[0100]根據實施例，第二參數可選地包括關於捕獲設備的焦距的信息，其用作後續特徵匹配處理中的選擇步驟的基礎，在所述後續特徵匹配中，認為僅僅另一灰度圖像的那些特徵是檢測到的特徵的可能的匹配，所述檢測到的特徵具有包括類似所述至少第二參數的至少一個參數的特徵描述符。[0101]優選地，第二參數對於檢測到的特徵到捕獲設備的距離而言是不變的。[0102]根據實施例，除了圍繞特徵的支持區域中的灰度圖像的描述，特徵描述符包含標量值，例如S*d。由此，s代表特徵描述符的尺度，並且d為特徵的深度。當這一值對於特徵到捕獲設備的距離是理想地不變時，其提供特徵的可區分的描述。如果特徵的深度d(或者距離)加倍，灰度圖像中這一特徵的大小、以及因此其尺度s將減少一半。本領域技術人員清楚只要焦距是恆定的，焦距沒有關係。但是在其中能夠使用任意攝像機的一般情況下，其就有關係。因而，恆定將由(s*d)/f替代，其中f是焦距。這是重要的，從而確保具有不同焦距的攝像機之間的數據的通用性。通過認為那些特徵是具有類似s*d值的可能的特徵，尺度和深度(以及可選地為焦距)的乘積能夠例如用於加速特徵匹配。[0103]圖7示出了根據本發明的第三個方面的實施例的方法的流程圖。在在步驟S71中使用捕獲設備捕獲灰度圖像或者加載灰度圖像、並且提供方法以獲得灰度圖像中特定點的深度樣本之後，在步驟S73中，在步驟S72中定義的尺度處創建灰度圖像的尺度空間。在步驟S74中，從尺度空間圖像中提取特徵。對於每個特徵，在步驟S75中分派方位，並且在步驟S76中計算描述。注意，方法到此為止沒有不同於諸如為SIFT的常規的尺度不變方法。在後續步驟S77中，根據本發明，引入由在步驟S71中提供的方法提供的特徵的深度。在這一情況下，如以上所解釋的，深度形成描述符的一部分，並且與特徵尺度以及可選地為焦距相乘。最後，在步驟S78中在應用中使用所描述的特徵。在本發明的可能的實現中，提取特徵，從而提供深度(例如，使用立體攝像機)。在此情況下，特徵能夠立即傳送給步驟S75，並且步驟72、73和74(即，特徵提取FE)不(不再)一定非要進行。[0104]4、示例性結果的描述[0105]圖9在建立處比較根據本發明的以上描述的方面的新技術與標準方法，在所述建立處，捕獲設備CD捕獲由玩偶的兩個集合SI和S2組成的場景。每一個集合包含在不同的尺度處的兩個相似的玩偶(即，高玩偶和更小的玩偶)。兩個集合SI和S2位於離捕獲設備⑶不同的距離處。左圖1l說明了使用⑶捕獲的圖像。重疊的方形指示位於每個玩偶的右眼處的特徵的標準尺度不變特徵描述符的支持區域。小圖R11、R12、R13和R14示出了由單獨的特徵的支持區域覆蓋的一部分圖像。如能夠看到的，由於對於尺度的不變性，他們都一樣。雖然這使能匹配不同的距離處的對象(例如，Rll和R13)的特徵，其不提供在不同的物理尺度處的類似對象(例如，Rll和Rl2)之間的辨別。[0106]相反，12示出了相同的捕獲圖像，所述捕獲圖像在每一個玩偶的右眼處具有四個特徵的支持區域，使用根據本發明的提議的方法來成比例。雖然支持區域以及因此描述符對於對象(例如，R21和R23或者R22和R24)離攝像機的距離不變，其區別在不同的尺度處的類似對象。例如，支持區域R21和R22在他們的圖像內容上明顯不同，其導致辨別特徵描述符。[0107]5、可能的方法以提供深度樣本[0108]存在若干可能的方法以提供在如上給出的方法中使用的深度樣本，其能夠之後用在根據本發明的特徵檢測和描述方法中。這也是與本領域中已有的方法的主要區別，所述已有方法依賴於掃描和密集的深度數據。像素的深度指在該像素中成像的物理表面和捕獲設備的光學中心之間的距離。深度數據能夠是密集的或者稀疏的。因為具有用於特徵自身的深度信息能夠足夠用於基於尺度來創建我們的描述符，所以，我們的方法能夠與密集的深度數據一起工作。此外，我們的方法能夠與稀疏的深度數據一起工作。[0109]如較早所提及的，將像素的深度定義為捕獲設備的主點和物理3D表面之間的距離，所述物理3D表面在此像素中成像。由於特徵不必是點或像素，而是能夠具有任意形狀，產生特徵的深度是什麼的問題。根據實施例，可以將特徵的深度定義為屬於這一特徵的深度樣本集合的任意加權平均。這一定義包括隨機拾取一個深度樣本(具有權重I)並且將權重O分配給所有其他樣本。[0110]一般，當不可能為圖像的一部分或者所有部分獲取深度時，所提議的方法能夠落回可選的特徵描述符(例如經典的SIFT)。這也意味著能夠以混合方式使用尺度不變特徵描述符和我們的真實尺度特徵描述符。[0111]5.1來自定標攝像機的深度[0112]根據用於確定灰度圖像中至少一個元素的深度的實施例，具有已知的相對位置和/或方位的至少兩個捕獲設備的每一個捕獲各自的灰度圖像，其中在圖像中找到一致，並且將捕獲設備的相對位置和/或方位用於計算灰度圖像中至少一個元素的深度，所述至少一個元素是至少一個一致的一部分。[0113]特別地，提供深度數據的一個可能性如下:至少兩個攝像機能夠在接近相同的時間、或者不移動時在不同的時間捕獲圖像，其中，所述至少兩個攝像機以已知的相對姿勢和理想的已知固有參數來記錄灰度。[0114]一致性能夠在兩個圖像中找到，並且攝像機的相對姿勢和固有參數能夠用於計算在任一圖像坐標系中的一致性深度。因為他們能夠用於通過引入額外約束(例如，對極幾何)來簡化一致性的創建，在嘗試找到一致性之前，獲取相對姿勢和固有參數是有利的。[0115]例如，能夠將基於點特徵的一致性查找實現為如下:為了從一個圖像到另一個圖像匹配2D特徵，在另一圖像中搜索規定大小的圍繞2D特徵的小塊。例如，平方差之和(SSD)或者歸一化互相關(NCC)分別能夠用作距離或者相似性測量。為了減少搜索對應的小塊所需要的比較的量，僅僅沿著另一圖像中的特徵點的橢圓線來搜索。為了將沿著橢圓線的搜索簡化到ID搜索，首先校正圖像。將具有最高類似性的兩個小塊設置到關係中。如果具有最高相似性的一個明顯比第二最高相似性更相似，則將認為前者是匹配一致。[0116]當然，對於專家，清楚存在眾多可能性以獲得一致性。還有可能在不考慮橢圓線之下獲得一致性。當然，還能夠以迭代方式實現處理，使用初始深度估計與我們提議的真實尺度特徵描述符一起工作，並且以更高的精確性重新計算一致性和特徵的位置。[0117]5.2來自至少一個移動攝像頭的深度[0118]根據用於確定灰度圖像中至少一個元素的深度的另一實施例，至少一個捕獲設備在不同的時間點從不同的位置捕獲灰度圖像，其中在不同的圖像中找到一致性，並且恢復不同的圖像之間的捕獲設備的相對位置和/或方位以及一致性的結構和將其用於計算灰度圖像中至少一個元素的深度，所述至少一個元素是至少一個一致性的一部分。[0119]例如，至少一個攝像機在不同的時間點從不同的位置照相。理想地，某些額外的傳感器測量是可利用的(例如GPS位置)。如果可利用圖像和額外信息，則分析他們。例如通過從圖像到圖像地跟蹤特徵或者通過檢測本地特徵和使用尺度不變描述符以匹配他們，找到不同的圖像中的一致性。[0120]接著，將所謂的從運動恢復結構(SfM)方法用於恢復不同圖像之間的相對位置和一致性的結構。存在對本領域技術人員已知的眾多不同的方法。理想地，額外的傳感器數據，類似GPS位置和攝像機的已知的移動(例如在汽車中，通過測量汽車的移動)，能夠用於給一致性的結構物理尺度。可選地，如果在任意圖像中能夠獲取具有已知大小的已知對象(例如，美鈔或者籌碼)，同樣能夠獲取物理尺度。在不能獲取物理尺度的情況下，假設尺度並且仍然能夠使用我們的方法，但是僅僅對這一精確場景中進一步匹配起作用。例如，為了跟蹤攝像機移動，從而給視頻遊戲添加遊戲角色，移動的精確大小不影響，但是實際的相對移動是重要的。這裡通過真實尺度特徵描述符的增加的匹配能夠有幫助。[0121]再次，能夠以迭代方式實現這一處理，使用初始尺度估計以改善一致性，導致位置估計和結構的更高的精確性。[0122]5.3來自圖像匹配的深度[0123]根據用於確定灰度圖像中的至少一個元素的深度的另一實施例，提供了灰度圖像的至少一個資料庫，其中對於每一個灰度圖像，整體深度、或者至少一個圖像區域的深度、或者一個或者更多個像素的深度是已知的並且由捕獲設備捕獲的灰度圖像(當前的灰度圖像)與這一資料庫較量。匹配結果用於計算當前灰度圖像中的至少一個元素的深度。[0124]例如，用於獲取與圖像相關聯的深度的方法如下:我們假設圖像資料庫存在並且對於每一個圖像，一個整體深度(例如，10m)、或者單獨圖像區域的深度、或者用於每一個像素的深度是已知的。當前拍攝的圖像現在與這一資料庫較量。為了加速處理和/或為了增加穩健性，能夠將可選的步驟用於創建用於圖像匹配的優化的數據結構。這能夠，例如是從特徵描述符中構建詞彙樹或者KD-樹。[0125]本方法能夠嘗試使用從資料庫圖像和我們的提議的真實尺度特徵描述符中的具體深度信息(如果存在)或者使用其他方法來註冊兩個圖像。如果這不可能或者沒有提供具體深度信息，返回一個給定深度或者平均深度。[0126]5.4來自3D模型信息和傳感器信息的深度[0127]根據用於確定灰度圖像中的至少一個元素的深度的另一實施例，當捕獲與環境模型相關的灰度圖像時，提供了環境模型(其可以是初始估計)和關於捕獲設備的位置和/或發那個位的信息，其中組合環境模型和關於捕獲設備的位置和/或方位的信息，並且用於計算灰度圖像中至少一個元素的深度。[0128]例如，假設能夠提供環境模型，所述環境模型能夠例如是構造的3D模型或者環境的掃描。如果當拍攝關於環境模型的圖像時關於捕獲設備的位置和/或方位知曉任意信息，能夠將兩者組合。例如，通過使用假設的攝像機姿勢和攝像機固有參數來渲染3D模型，能夠從由環境模型提供並且在渲染期間使用的深度緩衝區中獲取每個像素的深度。儘管對於這一方法初始姿勢估計是需要的，但是，在其他應用中，使用假設的深度和具有結構環境模型的本發明，接著姿勢能夠改進並且變得更加準確。當然，還可以迭代地使用這一處理。[0129]5.5來自專用傳感器的深度[0130]根據用於確定灰度圖像中至少一個元素的深度的另一實施例，提供了至少一個傳感器以用於獲取信息或者範圍數據以及與捕獲設備相關的所述至少一個傳感器的相對位置和/或方位，其中深度信息或者範圍數據用於計算灰度圖像中至少一個元素的深度。優選地，傳感器和捕獲設備兩者的姿勢(位置和方位)和固有參數是已知的。[0131]特別地，用於獲取深度信息的方法使用專門的傳感器，專用於獲取深度信息或者範圍數據。其能夠例如是逃離機制的時間，類似雷射掃描儀或者飛行時間法攝像機。另一示例是傳感器，其投影已知的光線圖案到環境中並且在其由具有傳感器的環境反射後獲取圖案。通過匹配投影信息和接收的圖案以及通過知曉投影儀和傳感器兩者的固有參數，能夠計算深度。[0132]允許獲取深度數據的另一傳感器是全景攝像機[7]。[0133]為了以灰度圖像使用深度傳感器的信息，姿勢和固有參數兩者是已知的。接著，能夠將深度信息變換到攝像機坐標系中並且使用。[0134]6、本發明的進一步的方面[0135]根據本發明的實施例，用於確定灰度圖像中的至少一個元素的深度的方法基於捕獲設備的光學焦點。[0136]根據本發明的另一實施例，在用於確定灰度圖像中的至少一個元素的深度的方法中，通過提取灰度圖像和至少一個進一步的灰度圖像的特徵來生成灰度圖像中的元素的深度樣本，並且使用立體攝像機對的螢光幾何結構來匹配他們，所述立體攝像機對捕獲灰度圖像和所述至少一個進一步的灰度圖像。在這一情況下，其中提取特徵從而提供深度(例如，使用立體攝像機)，所提取的特徵能夠立即用於特徵描述。例如，圖8示出了根據本發明的這一實施例的方法的流程圖。首先，在步驟S81中，由攝像機捕獲灰度圖像Il和12或者加載灰度圖像Il和12，接著，其可以可選地經歷步驟S82中的預處理。在步驟S84中，存在步驟S83中已經定義尺度空間或者離散尺度的集合之後，在Il和/或12中的此尺度空間中檢測特徵並且確定一致性，例如使用立體攝像機對的螢光幾何結構或者用於單聲道攝像機建立的尺度不變的特徵描述符。檢測到的特徵一致性C(Fl(X，y)，F2(X，y))具有指定兩個對應特徵的Fi和指定各自的特徵Fi的2-維位置的X，y,將其認為是描述3D空間中的相同的點到Il和12的投影，並且因而在步驟S85中能夠，例如通過三角測量來計算深度(即，此點的3D空間中的位置)。在最終在應用中使用所描述的特徵(步驟S87)之前，在步驟S86中描述所提取的特徵或者關鍵點K。描述包含描述符V，其從灰度數據中創建。此外，取決於應用，其能夠對於存儲在圖像中他們的位置(x，y)或者他們的3D位置(能夠從深度中計算)起作用。可選地，還可以關於關鍵點存儲尺度S、方位ο和所確定的深度d。為了利用本發明，不需要將尺度存儲為描述符的一部分。例如，對於特定深度，還可以全局地將尺度定義到IOmm或者1000mm，或者使用依賴於深度d的通式,其應用到應用中的所有特徵。如上關於圖6和7所述的，在步驟S86中，可以使用如第2部分(例如，從圖6中的S65開始)或者第3部分(例如，從圖7中的S75開始)中所描述的任意根據本發明的實施例的方法。在根據第3部分的實施例的情況下，K還將進一步包括從組合s和d(可選地，以及攝像機的焦距)中得到的值。[0137]根據本發明的進一步的實施例，使用搜索算法來估計灰度圖像中的至少一個元素的深度，以初始地比較不同的距離。[0138]根據本發明的進一步的實施例，本方法可以進一步包括步驟:提供整體坐標系中捕獲設備的位置和方位的測量，從測量中確定捕獲設備的姿勢，提供環境的3D模型，其中結合3D模型使用姿勢以計算灰度圖像中特徵的至少一個元素的深度，例如，藉由投射來自捕獲設備中心的虛擬射線通過特徵到3D模型。這在下面關於圖11更具體地解釋。整體坐標系中捕獲設備的位置的測量可以由GPS傳感器/接收機、IR或者RFID三角測量來提供，或者藉由使用寬帶或者無線架構的定位方法。整體坐標系統中捕獲設備的方位的測量可以由慣性傳感器、加速計、陀螺儀、羅盤、或者機械的、電磁的、聲學的、或者光學跟蹤系統中的至少一者來提供。在本發明的上下文中，慣性傳感器可以(例如，連續地)提供傳感器信息，所述傳感器信息包括關於環境的對象或設備的位置和/或方位，通過使用以下的任意組合:磁力計(例如，羅盤)、動作傳感器/旋轉傳感器(加速計/陀螺儀)、重力傳感器、以及提供這樣的信息的其他傳感器。[0139]根據本發明的進一步的方面，提供了跟蹤或者識別方法，分別用於跟蹤關於由捕獲設備捕獲的灰度圖像的對象的捕獲設備的位置和/或方位，或者用於識別由捕獲設備捕獲的灰度圖像的對象，其使用以上所述的方法。[0140]7、應用[0141]一般，本發明能夠用在所有場景中，其中正使用當前的描述符，諸如SIFT或者SURF，諸如視覺搜索和圖像匹配，3D重構和光學姿勢估計和跟蹤。[0142]具有真實尺度特徵描述符的深度提供方法的可能的組合可以用在光學姿勢估計和跟蹤中，例如從而創建戶外AR體驗。例如，使用如圖11中描述的粗傳感器數據和環境模型來提取深度。在步驟Sll中，通過捕獲設備捕獲灰度圖像Il或者加載灰度圖像II。此夕卜，從粗傳感器測量中估計捕獲Il時捕獲設備的初始姿勢，所述粗傳感器測量諸如是GPS位置和方位傳感器信息。最終，提供包括3D數據和圖像數據(類似於谷歌街景)的提高的環境模型(步驟S112)。如果用於跟蹤的參考模型(例如，已經包含特徵3D坐標和特徵描述符)還沒有提前創建，則僅僅需要圖像數據。在步驟S113中，使用步驟Slll提供的假設的攝像機姿勢來加載環境模型，即從灰度圖像Il的攝像機視角得到環境模型。在步驟S114中，從環境模型中獲取深度信息並且在步驟S115中將其用於計算檢測到的特徵的真實尺度描述符。換言之，使用在圖像Il登記的深度信息，在固定的尺度處提取真實尺度特徵，所述固定的尺度，例如是lm。因為環境模型組合3D數據和圖像數據，能夠創建具有Im的尺度的物理尺度特徵的參考3D模型(S116，這當然能夠提前完成)。[0143]接著，能夠將S115和S116的結果用於創建Il中的特徵和3D物理尺度特徵的一致性。使用最佳算法，能夠計算環境模型的坐標系統中的Ii的改進的姿勢。接著，改進的姿勢能夠用於應用，例如，旅行數據的增強的逼真顯示，或者可選地用於改進Slll和通過步驟S111-S117重複，直到姿勢中的變化已經比預定義的質量門限低。[0144]8、參考文獻[0145][1]D.-G.Lowe.DistinctiveImageFeaturesfromScale-1nvariantKeypoints.1nt.J.Comput.Vision60，2(November2004)，pp.91-110.[0146][2]J.StiicklerandS.Behnke.1nterestPointDetectioninDepthImagesthroughScale-SpaceSurfaceAnalysis.1nProceedingsoftheIEEEInternationalConferenceonRoboticsandAutomation(ICRA),Shanghai,China,May2011.[0147][3]C.WujB.ClippjX.Li,J.—M.FrahmjandM.Pollefeys.3DmodelmatchingwithViewpoint-1nvariantPatches(VIP)，ComputerVisionandPatternRecognition,IEEEComputerSocietyConferenceon,pp.1-8,2008.[0148][4]T.-W.R.LoandJ.P.Siebert.Localfeatureextractionandmatchingonrangeimages:2.5DSIFT.Comput.Vis.1mageUnderst.113，12，pp.1235-1250，2009.[0149][5]E.R.Smith,C.V.Stewart,andR.J.RadkejPhysicalScaleIntensity-BasedKeypoints,5thInt』ISymposiumon3DDataProcessing,VisualizationandTransmission,May2010.[0150][6]F.KristensenandW.MacLean:Real-TimeExtractionofMaximallyStableExtremalRegionsonanFPGA.Dept,ofElectroscience,LundUniversity,Sweden2007.[0151][7]D.V.Johnston,LearningDepthinLightfieldImages,CS229MachineLearningAutumn2005，StanfordUniversity,2005，[0152]http://www.Stanford,edu/class/cs229/proj2005/Johnston-LearningDepthInLightfieldlmages.pdf【權利要求】1.一種從灰度圖像中檢測和描述特徵的方法，包括步驟:一提供由捕獲設備捕獲的灰度圖像；一提供用於確定灰度圖像中至少一個元素的深度的方法；一在特徵檢測處理中檢測灰度圖像中的至少一個特徵，其中通過處理尺度處的灰度圖像的圖像灰度信息來執行特徵檢測，所述尺度取決於灰度圖像中至少一個元素的深度；一提供所述至少一個檢測到的特徵的特徵描述符。2.根據權利要求1的方法，其中特徵描述符包含至少一個第一參數和至少一個第二參數，所述至少一個第一參數基於由灰度圖像提供的信息，所述至少一個第二參數指示尺度。3.根據權利要求1或2的方法，其中，一特徵描述符包含至少一個第一參數，並且包含描述符坐標，所述至少一個第一參數基於由灰度圖像提供的圖像灰度信息，所述描述符坐標取決於灰度圖像中的至少一個元素的深度而按比例確定，所述至少一個元素是檢測到的特徵的一部分；或者一特徵描述符基於由灰度圖像提供的圍繞檢測到的特徵的支持區域中的信息來描述檢測到的特徵，其中支持區域取決於灰度圖像中至少一個元素的深度而按比例確定，所述至少一個元素是檢測到的特徵的一部分。4.根據權利要求1至3之一的方法，其中，在特徵檢測處理中，作出灰度圖像中至少一個元素是否屬於檢測到的特徵的決定，取決於灰度圖像中的灰度值。5.根據權利要求1到4之一的方法，其中在至少一個尺度處執行特徵檢測，所述至少一個尺度反向成比例地取決於灰度圖像中至少一個元素的深度，對於所述至少一個元素，特徵檢測處理確定其是否是檢測到的特徵的一部分。6.根據權利要求1到5之一的方法，其中所述至少一個尺度對應特徵的物理大小，在所述至少一個尺度處檢測到所述至少一個特徵。7.根據權利要求1到6之一的方法，包括:一將支持區域定義為覆蓋灰度圖像的一部分的區域；一基於圍繞特徵的支持區域中的信息來檢測灰度圖像中的至少一個特徵；一其中與在其處檢測到所述至少一個特徵的尺度一致地確定支持區域的大小。8.根據權利要求7的方法，其中在其處檢測到所述至少一個特徵的尺度取決於用於支持區域的深度樣本。9.根據權利要求7或8的方法，其中支持區域反比於灰度圖像中的至少一個元素的深度而按比例確定，對於所述至少一個元素，特徵檢測處理確定其是否是檢測到的特徵的一部分。10.根據權利要求1到9之一的方法，其中在特徵檢測處理中，對於不同的尺度，生成灰度圖像的各自的表示並且在各自的尺度處檢測到灰度圖像中的特徵。11.一種從灰度圖像中檢測和描述特徵的方法，包括步驟:一提供由捕獲設備捕獲的灰度圖像；一提供用於確定灰度圖像中至少一個元素的深度的方法；一基於由灰度圖像提供的圖像灰度信息來檢測灰度圖像中至少一個特徵；一提供所述至少一個檢測到的特徵的特徵描述符；一其中特徵描述符包含至少一個第一參數，並且包含描述符坐標，所述至少一個第一參數基於由灰度圖像提供的圖像灰度信息，所述描述符坐標取決於灰度圖像中的至少一個元素的深度而按比例確定，所述至少一個元素是檢測到的特徵的一部分；或者一其中特徵描述符基於由灰度圖像提供的圍繞檢測到的特徵的支持區域中的信息來描述檢測到的特徵，其中所述支持區域取決於灰度圖像中至少一個元素的深度而按比例確定，所述至少一個元素是檢測到的特徵的一部分。12.根據權利要求11的方法，其中特徵描述符的支持區域反比於灰度圖像中的至少一個元素的深度而按比例確定，所述至少一個元素是檢測到的特徵的一部分。13.根據權利要求11或12的方法，其中特徵描述符的描述符坐標反比於灰度圖像中的至少一個元素的深度而按比例確定，所述至少一個元素是檢測到的特徵的一部分。14.根據權利要求11到13之一的方法，其中一灰度圖像中的支持區域用於提供特徵描述符，所述特徵描述符包括由圍繞多個點之一的幾何結構規定的點，在特徵檢測處理中已經將所述多個點之一識別為檢測到的特徵的一部分；一其中幾何結構根據所述多個點之一的深度而變化，特別地，其中變化能夠是在不同的深度處調整幾何結構的大小或者改變幾何結構的形狀。15.根據權利要求1到14之一的方法，其中使用不同的真實尺度處的支持區域，其中確定這些支持區域中的支持區域為比更小的確定的深度處更小並且比更大的確定的深度處更大。16.根據權利要求1到15之一的方法，其中將尺度定義為整體設置並且特徵描述符至少不包含第二參數，所述第二參數指示尺度和/或支持區域。17.—種從灰度圖像中檢測和描述特徵的方法，包括步驟:一提供由捕獲設備捕獲的灰度圖像；一提供用於確定灰度圖像中的至少一個元素的深度的方法；一基於由灰度圖像提供的圖像灰度信息來檢測灰度圖像中的至少一個特徵；一將特定尺度的指示符提供給所述至少一個檢測到的特徵的特徵描述符，特徵描述符包含至少一個第一參數和至少一個第二參數，所述至少一個第一參數基於由灰度圖像提供的信息，所述至少一個第二參數指示灰度圖像中至少一個元素的尺度和深度的組合，所述至少一個元素為檢測到的特徵的一部分。18.根據權利要求17的方法，其中第二參數指示灰度圖像中至少一個元素的尺度和深度的乘積，所述至少一個元素為檢測到的特徵的一部分。19.根據權利要求17或18的方法，其中第二參數可選地包括關於捕獲設備的焦距的信息，其用作後續的特徵匹配處理中的選擇步驟的基礎，其中，對於檢測到的特徵，僅僅將另一灰度圖像的那些特徵認為是可能的匹配，所述那些特徵具有包括類似於第二參數的參數的特徵描述符。20.根據權利要求17到19之一的方法，其中第二參數不變於檢測到的特徵到捕獲設備的距離。21.根據權利要求1到20之一的方法，其中用於確定灰度圖像中至少一個元素的深度的方法基於捕獲設備的光學焦點。22.根據權利要求1到21之一的方法，其中在用於確定灰度圖像中至少一個元素的深度的方法中，通過提取灰度圖像和至少一個又一灰度圖像的特徵並且使用立體攝像機對的對極幾何來匹配他們，生成灰度圖像中的元素的深度樣本，其中，所述立體攝像機對捕獲灰度圖像和所述至少一個又一灰度圖像。23.根據權利要求1到22之一的方法，其中使用視覺搜索算法來估計灰度圖像中的至少一個元素的深度，以初始地比較不同的距離。24.根據權利要求1到23之一的方法，包括:一提供整體坐標系中捕獲設備的位置和方位的測量；一從測量中確定捕獲設備的姿勢；一提供環境的3D模型；一其中結合3D模型使用姿勢以計算灰度圖像中的特徵的至少一個元素的深度。25.—種跟蹤或者識別方法，使用根據權利要求1到24之一的方法，分別用於跟蹤與由捕獲設備捕獲的灰度圖像的對象相關的捕獲設備的位置和/或方位，或者用於識別由捕獲設備捕獲的灰度圖像的對象。26.一種電腦程式產品，適於加載到數字計算機的內部存儲器中並且包括軟體代碼段，當在所述計算機上運行所述產品時，藉由所述軟體代碼段來執行根據權利要求1到25中的任一的方法。【文檔編號】G06T7/60GK103959307SQ201180073206【公開日】2014年7月30日申請日期:2011年8月31日優先權日:2011年8月31日【發明者】D·庫爾茨,彼得·梅爾申請人:Metaio有限公司