對準數據的方法

2023-05-12 15:11:36 1

對準數據的方法
【專利摘要】三維數據通過從第一坐標系中的數據中選擇第一組基元和從第二坐標系的數據中選擇第二組基元進行對準，其中，所述第一組基元包括至少一個面、至少一個點、以及或者是點或者是面的第三基元，所述第二組基元包括至少一個面、至少一個點、以及與所述第一組基元中的所述第三基元相對應的第三基元。然後，所述面彼此對準，所述點彼此對準，以獲得對準的基元。
【專利說明】對準數據的方法

【技術領域】
[0001] 本發明通常涉及三維（3D)數據的對準，更具體地，涉及彼此對準3D點和3D面，用 於實時重建應用。

【背景技術】
[0002] 3D 重建
[0003] 場景的交互實時3D重建用在許多應用中，例如機器人學、增強現實、醫學成像以 及計算機視覺。實時的稀疏和密集的3D重建可以使用諸如照相機的無源傳感器。然而，無 源傳感器在重建無紋理區域上有困難。
[0004] 為了重建無紋理區域，可以使用有源3D傳感器。例如，用於微軟Xbox的Kinet傳 感器使用IR模式，用於實時從傳感器的視點獲取作為深度映射的3D數據。
[0005] 其他問題涉及處理時間、存儲器需求以及準確性。由於視野和解析度，3D傳感器通 常產生場景的部分重建。期望提供一種能夠結合連續部分深度映射和場景模型的準確快速 的對準方法。慣性傳感器容易漂移。因此，為了準確對準，需要依賴RGB (紋理）圖像或深 度映射的特徵。另外，深度映射通常是有噪聲的，沒有任何更高層次的空間約束。而且，點 雲需要非常大的存儲器，並且難以壓縮。
[0006] 3D-3D 對準
[0007] 局部
[0008] 3D數據的對齊或對準是計算機視覺應用中的根本問題，該問題可以利用多種方法 解決。對準方法可以是局部的或全局的。局部方法應當以良好的初始化開始，並利用相對 較小的迭代移動對準兩個3D點雲。這類似於收斂到具有良好初始解的全局解的非線性最 小化方法。最常見的局部方法是迭代最近點（ICP)方法，該方法利用閉合形式的解迭代地 確定相應的3D點和移動。
[0009] 全局
[0010] 全局方法通常考慮整個3D點雲，識別某些關鍵的幾何特徵（基元），遍及點雲匹 配這些特徵，並使用利用隨機抽樣一致（RANSACA)過程的對應關係的最小集來生成最佳假 設。通過全局方法獲得的粗糙對準後面通常跟隨局部非線性細化。與局部方法不同，全局 方法不要求初始化。然而，全局方法可能遇到不正確和不充分的對應關係。通常用於全局 方法中的幾何基元要麼是點、線或面。
[0011] 已知有利用同構和異構對應關係的幾種全局對準方法。例如，考慮到點到點、線到 線、面到面、點到線、點到面或者線到面對應關係，確定對準的閉合形式的解是可能的。一種 方法利用分支界定法從點到點、點到線以及點到面的對應關係中獲取全局最優解。另一種 方法利用分支界定法來獲取最佳對應關係以及針對點到點對準問題的變換。
[0012] 使用3D傳感器的SLAM
[0013] 在移動機器人學中，某些基於3D傳感器的方法利用同步定位和映射（SLAM)系統， 用於確定傳感器的移動以及重建場景結構。這些方法通常使用諸如點基元、線基元或面基 元的幾何特徵。提供3D數據的平面片段的3D傳感器，例如2D雷射掃描儀或超聲波傳感器， 可以被用於確定平面的、三個自由度（DOF)的運動。提供完整的3D點雲的3D傳感器，例如 結構光掃描儀、安裝在活動舞臺上的2D雷射掃描儀以及Kinect傳感器可以用於確定六個 DOF運動。
[0014] RGB-D映射從RGB圖像中提取關鍵點，利用深度映射以3D的形式向後投射這些點， 並利用三個點到點對應關係來確定利用RANSAC過程的姿勢的初始估算，該初始估算進一 步利用ICP方法進行細化。
[0015] 另一種方法在具有3D傳感器的SLAM系統中使用三個面到面對應關係。該方法利 用面之間的幾何約束解決對應問題。
[0016] 對於使用面和線段兩者作為基元的SLAM系統，另一種方法使用較小視野（F0V)的 3D傳感器和較大F0V的2D雷射掃描儀。該方法旨在用於解決局部對準問題而無法解決全 局對準的順序的SLAM系統。
[0017] KinectFusion通過利用粗到細ICP方法將當前深度映射對準為從全局截短符號 距離函數（TSDF)表示生成的虛擬深度映射。TSDF表示整合對準到全局坐標系中的全部的 在先深度映射，並能夠產生與使用單一圖像相比更高質量的深度映射。
[0018] 已知ICP方法的幾種其他變體，但是這些變體在兩個3D點雲不同時仍然會遇到極 小值問題。僅僅依靠點的對準方法或SLAM系統在無紋理區域或具有重複圖樣的區域中遇 到對應關係不充分或者不正確。基於面的技術在包括數量不足的非平行平面的場景上遇到 簡併問題。
[0019] 利用諸如Kinect傳感器的3D傳感器，由於在深度間斷點周圍的具有噪聲的或丟 失的深度值，難以獲得線對應關係。


【發明內容】

[0020] 本發明的實施方式提供一種用於在兩個不同的坐標系中對準數據的方法。該方法 利用點和面兩者作為對準基元。該方法可被利用3D傳感器的同步定位和映射（SLAM)系統 所使用。該SLAM系統是本文的對準方法的應用。
[0021] 通過該方法，利用至少三個點和面基元的任意組合，即3個面、2個面和1個點、1 個面和2個點、以及3個點在兩個不同的坐標系中對準3D數據是可能的。該方法具體涉及 一組混合（異種）基元，也就是至少兩個3D點和至少一個3D面，或者至少一個3D點和至 少兩個3D面。
[0022] 也就是說，該方法可以使用三個基元的最小組和RANSAC過程來對準3D數據並重 建場景。由於在3D數據中面的數量明顯小於點的數量，優選實施方式所用的RANSAC過程 使用包括面比點多，即最少兩個面和一個點，的基元組合。
[0023] 與主要使用點用於對準的現有技術方法相比，本方法具有以下優勢。由於面基元 的數量更小，對應關係搜索和對準更快，並且可以實時進行。該方法產生比基於點的模型更 加緊湊的基於面的3D模型。該方法提供全局對準，而不會遇到如在現有技術局部對準方法 中的極小值或初始化問題。

【專利附圖】

【附圖說明】
[0024] 圖1是根據本發明的實施方式的對準方法的示意圖；
[0025] 圖2是使用根據本發明的實施方式的對準方法的同步定位和映射（SLAM)系統的 流程圖；
[0026] 圖3是本發明的實施方式所用的RANSAC過程的示意圖；以及
[0027] 圖4是根據本發明的實施方式的混合式基於面和點的模型的示意圖。

【具體實施方式】
[0028] 本發明的實施方式提供一種用於在兩個不同的坐標系中對準3D數據的方法。如 圖1中所示，該方法可以在如現有技術已知的連接到存儲器和輸入/輸出接口的處理器150 中執行。
[0029] 圖1示出對準方法100的示意圖。該對準方法通過使用從兩個不同的坐標系101 和102中的3D數據中選擇的兩組的至少三個基元來確定該兩個不同的坐標系之間的6-D0F 剛體變換105。基元包括3D點110和3D面120。每組中的三個基元包括至少一個3D面、 至少一個3D點、以及可以是點或面的第三基元。這兩組中的面用面來對準，點用點來對準。 該對準方法可以是全局的並且可以實時進行。
[0030] 如圖2中所示，該對準方法可被同步定位和映射（SLAM)系統所使用。該SLAM系 統是本文的對準方法的應用。該系統可以在如現有技術已知的連接到存儲器和輸入/輸出 接口的處理器200中實現。SLAM系統的示例性輸入201是一組一個或多個深度映射202。 深度映射描述了映射中每個像素的深度值（距離），從而通過根據其深度值在映射中向後 投射這些像素來提供3D點雲。SLAM系統可以可選地獲取與深度映射相對應的一組一個或 多個2D紋理圖像203。紋理圖像可以是灰度的或者具有RGB顏色通道。深度映射可以通過 3D傳感器獲得，所述3D傳感器例如是無源立體相機204或有源IR或雷射掃描儀205,而紋 理圖像可以通過照相機獲得，所述照相機例如有立體照相機204中的單個照相機或者專用 照相機206。3D傳感器和照相機可以被人手持，或者可以通過機器保持，所述機器例如有機 器人臂或機械移動臺。關鍵概念在於可以通過可移動傳感器來獲取輸入；本文的對準方法 通過對準在不同視角獲取的3D點雲來確定傳感器的運動並重建場景。
[0031] 本文的SLAM系統從輸入（稱為測量值211)中選擇210 -組3D點和3D面基元並 且相對於全局映射225(稱為地標221)中的一組點和面基元對準220這些點和面。每組包 括至少一個3D點和至少一個3D面。這些組中的第三個基元可以都是點或者都是面。該對 準通過利用這兩組中的點來對準點以及利用這兩組中的面來對準面來進行。
[0032] SLAM系統利用使用最小三個基元的隨機抽樣一致（RANSAC)過程220來進行對準 方法。如另外輸入所需，優化230可以被應用到全局映射。
[0033] 3D 點
[0034] 本文的SLAM系統在3D點雲中選擇一個或多個關鍵點來獲取3D點基元。這些關 鍵點可以利用3D關鍵點檢測器從3D點雲中選擇，而不使用紋理圖像。示例性3D關鍵點檢 測器包括普通對齊徑向功能（NARF)和3D快速魯棒特徵（SURF)。另選地，該系統可以使用 2D關鍵點檢測器從每個紋理圖像中選擇2D關鍵點，並且向後映射使用相應深度值的關鍵 點來獲取3D點基元。示例性2D關鍵點檢測器包括尺度不變量特徵變換（SIFT)和快速魯 棒特徵（SURF)。這些3D和2D關鍵點檢測器還提供一種針對各個檢測到的關鍵點的特徵描 述符。
[0035] 每個點基元通過關鍵點的位置pm和描述符D^Pm，DJ來表示。該描述符可以用於 在測量值和地標之間匹配3D點基元。
[0036] 3D 面
[0037] 為了從3D點雲中選擇面，我們使用下面的迭代過程：
[0038] 1?在3D點雲中隨機選擇一組基準點；
[0039] 2.利用局部窗口內部的附近的點確定針對每個基準點的最佳面；
[0040] 3.相對於深度映射的柵格圖形確定形成與基準點的連接成分的全部內圍層；
[0041] 4.識別具有充足且最大數量的內圍層的最佳面；以及
[0042] 5?從3D點雲中移除內圍層。
[0043] 每個面基元由面參數和一組內圍層Im來表示。面參數形成4D向量

【權利要求】
1. 一種用於對準數據的方法，其中，所述數據具有三個維度，該方法包括以下步驟： 從第一坐標系中的所述數據中選擇第一組基元，其中，所述第一組基元包括至少一個 面、至少一個點、以及是點或者是面的第三基元； 從第二坐標系中的所述數據中選擇第二組基元，其中，所述第二組基元包括至少一個 面、至少一個點、以及與所述第一組基元中的所述第三基元相對應的第三基元；以及 在所述第一組基元和所述第二組基元中，彼此對準面並彼此對準點，以獲得對準的基 J Li 〇
2. 根據權利要求1所述的方法，其中，所述對準被用於同步定位和映射系統中。
3. 根據權利要求1所述的方法，其中，所述對準是全局的。
4. 根據權利要求1所述的方法，其中，所述對準是實時的。
5. 根據權利要求2所述的方法，該方法進一步包括： 獲取所述數據作為深度映射。
6. 根據權利要求5所述的方法，其中，所述深度映射是通過3D傳感器獲取的。
7. 根據權利要求5所述的方法，該方法進一步包括： 在全局映射中維持對準的基元。
8. 根據權利要求5所述的方法，其中，所述對準使用隨機抽樣一致過程。
9. 根據權利要求5所述的方法，該方法進一步包括： 通過位置和描述符表示每個點，以及通過單位法向量和到相應坐標系的原點的距離表 示每個面。
10. 根據權利要求5所述的方法，其中，每個面是通過以下步驟選擇的： 在3D點雲中隨機選擇一組基準點； 利用局部窗口內部的附近的點確定針對每個基準點的最佳面； 關於所述深度映射的柵格圖形確定形成與所述基準點的連接成分的全部內圍層； 識別具有預定數量的內圍層的最佳面；以及 從所述3D點雲中移除所述內圍層。
11. 根據權利要求7所述的方法，其中，利用所述點和所述面通過束調整對所述全局映 射進行了優化。
12. 根據權利要求1所述的方法，該方法進一步包括： 在所述對準期間根據以下內容識別錯誤匹配：點之間的距離；點和面之間的距離；或 者各個坐標系中的兩個面的法線之間的角度。
13. 根據權利要求8所述的方法，該方法進一步包括： 按照以下順序利用可用的三個一組的基元對所述隨機抽樣一致過程進行初始化：3個 面、2個面和1個點、1個面和2個點、或者3個點。
14. 根據權利要求5所述的方法，其中，每個點是通過3D關鍵點檢測器選擇的。
15. 根據權利要求11所述的方法，其中，所述束調整強制實施所述面之間的幾何約束。
16. 根據權利要求1所述的方法，其中，所述方法的輸出包括場景的對準點雲和基於面 的表示。
17. 根據權利要求6所述的方法，其中，所述3D傳感器在所述獲取期間是可移動的。
18. 根據權利要求5所述的方法，該方法進一步包括： 獲取與所述深度映射相對應的紋理圖像。
19. 根據權利要求18所述的方法，其中，各個點通過2D關鍵點檢測器選擇，所述2D關 鍵點檢測器應用於所述紋理圖像並且利用所述深度映射向後投射檢測到的關鍵點。
20. 根據權利要求19所述的方法，其中，所述紋理圖像是通過照相機獲取的。
【文檔編號】G06T7/00GK104395932SQ201380034680
【公開日】2015年3月4日 申請日期:2013年6月20日 優先權日:2012年6月29日
【發明者】田口裕一, S·拉姆阿里加姆, 簡用典, 馮晨 申請人:三菱電機株式會社