利用單目和二維平臺獲取物體圖像信息及三維模型的方法
2023-09-16 15:47:35
利用單目和二維平臺獲取物體圖像信息及三維模型的方法
【專利摘要】本發明涉及一種利用單目和二維平臺獲取物體圖像信息及三維模型的方法，該方法將物體放在電動二維旋轉臺上，根據視點最優規劃，控制WNSC400精確的調整各最優視點所需的旋轉角度，利用PCL點雲庫對點雲進行濾波，分割，採樣，配準，能夠快速重建出未知物體的三維模型。該方法不僅重建速度快，實用性好，而且操作簡單，重建成本低，容易操作，重建效果好。
【專利說明】利用單目和二維平臺獲取物體圖像信息及三維模型的方法
【技術領域】
[0001] 本發明涉及快速自動三維重建【技術領域】，特別是一種利用單目結構光和電動二維 旋轉平臺快速獲取未知物體的三維模型的自動重建方法。
【背景技術】
[0002] 人類對外部世界的感知主要是依靠視覺。據研究，人類通過自身感官所獲得的外 界信息，有80%來源於視覺。而視覺本身是一個能夠感受光信號，並可以傳輸、處理、存儲與 理解視覺信息的過程。隨著科技的發展與人類的進步，人們開始通過攝像機模仿人眼獲取 環境圖像，並將其轉換成數位訊號，然後通過計算機實現對視覺信息的處理，這就是計算機 視覺。另一方面，由於工業生產等方面的需要，使得人們對物體外形的測量技術不斷提出新 的要求。而計算機視覺的發展，使人們漸漸意識到這將引起測量技術尤其是非接觸式測量 技術的重大變革。
[0003] 隨著科學技術和工業生產的迅猛發展，許多領域都需要對三維物體的形狀進行快 速準確的測量。而且，隨著計算機技術的發展以及數字成像裝置、雷射器和其他光電元件的 出現，三維形狀測量技術已逐漸成熟，並根據各自特點廣泛應用於機器人視覺，自動製造和 產品質量控制等不同領域。三維測量技術根據測量方式的不同可分為兩大類，即接觸式測 量和非接觸式測量。傳統的三維測量方法是接觸法，如三坐標機，它用可以精確定位的測頭 去接觸物體表面，測出被接觸點的空間坐標。測頭在物體表面掃描一遍，就可以得到物體表 面各點的空間坐標.以三坐標機為代表的接觸式測量技術在精度上是其他方法所不能替代 的，但是接觸式測量固有的一些缺陷也同樣限制了其自身的發展。第一，測頭在與被測物接 觸時會產生一定程度的壓力，這種壓力足以使柔軟物體的表面產生微小形變，因而影響測 量結果；第二，理想測頭應該是一個表面積為零的點，而實際中的測頭表面積不可能為零， 所以無法測量某些複雜表面的細微特徵：第三，逐點測量的方式限制了測量的速度，不適合 對表面積較大的物體進行測量。第四，與精密被測物接觸還會導致其表面磨損，同時也會使 測頭本身造成損傷，限制了測量次數和精度。因此，接觸式測量的缺陷來源於三維測量技 術，己成為各國研究的熱點，它彌補了接觸式測量的不足，雖然測量精度不能與接觸式測量 相比，但是隨著計算機與微電子技術的進步，這一問題也正在得到解決。基於視覺的非接觸 式三維測量是以三維視覺傳感器所獲得的深度圖像來恢復物體的三維形狀。這種非接觸三 維測量技術具有效率高、自動化程度高、造價較低等優點，在工業生產和現實生活中有著廣 闊的應用前景。
[0004] 準確和高效率的三維測量方法不僅是三維重建的基礎，而且也是快速、自動的進 行三維重建所必須的。現有的三維模型測量方法分接觸式測量和非接觸式測量兩種。
[0005] 1、接觸式測量：接觸式測量主要是使用一些機械式的手工測量儀器或由接觸式傳 感器組成的電子測量儀器，其中以手工測量為主。手工測量的工具主要包括：布帶尺、鋼卷 尺、劃筆、量高儀、踏腳印器和量腳卡尺。手工測量從測量方法上又分為直接法和間接法。直 接法比較簡單。首先用筆在腳的特徵部位上標出有關測量點，利用布帶尺、量高儀等工具可 以直接測量出腳的各個有關數據。間接法利用腳印器踏出腳印並繪製出腳的輪廓線，然後 再進行測量分析。接觸式腳型測量的優點是投資少、操作步驟簡單、靈活性強、方便攜帶、便 於短時間內在不同的測量地點進行測量。缺點是接觸式測量方式會對腳部產生壓力，引起 腳部形變，造成測量誤差，測量時間長，而且測量的腳部參數有限，有些較複雜的參數或曲 線無法測量，工作效率低、勞動強度大、重複再現性差、測量者之間的誤差大，同時，這種測 量方式難以獲得腳部整體的數據信息。也不能對腳的截面形態進行數據採集。無法進行更 深層次的研究。
[0006] 2、非接觸式測量：在計算機、光學等學科發展的帶動下。光學非接觸式測量作為近 年來興起的一門測量技術受到越來越多的重視。目前，光學非接觸式測量方法主要有構光 測量、立體視覺測量、雷射測量等。
[0007] (1)結構光測量：結構光三維視覺基於光學三角法原理，其基本原理是由結構光投 射器向被測物體表面投射可控制的光點、光條或光面結構，並由圖像傳感器(如攝像機）獲 得圖像，通過系統幾何關係，利用三角原理計算得到物體的三維坐標。結構光測量方法具有 計算簡單、體積小、價格低、便於安裝和維護的特點，在實際三維輪廓測量中被廣泛使用。但 是測量精度受物理光學的限制，存在遮擋問題，測量精度與速度相互矛盾，難以同時得到提 商。
[0008] (2)立體視覺測量：在計算機視覺系統中，利用兩臺位置相對固定的攝像機或一個 攝像機在兩個不同的位置，從不同角度同時獲取同一景物的兩幅圖像，通過計算空間點在 兩幅圖像中的視差來獲得其三維坐標值。立體視覺方法最大的特點是拍攝速度快，可以在 不到一秒時間內完成拍攝任務，適合於需要快速測量場合。但立體視覺方法數據處理量大， 處理時間長，而且需要進行兩幅圖像的匹配，在物體表面灰度和面形變化不大時，會影響匹 配和測量精度。
[0009] (3)雷射測量：由一個多邊形鏡頭定位的一根直線可視雷射束，通過高頻掃描來對 物體表面進行掃描測量；應用三角定律，雷射束在物體表面經反射後由雷射接受器接收，然 後經計算獲得物體表面的坐標。雷射掃描可以可以精確地提供三維環境信息，數據處理簡 單，受環境影響小。但成本高，精度、測距與掃描速率存在矛盾關係。
[0010] 三維重建技術近年來發展迅速，這主要得益於科學技術的發展，三維重建成本的 降低，特別是三維重建技術的成熟，結構光系統的迅速發展，極大地激發了廣大研究者將三 維重建技術應用到醫學、娛樂、機械等各研究領域。
[0011] 本專利所用的系統包含短焦相機、投影儀、WNSC400,以及相對應的軟體設備。該重 建技術利用格雷碼與相移相結合的方法，根據三角測量原理對放入WNSC400上的物體進行 三維測量，由視點1分析未知物體的幾何及拓樸信息，從而相繼得到其它視點的三維信息， 由幾個視點配準得到完整的三維模型。
[0012] 與人工測量和其他三維掃描測量相比，該系統的優勢在於：（1)能夠快速對未知 物體進行三維測量；（2)能自動對視點進行拼接，快速完成整理模型的重建；（3)結構光系 統價格低廉，使用成本低；（3)操作簡單，用戶能快速掌握其原理。
【發明內容】
[0013] 本發明涉及一種利用單目和二維平臺獲取物體圖像信息及三維模型的方法，該方 法不僅重建速度快，實用性好，而且操作簡單，重建成本低，容易操作，重建效果好。
[0014] 為實現上述目的，本發明的技術方案是：一種利用單目和二維平臺獲取物體圖像 信息及三維模型的方法，包括以下步驟： (1) 快速重建：首先標定出相機與投影儀的內外參數，根據格雷碼與相移結合的方法， 利用單目結構光中的短焦獲取圖像信息，對未知物體進行三維重建，由三角測量原理得到 某一視點的點雲數據，剔除雜點，得到該視點下的三維模型； (2) 視點規劃：用戶將待重建物體放在WNSC400(電動二維旋轉臺）上，利用相機獲取 該視點下的幾何信息及拓樸信息，通過比較左右參考位置下所獲可視面積的大小，取大者 所在位置作為下一視點的位置，最後通過規劃自終止判據，判斷是否完成重建； (3) 配準點云：將視點1-n重建出來的三維點雲，將點雲數據轉化到視點1坐標系下， 利用PCL點雲庫讀取點雲，進行ICP(迭代最近點算法）迭代，當迭代趨於穩定，配準結束， 去除重合區域點雲，分析重建出的點雲數據，獲得物體的完整三維模型； 在本發明一實施例中，所述步驟（1)包括以下步驟： (1. 1)內外參數的標定：根據張正友標定方法，利用matlab標定工具箱，標定出投影儀 和短焦相機的內參數矩陣，再利用棋盤格標定出短焦與投影儀的R(旋轉)、T(平移）矩陣， 從而標定得到內外參數； (1.2)根據格雷碼與相移結合的方法，利用單目結構光中的短焦對未知物體進行三維 重建，得到其點雲數據。
[0015] (1. 3)優化模型表面質量：通過平滑算法進行了去噪，優化測量的三維數據，提高 三維數據的精度。
[0016] 在本發明一實施例中，所述步驟（2)採用WNSC400電動二維旋轉臺，包括以下步 驟： (2. 1)WNSC400初始化：設置好電動二維旋轉臺的初始參數，計算其脈衝當量，旋轉一 定角度所需的脈衝量； (2. 2)提取視點1下的點雲信息：將物體置於WNSC400上，重建出三維點雲信息，將重 建出的點雲，轉化為pcd格式，利用PCL點雲庫對點雲進行直通濾波，分離出視點1下的有 用的最小點雲，接下再使用濾波器進行濾波，移除離散點，最後通過歐氏聚類將經過濾波後 的點雲分割出幾類點雲數據，設置閥值，得到點雲量大者為視點1下的有用點雲數據； (2. 3)確定下一個最優視點（NVB):由2. 2得到的點雲數據，分析前一視點的幾何及拓 樸信息，以得到最大的可視面積為下一個最優視點； (2. 4)重建整體模型：得到各個最優視點，重建各視點的三維點雲，利用角度判據作為 規劃自終止判據，即將n次規劃後所獲得數據對齊到初始視點坐標系下(工作檯中心與上 一視點已獲得模型邊界、當前視點所獲得模型別一邊界連線所成角定義為邊界夾角)，滿足 角度判據（即邊界夾角之和大於360T)，則認為完成對物體表面的三維重建，得到整體模型。
[0017] 相較於現有技術，本發明的有益效果是將單目結構光系和WNSC400應用於快速獲 取未知物體的三維模型及自動重建中。容易實現，只需一個單目結構光系統和一臺WNSC400 即對物體完成三維測量；採集數據效率高；本專利採用光編碼技術，使用的是連續照明，不 需要特製的感光材料，只需普通的CMOS感光晶片，因此可大大降低成本；結合傳統的三維 重建技術，在點雲處理中採用PCL技術，能夠快速自動的變成各視點的拼接，重建效率高； 測量效率高，具有很強的實用性和廣闊的應用前景。
【專利附圖】
【附圖說明】
[0018] 圖1是本發明實施例中以某一人物模型為例視點1下的模型圖。
[0019] 圖2是本發明實施例中以某一人物模型為例視點2下的模型圖。
[0020] 圖3是本發明實施例中以某一人物模型為例視點3下的模型圖。
[0021] 圖4是本發明實施例中以某一人物模型為例視點4下的模型圖。
[0022] 圖5是本發明實施例中以某一人物模型為例整體模型封裝圖。
【具體實施方式】
[0023] -種利用單目結構光和電動二維旋轉平臺快速獲取未知物體的圖像信息及三維 模型的測量方法，包括以下步驟： (1)快速重建：首先標定出相機與投影儀的內外參數，根據格雷碼與相移結合的方法， 利用單目結構光中的短焦具有快速獲取圖像信息的功能，對未知物體進行三維重建，由三 角測量原理得到某一視點的點雲數據，剔除雜點，得到該視點下的三維模型，具體包括如下 步驟： (1. 1)內外參數的標定：根據張正友標定方法，利用matlab標定工具箱，標定出投影儀 和短焦相機的內參數矩陣，再利用棋盤格標定出短焦與投影儀的R(旋轉)、T(平移）矩陣， 從而標定得到內外參數； (1.2)根據格雷碼與相移結合的方法，利用雙目結構光中的短焦對未知物體進行三維 重建，得到其點雲數據。
[0024] (1. 3)優化模型表面質量：通過平滑算法進行了去噪，優化測量的三維數據，提高 三維數據的精度。
[0025] (2)視點規劃：用戶將待重建物體放在WNSC400 (電動二維旋轉臺）上，利用相機 獲取該視點下的幾何信息及拓樸信息，通過比較左右參考位置下所獲可視面積的大小，取 大者所在位置作為下一視點的位置，最後通過規劃自終止判據，判斷是否完成重建，具體包 括以下步驟： (2. 1)WNSC400初始化：設置好電動二維旋轉臺的初始參數，計算其脈衝當量，旋轉一 定角度所需的脈衝量； (2. 2)提取視點1下的點雲信息：將物體置於WNSC400上，重建出三維點雲信息，將重 建出的點雲，轉化為pcd格式，利用PCL點雲庫對點雲進行直通濾波，分離出視點1下的有 用的最小點雲，接下再使用濾波器進行濾波，移除離散點，最後通過歐氏聚類將經過濾波後 的點雲分割出幾類點雲數據，設置閥值，得到點雲量大者為視點1下的有用點雲數據； (2. 3)確定下一個最優視點（NVB):由2. 2得到的點雲數據，分析前一視點的幾何及拓 樸信息，以得到最大的可視面積為下一個最優視點； (2. 4)重建整體模型：得到各個最優視點，重建各視點的三維點雲，利用角度判據作為 規劃自終止判據，即將n次規劃後所獲得數據對齊到初始視點坐標系下(工作檯中心與上 一視點已獲得模型邊界、當前視點所獲得模型別一邊界連線所成角定義為邊界夾角)，滿足 角度判據（即邊界夾角之和大於36CT),則認為完成對物體表面的三維重建，得到整體模型。
[0026] (3)配準點云：將視點1-n重建出來的三維點雲，將點雲數據轉化到視點1坐標系 下，利用PCL點雲庫讀取點雲，進行ICP(迭代最近點算法）迭代，當迭代趨於穩定，配準結 束，去除重合區域點雲，分析重建出的點雲數據，獲得物體的完整三維模型； 下面結合附圖及具體實施例對本發明作進一步說明。
[0027] 1、如圖1所示，將雙目結構光系統與WNSC400放入合適位置，將待重建物體（以人 物模型為例說明）放入WNSC400上方。
[0028] 2、分別標定相機與投影儀，獲取它們的內部參數：焦距、主點坐標、畸變參數，同時 標定相機與投影儀的外部參數，得到它們間的相互R(旋轉），T(平移）矩陣。
[0029] 3、將待重建物體放在WNSC400上，根據格雷碼與相移相結合的方法，利用三角測 量原理，用短焦對物體快速完成重建。
[0030] 4、對3所得到的點雲，通過平滑算法進行了去噪，優化測量的三維數據，提高三維 數據的精度。
[0031] 5、分析進行預處理的點雲得到其幾何信息及拓樸信息，通過比較左右參考位置下 所獲可視面積的大小，取大者所在位置作為下一視點的位置，根據規劃自終止判據，直到所 有視點都完成重建。
[0032] 5. 1將得到的點雲信息，轉化為pcd格式，利用PCL進行直通濾波，分離出視點1下 的有用的最小點雲，接下再使用濾波器進行濾波，移除離散點，最後通過歐氏聚類將經過濾 波後的點雲分割出幾類點雲數據，設置閥值，得到點雲量大者為視點1下的有用點雲數據 (如圖1所示為視點1下的點雲數據）； 5. 2由5. 1得到的點雲數據，分析前一視點的幾何及拓樸信息，以得到最大的可視面積 為下一個最優視點； 5. 3由5. 2計算所得到各個最優視點，調整WNSC400重建各視點的三維點雲，利用角度 判據作為規劃自終止準則，重建出整體模型。
[0033] 6、將視點1-4重建出來的三維點雲（圖1-4)，將點雲數據轉化到視點1坐標系下， 利用PCL讀取，進行ICP迭代，當迭代趨於穩定，配準結束，去除重合區域點雲，分析重建出 的點雲數據，得到該人物的三維測量模型(如圖5如示)。
[0034] 以上是本發明的較佳實施例，凡依本發明技術方案所作的改變，所產生的功能作 用未超出本發明技術方案的範圍時，均屬於本發明的保護範圍。
【權利要求】
1. 一種利用單目和二維平臺獲取物體圖像信息及三維模型的方法，其特徵在於，包括 以下步驟： (1) 快速重建：首先標定出相機與投影儀的內外參數，根據格雷碼與相移結合的方法， 利用單目結構光中的短焦獲取圖像信息，對未知物體進行三維重建，由三角測量原理得到 某一視點的點雲數據，剔除雜點，得到該視點下的三維模型； (2) 視點規劃：用戶將待重建物體放在二維旋轉臺上，利用相機獲取該視點下的幾何信 息及拓樸信息，通過比較左右參考位置下所獲可視面積的大小，取大者所在位置作為下一 視點的位置，最後通過規劃自終止判據，判斷是否完成重建； (3) 配準點云：將視點1-n重建出來的三維點雲，將點雲數據轉化到視點1坐標系下， 利用PCL點雲庫讀取點雲，進行ICP迭代最近點算法迭代，當迭代趨於穩定，配準結束，去除 重合區域點雲，分析重建出的點雲數據，獲得物體的完整三維模型。
2. 根據權利要求1所述的利用單目和二維平臺獲取物體圖像信息及三維模型的方法， 其特徵在於，所述步驟（1)包括以下步驟： (1. 1)內外參數的標定：根據張正友標定方法，利用matlab標定工具箱，標定出投影儀 和短焦相機的內參數矩陣，再利用棋盤格標定出短焦與投影儀的R (旋轉)、T (平移）矩陣， 從而標定得到內外參數； (1.2)根據格雷碼與相移結合的方法，利用單目結構光中的短焦快速對未知物體進行 三維重建，得到其點雲數據； (1. 3)優化模型表面質量：通過平滑算法進行了去噪，優化測量的三維數據，提高三維 數據的精度。
3. 根據權利要求1所述的利用單目和二維平臺獲取物體圖像信息及三維模型的方法， 其特徵在於，所述步驟（2)採用WNSC400電動二維旋轉臺，包括以下步驟： (2. 1)WNSC400初始化：設置好電動二維旋轉臺的初始參數，計算其脈衝當量，旋轉一 定角度所需的脈衝量； (2. 2)提取視點1下的點雲信息：將物體置於WNSC400上，重建出三維點雲信息，將重 建出的點雲，轉化為pcd格式，利用PCL點雲庫對點雲進行直通濾波，分離出視點1下的有 用的最小點雲，接下再使用濾波器進行濾波，移除離散點，最後通過歐氏聚類將經過濾波後 的點雲分割出幾類點雲數據，設置閥值，得到點雲量大者為視點1下的有用點雲數據； (2. 3)確定下一個最優視點（NVB):由步驟（2. 2)得到的點雲數據，分析前一視點的幾 何及拓樸信息，以得到最大的可視面積為下一個最優視點； (2. 4)重建整體模型：得到各個最優視點，重建各視點的三維點雲，利用角度判據作為 規劃自終止判據，即將n次規劃後所獲得數據對齊到初始視點坐標系下，滿足角度判據，則 認為完成對物體表面的三維重建，得到整體模型。
【文檔編號】G06T17/00GK104408762SQ201410595963
【公開日】2015年3月11日 申請日期:2014年10月30日 優先權日:2014年10月30日
【發明者】何炳蔚, 趙強, 李海榕, 雷阿唐 申請人:福州大學