同時具備攝影測量和三維掃描功能的手持式大尺度三維測量掃描儀系統的製作方法

2023-06-23 03:17:01 1

本發明屬於三維測量掃描設備，尤其涉及一種手持式三維測量掃描儀系統。

背景技術：

近年來隨著計算機硬體性能的不斷增加，以及通訊速度的不斷提升，使得三維掃描技術也隨之不斷的迭代更新，從接觸式，到固定拍照式再到手持式。手持三維掃描技術主要是從固定式掃描技術的基礎上發展而來，手持式三維掃描儀區別於固定式三維掃描的主要特點是掃描儀和被掃描物體之間相對位置可以動態任意變化，即掃描儀需要實時知道自己與被掃描物體的相對空間位置，同時再利用立體視覺原理主動或被動的獲得被測物體表面的三維輪廓數據。

目前市面上的手持三維掃描儀主要分為面向消費領域的手持白光式三維掃描儀和面向工業鄰域的手持式雷射三維掃描儀兩大類，前者是利用記錄和匹配物體表面的幾何特徵或者紋理特徵來獲得掃描儀和被掃描物體的相對空間位置(如專利200880119267.5《組合式目標捕獲系統和顯示設備以及相關方法》中所描述的系統)；後者是通過識別匹配貼附在掃描物體表面的標記點的拓撲來獲得掃描儀和被掃描物體的相對空間位置。在專利us7912673《auto-referencedsystemandapparatusforthree-dimensionalscanning》中提出了一種基於標記點拼接定位的雙攝像頭三維掃描系統就是一種手持式雷射三維掃描儀的實現方法。該類方法利用實時拍攝獲得的若干標記點信息與之前獲得的標記點集合進行匹配、拼接、累積更新來實現在掃描儀和被測物體的位置變化後其獲得的被測物體三維輪廓數據轉換到原始的物體坐標系，從而實現手持方式的連續的三維掃描。從理論上而言，該方法可以掃描無限大的物體，但由於新獲得的標記點在拼接時會產生誤差導致在掃描的面積不斷的增加時該誤差被不斷的累積。一般而言，這種手持三維掃描儀的每米的累積誤差在0.1～0.3mm左右，因此在掃描的面積大於10m2的時候(比如汽車乃至飛機大小的物體)，累積的誤差可能就到達毫米級別。在另一個專利201410794661.6《一種基於標記點軌跡跟蹤的手持雷射三維掃描方法及設備》中提出的一種基於標記點跟蹤定位的單攝像頭三維掃描系統也是一種形式的手持式雷射三維掃描儀的實現方法，該專利提出了利用單個攝像頭視野中跟蹤已知的標記點來定位儀器與被測物體的空間位置關係，再識別獲得未知標記點的三維坐標，並加入標記點庫。該方法巧妙的實現了單相機的手持三維掃描，相比專利200680014069.3《三維掃描自動參考系統》的方法提高了系統的運行效率，降低了硬體的性能要求，但對於測量誤差的累積卻依舊沒有改善——在新的標記點加入時誤差也隨即被引入了。這些基於掃描時標記點累積來定位儀器和被掃描物體的手持三維掃描儀在掃描大型物體時，必須要另外的手段來控制其的累積誤差。

目前比較有效的方法是用全局攝影測量系統配合手持三維掃描儀來進行大尺度物體的三維掃描。在三維掃描前，利用全局攝影測量系統來獲得物體表面所有標記點的三維坐標，再將該標記點集合導入到手持三維掃描儀的軟體中。在掃描時掃描儀獲得的標記點直接與該事先導入的標記點集合進行匹配，得到當時掃描儀與被掃描物體的空間位置關係，最後通過識別投影到物體表面的結構化光線來獲得物體輪廓的三維數據。在上述過程中，被掃描物體的表面標記點庫不是通過手持式掃描儀在掃描過程中不斷的邊識別拼接邊添加，而是事先通過全局攝影測量而得到的，因此消除了通過持續的匹配拼接而導致的累積誤差。

技術實現要素：

為了克服已有三維掃描方式的全局攝影測量和三維掃描分離、測量過程繁雜的不足，本發明提供了一種兼有全局攝影測量和三維掃描功能、硬體集成度高、操作使用簡便、高性價比的手持式大尺度三維測量掃描儀系統，實現大型工件的攝影測量和三維掃描的連貫進行，並最終獲得既能保證精度又能實現大面幅三維輪廓數據。

本發明解決其技術問題所採用的技術方案是：

一種同時具備攝影測量和三維掃描功能的手持式大尺度三維測量掃描儀系統，所述系統包括兩個位置固定的攝像頭、至少一個圖案投影器、攝影測量模塊和三維掃描模塊，所述的兩個攝像頭中的至少一個攝像頭為既用於攝影測量也用於三維掃描的復用攝像頭；所述攝影測量模塊用於使用所述復用攝像頭對被測物件進行全局攝影測量並得到物體表面的標記點的三維坐標；所述三維掃描模塊用於利用得到的標記點作為被測物體的全局定位信息，使用所述兩個攝像頭和一個圖案投影器對被測物體進行三維掃描並得到物體表面的三維輪廓數據。

進一步，所述的兩個攝像頭中，一個攝像頭為復用攝像頭，另一個攝像頭為僅用於三維掃描的單用攝像頭。這是常用的選擇方案，當然，如有必要，兩個攝像頭也可以都採用復用攝像頭。

更進一步，所述攝影測量模塊和三維掃描模塊使用兩種不同波段的補光光源對被測物體表面進行補光，用於照亮放置或者粘貼在物體表面的標記點；所述的攝影測量模塊採用波段1的補光光源對被測物體進行補光，而所述的三維掃描模塊採用波段2的補光光源對被測物體進行補光；所述的復用攝像頭採用雙波段濾光片濾除波段1和波段2之外的其他光線，所述的單用攝像頭採用單通濾光片濾除波段2之外的其他光線；所述的圖案投影器以波段2在被測物體表面投射出圖案。

優選的，所述波段1為紅外波段，所述波段2為紅光波段。所述攝影測量模塊採用紅外波段，即復用攝像頭相應的波段1補光光源和復用攝像頭採用的雙波段濾光片的波段1為紅外波段；三維掃描模塊採用紅光波段，即復用攝像頭相應的波段2補光光源和復用攝像頭採用的雙波段濾光片的波段2以及單用攝像頭的補光光源和濾光片為紅光波段。當然，也可以選擇其他不同的波段。

再進一步，在所述攝影測量模塊工作時，所述的復用攝像頭採用相對較高的默認解析度；在所述三維掃描模塊工作時，所述復用攝像頭採用與所述單用攝像頭相同或相近的相對較低的解析度。

優選的，所述復用攝像頭通過像素合併的方式或感興趣區域roi的方式來對其解析度進行調節。當然，也可以採用其他方式。

所述的攝影測量模塊的工作步驟是：1)在被測物體的表面放置含有編碼信息的編碼標記點、不含編碼信息的非編碼標記點以及兩端為編碼標記點的已知長度的標尺；2)利用所述的復用攝像頭從不同的位置和角度對被測物體進行拍攝獲得一組原始圖片；3)將原始圖片輸入至第一2d圖像提取器，獲得每幅圖像中的編碼標記點和非編碼標記點的圖像二維坐標；4)通過第一3d重構器對編碼標記點及標尺信息進行三維重建，得到每個編碼標記點的在統一的世界坐標系下的空間三維坐標以及每幅圖像的外方位；5)利用第一2d圖像提取器所獲得的非編碼標記點的圖像二維坐標和該圖像的外方位，通過第二3d重構器計算獲得非編碼標記點在所述世界坐標系下的三維坐標。

所述三維掃描模塊的工作步驟是：1)將兩個攝像頭同時獲得的二維圖像輸入至第二2d圖像提取器，獲得每幅圖像中的非編碼標記點的圖像二維坐標以及圖案投影器所投射到被測物體表面的特徵點的圖像二維坐標；2)將兩幅同步獲得的圖像中的非編碼標記點的圖像二維坐標及已知的兩個相機的位置關係輸入至第三3d重構器以獲得當前儀器坐標系下的當前非編碼標記點的三維坐標；3)將上一步獲得的儀器坐標系下的當前非編碼標記點的三維坐標輸入至標記點匹配器，所述標記點匹配器將輸入的儀器坐標系下的標記點三維坐標拓撲特徵與所述攝影測量模塊獲得的非編碼標記點庫進行匹配，從而得到所述世界坐標系下的當前非編碼標記點的三維坐標，進一步獲得當前儀器坐標系轉換到世界坐標系rt轉換矩陣；4)第二2d圖像提取器所獲得的圖案投影器所投射到被測物體表面的特徵點的圖像二維坐標輸入至第四3d重構器，計算獲得被測物體表面在儀器坐標系下的三維點雲坐標數據；5)利用步驟3得到的rt轉換矩陣通過坐標轉換器將上一步驟輸出的三維點雲從儀器坐標系轉換到世界坐標系。

所述的三維掃描模塊既可以利用所述的攝影測量模塊所獲得的物體表面標記點的三維坐標表信息作為已知的被測物體標記點庫，在三維掃描時對拍攝獲得的物體表面的標記點與標記點庫進行匹配而獲得掃描儀和被測物體的空間位置定位，再對圖案投影器投射到被測物體表面的圖案進行識別而獲得被測物體表面的三維輪廓數據；三維掃描模塊也可以使用兩個攝像頭通過不斷的識別、拼接並添加標記點方式來實時動態構建標記點庫，並同時將當前獲得的標記點與標記點庫進行匹配而獲得掃描儀和被測物體的空間位置定位，再對圖案投影器投射到被測物體表面的圖案進行識別和坐標變換從而獲得被測物體表面的三維輪廓數據。

本發明的技術構思為：最大程度的復用硬體資源，實現大型工件的攝影測量和三維掃描的連貫進行，並最終獲得既能保證精度又能實現大面幅三維輪廓數據。最直接的方法是系統採用三個攝像頭，其中兩個用於三維掃描，另一個專門用於攝影測量，但這樣會導致無論是在攝影測量階段和三維掃描階段，都會有攝像頭空閒，整個系統的重量會因此變得不適合手持操作，也會增加整體的硬體成本。為採用更少的硬體來實現攝影測量和手持三維掃描的融合，兩個攝像頭是比價性價比很高的可行方案，但攝影測量和三維掃描對攝像頭的要求並不十分一致。

由於攝影測量需要在每幅拍攝的圖片中包含越多的編碼標記點、每個標記點的解析度越高就會有更好的整體精度，因此需要的很高解析度的攝像頭作為復用攝像頭，一般需要300萬像素以上會比較適合。但復用攝像頭在三維掃描時卻並不用如此高的解析度，其原因一是因為手持掃描時離被測的距離較攝影測量近，二是現階段數據傳輸和處理的硬體性能還很難達到兩路均為較高的解析度的要求，目前市面上的雙攝像頭的手持掃描儀的攝像頭解析度在200萬以下。為實現攝影測量和三維掃描復用攝像頭，可以利用復用攝像頭在三維掃描的時候用像素合併的功能，即高解析度的復用攝像頭的解析度調整成與單用攝像頭相同或者相近的解析度；而在攝影測量時使用其默認的高解析度進行測量。

由於攝影測量通常需要離被測物體更遠的距離以獲得更大的拍攝面幅，一般在1.5m到4.5m之間；而手持三維掃描時卻需要離被測物體相對近一些以獲得更好的掃描細節，一般在0.2m到0.5m之間。也就是說復用攝像頭在三維掃描時的對焦距離要小於攝影測量時的對焦距離，這對於掃描儀的攝像頭必須在出廠前將其鏡頭對焦距離和光圈等參數都已經調節固定並標定出內參而言是很難通過機械、硬體或者軟體的方式來實現在掃描測量時根據用途進行修改。為達到這個目的，一個很有效的方法是根據同一個鏡頭在定焦定光圈的前提下波長越長對焦的距離也越遠的原理(當然，目前的鏡頭的製作工藝一定程度上消除了不同波段光線的偏移，但對於紅外波段而言，補償程度會小些)，利用兩種不同波段來實現兩種拍攝對焦距離，從而實現攝像頭的復用。由於攝影測量通常需要更遠的距離，在本實例中採用850nm的紅外波段來進行拍攝，由850nm波段的led對被掃描物體進行補光，而復用攝像頭通過可以穿透850nm波段的濾光片來獲得現場圖片；而三維掃描時卻需要離被測物體相對較近，因而本實例中採用660nm的紅色雷射器來作為圖案投影器的光源，由660nm的led對被掃描物體進行補光，而兩個攝像頭通過可以穿透660nm波段的濾光片來獲得現場圖片。由於復用攝像頭既用於攝影測量，又用於三維掃描，因此其配置的濾光片需要是850nm和660nm雙波段的雙通濾光片，以及該兩種波段的led進行補光。

本發明的有益效果主要表現在兼有全局攝影測量的大尺寸精度保證和三維掃描的細節特徵高還原度、簡化測量掃描過程、硬體集成度高。

附圖說明

圖1是同時具備攝影測量和三維掃描功能的手持式大尺度三維測量掃描儀系統的實現方式示意圖。

圖2是手持式大尺度三維測量掃描儀系統的功能模塊框圖。

圖3是手持式大尺度三維測量掃描儀系統的工作時序圖，其中，(a)是攝影測量時序；(b)是三維掃描時序。

圖4是標記點匹配示意圖，其中，(a)是儀器坐標系下的當前幀標記點集合；(b)是世界坐標系下的標記點庫。

具體實施方式

下面結合附圖對本發明作進一步描述。

參照圖1～圖4，一種同時具備攝影測量和三維掃描功能的手持式大尺度三維測量掃描儀系統，所述系統包括兩個位置固定的攝像頭、至少一個圖案投影器104、攝影測量模塊和三維掃描模塊，所述的兩個攝像頭中的至少一個攝像頭為既用於攝影測量也用於三維掃描的復用攝像頭101；所述系統具備既可以單獨工作又可以關聯工作的兩個功能模塊；所述攝影測量模塊用於使用所述復用攝像頭101對被測物件進行全局攝影測量並得到物體表面的標記點的三維坐標；所述三維掃描模塊用於利用得到的標記點作為被測物體的全局定位信息，使用所述兩個攝像頭和一個圖案投影器104對被測物體進行三維掃描並得到物體表面的三維輪廓數據。

進一步，所述的兩個攝像頭中，一個攝像頭為復用攝像頭101，另一個攝像頭為僅用於三維掃描的單用攝像頭102。這是常用的選擇方案，當然，如有必要，兩個攝像頭也可以都採用復用攝像頭。

更進一步，所述攝影測量模塊和三維掃描模塊使用兩種不同波段的補光光源對被測物體表面進行補光，用於照亮放置或者粘貼在物體表面的標記點；所述的攝影測量模塊採用波段1的補光光源對被測物體進行補光，而所述的三維掃描模塊採用波段2的補光光源對被測物體進行補光；所述的復用攝像頭採用雙波段濾光片濾除波段1和波段2之外的其他光線，所述的單用攝像頭採用單通濾光片濾除波段2之外的其他光線；所述的圖案投影器以波段2在被測物體表面投射出圖案。

優選的，所述波段1為紅外波段，所述波段2為紅光波段。所述攝影測量模塊採用紅外波段，即復用攝像頭相應的波段1補光光源和復用攝像頭採用的雙波段濾光片的波段1為紅外波段；三維掃描模塊採用紅光波段，即復用攝像頭相應的波段2補光光源和復用攝像頭採用的雙波段濾光片的波段2以及單用攝像頭的補光光源和濾光片為紅光波段。當然，也可以選擇其他不同的波段。

再進一步，在所述攝影測量模塊工作時，所述的復用攝像頭採用相對較高的默認解析度；在所述三維掃描模塊工作時，所述復用攝像頭採用與所述單用攝像頭相同或相近的相對較低的解析度。

優選的，所述復用攝像頭通過像素合併的方式或感興趣區域roi的方式來對其解析度進行調節。當然，也可以採用其他方式。

固定兩個攝像頭以及圖案投影器的骨架結構件103用於保證兩個攝像頭和圖案投影器的相對位置固定不變；圖案投影器104可以是工作在波段2上的單線或者多線的線狀雷射，多線雷射可以在每一幀產生更多的輪廓條紋從而提高掃描的效率，但必須需要特定的校驗機制來識別雷射線的序號(關於手持雷射三維掃描系統用於校驗多條雷射的方法在專利文獻201610824489.3《三維傳感器系統及三維數據獲取方法》中有詳細描述)；補光光源106為中心波段為波段2的led，補光光源105為中心波段為波段1的led，在攝影測量模塊工作時僅啟動復用攝像頭的上的波段1的led對現場進行補光操作，在三維掃描模塊工作時，復用攝像頭和單用攝像頭上的波段2的led同時對被測物體進行補光；107為波段1和波段2的雙通濾光片，108為中心波段為波段2的單通濾光片。通過補光led和濾光片以及圖案投影器的配合，可以實現系統在全局攝影測量時工作在波段1，而在三維掃描時工作在波段2。

如圖2所示，系統的攝影測量模塊是通過如下步驟獲得被測物體表面的非編碼標記點的三維坐標：1)在被測物體的表面放置含有編碼信息的編碼標記點、不含編碼信息的非編碼標記點以及兩端為編碼標記點的已知長度的標尺；2)利用所述的復用攝像頭從不同的位置和角度對被測物體進行拍攝獲得一組原始圖片201；3)將原始圖片201輸入至第一2d圖像提取器，獲得每幅圖像中的編碼標記點和非編碼標記點的圖像二維坐標211；4)通過第一3d重構器對編碼標記點及標尺信息進行三維重建，得到每個編碼標記點的在統一的世界坐標系下的空間三維坐標以及每幅圖像的外方位213；5)利用第一2d圖像提取器所獲得的非編碼標記點的圖像二維坐標212和該圖像的外方位213，通過第二3d重構器計算獲得非編碼標記點在所述世界坐標系下的三維坐標204。

如圖2所示，三維掃描模塊是通過如下步驟獲得被測物體表面三維輪廓數據：1)將兩個攝像頭同時獲得的二維圖像202和203輸入至第二2d圖像提取器，獲得每幅圖像中的非編碼標記點的圖像二維坐標以及圖案投影器所投射到被測物體表面的特徵點的圖像二維坐標221；2)將兩幅同步獲得的圖像中的非編碼標記點的圖像二維坐標221及已知的兩個相機的位置關係輸入至第三3d重構器以獲得當前儀器坐標系下的當前非編碼標記點的三維坐標222；3)將上一步獲得的儀器坐標系下的當前非編碼標記點的三維坐標222輸入至標記點匹配器，所述標記點匹配器將輸入的儀器坐標系下的標記點三維坐標222的拓撲特徵與所述攝影測量模塊獲得的非編碼標記點庫204(或者三維掃描模塊在掃描時不斷的識別、拼接並添加標記點方式來實時動態構建標記點庫)進行匹配，從而得到所述世界坐標系下的當前非編碼標記點的三維坐標，進一步獲得當前儀器坐標系轉換到世界坐標系rt轉換矩陣223；4)第二2d圖像提取器所獲得的圖案投影器所投射到被測物體表面的特徵點的圖像二維坐標輸入224至第四3d重構器，計算獲得被測物體表面在儀器坐標系下的三維點雲坐標數據225；5)利用步驟3得到的rt轉換矩陣223通過坐標轉換器將上一步驟輸出的三維點雲225從儀器坐標系轉換到世界坐標系。

如圖3所示，攝影測量時由用戶手動按一次按鈕後觸發復用攝像頭抓取一幀圖片，同時觸發波段1的led對被測物體進行閃爍補光，完成一次攝影測量的拍攝。三維掃描的工作時序是一個循環過程：首先系統根據設定的頻率對兩個攝像頭進行同步觸發，並同時觸發波段2的led對被測物體表面的非編碼標記點進行補光以及觸發圖案投影器對被測物體表面投射紋理圖案。

第一及第二圖像提取器的一種實現方式是提取二維圖像上的高光連通區域，再通過圖像匹配算法對識別出編碼標記點、非編碼標記點、圖案投影器所投射的輪廓線等特徵，再獲得圖像上的標記點的中心坐標和輪廓線的中心線的坐標集合。這在很多文獻可以找到詳細的論述，比如專利申請號201610824489.3《三維傳感器系統及三維數據獲取方法》、利用專利號zl201410794661.6《一種基於標記點軌跡跟蹤的手持式雷射三維道門方法及設備》都提到了相關的算法。

如圖4所示，標記點匹配器中的標記點匹配算法的一種實現方式是將第三3d重構器所輸入的在儀器坐標系下的每個標記點到周邊一定距離範圍內的相鄰標記點的有向線段l1～ln的關聯參數(該實例中為距離一個參數)統計到一個數據結構中{d1,d2..dn}，該數據結構的每個元素是按照其值的大小進行排列存儲。將該數據結構與之前攝影測量獲得的世界坐標系下的標記點集合{w1,w2..wm}的各個標記點的關聯參數按期值的大小進行排序的所有有序關聯參數集合的集合{{d11,d12..d1n}，{d21,d22..d2n}..{dm1,dm2..dmn}}的每個子集進行比對(由於是標量比較，所以可以在兩個坐標系下進行對比)，找到一個相關性最大的標記點k作為匹配標記點。評估相關性的方法可以簡單尋找最小的關聯參數差值的統計值：最小的統計值說明這兩個不同坐標系下的標記點與周圍標記點的拓撲形態最為相近。當然，需要設置一個關聯參數統計值的一個上限值h，如果則說明兩者拓撲有明顯差異，則判斷為不關聯。如果在攝影測量所獲得的標記點集合{w1,w2..wm}中無法找到任何的關聯標記點，則判斷當前幀無法匹配。在得到的可能的關聯標記點後再對其周圍的標記點進行同樣的評估，獲得其鄰域關聯標記點集合中的關聯標記點的個數來校驗該標記點是否確定為匹配標記點。為了提高匹配的準確性，關聯參數也可以將標記點自身的向量或者與周圍點的有向線段的角度也加入評估，但這樣會增加實時掃描時的計算資源的消耗。

全局攝影測量是十分成熟技術，比如德國專利de19925462《meβ-undprüfsystemsowiemeβ-undprüfverfahrenfüreinendreidimensionaleninzusammenhangmitdessenfertigung》、中國專利200710195582.3《目標點全局自動定位方法》等都對其或其的改進形式有詳細的描述。其主要的原理是利用相機從不同角度拍攝多幅照片，再對獲得的照片中識別出編碼標記點進行重構，獲得拍攝對應的這張照片時的相機外方位，系統中的第一3d重構器就是對應完成該該項功能；在得到相機的外方位後就可以對該幅照片中的非編碼標記點進行重建和匹配，系統中的第二3d重構器就是對應完成該功能。