基於深度攝像頭的隧道三維建模系統及方法與流程

2023-10-08 12:30:49 3

本發明涉及一種基於深度攝像頭的隧道三維建模系統及方法。

背景技術：

作為一個科技、經濟各方面飛速發展的國家，在城市建造的過程中必然會修建更多的隧道、地鐵來滿足交通上的需求。當然，為了避免事故的發生，為了更好地預測隧道的情況，讓隧道挖掘的過程進展的更加順利，我們利用深度攝像頭對隧道進行三維建模，從而使得整個隧道的情況可以在三維空間上呈現出來，讓我們對隧道信息有更為直觀的認識，從而避免一些意外事故的發生。

目前來講，深度攝像頭的應用範圍比較廣泛。它的主要開發原因是用於當下十分流行的體感遊戲，能夠使用戶有更好的體驗。然而隨著技術的不斷進步，深度攝像頭在虛擬實境方面也可以有非常新奇的應用，一些時裝店將這種虛擬技術運用到試衣間上，客戶無需試穿即可觀察到真實的試衣效果；在工程上，應用範圍主要包括小規模場景(物體)的重建、物體設施的3D掃描列印；以及將低成本的深度攝像頭添加到機器人領域中去，並利用機器人進行一些不需要很高精度的危險地區或者地底高空等惡劣環境下的測量和勘察作業；在醫學方面，深度攝像頭的應用思路也是相當廣泛，瑞士Bern大學的研究項目使用開發深度攝像頭系統，使用音控和體感軟體來代替醫生對屍體進行解剖，華盛頓大學實驗室則研究出可以通過對深度攝像頭的改造來控制外科醫生的機械手臂，並利用其靈敏的負反饋功能來控制手臂執行手術，或是通過捕捉術後病人的身體運動情況來獲得當前病人的康復狀況等等。

在隧道探測方面，超前地質預報主要是使用工程物探方法，即對隧道物性參數進行分析的方法。由於各種物探方法都存在自己的應用範圍和探測精度，因此我們常常根據探測對象所具有的不同物理特徵採用兩種或兩種以上有效的物探方法進行探測，並對結果進行綜合分析。從多年的工程實踐努力和經驗來看，在隧道超前地質預報工作的工作物探方法主要有彈性波反射法、電磁波反射法、紅外探測法、直流電法等方法，這幾種方法都是對全斷面隧道掘進機掘進前方和側前方各方面地質信息進行探測分析，對於全斷面隧道掘進機後方的情況基本上兼顧的比較少。隧道三維建模技術可以實現對於複雜隧道表徵、斷面以及局部斷面的處理，同時一些系統設計可以實現對隧道外形的三角網格化，表面積計算以及隧道輪廓線偏離計算，可以展現出紅外溫度數據，任意橫斷面截圖以及一些局部細節的展示。更進一步地，通過軟硬體結合的方式，系統可以對隧道變形進行檢測，並對其原因進行分析。檢查的準確度也比較高(25m之內+/-2mm)。可以掌握隧道狀態劣化動態信息，並且系統操作多是比較簡單的，不受檢查人員技術水平限制。

綜上所述，在隧道場景成像過程中需要克服一些已知的困難，一方面要對大規模的場景進行重建是需要佔用相當大的內存，並且重建過程需要耗費相當多的時間，另一方面在隧道惡劣環境中色彩信息並不是很輕易的就可以提取到，由於硬體條件設施的不足，需要在後期色彩信息處理的過程中花費更多的精力。並且隧道中環境比較差，一些比較敏感的裝備在隧道中經常使用會不可避免的降低壽命，因此需要增加良好的保護措施。

技術實現要素：

本發明為了解決上述問題，提出了一種基於深度攝像頭的隧道三維建模系統及方法，本發明將深度攝像頭搭載到全斷面隧道掘進機上並加以機械旋轉裝置和保護裝置，在全斷面隧道掘進機的掘進過程中，將其前進過程中所經歷的隧道斷面一一拍攝下來。通過對隧道視覺信息的處理、分析來獲取當前隧道中的整體情況。

為了實現上述目的，本發明採用如下技術方案：

一種基於深度攝像頭的隧道三維建模系統，包括深度攝像頭裝置、旋轉裝置，所述深度攝像頭裝置包括麥克風組件、紅外攝影機、彩色攝像頭和紅外攝像頭，所述深度攝像頭裝置搭載在所述旋轉裝置上，所述旋轉裝置帶動深度攝像頭裝置進行豎直方向上的180°的旋轉，採集隧道上半周的圖像；

所述旋轉裝置上設置有角度傳感器，檢測旋轉裝置的旋轉角度，同時旋轉裝置上設置有仰角控制器，控制深度攝像頭裝置的採集角度。

所述深度攝像頭裝置設置於支架上，所述支架固定於旋轉裝置上。

所述深度攝像頭裝置設置有防水外殼。

基於上述系統的建模方法，包括以下步驟：

(1)獲取深度攝像頭裝置採集的深度信息和圖像信息；

(2)對採集到的圖像進行採樣、浮點化、平滑化處理，從圖像中獲取深度攝像頭裝置的移動軌跡；

(3)建立大規模虛擬空間，按照採樣間隔將採集好的信息融合到虛擬空間中，形成三維模型。

所述步驟(1)中，搭載在全斷面隧道掘進機上的深度攝像頭隨著機器的前進二獲取隧道的深度和彩色信息，其中重複拍攝到的部分可作為照片信息的優化，即為不斷地添加隧道信息，並不會設置冗餘度的下限。

所述步驟(2)中，按照閾值設置對深度影像數據進行轉化，在閾值範圍之外的數據設置距離為無效。

所述步驟(2)中，將深度數據進行採樣處理，增加處理的速度，同時對場景內的重建物體進行處理，對移動的小型物體可以通過平滑化處理優化其重建模型，同時通過平滑算法進行了去噪，也處理了某些場景內的動態變化，原始影像中沒有表現出來的任何隔斷或者空也會被填充，隨著攝像頭更接近物體，通過使用新的更高精度的數據，物體表面會被持續優化。

所述步驟(2)中，通過使用交互型的配準算法在攝像頭移動時不斷獲取其姿勢，這樣系統始終知道當前攝像頭相對於起始幀時攝像頭的相對姿勢。對於姿勢追蹤一般採用兩種配準算法。第一種是使用將從重建對象計算得來的點雲與從深度影像數據中獲取的點雲進行配準，或者單獨的使用比如對同一場景的不同視場角的數據進行配準；第二種算法可以在對重建立方體進行處理時能夠獲得更高精度的追蹤結果，但是對於場景內移動的物體該算法可能不夠健壯，如果場景中的追蹤被中斷，那麼需要將攝像頭的位置和上一次的攝像頭位置對齊才能繼續進行追蹤。

所述步驟(2)中，根據深度攝像裝置的移動速度設置平滑化參數的大小。

所述步驟(3)中，將從已知姿勢攝像頭產生的深度影像數據融合為代表攝像頭視野範圍內的景物的立方體。這種對深度數據的融合是逐幀，連續進行的，最後，從傳感器視點位置對重建立方體進行光線投射，採用光線投影算法計算得到的點雲，再計算其法向量，用帶法向量的點雲和下一幀的輸入圖像配準，計算下一幀輸入圖像的位姿。如此是個循環的過程。重建的點陣雲能夠產生渲染了的三維重建立方體。

所述步驟(3)中，通過設置採樣步長的大小來設置模型的精度。注意採樣步長的設置範圍必須大於0並且小於最小體積軸體素解析度，超出此範圍的採樣步長值將會導致重建後的三維模型缺少曲面或曲面上的細節。

所述步驟(3)中，此系統的重點在於實現大規模的場景建模，由於隧道模型的特殊性，因此嘗試在隧道挖掘前進的方向上設置比較大範圍，因為GPU內存的限制，系統採用利用CPU內存建模。在建模過程中採用離線處理的方式。算法中添加了迴環檢測和迴環優化，根據迴環優化的結果，更新點的坐標，使得迴環的地方兩次重建的可以對齊。當相機旋轉或者移動的距離超過一定閾值的時候，將當前幀加入做關鍵幀並且進行迴環檢測，迴環檢測首先通過尋找匹配的關鍵幀，如果存在匹配的圖像，將在內存中存儲的匹配圖像的SURF特徵點和深度圖像重新索引出來。給定兩幀圖像的SURF點描述子Ui和Um，用FLANN查找算法來建立SURF的匹配關係，如果能夠匹配上的SURF點數量不超過設定閾值，則認為這不是一個有效的匹配，通過匹配建立SURF的匹配關係，通過上一步建立的SURF間的匹配，用RANSAC算法估計兩幀之間的位姿，得到位姿後再用LM算法優化重投影誤差優化相機位姿。用ICP再優化上述算法計算得到的位姿，如果匹配點之間的誤差小於設定閾值，則認為這是一個有效的迴環。

本發明的有益效果為：

(1)可以將隧道三維模型整體呈現出來，讓用戶對於整個隧道有更直觀的認知與感受；

(2)通過對於隧道相關彩色信息的分析，也可以觀察到隧道中整體的地質狀況，如裂隙的走向等，從而進行更有針對性的科學施工。整體模型對分析巖機關係驗證相關參數對於全斷面隧道掘進機產生的影響有一定的作用。

附圖說明

圖1是本發明的示意圖剖面圖。

圖2是本發明的深度攝像頭裝置圖。

圖3是本發明設計流程圖。

其中，1表示深度攝像頭，2表示機械旋轉裝置，3表示隧道表面，4表示外殼保護裝置，9表示麥克風陣列，10表示紅外攝影機，11表示彩色攝像頭，12表示紅外攝像頭，13表示仰角控制馬達，14表示支架。

具體實施方式：

下面結合附圖與實施例對本發明作進一步說明。

由於場景規模較大，而實時處理的方式是相當耗費GPU內存的，因此我們採用離線處理數據的方法，即先採集到隧道內的所有信息，然後在此基礎上對數據進行處理，從而避免內存不夠的情況。其中，離線處理也分為兩種模式，一種是先將小範圍的模型建立起來，然後將所有的小規模場景模型一一拼接起來，另外則是先獲取到所有的數據，對數據統一做分析處理，計算出最後的三維模型。我們採用的是後者的方法，因為對於拼接模型來說，其中肯定會存在一些誤差，這比後者的精度要差了不少。深度攝像頭通過對從多個角度獲取到的深度影像數據進行融合，來重建物體的單幀光滑表面模型。當傳感器移動的時候，照相機的位置以及姿勢信息被記錄下來，這些信息包括位置和朝向。由於我們知道了每一幀圖像的姿勢以及幀與幀之間的關聯，多幀從不同角度採集的數據能夠融合成單幀重建好的定點立方體。我們可以想像下在空間中的一個巨大的虛擬立方體，裡面是我們現實世界的場景，當我們移動傳感器的時候，深度數據信息被不斷加入。

首先，將深度攝像頭搭載到全斷面隧道掘進機機器上，並利用硬體旋轉裝置，在全斷面隧道掘進機前進過程中掃描進行180°掃描隧道上半區域全景，因為全斷面隧道掘進機的前進速度要遠小於深度攝像頭的掃描速度，並且深度攝像頭的重複掃描更有利於場景的真實信息的重建，且深度攝像頭相機的真實移動軌跡在後面也會有算法進行計算，因此我們可以忽略考慮深度攝像頭攝像機的真實和移動軌跡是否規則。

進一步地，利用深度攝像頭的紅外攝像頭獲取到場景的相關深度信息，此處的深度信息即能體現出當前所拍攝到的物體具體相機的位置，另外獲得其彩色信息並存儲下來。

進一步地，對照片信息進行處理，按照閾值設置對深度影像數據進行轉化，在閾值範圍之外的數據設置距離為無效，這樣可以將一些特殊的物體排除在三維重建之外。

進一步地，對處理後深度數據進行配準，包括了計算出相機的最新位置，軌跡位置的獲取可根據軌跡計算算法來計算，此參數的計算可以使得系統了解攝像頭相對於起始幀時攝像頭的位置，以及對數據進行平滑化處理的過程，平滑化參數的大小可以根據相機移動的速度來決定，從而能確保信息細節保留的多少。

進一步地，建立虛擬立方體空間，此處的虛擬空間對於Y軸的要求，也即隧道的前進方向比較大。大規模場景建模的難度主要在這個方面，由於實時建模對於內存的要求比較大，因此採用了離線處理的方式。通過將平滑去噪後的深度浮點型數據以及相機位置信息進行處理，當然也處理場景中一些其他微小的動態變化，或是小物體的移動或消失，後從傳感器視點位置進行對重建立方體的光線投射，重建後的點著雲序列可以渲染出所需要的三維重建模型。

進一步地，通過設置採樣步長的大小來設置模型的精度，採樣步長的大小要考慮到內存的應用以及程序的運行時間和最後模型的精緻程度等方面。

本發明搭載於全斷面隧道掘進機上。

如圖1、圖2所示，全斷面隧道掘進機搭載的深度攝像頭三維成像系統，包括能夠將轉動攝像頭的機械裝置，能夠將隧道的整體空間進行三維建模。整個系統包括是深度攝像頭可以旋轉能夠拍攝到隧道上半周的機械旋轉裝置，保護攝像頭的外殼裝置，以及可以對隧道場景能夠三維建模的深度攝像頭。通過設計的三維成像方法進行對隧道場景的三維建模。

轉動攝像頭的機械裝置，可以實現根據全斷面隧道掘進機前進的速度來確定自身旋轉的速度，確保不會漏掉拍攝隧道空間的某些位置。

由於地下隧道空間多水、潮溼的情況，一般裝置搭載在全斷面隧道掘進機設施上很容易被惡劣的外界條件所影響，導致使用壽命的減短，因此我們採用保護裝置將系統中比較敏感的攝像頭裝置保護起來，而且此外殼裝置並不會影響攝像頭的拍攝效果。

通過深度照片成像探測出隧道相對於攝像頭的距離從而能夠建造出完整的隧道三維模型。

上述雖然結合附圖對本發明的具體實施方式進行了描述，但並非對本發明保護範圍的限制，所屬領域技術人員應該明白，在本發明的技術方案的基礎上，本領域技術人員不需要付出創造性勞動即可做出的各種修改或變形仍在本發明的保護範圍以內。