一種基於雙目立體視覺系統的多視角三維重建方法與流程
2023-09-16 15:59:15 1
本發明涉及多鏡頭機器視覺
技術領域：
，具體涉及一種基於雙目立體視覺系統的多視角三維重建方法。
背景技術：
：三維重建是通過數位化手段對三維物體建立適合計算機表示和處理的數學模型。二維信息已經在眾多領域有應用，但隨著工業生產的要求，物體的二維信息已經不能滿足於人們的要求。三維重建技術能夠快速、精確的數位化表示三維物體。從而被廣泛應用在工業測量、3D列印、文物數位化、人機互動等眾多領域，其研究價值日益凸顯。三維數據採集通常有兩種方式。測量設備接觸被重建物體表面測量數據。主要優點是數據採集不受物體材質和光線影響，邊緣輪廓保存完整，精度較高。缺點是數據採集速度慢，效率低。另外一種設備主要利用光、聲波等物理特性。例如3D掃描儀、TOF相機等。其優點是測量速度快，效率高，缺點是易受光照和物體表面材質影響，輪闊邊緣保存不完整。三維重建技術能夠快速、精確的數位化表示三維物體。該技術對人類生活具有重要作用。研究價值日益凸顯，眾多學者和公司從事相關方向的研究。2011年微軟研究院開始進行一個名為KinectFusion項目，通過移動Kinect設備掃描物體進行實時三維模型重建。通過融合不同時序的深度數據，重建出目標物的三維模型，可以達到適時效果。2014年Google宣布了Tango項目，使用低成本的手機進行場景的3D掃描。其基本原理和KinectFusion相似。目前，現有的三維信息採集設備昂貴，三維重建操作相對複雜。基於雙目立體視覺系統三維重建可以在相同重建效果下，大幅度降低三維信息採集設備費用，目前基於雙目立體視覺系統三維重建市場應用少，具有較高的研究價值、應用價值和市場價值。技術實現要素：為了克服現有技術存在的缺陷，本發明提供一種基於雙目立體視覺系統的多視角三維重建方法，該方法具有三維信息採集設備低廉、過程簡單有效、工程實用價值高的優點。本發明採用如下技術方案：一種基於雙目立體視覺系統的多視角三維重建方法，包括如下步驟：S1根據被重建物體大小建立雙目立體視覺系統，所述雙目立體視覺系統由兩個型號及參數相同的攝像頭構成，兩個攝像頭平行固定，對兩個攝像頭進行立體標定，製作雙目立體視覺恢復三維信息查找表；S2雙目立體視覺系統採集被重建物體的視頻信息，對右攝像頭採集的視頻信息進行單應性變換，將單應性變換後的視頻信息和對應左攝像頭採集的視頻信息進行立體匹配得到被重建物體的視差，根據視差和三維信息查找表得到圖像中每個點的三維信息；S3對重建物體不同視角三點雲信息進行依次進行預處理、粗配準、精配準，獲取相鄰視角點雲之間的旋轉和平移，然後將不同視角三維點雲轉換到同一坐標系，完成對被重建物體多視角的三維重建。所述S1根據被重建物體大小建立雙目立體視覺系統，所述雙目立體視覺系統由兩個型號及參數相同的攝像頭構成，兩個攝像頭平行固定，對兩個攝像頭進行立體標定，製作雙目立體視覺恢復三維信息查找表，具體為：S1.1所述雙目立體視覺系統由兩個型號及參數相同的攝像頭構成，兩個攝像頭平行固定；S1.2對左右攝像頭進行標定，獲取左右攝像頭的光心坐標、焦距、內參、兩攝像頭之間的旋轉和平移參數，所述兩個攝像頭具體左、右攝像頭；S1.3然後在雙目攝像頭前方設置標定板，標定板與雙目攝像頭圖像平面平行，找到對應距離的視差，根據視差與距離之間的反比例關係，導出視差和深度的查找表即Z坐標和視差之間的關係查找表；S1.4所述視差和三維坐標點之間的關係為：X＝B(X1-O1)/(X1-X2)Y＝B(Y1-O1)/(X1-X2)Z＝Bf/(X1-X2)其中，Z為物體距離雙目攝像頭的深度值，B為雙目攝像頭的基線長度，X1,X2分別是特徵點在左右像素平面上的像素坐標值，f是雙目攝像頭的焦距，單位是像素；S1.5根據視差和三維點坐標之間的關係，可知X、Y坐標和Z坐標之間相差一個係數，由視差深度表，即可得到視差和X、Y坐標之間的查找表。所述S2中左右攝像頭採集被重建物體的視頻信息，對右攝像頭採集的視頻信息進行單應性變換，將單應性變換後的視頻信息和對應左攝像頭採集的視頻信息進行立體匹配得到被重建物體的視差視頻，根據視差視頻恢復物體的三維信息，具體為：S2.1左右攝像頭採集被重建物體的視頻信息，所述視頻信息幀率同步；S2.2對右攝像頭採集的視頻信息進行單應性變換，所述單應性變換包括單應性矩陣求解和圖像映射插值；S2.3將單應性變換後的視頻信息和對應左攝像頭採集的視頻信息進行立體匹配得到圖像中每個點的視差，根據視差值和三維信息查找表得到圖像中每個點的三維信息。所述S3中，預處理包括離散點的去除、點雲的降採樣及噪聲的去除。預處理後的三維點雲進行粗配準獲取相鄰視角三維點雲之間的初始旋轉矩陣和平移矩陣，已知相鄰視角三維點雲之間的初始旋轉矩陣和平移矩陣進行精配準，採用ICP迭代最鄰近點算法對相鄰視角進行精配準，得到最優旋轉矩陣和平移矩陣。所述粗配準採用基於二維RGB圖輔助三維點雲粗配準方案。本發明的有益效果：(1)本發明方法可以大幅度降低三維數據採集設備費用。(2)本發明方法可以實現有較大平移和旋轉相鄰視角的配準。(3)本發明方法簡單有效，具有很高的工程實用價值。附圖說明圖1是本發明的工作流程圖；圖2是本發明實施例1中的視差深度原理圖；圖3是本發明實施例1中的雙目立體視覺系統模型示意圖；圖4是本發明實施例1中的生成三維點雲流程圖；圖5是本發明實施例1中的單應性矩陣映射圖；圖6是本發明實施例1中的雙線性插值原理圖；圖7是本發明實施例1中的正向映射模型圖；圖8是本發明實施例1中的逆向映射模型圖；圖9為本發明實施例1的二維RGB圖輔助三維點雲粗配準的流程圖；圖10為本發明實施例1多視角三維點雲配準流程圖。具體實施方式下面結合實施例及附圖，對本發明作進一步地詳細說明，但本發明的實施方式不限於此。實施例一種基於雙目立體視覺系統的多視角三維重建方法，包括如下步驟：如圖1所示，S1根據被重建物體大小建立雙目立體視覺系統，包括攝像頭的選擇，基線的大小設置、攝像頭的解析度設置等。所述雙目立體視覺系統包括具有平行光軸結構的左、右攝像頭，採用外置標準尺寸棋盤格標定法對左右攝像頭進行標定，得到雙目攝像頭的光心坐標、焦距、畸變係數、內參、兩攝像頭之間的旋轉和平移參數，製作雙目立體視覺恢復三維信息查找表，具體為：具體如下：1.1)如圖2所示的雙目立體視覺系統雙目相機結構示意圖。雙目像機採用兩個型號相同、參數基本相同的攝像頭，且兩個攝像頭保持平行並固定在雲臺上。水平校準儀可以校準水平，可以旋轉。1.2)待測點A，深度L與在兩個圖像平面的視差是X＝X1+X滿足反比例關係：L=b*fX---(1)]]>其中b基線長度、f為攝像頭焦距、X為視差1.3)由(1.2)可知雙目立體視覺系統恢復三維信息與焦距、基線、視差有關。與焦距大小、基線的長度成正比和視差大小成反比。但是基線越大、焦距越大雙目立體視覺系統左右攝像頭公共區域越小。解析度越高視差值越大，但是計算量越大，運算速度越慢。因此設計雙目立體視覺系統要根據項目要求綜合考慮。1.4)採用外置標準尺寸棋盤格標定法對左右攝像頭進行立體標定，採用工程上的常用標定算法張正友標定算法。在Matlab和Opencv都已經有現成的標定方案，可以藉助標定工具箱進行標定。即可獲取雙目攝像頭光心坐標、焦距、內參、兩攝像頭之間的旋轉和平移參數。1.5)如圖3所示平行雙目立體視覺系統模型示意圖。兩攝像頭參數基本相同。C1、C2為兩攝像頭的光心，光軸C1O1交圖像平面X1O1Y1於點O1，光軸C2O2交圖像平面X2O2Y2於點O2，左右攝像頭的光軸平行。空間點P(X,Y,Z)在兩圖像的投影點P1(X1,Y1)和P2(X2,Y2)。C1C2為基線長度，任意一臺攝像頭平移基線長度可以和另一臺攝像頭圖像平面重合。以左攝像頭光心O1為坐標系原點，O1X1為X軸方向，O1Y1為Y軸方向，O1Z1為Z軸方向。雙目立體視覺系統三角測量是基於視差和深度成反比的原理。雙目立體視覺系統要求兩臺攝像頭的參數性能基本相同，光軸相互平行且X軸互相重合。I1,I2為左右攝像頭的圖像平面，P1,P2分別為空間點P在左右圖像平面上的成像點。f是攝像頭的焦距,視差定義為|X1-X2|。由相似三角形可以導出視差和三維坐標點之間的關係：X＝B(X1-O1)/(X1-X2)(2)Y＝B(Y1-O1)/(X1-X2)(3)Z＝Bf/(X1-X2)(4)Z為物體距離雙目攝像頭的深度值，B為雙目攝像頭的基線長度，X1,X2分別是特徵點在左右像素平面上的像素坐標值，f是雙目攝像頭的焦距，單位是像素。1.6)在雙目攝像頭前方放置一塊標定板，標定板保持與雙目攝像頭圖像平面平行。將標定板移至距離雙目攝像頭較遠處，拍攝兩張照片，進行標定求單應性矩陣。按照0.1米甚至更小的距離間隔向雙目攝像頭移動，拍攝一組照片。利用已求出的單應性矩陣做映射，即可得到對應距離的視差。根據視差和距離之間的反比例關係，既可用反比例關係進行擬合，導出視差深度表。由式(2)(3)(4)雙目立體視覺系統恢復三維信息示意圖可知X、Y坐標和Z坐標之間相差一個係數，即可得到視差和X、Y坐標之間的查找表。S2如圖4所示，左右攝像頭採集被重建物體的視頻信息，對右攝像頭採集的視頻信息進行單應性變換，將單應性變換後的視頻信息和對應左攝像頭採集的視頻信息進行立體匹配得到被重建物體的視差，根據視差和三維信息查找表得到圖像中每個點的三維信息；具體為：2.1)雙目立體視覺系統藉助於Opencv庫採集被重建物體的視頻信息，確保左右攝像頭採集的視頻信息幀率同步。2.2)空間點在兩個攝像頭下的圖像點具有一一對應關係，對應關係是齊次性的，可以用3階單應性矩陣來描述。單應性矩陣中可以描述圖像的平移、旋轉等關係。如圖5所示單應性矩陣映射圖。空間平面上的三維坐標點M，在兩個圖像平面上的投影點為Ml和Mr。由攝像頭的小孔成像模型可以知道，從空間平面到兩個圖像平面存在映射矩陣H1和H2使Ml＝H1X、Mr＝H2X，由於平面Π不通過攝像頭的任意光心，因此在Ml和Mr之間存在射影變換變換H＝H2H'1。兩圖像對應點之間單應性矩陣如式所示。Mr=HM1=h1h2h3h4h5h6h7h8h9M1---(5)]]>可以利用歸一化的DLT來求解單應性矩陣。2.2.1根據DLT算法求解單應性矩陣求解步驟，需要在成像平面上至少選取4組對應點。首先給對應點做歸一化處理，將對應點坐標減去均值除以標準差，可歸一化到Ml＝TLM(6)Mr＝TrM(7)2.2.2對於兩對應點X'i和Xi有X'i＝HXi，又由兩向量叉乘為0的性質可以得到。如果H矩陣第j行可以表示為hjT，那HXi可以表示為HXi=h1TXih2TXih3TXi---(8)]]>若X'i＝(X'i,Y′i,Z'i)T,那麼叉乘可以表示為：Xi′×HXi=yi′h3Txi-wi′h2Txiwi′h1Txi-xi′h3Txixi′h2Txi-yi′h1Txi---(9)]]>由於，因此上式可以表示為:0T-wi′xiTyi′xiTwi′xiT0T-xi′xiT-yi′xiTxi′xiT0Th1h2h3=0---(10)]]>h1h2h3=H=h1h2h3h4h5h6h7h8h9---(11)]]>將歸一化的點坐標組成上述3n×9的矩陣，為了減少計算過程可以可以簡化成2n×9的矩陣。2.2.3對上述2n×9矩陣進行SVD奇異值分解求解H矩陣。2.3圖像映射插值技術包括像素坐標計算和像素插值技術。工程上常用像素插值技術是雙線性插值、雙三次插值。如圖6所示雙線性插值原理圖，Q11,Q12,Q21,Q22分別為四個頂點的值。首先在X方向上進行插值，可以得到：R1=x2-xx2-x1Q11+x-x1x2-x1Q21---(12)]]>R2=x2-xx2-x1Q12+x-x1x2-x1Q22---(13)]]>然後在Y方向上進行插值，可以得到：P=y2-yy2-y1R1+y-y1y2-y1R2---(14)]]>像素坐標計算有兩種映射模型，正向坐標映射模型和逆向坐標映射模型。如圖7所示正向映射模型、如圖8所示逆向映射模型。使用正向坐標映射模型實現會出現像素缺少，同時雙線性插值工程實現更為複雜，因此採用逆向坐標映射，雙線性插值技術工程實現簡單，不會出現像素缺少現象。2.4)立體匹配的目的是得到圖像中每個點的視差，根據視差值查找視差和三維信息的查找表，可以得到圖像中每個點的三維信息，因此採用基於模塊的匹配方式。2.5)由式(2)(3)(4)，雙目立體視覺系統三角測量是基於視差和深度成反比的原理，由相似三角形可以導出視差和三維坐標點Z坐標之間的查找表。S3根據物體的三維信息，對三維點雲進行依次進行預處理、粗配準、精配準，將不同視角三維點雲轉換到同一坐標系，完成對被重建物體多視角的三維重建。3.1)根據三維點雲的質量選擇點雲預處理的方式。離散點去除和噪聲去除可以提高三維重建質量，點雲的降採樣可以減少計算機的運算量，提高重建的速度。3.2)三維點雲的粗配準是獲取相鄰視角點雲之間的初始旋轉矩陣和平移矩陣，本方案提出基於二維RGB圖輔助三維點雲粗配準方案。如圖9所示二維RGB圖輔助三維點雲粗配準的流程圖。藉助於不同視角下深度圖對應的二維RGB圖像進行粗配準，對RGB圖像特徵點檢測、特徵點描述、目標特徵點集匹配、消除錯誤匹配點。根據匹配點對查找對應深度圖深度值，並根據深度值計算對應的三維坐標，即可得到已匹配的三維坐標點對。根據已匹配三維坐標點對，計算兩組三維數據集之間的旋轉和平移矩陣。完成不同視角下三維點雲之間的粗配準。3.3)三維點雲的精配準是在已知相鄰視角點雲之間的初始旋轉矩陣和平移矩陣前提下，採用ICP迭代最鄰近點算法對相鄰視角進行精配準，逐漸逼近最佳的匹配結果，優化獲得的最優旋轉矩陣和平移矩陣，所述最優即為函數值最小。3.4)如圖10採集不同視角的深度圖和RGB圖，對深度圖進行預處理，生成對應的三維點雲。根據需要對三維點雲數據進行降採樣、去除離群點等預處理，然後相鄰視角之間進行粗配準和精配準，得到兩兩視角之間的旋轉和平移矩陣，可以根據需要轉換到某一個視角的坐標繫上，完成被重建物體的多視角的三維重建。上述實施例為本發明較佳的實施方式，但本發明的實施方式並不受所述實施例的限制，其他的任何未背離本發明的精神實質與原理下所作的改變、修飾、替代、組合、簡化，均應為等效的置換方式，都包含在本發明的保護範圍之內。當前第1頁1 2 3