一種基於二維和三維攝像機融合的三維視覺信息獲取方法
2023-04-25 03:31:16 1
一種基於二維和三維攝像機融合的三維視覺信息獲取方法
【專利摘要】本發明公開了一種基於二維和三維攝像機融合的三維視覺信息獲取方法，該方法基於二維攝像機和三維攝像機組成複合攝像機分別對場景同步成像，通過建立三維攝像機深度圖像和二維攝像機圖像的匹配映射模型，求取三維攝像機深度圖像像素點在二維攝像機圖像中的匹配映射點和映射區域；對二維攝像機圖像中的映射區域進行三角分解，並基於鄰接的映射點深度信息建立三角剖分區域的深度曲面插補函數；插補計算三角剖分區域內圖像像素點的深度信息，實現高解析度二維攝像機圖像對應深度圖像的獲取。本發明最大程度保留了二維攝像機圖像信息和三維攝像機深度信息，並具有精度高和信息缺失小等優勢，可廣泛應用於工業視覺測量、視覺裝配、機器人視覺導航等領域。
【專利說明】一種基於二維和三維攝像機融合的三維視覺信息獲取方法
【技術領域】
[0001]本發明涉及一種基於二維和三維攝像機融合的三維視覺信息獲取方法。
【背景技術】
[0002]近年來,三維攝像機技術獲得了飛速進展，出現了微軟Kinect、Swiss-ranger的SR3000/4000為代表的三維攝像機，該類設備可同時獲取場景目標二維圖像和深度圖像。但是目前三維攝像機的二維圖像普遍存在解析度低、成像質量差等局限，很難直接利用三維攝像機提供的二維圖像進行後續的場景分析和目標識別處理。而目前傳統二維攝像機具有成像清晰、解析度高、畸變小優勢，易於獲取目標紋理、色彩特徵。因此三維攝像機與傳統二維攝像機信息具有良好的互補性。
[0003]文獻[I]公布了一種基於複合攝像機的高質量三維彩色圖像獲取方法及裝置，可同步獲取場景三維信息對應的二維攝像機圖像信息。但是該方法存在如下問題:1)由匹配映射模型產生的誤差，在插補後的深度圖像進行映射投影后，會進一步放大；2)三維攝像機深度圖像對應的彩色場景信息，是基於映射點周圍圖像信息的近似估計，從而造成場景原二維攝像機圖像的部分信息缺失，限制了匹配映射二維圖像的精度和質量。因此，上述方法一定程度上制約了三維視覺信息的精度和可靠性。
[0004]如何完整保留三維攝像機與傳統二維攝像機獲取的原始信息，並實現兩者的匹配融合，以提高場景目標三維視覺信息的質量和精度，是本領域急需解決的技術問題。
【發明內容】
[0005]本發明所要解決的技術問題是提供一種基於二維攝像機和三維攝像機融合的三維視覺信息獲取方法，該方法將三維攝像機與二維攝像機對同一場景同時獲取的成像信息進行融合匹配，具有三維視覺測量信息精度高、場景二維圖像信息無缺損等優勢。
[0006]一種基於二維和三維攝像機融合的三維視覺信息獲取方法，包括以下幾個步驟:
[0007]步驟1:對三維攝像機和二維攝像機組成的立體視覺系統進行標定，獲取三維攝像機內參數矩陣M3d、二維攝像機內參數矩陣M2d、二維攝像機坐標系和三維攝像機坐標系之間的相對三維空間旋轉變換矩陣R和空間平移關係變換矩陣T ；
[0008]步驟2:建立三維攝像機獲得的深度圖像DI與二維攝像機獲得的二維彩色圖像Cl的映射模型；
[0009]步驟3:按照步驟2建立的映射模型將深度圖像DI映射到二維彩色圖像Cl中的映射區域中確定待插補區域IR，並對待插補區域IR進行三維信息插補計算，從而實現二維攝像機獲得的圖像Cl與三維攝像機同步獲得的空間信息的融合；
[0010]所述步驟2中的映射模型為以下公式:
【權利要求】
1.一種基於二維和三維攝像機融合的三維視覺信息獲取方法，其特徵在於，包括以下幾個步驟: 步驟1:對三維攝像機和二維攝像機組成的立體視覺系統進行標定，獲取三維攝像機內參數矩陣M3d、二維攝像機內參數矩陣M2d、二維攝像機坐標系和三維攝像機坐標系之間的相對三維空間旋轉變換矩陣R和空間平移關係變換矩陣T ； 步驟2:建立三維攝像機獲得的深度圖像DI與二維攝像機獲得的二維彩色圖像Cl的映射模型； 步驟3:按照步驟2建立的映射模型將深度圖像DI映射到二維彩色圖像Cl中的映射區域中確定待插補區域IR，並對待插補區域IR進行三維信息插補計算，從而實現二維攝像機獲得的圖像Cl與三維攝像機同步獲得的空間信息的融合； 所述步驟2中的映射模型為以下公式:
三維攝像機的深度圖像DI中任一像素點P3D(u3D，V3D)，根據上述公式求得像素點P3D (u3D, v3D)在二維攝像機獲得的二維彩色圖像中對應匹配點p2D的圖像坐標值(u2D，v2D)，以及該像素點對應的深度信息Zf ； Zf為三維攝像機獲得的深度圖像DI中的任一像素點(u3D，v3D)的深度圖像值，力M3d的逆矩陣，Rt為R的轉置矩陣，Tt為T的轉置矩陣； 所述步驟3的具體方法為: 步驟a:獲取待插補區域IR; 按照步驟2建立的映射模型將三維攝像機獲取的深度圖像DI映射在二維攝像機獲取的二維彩色圖像Cl中的映射點集合Pik所在的最小矩形區域IR作為待插補區域，即:
IR = Cl [Xmin: Xmax, Ymin: YmaJ 其中，待插補區域IR中的像素點坐標為(uIE, vIE)，Xmin = Min [PIE.uj，Xmax = Max[PIE.uIE]，Ymin = Min[PIE.vIE]，Ymax = Max[PIE.vIE]，Pie為三維攝像機獲得的深度圖像DI中的像素點在二維攝像機獲得的二維彩色圖像Cl中對應的映射點集亡/5 步驟b:對待插補區域IR進行三角分解； 從映射點集合Pik中選取三個相鄰且不共線的三個點構成一個三角剖分區域^ =，對待插補區域IR中的存在的所有三角剖分區域，按從左到右、從上至丨J下順序排序獲得三角剖分區域集合嚴,Tf ,...,Tf，...,$}，K表示待插補區域IR中存在K個三角剖分區域，表示任意一個三角剖分區域； 步驟c:計算三角剖分區域Tf對應的深度曲面插補函數SFk ；
其中，Ck(X) = Cc^C1UWC2Vik，是二元線性多項式;X = (UIK，VIK)為待插補區域IR中的圖像像素點；PiU = I,2,...,Λ0為三角剖分區域7f的深度插補函數SFk(X)的插補採樣點，分別對應三角剖分區域的三個角點am Pt)以及分別與三個角點直接鄰接的映射點，N為插補樣本點數目= 1，2，L，N)為待求解的加權係數，(xkj，ykj)為插值節點= 1,2,…,Λ0在二維圖像中圖像坐標值，根據步驟2中的映射公式計算獲得；Zkj為插值節點= 2,...,#)在三維圖像中對應匹配圖像點的深度信息，
為歐式範數，P是徑向基函數，實現二維空間IR2到一維空間IR的固定映射； 依據以下的插值約束條件求解深度曲面插補函數SFk:
步驟d:計算待插補區域中像素點對應的空間三維信息； 對於任一三角剖分區域範圍內的二維攝像機圖像素點= G，其對應的空間三維信息計算如下:
即三角剖分區域:中的二維攝像機獲得的二維圖像素點
對應的空間三維信息為
2.根據權利要求1所述的基於二維和三維攝像機融合的三維視覺信息獲取方法，其特徵在於，所述徑向基函數為
3.根據權利要求2所述的基於二維和三維攝像機融合的三維視覺信息獲取方法，其特
徵在於，所述M2d為二維攝像機的內參數矩陣
M3d為三維攝像機的內參數矩陣:
R為二維攝像機坐標系和三維攝像機坐標系之間的相對三維空間旋轉變換矩陣:
T為空間平移關係變換矩陣
其中辦'?f =/3β/4ν3' f3D為三維攝像機焦距，dx3D，dy3D分別表示三維攝像機中每一個像素在X軸和Y軸方向上的物理尺寸；《uW，vu3°分別表示用像素量綱表示的三維攝像機主點的X軸和Y軸方向坐標值； 其中《f =fD I dx1D ,of =f2D/dy2D ；嚴為二維攝像機焦距，dx2D, dy2D分別表示二維攝像機中每一個像素在X軸和Y軸方向上的物理尺寸；wf ,vf分別表示用像素量綱表示的二維攝像機主點的X軸和Y軸方向坐標值。
【文檔編號】G06T3/40GK104134188SQ201410364765
【公開日】2014年11月5日 申請日期:2014年7月29日 優先權日:2014年7月29日
【發明者】餘洪山, 趙科, 藺薛菲, 王耀南, 孫煒, 朱江, 段偉, 代揚, 萬琴, 段峰, 謝久亮, 周鴻飛 申請人:湖南大學