一種基於景深補償的雙目視覺高精度測量方法與流程
2023-05-03 23:37:46
本發明屬於計算機視覺測量技術領域，涉及一種基於景深補償的雙目視覺高精度測量方法。
背景技術：
航空航天零件的三維輪廓的測量對於零件的製造和氣動外形的檢測至關重要，是保證零件製造質量的重要手段。工業立體視覺系統具有非接觸性、測量速度快、測量精度高、可實現在位測量等優勢，已廣泛運用在航天航空零件的裝配測量過程中。然而，由於尾翼、機身壁板等核心零件幾何尺寸大，且曲面零件在景深方向也具有較大的尺寸變化。而傳統的雙目視覺系統在平行於像平面的方向上具有較高精度，而在景深方向上，其精度較差難以滿足現場測量要求，因此實現具有景深補償的雙目視覺測量方法是十分重要的。
g.blahusch等人發表的論文《calibrationofcurvatureoffieldfordepthfromfocus》(blahuschg,ecksteinw,stegerc.calibrationofcurvatureoffieldfordepthfromfocus[j].internationalarchivesofphotogrammetryremotesensingandspatialinformationsciences,2003,34(3/w8):173-180.)提出以平面信息為約束，通過標準平面信息建立修正平面，通過所獲得的修正平面建立具有景深信息的修正信息，從而在測量過程中補償景深信息的偏差。王福吉等人發明的專利「提高景深測量精度的相機布局與標定方法」，專利號cn105225224a，通過從相機優化布局以及景深標定兩方面出發,提高視覺測量系統在景深方向的測量精度；通過確定兩相機基線長度以及光軸之間的夾角,使相機布置方式最優；再根據測量物距、對焦狀態以及鏡頭參數確定景深範圍；測量時根據特徵信息在景深所處不同位置選取不同的相機參數重建特徵三維信息，該方法通過建立多個平面的畸變係數場獲得景深的畸變補償，但是對於航空現場的大尺寸零件難以實現畸變場的建立。
技術實現要素：
本發明要解決的技術難題是針對大型航空零件測量過程中景深方向測量精度低的問題，發明了一種基於景深補償的雙目視覺高精度測量方法。該方法通過建立具有景深方向的畸變模型，結合雙目相機的標定信息，對空間範圍內的被測點進行具有景深信息的畸變補償，提高被測物在空間的測量精度。
本發明採用的技術方案一種基於景深補償的雙目視覺高精度測量方法，其特徵是，基於在景深方向的畸變特徵建立補償模型，結合雙目視覺測量原理，對不同景深位置進行徑向畸變補償，實現三維高精度測量；該方法首先對兩個相機進行初始位置的標定，然後將二維靶標與相機平面進行調平，求解該位置的畸變係數，並求解兩個相機間的結構參數；進而，二維靶標在與相機平面方向進行平移，然後進行參數標定；建立景深方向的徑向畸變補償模型，對不同深度信息的測量結果進行測量精度補償，實現雙目相機在景深方向的高精度測量；方法具體步驟如下：
第一步相機內外參數標定
利用二維平面靶標標定方法對雙目相機分別進行相機標定，其相機參數滿足如下公式：
其中，u,v分別是圖像的行列像素坐標值，xw,yw,zw代表被測點在世界坐標系裡的三維坐標值，xc,yc,zc代表被測點在相機坐標系裡的三維坐標值，m1為1號相機內參數矩陣，m2為2號相機內參數矩陣，包括旋轉矩陣r、平移矩陣t，s是未知的尺度因子；基於二維和三維的對應坐標求解相機的內外參數矩陣；
第二步畸變參數標定
首先採用水平儀將左、右相機與標定平面靶標4進行初步調平，然後利用左、右相機採集平面靶標，根據公式(1)計算左、右相機的外參數，當旋轉矩陣r滿足公式(2)時，其平面靶標4平面與左、右相機平面調平；
其中，a,b,c,d為旋轉矩陣參數，ε為無限接近於0的值，|γ|無線接近於1；
當左、右相機調平後，記錄電控平臺的位姿參數記為ψs1利用公式(3)進行該位置的畸變參數計算：
其中，xk,yk分別是實際徑像畸變情況下的歸一化坐標，x,y代表理想無畸變時的歸一化坐標，為圖像畸變係數，基於相機標定參數所求解的理想歸一化坐標和圖像提取的歸一化坐標，以公式(3)為目標函數，採用lm優化方法求解在該位置s1處的圖像畸變係數按照如上方法分別對左、右相機進行標定；
第三步左、右相機位置參數的求解
基於雙目三角原理，分別計算左、右相機在初始標定位置的物距s1l,s1r；首先對左、右相機進行結構參數的計算，在雙目視場中間放置二維平面靶標4，分別用已標定好的左、右相機同步採集該平面靶標，並求解左、右相機相對於該平面靶標的參數矩陣，其左、右相機參數矩陣記為ml,mr，表達式如下：
其中，mij為投影矩陣m中第i行第j列的值；根據公式(4)和公式(1)推導出被測點三維重建公式(5)：
其中，為左相機投影矩陣ml中第i行第j列的值；ul,vl分別是左相機圖像像素值；為右相機投影矩陣mr中第i行第j列的值；ur,vr分別是右相機圖像像素值，且左右圖像的像素點為匹配點；xw,yw,zw為最終所求被測點的三維坐標，其中，所對齊平面上所有點的zw的平均值定義為s1，即：
其中，n,m為左、右相機採集平面上所取點的個數；s1l,s1r為左、右相機在s1處位置的物距；
然後，將平面靶標平行移動在s2位置，在該合焦位置根據公式(3)計算圖像畸變係數根據公式(5)、(6)計算左、右相機的所採集的平面靶標物距s2l,s2r；
第四步基於景深畸變模型的建立
基於建立基於蘊含景深信息的畸變模型，在合焦位置為s時在sp位置的圖像畸變量滿足：
其中，為在合焦位置為s時在sp位置的圖像畸變量，為在合焦位置為sp時在sp位置的圖像畸變量，cs和csp分別為在位置s、位置sp合焦時相機相距，為在sp位置合焦時的圖像畸變係數，rsp為在sp位置合焦時的徑向長度；
在合焦位置為s時，在位置s、位置sp時系統的像距和物距滿足公式(8)：
其中，ss,ssp分別為位置s、位置sp時的物距，即ss＝s,ssp＝sp；cs,csp分別為位置s、位置sp時的像距，根據公式(7)和公式(8)推導得：
第五步基於景深畸變模型的參數求解
根據雙目視覺三角原理可獲得sp位置的徑向長度rsp和物距ssp；為簡化計算，選取標定的s2位置為合焦位置，即ss＝s2，其具體值也可根據雙目三角原理求得；合焦位置的cs可根據所標定的相機內參數求得；在sp位置合焦時的圖像畸變係數可根據公式(10)求取：
其中，為在sp位置合焦時的圖像畸變係數，為在s1位置合焦時的圖像畸變係數，為在s2位置合焦時的圖像畸變係數，比例係數αs根據公式(11)求得：
其中，s1,s2為初始標定的兩個物距位置，ssp為在ssp位置的物距距離，f為相機焦距，ss,cs為合焦位置的物距和像距，將所求的相關係數帶入公式(9)即可獲得該位置的具有景深信息的畸變量，分別對左、右相機獲取的圖像點進行畸變補償，根據三角原理獲得被測點三維坐標。
本發明的有益效果是通過建立具有景深方向的畸變模型，結合雙目相機的標定信息，對空間範圍內的被測點進行具有景深信息的畸變補償，提高被測物在空間的測量精度。測量精度高，可補償雙目視覺在景深方向的精度損失，實現具有景深方向的大尺寸零件測量，提高了雙目視覺的三維測量精度。
附圖說明
圖1為測量系統的示意圖，圖2為測量原理示意圖。其中，1-左相機，2-電控平移平臺，3-電控旋轉平臺，4-平面靶標，5-右相機，6-三角架；ow-xw,yw,zw是全局世界坐標系，ol-xl,yl,zl為左相機的坐標系，or-xr,yr,zr為右相機的坐標系，s1和s2為兩個初始標定平面，ssp為測量平面，vl、ul為左相機的像素坐標，vr、ur為右相機的像素坐標，p為測量平面上的被測點，pl、pr分別為左、右相機上的理想像點，分別為左、右相機具有畸變的實際像點。
圖3為基於景深補償的雙目視覺高精度測量方法流程圖。
具體實施方式
以下結合技術方案和附圖詳細敘述本發明的具體實施方式。
圖1為測量系統的示意圖，圖2為測量原理示意圖。如圖所示，實施例中，分別配置高解析度雙目相機採集二維平面靶標信息，通過電控旋轉、平移平臺控制二維平面靶標的移動進行雙目相機的調平和標定。雙目視覺系統中相機型號為vieworksvc-12mc-m/c65相機，解析度：4096×3072，圖像傳感器：cmos，幀率：全畫幅，最高64.3fps，重量：420g。鏡頭型號為ef16-35mmf/2.8liiusm，參數如下所示，鏡頭焦距：f＝16-35，aps焦距：25.5-52.5，光圈：f2.8，鏡頭尺寸：82×106。拍攝條件如下：圖片像素為4096×3072，鏡頭焦距為17mm，合焦物距為750mm，視場約為720mm×1300mm。電控旋轉平臺3採用卓立漢光的電控旋轉平臺rak350，其步距角為1.8度，轉角重複精度小於0.003度。電控平移平臺2採用卓立漢光的電控平移平臺uksa200，重複定位精度小於2μm。
測量方法首先對雙目相機內外參數分別進行標定，然後通過電控旋轉、平移平臺將雙目相機調平，並記錄平面靶標與雙目相機像平面平行位置，進而通過兩個標定位置將雙目相機畸變參數標定，基於景深畸變特性建立具有景深信息的畸變模型，結合標定結果和雙目三角原理求解模型中的相關參數，繼而獲得具有景深信息的圖像畸變量，實現慮及景深的三維高精度測量。附圖3為一種基於景深補償的雙目視覺高精度測量流程圖。整個提取過程分為雙目相機內外參數標定、雙目相機調平、雙目相機畸變係數標定，景深畸變模型建立、模型參數求解、景深補償及重建測量等步驟。
第一步相機內外參數標定
採用張正友的平面靶標標定方法，通過在空間平面內轉換平面靶標的不同位置，使雙目相機同時採集靶標圖像，根據公式(1)分別對左、右相機進行內外參數的標定，其內外參數矩陣為：
第二步畸變參數標定
為獲得不同合焦平面的畸變係數實現任意深度位置的畸變參數標定，需將平面靶標4與左、右相機像平面進行調平，採用水平儀將左、右相機與標定平面靶標4進行初步調平，然後利用相機採集平面靶標，然後根據公式(1)計算相機的外參數，當旋轉矩陣r滿足如下公式(2)時，其二維靶標平面與相機平面調平，其調平後的左右相機的旋轉平移矩陣為：
當相機調平後，記錄電控平臺的位姿參數記為ψs1利用公式(3)進行該位置的畸變參數計算圖像畸變係數，基於相機標定參數所求解的理想歸一化坐標和圖像提取的歸一化坐標，以公式(3)為目標函數，採用lm優化方法求解在圖1中位置s1處的相機畸變係數按照如上方法分別對左右相機進行標定；
第三步雙目相機位置參數的求解
基於雙目三角原理，分別計算兩個相機在初始標定位置的物距s1l,s1r；為實現物距的計算，首先對雙目相機進行結構參數的計算，在雙目視場中間放置二維平面靶標4，分別用已標定好的雙目相機同步採集該平面靶標，並求解雙目相機相對於該平面靶標的參數矩陣，其左、右相機參數矩陣記為ml,mr；根據公式(4)和公式(1)可推導出被測點三維重建公式(5)；根據所求被測點的三維坐標xw,yw,zw，其中所對齊平面上所有點的zw的平均值定義為s1，根據公式(6)獲得左右相機在s1處位置的物距；然後，將平面靶標4平行移動在s2位置，在該合焦位置根據公式(3)計算圖像畸變係數根據公式(5)(6)計算左右相機的所採集的平面靶標物距s2l,s2r；
第四步基於景深畸變模型的建立
基於建立基於蘊含景深信息的畸變模型，在合焦位置為s時在sp位置的圖像畸變量滿足公式(7)，根據公式(7)和(8)，可推導得公式(9)，即建立具有景深信息的畸變模型。
第五步基於景深畸變模型的參數求解
根據雙目視覺三角原理可獲得sp位置的徑向長度rsp和物距ssp；為簡化計算，選取標定的s2位置為合焦位置，即ss＝s2，其具體值也可根據雙目三角原理求得；合焦位置的cs可根據所標定的相機內參數求得；在sp位置合焦時的圖像畸變係數可根據公式(10)求取，比例係數αs根據公式(11)可求得。將所求的相關係數帶入公式(9)即可獲得該位置的具有景深信息的畸變量，分別對左右相機獲取的圖像點進行畸變補償，進而根據三角原理獲得被測點三維坐標。
雙目視覺採集標準長度為350.0172mm的靶尺在空間不同位置採集8次，其平均長度為350.5321，本方法獲得的靶尺長度為350.2043mm，提高了測量精度，驗證了該提取方法的有效性。