一種基於鋸齒靶標的線結構光視覺傳感器標定方法與流程

2023-12-10 11:00:47 1

本發明涉及傳感器標定的技術領域，具體涉及一種基於鋸齒靶標的線結構光視覺傳感器標定方法。

背景技術：

結構光三維視覺測量在工業環境中可以實現大量程、非接觸、快速、高精度測量，因此得到廣泛的應用。線結構光法和光柵結構光法是由雷射器和攝像機組成視覺傳感器，可以用於測量複雜環境下的物體三維形貌。

線結構光視覺傳感器標定過程包括攝像機內部參數標定和光平面參數標定。其中關於攝像機內部參數標定這方面的研究很多，因此重點討論光平面參數標定過程。關於光平面參數的標定方法有許多方法。如dewar的「拉絲法」，配合雙經緯測量在細絲上光點的三維坐標，再通過擬合多個光點確定光平面方程。現在標定方法多採用自由移動的三維、二維、一維或球靶標完成光平面標定。其中，採用三維靶標的標定方法，通過靶標上已知精確坐標的至少三個共線點，利用交比不變性獲得結構光光條與該已知三點所在直線的交點的坐標，從而獲得較高精度的光平面標定點；採用平面靶標的標定方法，可以通過交比不變性獲得平面靶標上的光平面標定點，經過多次移動平面靶標獲得大量光平面標定點，通過擬合光平面標定點獲得光平面方程；採用一維靶標的標定方法，通過一維靶標特徵點之間的距離約束求解出光平面與一維靶標交點的三維坐標，經過擬合多個交點的三維坐標求解光平面方程；採用雙圓柱靶標的標定方法，通過光條在圓柱上的橢圓光條信息，求解出光平面方程。還有基於球靶標的標定方法，通過球輪廓信息和光條輪廓信息求解出光平面方程。

但是，現有主要的線結構光視覺傳感器標定方法都需要結合靶標上特徵點與光條圖像信息來計算光平面方程。由於雷射器功率比較強，很難同時將靶標上特徵點和光條圖像信息拍攝清晰，尤其在現場光線強弱不均等複雜光線環境下更難同時獲得清晰圖像。尤其是攝像機配有濾光片時，甚至無法拍攝到靶標的特徵點圖像。

技術實現要素：

基於以上背景，本發明的主要目的在於提供一種基於鋸齒靶標的線結構光視覺傳感器標定方法，能夠在現場複雜光線環境的情況下尤其是攝像機配有濾光片時實現快速高精度標定。

為達到上述目的，本發明的技術方案是這樣實現的：

一種基於鋸齒靶標的線結構光視覺傳感器標定方法，該方法包括：

a、在攝像機不帶濾光片的情況下，對線結構光視覺傳感器中的攝像機進行標定；

b、在攝像機鏡頭前裝好濾光片，攝像機拍攝帶有光條的鋸齒靶標圖像，獲取光條與靶標齒形邊緣的交點的圖像坐標，即為特徵點圖像坐標，基於交比不變性求解特徵點在攝像機坐標系下的三維坐標；

c、考慮濾光片折射模型，通過非線性優化方法解出濾光片參數及優化後的攝像機坐標系下的特徵點三維坐標。

d、將靶標移動兩次以上，獲取靶標所有位置特徵點在攝像機坐標下的三維坐標，擬合這些三維坐標點求解光平面方程。

步驟a中在攝像機不帶濾光片的情況下，對線結構光視覺傳感器中的攝像機進行標定，採用張正友方法標定攝像機內部參數及鏡頭二階徑向畸變係數

步驟b中光條與靶標齒形邊緣的交點的圖像坐標步驟如下：

(1)提取拍攝光條圖像中所有光條中心的圖像坐標，通過圖像畸變校正方法，得到圖像中所有光條中心的無畸變圖像坐標；

(2)擬合圖像中不同方向光條的中心，獲得多個直線方程，計算相鄰主線與折線的交點，即為特徵點圖像坐標。

步驟b中基於交比不變性求解特徵點在攝像機坐標系下的三維坐標具體方法如下：

(i)由交比不變性求出特徵點在靶標坐標系下的三維坐標；

(ii)結合攝像機內參，根據特徵點在攝像機坐標系的方向矢量量與特徵點之間的實際距離，求解出特徵點在攝像機坐標系下的三維坐標；

步驟c中考慮濾光片折射模型，通過非線性優化方法解出濾光片參數，主要方法為通過之前求出的特徵點在攝像機坐標系下的三維坐標與圖像坐標，結合現有濾光片折射模型，計算出濾光片參數。

步驟c中求解攝像機坐標系下特徵點的優化三維坐標，結合求解出的濾光片參數，通過levenberg-marquardt非線性優化方法求特徵點三維坐標最優解。

步驟d中擬合求解光平面方程，採用最小二乘擬合法獲得最終的光平面方程。

本發明與現有技術相比的優點在於：

本發明提出一種採用可以自由移動鋸齒靶標實現線結構視覺傳感器標定的新方法，在帶有濾光片的情況下，僅依靠照射在靶標上的光條圖像信息，就可以實現線結構視覺傳感器標定，不需要靶標上的特徵點的圖像提取。並且靶標為長條形，可以隨著視場的增大，增加長度，可以適合大視場的標定。此標定方法適合在現場複雜光線環境，攝像機帶有濾光片的情況下完成線結構視覺傳感器標定。

附圖說明

圖1為本發明基於鋸齒靶標的線結構光視覺傳感器標定方法流程圖；

圖2為線結構光視覺傳感標定示意圖；

圖3為通過交比不變性計算出特徵點在攝像機坐標系下三維坐標。

具體實施方式

本發明的基本思想是：基於交比不變求解出光條與靶標鋸齒邊緣交點即特徵點在攝像機坐標系下的三維坐標初解，並加入濾光片模型，通過優化求解出光平面方程，即實現線結構光視覺傳感器的標定。

下面以一個攝像機和一個線雷射器組成的線結構光視覺傳感器為例，對本發明作進一步詳細說明。

如圖1所示，本發明基於鋸齒靶標的線結構光視覺傳感器標定方法主要包括以下步驟：

步驟11：在不帶濾光片的情況下，對線結構光視覺傳感器中的攝像機進行標定。

這裡對視覺傳感器的攝像機進行標定即求解攝像機的內部參數，具體求解方法在張正友的文章「aflexiblenewtechniqueforcameracalibration[r].microsoftcorporation,nsr-tr-98-71,1998」中有詳細描述。

步驟12：在攝像機前裝好濾波片，使得線雷射器投射的光平面和鋸齒靶標相交，攝像機拍攝帶有光條的鋸齒靶標圖像。

如圖2所示，設ocxcyczc為攝像機坐標系，ouxuyu為圖像坐標系，π為光平面，光平面方程可表示為ax+by+cz+d＝0，其中

步驟13：提取特徵點圖像坐標，即光條與靶標齒形邊緣的交點。

這裡，具體包括以下步驟：

步驟131：提取拍攝光條圖像中所有光條中心點的圖像坐標，通過圖像畸變校正方法，得到圖像中所有光條中心點的無畸變圖像坐標。

具體提取光條中心方法採用steger所述的「unbiasedextractionofcurvilinearstructures」方法，校正方法在張廣軍編著的「張廣軍.機器視覺:科學出版社」中有詳細描述。以下所述光條中心的圖像坐標均為經過畸變校正後的無畸變圖像坐標。

步驟132：擬合處於不同直線方向的光條中心點，具體擬合直線方法採用最常用的最小二乘法進行擬合。

步驟133：計算相鄰不同方向直線交點，即為特徵點圖像坐標。

靶標加工如圖2所示，灰色部分為如屋脊般的凸起，白色部分為平面，與灰色部分的最底面相平，所以雷射與靶標相交結果如圖2紅線所示，計算相鄰灰色部分的光條擬合直線與白色平面的光條擬合直線的交點，即為特徵點圖像坐標。

步驟14：基於交比不變性求解特徵點在靶標坐標系下的三維坐標。

如圖3所示，ocxcyczc為攝像機坐標系，otxtytzt為靶標坐標系。π為光平面。在條形靶標坐標系下光平面與靶標交點坐標依次為a＝[xa,ya,1]、b＝[xb,yb,1]、c＝[xc,yc,1]、d＝[xd,yd,1]、e＝[xe,ye,1]、f＝[xf,yf,1]。a、b、c、d、e、f在攝像機圖像上的成像點分別為a＝[ua,va,1]、b＝[ub,vb,1]、c＝[uc,vc,1]、d＝[ud,vd,1]、e＝[ue,ve,1]、f＝[uf,vf,1]。

採用步驟13中的方法獲得a、b、c、d、e、f在圖像坐標系下的圖像坐標，根據交比不變性可知：

其中光條與靶標的交點a、c、e點在條形靶標坐標系下的y方向分量ya,yc,ye已知，x方向分量xa,xc,xe未知；光條與靶標的交點b點在條形靶標坐標系下的x方向分量xb已知，y方向分量yb未知。根據式1可得下式：

由於a、b、c、e已經提取出來，故根據式就可以求解b點在靶標坐標系下的y方向分量值yb。因為b點在靶標坐標系下的x方向分量值xb已知，故b點在條形靶標坐標系下的坐標[xb,yb]就求解出來了。

根據以上算法依次求解出d、f在靶標坐標系下坐標。同理採用以上方法，根據b、d、f也可以求解出a、c、e點在靶標坐標系下坐標。至此，就可以全部求解出a、b、c、d、e、f在靶標坐標系otxtytzt下坐標。

步驟15：結合圖像點與攝像機內參，求解特徵點在攝像機坐標下的三維坐標的初解。

設特徵點在攝像機坐標系下三維坐標依次為

根據攝像機模型，a和b點可得：

其中(k-1a)k是向量k-1a中的第k個元素,k＝1,2,3.

在攝像機坐標系下,a和b兩點的矢量方向dab＝[dx,dy,dz]t可以表示如下

其中dab＝k-1v/||k-1v||，v是光條空間直線在攝像機圖像中的消隱點。設共線點a、b、c的簡比為sr(a,b；c)＝s，共線點a、b、c和v∞的交比也為s,即cr(a,b；c,v∞)＝s。其中v∞為光條空間直線的無窮遠點。根據交比不變性cr(a,b；c,v)＝s可以求解v。

聯合式(3)和(4)可得：

式中dab表示ab兩點之間距離,可由a、b在靶標坐標系下的坐標計算可得。

通過式(5)我們可以求解出再將帶入式(3)可以的得到至此就可以求解出a,b在攝像機坐標系下三維坐標。同理我們可以求解出其餘c,d,e,f點在攝像機坐標系下三維坐標。

步驟16：考慮濾光片折射模型，通過非線性優化方法解出濾光片參數及優化後的攝像機坐標系下的特徵點三維坐標。

步驟161：濾波片模型採用amitagrawal「atheoryofmulti-layerflatrefractivegeometry」中第四部分提供的方法進行實現，通過文中的方法求解出濾光片模型的參數λ，

步驟162：通過最終通過優化後的模型解算出新的攝像機坐標系下特徵點的三維坐標，優化函數如式(6)所示：

式中，為第i次靶標擺放位置上的第j個特徵點的三維坐標，λ為濾波片參數。afp是步驟161文章的第五部分所提到的方法，為加入濾波片參數後得到的對應於特徵點的圖像坐標，pij為步驟133中提取到的對應於特徵點的圖像坐標，m為靶標擺放次數，n為每個擺放位置提取的特徵點個數。

步驟17：通過擬合求得光平面方程，完成標定

將齒條靶標在攝像機前擺放2次以上，就可以得到多個非共線光平面特徵點在攝像機坐標系下的坐標，通過最小二乘法平面擬合就可以求解光平面方程ax+by+cz+d＝0。