線結構光傳感器標定方法與流程

2023-08-07 01:32:31 1

本發明涉及線結構光傳感器技術領域，特別涉及一種線結構光傳感器標定方法。

背景技術：

線結構光傳感器的標定是型面數位化，外形檢測不可缺少的工具，準確的標定線結構光參數是進行精確測量的前提。結構光方法是一種主動式光學測量技術，其基本原理是由結構光投射器向被測物體表面投射可控制的光點、光條或光面結構，並由圖像傳感器(如攝像機)獲得圖像，通過系統幾何關係，利用三角原理計算得到物體的三維坐標。

線結構光發生裝置包括：雷射投射器以及攝像機。線結構光的數學模型：1、攝像機的透視投影模型2、結構光光平面方程。需要標定的內容：攝像機內參(相機焦距、主點、畸變係數)，線結構光傳感器結構參數(光平面方程)。主要指結構參數的標定，即光平面相對攝像機的位置。

眾所周知，機器人在使用線結構光傳感器前都必須有兩個標定過程：線結構光傳感器標定、手眼關係標定。手眼關係標定是為了計算空間中傳感器系統和機器人系統之間的相互關係的過程；線結構光傳感器標定是為了計算空間中傳感器內部本身攝像機和結構光平面兩者之間的相互關係的過程，其中標定方法中有2個重要的組成部分，一個是標定算法，一個是輔助的標定靶標。

近些年來線雷射傳感器標定方法越來越多，無論是標定算法還是輔助的標定裝置都有很大的提升。但是無論是哪一種標定方法或多或少都有自身設計的缺陷，比如攝像機系統、結構光平面分開標定，標定精度差，需要外部的工裝平臺進行輔助，需要部分的人工參與，標定過程繁瑣等問題。

本發明的發明人在實現本發明的過程中發現：現有技術所給出的線結構光傳感器的標定方法中攝像機和結構光平面的標定通常是分開進行的，該種標定方法的標定精度不高、且標定過程繁瑣。

技術實現要素：

本發明實施方式的目的在於提供一種線結構光傳感器標定方法，使得線結構光傳感器中的攝像機以及結構光平面實現聯合標定，有利於提高標定精度、簡化標定過程。

為解決上述技術問題，本發明的實施方式提供了一種線結構光傳感器標定方法，包括：通過待標定的線結構光傳感器採集N個3D靶標圖像；其中，各3D靶標圖像中均包含有大於或者等於第一預設數目的非共面特徵點以及2條結構光條紋，其中，所述結構光條紋中包含有大於或者等於第二預設數目的非共面特徵點，所述N為正整數；在所述N個3D靶標圖像中選取第一預設數目的非共面特徵點；根據選取的第一預設數目的非共面特徵點對攝像機進行標定；在所述N個3D靶標圖像的結構光條紋中選取第二預設數目的非共面特徵點；根據選取的第二預設數目的非共面特徵點以及攝像機的標定結果完成線結構光平面的標定。

本發明實施方式相對於現有技術而言，可以根據在N個3D靶標圖像中選取的第一預設數目的非共面特徵點，對攝像機進行標定。並且可以根據在N個3D靶標圖像的結構光條紋中選取的第二預設數目的非共面特徵點以及攝像機的標定結果，實現線結構光平面的標定。因此，本實施方式使得線結構光傳感器中的攝像機和結構光平面能夠實現聯合標定，有利於提高標定精度、簡化標定過程。

另外，根據選取的第一預設數目的非共面特徵點對攝像機進行標定，具體包括：通過對第一預設數目的非共面特徵點，求解立體靶標坐標系與圖像像素坐標系之間的單應矩陣對攝像機進行標定。本發明實施方式，為攝像機的標定提供了可行性。

另外，根據選取的第二預設數目的非共面特徵點以及攝像機的標定結果完成線結構光平面的標定，具體包括：通過利用第二預設數目的非共面特徵點以及攝像機的標定結果計算得到線結構光平面上的特徵點在攝像機坐標系下的坐標，建立線結構光平面線性方程，並利用最小二乘法，完成線結構光平面方程的標定。本發明實施方式，使得線結構光平面的標定更方便可行。

另外，通過待標定的線結構光傳感器採集N個3D靶標圖像中，各3D靶標圖像的採集角度不同。這樣，可以提高線結構光傳感器的標定的可靠性。

附圖說明

圖1是根據本發明第一實施方式的線結構光傳感器標定方法的流程圖；

圖2是根據本發明第一實施方式中的線結構光傳感器模型的幾何關係示意圖；

圖3是根據本發明第二實施方式的線結構光傳感器標定方法的流程圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明的各實施方式進行詳細的闡述。然而，本領域的普通技術人員可以理解，在本發明各實施方式中，為了使讀者更好地理解本申請而提出了許多技術細節。但是，即使沒有這些技術細節和基於以下各實施方式的種種變化和修改，也可以實現本申請所要求保護的技術方案。

本發明的第一實施方式涉及一種線結構光傳感器標定方法，如圖1所示，包括：

步驟101：通過待標定的線結構光傳感器採集N個3D靶標圖像。其中，各3D靶標圖像中均包含有大於或者等於第一預設數目的非共面特徵點以及2條結構光條紋，其中，2條結構光條紋中包含有大於或者等於第二預設數目的非共面特徵點。拍攝的3D靶標圖像數目N為正整數，採集適當數目的3D靶標圖像有利於提高標定效率、提高標定精度，在一個例子中，N可以在[6，9]之間取值，例如N等於6。

本發明實施方式中，通過待標定的線結構光傳感器採集的N個3D靶標圖像中，各3D靶標圖像的採集角度可以不同，例如可以在不同的位姿下採集3D靶標圖像。由於不同位姿下採集的3D靶標圖像的角度不同，這樣，採集到的不同角度的3D靶標圖像不會受限於某一位姿下的景深與特定位置，從而可以提高線結構光傳感器標定的可靠性。

步驟102：在N個3D靶標圖像中選取第一預設數目的非共面特徵點。其中，第一預設數目由攝像機標定算法的數學模型決定，結合本實施方式攝像機標定算法(見下文)，第一預設數目為6。

步驟103：根據選取的第一預設數目的非共面特徵點對攝像機進行標定。具體地說，通過對所選取的第一預設數目的非共面特徵點，求解立體靶標坐標系與圖像像素坐標系之間的單應矩陣對攝像機進行標定。

步驟104：在N個3D靶標圖像的結構光條紋中選取第二預設數目的非共面特徵點。其中，第二預設數目可以為5。

步驟105：根據選取的第二預設數目的非共面特徵點以及攝像機的標定結果完成線結構光平面的標定。具體地說，通過利用第二預設數目的非共面特徵點以及攝像機的標定結果計算得到線結構光平面上的特徵點在攝像機坐標系下的坐標，建立線結構光平面線性方程，並利用最小二乘法，完成線結構光平面方程的標定。

下面結合圖2，對本實施方式的標定算法進行詳細說明如下：

圖2為線結構光傳感器模型的幾何關係示意圖，在圖2中，Owxwywzw為全局坐標系，Ouxuyu為圖像坐標系，Ocxcyczc為攝像機坐標系，如圖2所示，線結構光傳感器模型包括攝像機201、圖像平面202、線結構光傳感器203、結構光發射器204、結構光平面205以及被測工件206。

設結構光平面205上有一點P，在圖像坐標系下的投影為p，其在圖像坐標系下的的齊次坐標為在全局坐標系下的齊次坐標為根據攝像機針孔成像模型可得：

其中，κ為比例常數；[R t]為攝像機的外參數矩陣，描述全局坐標繫到攝像機坐標系的旋轉矩陣和平移矢量；為攝像機的內參數矩陣，其中(u0,v0)表示圖像主點的像素坐標,fx、fy分別表示X、Y軸向的等效焦距，γ表示成像平面傾斜因子；M為攝像機的投影矩陣。

同時，點P為結構光平面上的點，滿足結構光平面方程。設P點的像素值為(u,v)，結構光平面在攝像機坐標系下的方程為：

Alxc+Blyc+Clzc＝Dl (2)

其中，Al、Bl、Cl、Dl分別表示結構光平面的4個係數。

則點P從結構光平面到攝像機坐標系Ocxcyczc下坐標(xc,yc,zc)的轉化過程如下：其中，已標定得到攝像機內參數畸變係數k1、k2，結構光方程Alxc+Blyc+Clzc＝Dl，結合Alxc+Blyc+Clzc＝Dl得到：

根據選取的非共面特徵點對攝像機進行標定求解的過程如下：

記單應性矩陣M＝A[R t]，由(1)我們可以得到：

顯然3×4矩陣單應性矩陣M與一個比例因子相關。

記M＝[m1 m2 m3 m4]，mi＝[mi1 mi2 mi3]T為M第i列元素，R＝[r1 r2 r3],ri為R的第i列元素。由(4)可知

[m1 m2 m3 m4]＝λA[r1 r2 r3 t] (5)

其中，λ為任意標量。

攝像機系統可由成像晶片和光學鏡頭組成，一般存在徑向畸變和切向畸變，其中以徑向畸變為主。

設(x,y)為不存在畸變時理想投影點規格化圖像坐標系坐標，為存在畸變時的實際投影點規格化圖像坐標系坐標。則有：

且由(1)可以得到其中，為圖像實際像素坐標。

本發明實施方式中，Pi＝(Xi,Yi,Zi)T、pi＝(ui,vi)T分別表示點p在全局坐標系下目標點及圖像坐標系下的點，齊次坐標記在實際中，由於獲取圖像點的過程中存在噪聲幹擾，使得Pi和pi並不能滿足方程(1)。假設圖像點受到均值為0協方差矩陣為的高斯噪聲幹擾，那麼單映性矩陣H的最大似然估計可以通過使函數取最小值得到。其中，為矩陣M的第i行。

在實際應用中，如果每個點的提取都相互獨立，則可以簡單地假設對於所有的i存在在這種情況下，單映性矩陣M的求解變成了一個非線性最小二乘求解問題。非線性最小化問題可以使用Levenberg-Marquardt(列文伯格-馬誇爾特法)準則求解。該準則需要一個初始值，該初始值可通過下面的方法可以得到。

記由(5)不妨令m43＝1，則(4)式變為：其中假設有n個點，記方程組為L2n×11X＝K2n×1，其中有11個未知量，只要n≥6即可解出X，且有X＝(LTL)-1LTK，從而，可以得到單映性矩陣M的初始值。

標定參數A、[R t]的求解過程如下所示：

由(5)可知：

m1＝λAr1m2＝λAr2m3＝λAr3m4＝λt (6)

考慮到R為正交陣，則存在下面的約束關係：

以及

記

其中，B為對稱矩陣，定義向量b＝[B11B12B22B13B23B33]T，則有其中，

(7)，

假設採集了n張標定模型圖像，將n組如(5)的方程組成如下方程：

Vb＝0 (8)

其中，V是一個5n×6的矩陣。如果n≥2，那麼能夠得到唯一解b。如果n＝1，可以令成像平面傾斜因子γ＝0，即給方程(8)增加一個約束方程[0 1 0 0 0]b＝0。方程(8)的解為矩陣VTV最小特徵值對應的特徵向量。

根據b計算出矩陣B，矩陣B與一個比例因子相關，即B＝λA-TA-1，λ為任意標量。根據下面的公式可以計算出內參數矩陣：

計算出內參數矩陣A後，根據(6)分別計算每張圖像的外參數矩陣：

其中，κ＝1/||A-1h1||＝1/||A-1h2||＝1/||A-1h3||。由於噪聲的幹擾，上面計算出的矩陣[r1 r2 r3]並不是單位正交矩陣。

令Q＝[r1 r2 r3]，其奇異值分解為Q＝USVT，其中S＝diag(σ1,σ2,σ3)，則R＝UVT為與Q最近似的正交矩陣，即最小。

本發明實施方式還可以對得到的攝像機參數進行優化，具體優化過程如下所示：

假設採集n張參考物圖像，每張圖像上取m個標定點，且提取圖像點時相互獨立且這些點受到相同分布的噪聲幹擾。我們可以通過使函數最小得到優化參數。

在函數f中mij為第i張圖像第j個點的像素值，k1,k2分別為引入的一階二階畸變係數，Mij為第i張圖像第j個像素點對應的參考坐標，A為攝像機內參數，[Ri,ti]為第i張圖像時的攝像機外參數。I(mij,A,k1,k2)為由圖像像素坐標計算出的規格化圖像坐標系坐標，為由物體參考坐標及外參數矩陣計算出的規格化圖像坐標系坐標。在優化時，將旋轉矩陣Ri轉化為俯仰滾(RPY)角度φ,θ,並將φ,θ,作為參數進行優化。

非線性最小化可以使用Levenberg-Marquardt準則求解。該準則需要一個初始值。畸變係數的初始值可以通過求解，其中，

假設一共採集n張，每張圖像上取m個標定點則可以得到2mn個方程。記上述方程組為Mk＝d，可以得到畸變係數初始值k＝[k1k2]'＝(MTM)-1MTd，其餘參數初始值在前面已經得到。

結構光面上的點在攝像機坐標系下Ocxcyczc的坐標為下坐標(xc,yc,zc)都滿足方程結構光平面方程Alxc+Blyc+Clzc＝Dl，通過圖選取的結構光平面上的圖像坐標系點，然後通過計算出的攝像機標定參數，可轉換成攝像機坐標系下的對應的點坐標，把攝像機坐標系下的點坐標帶入上述結構光平面方程並使用最小二乘便可求解方程的未知參數。這樣，可方便的實現線結構光平面的標定。

本發明實施方式相對於現有技術而言，可以根據在N個3D靶標圖像中選取的第一預設數目的非共面特徵點，對攝像機進行標定。並且可以根據在N個3D靶標圖像的結構光條紋中選取的第二預設數目的非共面特徵點以及攝像機的標定結果，實現線結構光平面的標定。因此，本實施方式能夠實現線結構光傳感器中攝像機和結構光平面的聯合標定，並且可以採用基於數學模型的標定算法進行標定，從而有利於提高標定精度、簡化標定過程。

本發明的第二實施方式涉及一種線結構光傳感器標定方法。第二實施方式在第一實施方式的基礎上作了進一步的改進，主要改進之處在於：在本發明第二實施方式中，根據選取的第二預設數目的非共面特徵點以及攝像機的標定結果完成線結構光平面的標定之後，還包括：計算並顯示標定誤差。如圖3所示，本實施方式的線結構光傳感器標定方法包括：

步驟301：通過待標定的線結構光傳感器採集N個3D靶標圖像。其中，各3D靶標圖像中均包含有大於或者等於第一預設數目的非共面特徵點以及2條結構光條紋。

步驟302：在N個3D靶標圖像中選取第一預設數目的非共面特徵點。其中，第一預設數目基於標定算法確定。

步驟303：根據選取的第一預設數目的非共面特徵點對攝像機進行標定。具體地說，通過對所選取的第一預設數目的非共面特徵點，求解立體靶標坐標系與圖像像素坐標系之間的單應矩陣對攝像機進行標定。

步驟304：在N個3D靶標圖像的結構光條紋中選取第二預設數目的非共面特徵點。其中，第二預設數目可以為5。

步驟305：根據選取的第二預設數目的非共面特徵點以及攝像機的標定結果完成線結構光平面的標定。具體地說，通過利用第二預設數目的非共面特徵點以及攝像機的標定結果計算得到線結構光平面上的特徵點在攝像機坐標系下的坐標，建立線結構光平面線性方程，並利用最小二乘法，完成線結構光平面方程的標定。

步驟306：計算並顯示標定誤差。

步驟301中，採集3D靶標圖像的操作包括，在標定工裝臺上放置好3D靶標，連接好傳感器，接通電源，在不同的位姿下採集22圖像(採集圖像的數量不做具體限制)，將採集的圖像從1到22命名保存為bmp格式。

其次，通過待標定的線結構光傳感器採集多個3D靶標圖像後，打開MATLAB標定程序，在命令窗口輸入getpixel(n)，n為對應的圖片序號，根據提示依次完成預設的相關指令。這樣，可以獲得靶標坐標系及其在圖像坐標系下的坐標、結構光平面上的點在圖像坐標系下的坐標。

在獲取靶標坐標系及其在圖像坐標系下的坐標、結構光平面上的點在圖像坐標系下的坐標後，可以在MATLAB命令窗口輸入STEPLaserVisionCali(m)，m為已做處理的圖片總數，即可完成線結構光傳感器的標定，生成最終線結構光傳感器的標定結果STEPSensor.cali。並且，圖像與物體單應性矩陣的求解、攝像機畸變的優化、攝像機標定及結構光平面方程的標定等工作均可在MATLAB中完成。

最後，可以根據得到的標定結果進行誤差分析。其中，本實施方式的標定誤差及其計算方法包括：

1、攝像機標定誤差及其計算方法

將3D靶標特徵點(即選取的第一預設數目的非共面特徵點)轉換到圖像坐標系下，在標定算法中可以獲得到一組實際靶標特徵點和經過畸變矯正後的理想靶標特徵點，再次通過2範數計算兩者之間的位置殘差，並將此位置殘差作為攝像機標定誤差。

2、結構光平面擬合誤差

通過獲得的所有雷射條紋特徵點(即第二預設數目的非共面特徵點)擬合結構光平面(Alxc+Blyc+Clzc＝Dl)，然後通過點到面的計算公式計算得到每條結構光條紋中的各非共面特徵點到結構光平面的距離：

將結構光條紋中的所有非共面特徵點的距離作為結構光平面的擬合誤差。其中，xc0、yc0、zc0是結構光平面上某個結構光條紋點的坐標，A，B，C，D是結構光平面方程的係數。

需要說明的是，本發明實施方式中，第一預設數目以及第二預設數目的非共面特徵點均在MATLAB中選取。並且，根據選取的第一預設數目的非共面特徵點對攝像機進行標定以及根據選取的第二預設數目的非共面特徵點以及攝像機的標定結果完成線結構光平面的標定均在MATLAB軟體中執行。由於靶標特徵點(即待選取的第一預設數目的非共面特徵點)或者雷射平面特徵點(即待選取的第二預設數目的非共面特徵點)都是靶標坐標系標識線的交點或者雷射條紋及其交點，因此，在一個例子中，獲得這些特徵點的步驟是：

按照規定的順序，依次在待標定特徵點所在直線兩端單擊滑鼠，再通過2點確定一條直線，可以最終獲得特徵點所在的靶標標識線或者雷射條紋線。

依此類推，獲得滿足特徵點屬性的所有靶標標識線及雷射條紋線，通過2條非平行直線確定一個交點(即調用MATLAB中的solve函數)，最終計算出所有特徵點的坐標位置，從而不僅可以通過提高特徵的坐標精度而提高標定精度，而且可以提高標定效率。

本發明實施方式中，根據選取的第二預設數目的非共面特徵點以及攝像機的標定結果完成線結構光平面的標定之後，還可以計算並顯示標定誤差。這樣，便於用戶了解標定結果。

上面各種方法的步驟劃分，只是為了描述清楚，實現時可以合併為一個步驟或者對某些步驟進行拆分，分解為多個步驟，只要包含相同的邏輯關係，都在本專利的保護範圍內；對算法中或者流程中添加無關緊要的修改或者引入無關緊要的設計，但不改變其算法和流程的核心設計都在該專利的保護範圍內。

本領域技術人員可以理解實現上述實施例方法中的全部或部分步驟是可以通過程序來指令相關的硬體來完成，該程序存儲在一個存儲介質中，包括若干指令用以使得一個設備(可以是單片機，晶片等)或處理器(processor)執行本申請各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括：U盤、移動硬碟、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光碟等各種可以存儲程序代碼的介質。

本領域的普通技術人員可以理解，上述各實施方式是實現本發明的具體實施例，而在實際應用中，可以在形式上和細節上對其作各種改變，而不偏離本發明的精神和範圍。