一種攝像機參數的魯棒性估計算法的製作方法

2023-06-06 05:14:56

專利名稱：一種攝像機參數的魯棒性估計算法的製作方法
技術領域：
本發明屬於測量技術領域，涉及一種攝像機參數的魯棒性估計算法，能夠在標定圖像局部質量較差的情況下準確地確定出攝像機參數。
背景技術：
攝像機標定是視覺測量中一個重要而關鍵的環節，其主要任務在於通過靶標特徵點的二維圖像坐標與對應的三維世界坐標求解攝像機參數。攝像機標定結果的準確程度對於整個機器視覺系統的測量結果有著重要的影響。如果標定的攝像機參數不能準確反映真實的攝像機模型，則由該參數參與計算得到的物體三維重構形狀將會變形失真，對物體的位置和姿態的估計將會出現偏差，獲取的被測物的幾何特徵精度將會下降。攝像機標定過程中，由於標定圖像的拍攝受到外界環境的幹擾，部分靶標圖像的特徵點坐標常常難以準確提取，這將導致計算得到的攝像機參數誤差增大。如果採用恰當的方法檢測 並去除含有粗大誤差的特徵點，並對最初得到的攝像機參數進行重新估計，則會大大提高標定結果的精度。目前，針對採用三維立體靶標和直接線性變換法的攝像機標定過程，WuYihong等人採用基於6點不變量的評價函數和RANSAC方法(隨機抽樣一致算法，參見Random sample consensus:a paradigm for model fitting with applications to imageanalysis and automated cartography. Communications of ACM[J]. 1981, 24:381 - 395)成功地檢測並剔除了粗大誤差點(參見Detecting and handling unreliablepoints for camera parameter estimation. International Journal of ComputerVision [J], 2008, 79:209 - 223)。然而，由於構成三維立體靶標的不同平面之間的相互遮擋以及高精度三維靶標加工困難，三維靶標逐漸被二維平面靶標取代。對於更為常用的採用二維平面祀標的標定方法(參見 A flexible new technique for camera calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence[J]. 2000, 22(11):1330 - 1334)，現在尚無一種能夠有效檢測並剔除粗大誤差點的攝像機參數魯棒性估計算法。

發明內容
本發明的技術解決問題是克服現有技術的不足，提供一種基於二維靶標的攝像機參數魯棒性估計算法，該算法能夠有效解決由於標定圖像局部質量較差導致標定的攝像機參數精度下降的問題。本發明的技術解決方案為一種攝像機參數的魯棒性估計算法，其特徵在於該方法包含以下步驟I、自由移動靶標至少3個位置，每移動一個位置，拍攝一幅圖像，靶標內所有特徵點應該包含在拍攝圖像內，提取圖像所含特徵點的坐標，利用特徵點的圖像坐標與已知的世界坐標的對應關係求解攝像機參數的初始值；2、利用獲取的攝像機參數計算每個特徵點的重投影誤差Ept，並與設定的閾值Tpt進行比較，剔除滿足條件Ept>Tpt的特徵點，利用剩餘的特徵點進行攝像機參數的非線性優化，步驟2將反覆進行直到剩餘的所有特徵點均滿足Ept ( Tpt ；3、利用步驟2得到的攝像機參數計算每幅圖像的重投影誤差Eimg，根據每幅圖像的Eimg設定閾值T_，採用RANSAC算法檢測出每幅圖像的粗大誤差特徵點，利用剔除後的剩餘特徵點對攝像機參數再次進行優化。步驟I所述的靶標為玻璃材質的棋盤格平面靶標，靶標特徵點為平面上的36X36個格點，格點之間的最小距離為2mm ；步驟2和步驟3所述的非線性優化均採用Levenberg-Marquardt算法處理目標函數的極小化問題。本發明與現有技術相比的優點在於
針對基於二維靶標的攝像機參數標定過程，本發明利用閾值剔除和RANSAC算法相結合的手段，能夠有效地檢測到標定圖像中存在的粗大誤差特徵點，剔除後剩餘的特徵點將用於攝像機參數的優化。採用本發明所提出的魯棒性估計算法，尤其適用於標定圖像局部質量受損的情形，能夠大大提高攝像機參數的標定精度和測量精度。


圖I為本發明涉及的攝像機參數魯棒性估計算法流程示意圖；圖2為本發明實施例中用於攝像機標定的一幅靶標圖像；圖3為本發明實施例中用於標定結果測試的一幅靶標圖像。
具體實施例方式下面對本發明做進一步詳細說明。本發明針對標定圖像中含有部分粗大誤差特徵點的情況，首次採用閾值剔除和RANSAC算法相結合的手段，消除了粗大誤差特徵點對標定結果的影響，實現了攝像機參數的魯棒性估計。攝像機模型以拍攝的靶標平面為參考建立世界坐標系，以攝像機所在位姿為參考建立攝像機坐標系。設任意一個特徵點在世界坐標系下的坐標為M，對應的圖像點坐標為m，則理想的針孔成像模型表示為Xm = A[R\t^M[1]其中入為不為零的比例因子,沿和愈為齊次坐標表示,R和t為世界坐標系與攝像機坐標的變換，分別表示3X3的旋轉矩陣和3X I的平移向量，A為內部參數矩陣
/.X 0 W0A= 0 f V0
0 0 I其中fx和fy為攝像機的有效焦距，(Uc^vtl)為攝像機的主點坐標。考慮攝像機鏡頭的一階和二階徑向畸變，設點m對應的實際圖像坐標為md，則理想圖像坐標到實際圖像坐標的變換，即攝像機鏡頭的崎變1吳型為md = [!+Ii1T2+k2r4]m[2]其中Ic1和k2分別為一階和二階徑向畸變係數，r為理想圖像點m到主點坐標的距離。下面詳細闡述一種攝像機參數魯棒性估計算法的具體步驟I、自由移動靶標至少3個位置，每移動一個位置，在自然光照環境下拍攝一幅圖像，稱為標定圖像，靶標內所有特徵點應該包含在拍攝圖像內，共獲取K幅靶標圖像，並提取圖像中各個特徵點的坐標。所採用的靶 標為玻璃材質的棋盤格平面靶標，靶標特徵點為平面上的36X36個格點，格點之間的最小間距為5mm。為了便於公式表達，設每幅圖像含有L個特徵點，特徵點圖像坐標提取方法參見《模式識別中的特徵提取與計算機視覺不變量》(孫即祥、王曉華、種山著，國防工業出版社，2001年)。2、利用特徵點的圖像坐標與已知的世界坐標的對應關係求解攝像機參數的初始值，包括內部參數、外部參數和畸變係數，具體算法參見Zhang Zhengyou的論文「Aflexible new technique for camera calibration. IEEE Transactions on PatternAnalysis and Machine Intelligence[J]. 2000，22(11) :1330 - 1334」。3、利用獲取的攝像機參數，將特徵點在世界坐標系中的坐標M重投影到圖像平面，重投影的坐標表示為mp，並計算每個特徵點的實際圖像坐標md與mp的距離，即重投影誤差Ept。將Ept與設定的閾值Tpt=2pixel進行比較，逐個剔除滿足條件Ept>Tpt的特徵點，並利用剩餘的特徵點進行攝像機參數的非線性優化，其優化的目標函數為
K h2mdj.j ~ mpJJ ^fx ->fV5 55 )[3]
,=1/=1"其中i表不標定圖像的序號，j表不標定圖像中特徵點的序號，K表不標定圖像的幅數，Li表示第i幅圖像剔除粗大誤差特徵點後剩餘的特徵點個數。步驟3將反覆進行直到剩餘的所有特徵點均滿足Ept ( Tpto4、利用步驟3得到的攝像機參數計算每幅圖像的重投影誤差Eimg (參見《MultipleView Geometry in Computer Vision》，H. Richard and A. Zisserman, CambridgeUniversity Press, 2003年),根據每幅圖像的Eimg設定相應的閾值T e=L 2Eimg,並初始化RANSAC算法的參數採樣次數上限值N ，野值點(即RANSAC中的粗大誤差特徵點)比例e =100%，隨機樣本中至少有一次沒有野值點的概率p=99%,樣本大小s=4，採樣次數n=l，以上參數滿足的關係為N= 1 譁(1 —屍)[4]
L 」 Iog(HUs)1」5、對於第i幅標定圖像，按照圖像特徵點的分布，將特徵點均勻地分為4個區域，從每個區域中都隨機選取一個特徵點組成一個樣本。根據隨機選取的4個特徵點以及步驟3得到的內部參數和畸變係數計算該樣本對應的外部參數，並根據以上參數計算該幅圖像每個特徵點的重投影誤差E_。6、滿足條件Ere。( Trsc的特徵點定義為內點，內點的集合表示為Sin,內點個數表
示為Num(Sin);不滿足條件Ere。( Trsc的特徵點定義為野值點,野值點的集合表示為Stjut,野
值點個數表示為Num(Swt)。根據公式[5]計算該樣本對應的野值點比例若滿足條件
e *〈 e，則令e = e *,並根據公式[4]更新N的數值。
I7vml F* 二 ^um(Saat)「51—Ntm(Sin)+Ntm(Som)1 J
7、如果採樣次數n大於上限值N，則在所有內點集合Sin中選出內點個數最大的集合，稱為最大一致集S_。如果有兩個以上的內點集合Sin具有最大的內點個數，則選取其中內點重投影誤差均值較小的集合為最大一致集。如果採樣次數n小於或等於上限值N，則令n=n+l,返回到步驟5。8、如果當前處理的標定圖像序號i=K，即所有圖像的特徵點均處理完畢，則最終參
與標定的內點集合C由每幅圖像的最大一致集構成，即C = 。根據公式[3]，集合C中
/=1
的所有特徵點將用於攝像機參數的非線性優化。如果當前處理的標定圖像序號i〈K，則令i=i+1，返回到步驟5，處理下一幅圖像。實施例採用Point grey FL2-20S4M/C相機和12mm Computar鏡頭組成待標定的攝像機，圖像解析度為1280pixelSX960pixelS。實施例中採用的靶標為玻璃材質的棋盤格平面靶標，靶標特徵點為平面上的36X36個格點，格點之間的最小間距為2mm，間距的製作精度為
0.001mm。在自然光照條件下，自由移動靶標到10個不同的位置，每移動一個位置，拍攝一幅圖像，靶標上所有的特徵點應包含在拍攝圖像內，共獲取10幅靶標圖像作為標定圖像(圖2所示為用於標定的一幅圖像)。在背光源照明條件下，採用同樣的拍攝手段，得到5幅靶標圖像作為測試圖像(圖3所示為用於測試的一幅圖像)，用於評定標定結果的測量精度。按照具體實施方法中所述的步驟2得到攝像機參數的初始值，由步驟8即本發明方法得到魯棒性估計值(見表一)。其中，標定精度的評價方法為利用已標定的攝像機參數結果，得到10幅標定圖像中特徵點的重投影坐標，計算其與對應的實際圖像坐標的均方根誤差。測量精度的評價方法為採用未標定的5幅圖像作為測試圖像，運用參數的標定數值，計算出每幅測試圖像的靶標平面位姿參數，再將每幅測試圖像的圖像特徵點反投射到靶標平面形成交點，計算其與所有空間特徵點之間的距離的均方根誤差(見表二)。
權利要求
1. 一種攝像機參數的魯棒性估計算法，其特徵在於該方法包含以下步驟 I. I、自由移動靶標至少3個位置，每移動一個位置，拍攝一幅圖像，靶標內所有特徵點應該包含在拍攝圖像內，提取圖像所含特徵點的坐標，利用特徵點的圖像坐標與已知的世界坐標的對應關係求解攝像機參數的初始值； I. 2、利用獲取的攝像機參數計算每個特徵點的重投影誤差Ept，並與設定的閾值Tpt進行比較，剔除滿足條件EptXTpt的特徵點，利用剩餘的特徵點進行攝像機參數的非線性優化，步驟I. 2將反覆進行直到剩餘的所有特徵點均滿足Ept ( Tpt ； 1.3、利用步驟I. 2得到的攝像機參數計算每幅圖像的重投影誤差Eimg，根據每幅圖像的Eimg設定閾值T_，採用RANSAC算法檢測出每幅圖像的粗大誤差特徵點，利用剔除後的剩餘特徵點對攝像機參數再次進行優化。
2.根據權利要求I所述的一種攝像機參數的魯棒性估計算法，其特徵在於步驟I.I所述的靶標為玻璃材質的平面靶標，靶標特徵點為平面上的36X36個格點，格點之間的最小距離為2mm。
3.根據權利要求I所述的一種攝像機參數的魯棒性估計算法，其特徵在於步驟I.2和I. 3所述的非線性優化採用Levenberg-Marquardt優化算法處理目標函數的極小化問題。
全文摘要
本發明屬於測量技術領域，將提供一種攝像機參數的魯棒性估計算法。本發明首先利用提取到的所有圖像特徵點進行攝像機參數的標定；然後計算每個特徵點的重投影誤差，並與設定的閾值進行比較，剔除含有粗大誤差的特徵點，利用剩餘的特徵點進行攝像機參數的非線性優化；最後，依次針對每幅圖像，計算該圖像的重投影誤差，採用RANSAC算法剔除每幅圖像包含的粗大誤差特徵點，並再次利用剩餘的特徵點進行攝像機參數的非線性優化。本發明提出的攝像機參數估計方法實現簡單，魯棒性強，能夠有效提高攝像機參數的標定精度和測量精度，適合標定圖像局部質量較差，導致部分特徵點坐標提取不準確的情況。
文檔編號G06T7/00GK102800096SQ20121025053
公開日2012年11月28日 申請日期2012年7月19日 優先權日2012年7月19日
發明者周富強, 崔毅 申請人:北京航空航天大學