基於無跡卡爾曼濾波的攝像機標定方法
2023-06-07 06:03:11
專利名稱：基於無跡卡爾曼濾波的攝像機標定方法
技術領域：
本發明涉及一種基於無跡卡爾曼濾波的攝像機標定方法。該方法主要用於視覺系統的攝 像機標定，可應用於三維測量、三維重建、主動視覺和機器導航等領域。
背景技術：
攝像機標定是根據攝像機參數模型，由圖像坐標系和世界坐標系的已知特徵點求解攝像 機模型內部光學參數和相對於世界坐標系的位置關係的外部參數。在計算機視覺應用中常採 用針孔攝像機模型，該成像模型可用以下公式描述.-formula see original document page 5其中，(tt,v)表示二維圖像坐標系上的點，(x,y，zj表示三維世界坐標系上的點，s為任 意非零尺度因子，旋轉矩陣R與平移向量t構成及外部參數矩陣，分別定義了攝像機在三維 空間的姿態和位置，A稱為攝像機內部參數矩陣，定義為
(線。，v。)為攝像機光心在圖像平面的投影點坐標，即主點，au、 ^分別表示ii軸和v軸的 尺度因子。在實際中，鏡頭不是理想的透鏡成像，存在不同程度的畸變，使實際二維圖像平 面坐標(tt',v'〕發生偏移，有如下關係 formula see original document page 5其中，Su和^是線性畸變，定義如下formula see original document page 5上述&、 av、 u。、 v。、與畸變參數lq、 i^一起構成了非線性模型的攝像機內部參數。 現有的攝像機定標技術大體歸為兩類:傳統的攝像機定標方法和攝像機自定標方法。 傳統的攝像機定標是利用一個標準參照物與其圖像的對應約束關係，來確定攝像機模型 的參數，標定方法可以分成四類，即利用最優化算法的定標方法；利用攝像機變換矩陣的定標方法；進一步考慮畸變補償的兩步法和採用更為合理的攝像機成像模型的雙平面定標方法。 按照求解算法的特點，它分為直接非線性最小化方法(迭代法)、閉式求解方法和基於徑向約 束的兩步法。
攝像機自定標不需要知道準確的三維度量信息，試圖利用從圖像序列中得到的約束關係 來計算攝像機模型的參數。目前的研究成果主要有利用本質矩陣和基本矩陣的攝像機定標 方法、利用絕對二次曲線和外極線變換性質的攝像機定標方法、利用主動系統控制攝像機做 特定運動的自定標方法和利用多幅圖像之間的直線對應關係的攝像機定標方法等。
傳統的攝像機定標技術必須利用一個標準參照物以獲得準確的三維度信息，對標定物的 精度要求高，往往造成過高的成本，而攝像機自標定技術問題可以歸結為求解一組非線性多 項式方程組問題。解決這類問題的最常用的方法是各種優化算法。然而優化算法本身既不能 保證找到全局最優解，又不能說明解的性質，因此在計算機視覺中對求解非線性問題方法的研 究是一個很重要的方面。
發明內容
本發明是針對現有技術中的不足，提出了一種基於無跡卡爾曼濾波的攝像機標定方法， 該標定方法能簡化靶標製作工藝，降低靶標製作成本，還能提高攝像機標定系統的標定精度 和魯棒性。
為了實現上述目的，本發明的技術方案是上述基於無跡卡爾曼濾波的攝像機標定方法， 該標定方法包括將二維平面靶標圖像上的標誌點看作勻速運動的點，利用系統噪聲和量測噪 聲的統計特性，以觀測到的靶標標誌點的圖像坐標和對應的世界坐標作為濾波器的輸入，內 外參數的估計作為卡爾曼濾波器的輸出，根據無跡卡爾曼濾波算法得到攝像機內外參數的最 優估計，其步驟如下
(1) 、製作已知尺寸的二維平面靶標，靶標的樣式為西洋棋棋盤格樣式，靶標的尺寸 由視覺系統目標對象的尺寸決定。通常，靶標尺寸應與目標對象尺寸近似一致；
(2) 、在攝像機視野範圍內拍攝不同位姿靶標圖像攝像機固定在待標定攝像機位置上 在其視野範圍內移動拍攝耙標，或在固定耙標位置上移動攝像機從不同位置和角度拍攝靶標；
(3) 、提取上述二維平面靶標圖像的標誌點，標誌點為棋盤格角點，採用Harris角點 檢測算法，提取出像素級的角點，求出各標誌點在二維平面靶標圖像坐標系中的坐標值；
(4 )、將上述提取的標誌點圖像坐標以及對應的世界坐標作為卡爾曼濾波器的輸入，利用無跡卡爾曼濾波算法計算出攝像機內、外參數的最優估計作為系統的輸出，根據上述卡爾 曼濾波輸出結果中的畸變參數矯正二維靶標圖像，完成攝像機的標定。
本發明的基於無跡卡爾曼濾波的攝像機標定方法應用於基於平面靶標對攝像機進行標定 的各種場合，該方法標定攝像機的內部幾何光學參數(內部參數)和相對於外部世界坐標系 的位置關係參數(外部參數)主要有以下優點
(1)、該方法使用了二維平面靶標進行標定，二維平面靶標較傳統三維靶標具有製作工 藝簡單，成本低，精度高等特點，具有較高的實用性。
(2)、該方法採用無跡卡爾曼濾波作為攝像機內外參數估計的算法，充分利用了卡爾曼濾波的良好動 態特性和參數最優估計特性，能提高攝像機標定系統的精度和魯棒性。
圖1是本發明一個實施例中所採用的二維靶標示意圖； 圖2是本發明一個實施例中所拍攝的6幅不同位姿靶標示意圖； 圖3是從一幅靶標圖像上提取的標誌點的示意圖； 圖4是本發明的基於無跡卡爾曼濾波的攝像機標定方法流程圖。
具體實施例方式
下面結合本發明的一個具體實施例及附圖對本發明做進一步詳細說明。 本發明基於無跡卡爾曼濾波的攝像機標定方法包括以下步驟
步驟l:製作尺寸大小已知的二維平面耙標，如圖l所示，該二維靶標尺寸為8X8的棋
盤格，共有耙標標誌點64個，每個棋盤格單元大小為9. 42mmX9. 42mm;
步驟2:拍攝不同位姿靶標圖像，如圖2所示。圖2僅展示了 6幅不同位姿實際耙標圖 像，實際測量中，不同位姿靶標圖像數量與攝像機標定精度成正比。在二維靶標平面上建立 坐標系OwK^,YwZw，該坐標系稱為世界坐標系。靶標各標誌點表示為〔x^y^z^) ，i為自然數。 根據攝像機擺放位置建立攝像機坐標系"XcYcZc
步驟3:提取二維平面靶標標誌點，採用現有的各種角點提取算法標記出各幅二維靶標 圖像上的各標誌點位置，見圖3中的圓點標記，優先採用Harris角點檢測算法，提取出像素 級的角點後，對角點子域的像素灰度進行擬合內插，常用高斯曲面擬合，這樣的角點檢測結 果在子像素級，具有更高的精度。設所提取的各標誌點在靶標圖像坐標系OUV中與視覺坐標 系對應的坐標為(iit ，W)， i為自然數,攝像機光心在靶標圖像坐標系中的投影點，即主點，坐標為(％ ' V0) o
(4)、將上述提取的標誌點圖像坐標以及對應的世界坐標作為卡爾曼濾波器的輸入，利 用無跡卡爾曼濾波算法計算出攝像機內、外參數的最優估計作為系統的輸出，根據上述卡爾 曼濾波輸出結果中的畸變參數矯正二維耙標圖像，完成攝像機的標定，其具體步驟如下 步驟4-l:建立攝像機模型，如下式
formula see original document page 8
其中，各參數含義與技術背景中所述一致。平移向量t-〖^tytj，旋轉矩陣R採用四元數
表示法，旋轉矩陣R可以用四元矢量q"nq^J描述，見下式
formula see original document page 8
其中，qi+q|+q§ + qi = i。考慮到鏡頭畸變使實際二維圖像平面坐標發生偏移，有如下
關係:
formula see original document page 8
其中，§。和§、.是線性畸變，定義如下:
formula see original document page 8
上述q。HHVtz,nu。,v。與畸變係數H，一起構成攝像機模型的內、外參數；
步驟4-2:建立卡爾曼濾波狀態模型。假設靶標標誌點是做勻速運動，把點數的增加作
為時刻變化，靶標標誌點坐標作為點在不同時刻的運動坐標，
設狀態向量 琳)=(H "th,q4,Wty:tjs,au,av,iio, v。鳥,k:2)T
攝像機狀態方程x(k) = #(ia-:i)x(fc-i)，
其中x(k)和x(k-l)分別為k-l和k時刻的狀態向量，爭(fch+i)為13階的單位方陣， 處於臨界穩定狀態。
步驟4-3:建立卡爾曼濾波量測模型。將先驗知識多幅靶標標誌點的圖像坐標(U， V)、
對應的世界坐標(x,y，，zj和約束條件q〗+ql+ q〖+ qi = i作為量測向量，則量測方程可表示z(fc) = H[x(k),is(k)=[1^04112(!0,|13(1￡)〗7+n:0c),ii2(lc:U3(切7
其中，[&(fc),馬Ck),^(Ic)〗T是零均值白噪聲，為時間函數，
r4 (k)s;w + r5 (k)yw +' rs (k〕^ + ty(k)
緣)="氣CkK^掘^+"(^+"G0線+ 》=順 h3(k) = q^十q置+ql+q| =1
步驟4-4:無跡卡爾曼濾波算法，卡爾曼濾波包括兩個步驟預測與更新。設靶標標誌
點從0時刻運動到k時刻，量測信息Zk=[Zl， z2,， zk]。利用量測信息得到x (k)的估計S(klk〗， 估計的協方差P(klk-l)列出預測與更新方程，有
預測方程
x(k|k - i) = E[x(k- 一 1)jZ勺，
E (k|k — 13 = E((x(lc) — f (k|k —— i))Cx(k) — &S(1# — 1))丁『Z51，
1她—i) - E{《2(k)-糊k— —艦k—幼t:〗；
更新方程
v(k)=z(k)—i(kjk- i)，
W恥=!^棘—i照(雖—i)，
S:(Mfc) = 5(ki|k - i) + W(k)v(k),
P(k.lk) - P汰jk —幻-W(k)Pw04k — i)WT(k)。 根據無跡卡爾曼算法原理，上述非線性方程求解轉化為求H(O的均值和協方差的非線性變 換，關鍵點是確定點集採樣策略，目前已有的採樣策略有對稱採樣、單行採樣、3階矩偏度 採樣以及高斯分布4階矩採樣等，本發明優選對稱採樣。
步驟4-5:矯正畸變圖像。將根據卡爾曼濾波輸出結果中的畸變參數i^^矯正二維標靶 圖像。
本發明實現一個完整的攝像機標定過程，其步驟如上所述，如圖4所示。
權利要求
1、一種基於無跡卡爾曼濾波的攝像機標定方法，其特徵在於包括將二維平面靶標圖像上的標誌點看作勻速運動的點，利用系統噪聲和量測噪聲的統計特性，以觀測到的靶標標誌點的圖像坐標和對應的世界坐標作為濾波器的輸入，內外參數的估計作為卡爾曼濾波器的輸出，根據無跡卡爾曼濾波算法得到攝像機內外參數的最優估計，其步驟如下(1)、製作已知尺寸的二維平面靶標；(2)、在攝像機視野範圍內拍攝不同位姿靶標圖像；(3)、提取上述二維平面靶標圖像的標誌點；(4)、將上述提取的標誌點圖像坐標以及對應的世界坐標作為卡爾曼濾波器的輸入，利用無跡卡爾曼濾波算法計算出攝像機內、外參數的最優估計作為系統的輸出，根據上述卡爾曼濾波輸出結果中的畸變參數矯正二維靶標圖像，完成攝像機的標定。
2、 根據權利要求1所述的方法，其特徵在於，上述步驟(1)中，製作已知尺寸的二維平面 靶標，靶標的樣式為西洋棋棋盤格樣式，靶標的尺寸由視覺系統目標對象的尺寸決定，靶 標尺寸應與目標對象尺寸近似一致。
3、 根據權利要求2所述的方法，其特徵在於，上述步驟(2)中，在攝像機視野範圍內拍攝不同位姿靶標圖像，攝像機固定在待標定攝像機位置上在其視野範圍內移動拍攝耙標，或在 固定耙標位置上移動攝像機從不同位置和角度拍攝耙標。
4、 根據權利要求3所述的方法，其特徵在於，上述步驟(3)中，提取上述二維平面靶標圖像 的標誌點，採用Harris角點檢測算法，提取出像素級的角點，求出各標誌點在二維平面靶標 圖像坐標系中的坐標值。
5、 根據權利要求4所述的方法，其特徵在於，上述步驟(4)中，將上述步驟(3)中提取的標 志點圖像坐標以及對應的世界坐標作為卡爾曼濾波器的輸入，利用無跡卡爾曼濾波算法計算 出攝像機內、外參數的最優估計作為系統的輸出，根據上述卡爾曼濾波輸出結果中的畸變參 數矯正二維靶標圖像。
6、 根據權利要求1或2或3或4或5所述的方法，其特徵在於，上述步驟(4)中，將上述步 驟(3 )中提取的標誌點圖像坐標以及對應的世界坐標作為卡爾曼濾波器的輸入，利用無跡卡 爾曼濾波算法計算出攝像機內、外參數的最優估計作為系統的輸出，根據上述卡爾曼濾波輸 出結果中的畸變參數矯正二維靶標圖像，其具體步驟為(4)-1:建立攝像機模型，如下式formula see original document page 2其中，平移向量t-〖^tytj,旋轉矩陣R採用四元數表示法，旋轉矩陣R用四元矢量 cp(qi,q2H)描述'見下式formula see original document page 32fecfc + q。 q，)(lU + q！ — q:i2(q2 tfa — q:0 qj其中，+ = i 鏡頭畸變使實際二維圖像平面坐標發生偏移，有如下關係其中，5u和^是線性畸變，定義如下、r = V一 tt。》+ — v。)'2上述q。,nq4,WVtz,^,^tt。,v。與畸變係數kpk2—起構成攝像機模型的內、外參數；(4)-2 :建立卡爾曼濾波狀態模型，假設耙標標誌點是做勻速運動，把點數的增加作為 時刻變化，靶標標誌點坐標作為點在不同時刻的運動坐標，設狀態向量 琳)=(qjj'qi'ntx'ty'Va^a^ttjj ^vkvfcs)T攝像機狀態方程=— i)3i〔k- i)，其中X(k)和X(k-l)分別為k-l和k時刻的狀態向量，# (kk+i)為13階的單位方陣， 處於臨界穩定狀態；(4)-3:建立卡爾曼濾波量測模型，多幅靶標標誌點的圖像坐標(U， V)、對應的世界坐 標(x,y,^〗和約束條件ql +qf++= l作為量測向量，則量測方程可表示為z(k) = HDc(ftn(k)] -: |ha00,h2O0,hs(IO〗T+ [na(k),%(i:us(k)F其中，[1k(k),iaiCl,Il3(fc》〗T是零均值白噪聲，為時間函數，formula see original document page 3(4)-4:無跡卡爾曼濾波算法，卡爾曼濾波包括兩個步驟設靶標標誌點從O時刻運動到 k時刻，量測信息Zk=[Zl， z2，…，Zk]，利用量測信息得到x(k)的估計S(k)k)，估計的協方差 P(klk-l)列出預測與更新方程，有 預測方程-安Ck〗k — 1〗=Ex(k — i jk - i〗P,P(klk — 1) = Ef (sSK —— l))Cx(k)—,魅《Klk — l〕f |2k3，試k:lk — 1) = E《H(S0clk— 1))P，，PTOWlc — 1) = ￡Kz 》一 2汰lk — —試Wk — 1〕)T};更新方程v(fc) = z(k) — g(klk-1)，WCD = i^Wk — 1)J^ 汰lfe — i)，糊k) = ,k — i) +W(k>'(k)， P(到k) = P(lclk —■ 1) - W(fc)Pvv(k|k — l)WT(k); 上述非線性方程求解轉化為求H( )的均值和協方差的非線性變換； (4)-5:矯正畸變圖像，將根據卡爾曼濾波輸出結果中的畸變參數^,ks矯正二維標靶圖像， 完成攝像機的標定。
全文摘要
本發明公開了一種基於無跡卡爾曼濾波的攝像機標定方法，該方法包括將二維平面靶標圖像上的標誌點看作勻速運動的點，利用系統噪聲和量測噪聲的統計特性，以觀測到的靶標標誌點的圖像坐標和對應的世界坐標作為濾波器的輸入，內外參數的估計作為卡爾曼濾波器的輸出，根據無跡卡爾曼濾波算法得到攝像機內外參數的最優估計，完成攝像機的標定。該方法使用了二維平面靶標進行標定，二維平面靶標較傳統三維靶標具有製作工藝簡單，成本低，精度高等特點，具有較高的實用性；該方法採用無跡卡爾曼濾波作為攝像機內外參數估計的算法，充分利用了卡爾曼濾波的良好動態特性和參數最優估計特性，能提高攝像機標定系統的精度和魯棒性。
文檔編號G06T7/00GK101561931SQ20091005203
公開日2009年10月21日 申請日期2009年5月26日 優先權日2009年5月26日
發明者孫峰傑, 李長遠, 羅珍茜, 雷 薛, 陸士清 申請人:上海大學