一種旋轉立體視覺的攝像機外參數自標定方法

2023-07-09 00:01:16

專利名稱：一種旋轉立體視覺的攝像機外參數自標定方法
技術領域：
本發明涉及基於計算機視覺的像機自標定方法，尤其是一種用於旋轉立體視覺的攝像機自標定方法。該方法主要用於視覺系統的像機標定，具有廣寬的應用範圍，典型的包括製造工業中的工件檢測、場景深度感知、反向工程、物體三維掃描等。

背景技術：
攝像機自標定指直接由未標定的多幅圖像確定攝像機內參數的過程，自標定一旦完成，就可由這些圖像來完成度量重構。自標定避免了用特殊的標定物體來標定攝像機的繁瑣任務，具有極大的靈活性。目前大部分的攝像機自標定是針對攝像機內參數進行的。這是由於攝像機外參數的易變性導致對攝像機外參數進行標定失去意義。但對於旋轉立體視覺來說，由於其各角度的攝像機外參數之間有一定的規律性使得旋轉立體視覺的外參數自標定也同樣重要。一般的攝像機外參數自標定必須對任一位置的攝像機進行標定。


發明內容
為了尋求一種適用於旋轉立體視覺的外參數自標定方法及克服傳統外參數自標定方法中對每個位置進行標定的繁瑣性。本發明提供一種計算簡單、只需要兩個方位的物體圖片就能獲取攝像機外參數的自標定方法。
本發明解決其技術問題所採用的技術方案是 1、一種旋轉立體視覺的外參數自標定方法，其特徵在於所述自標定方法包括以下步驟 1)、設定世界坐標系的一坐標平面與標定板平面重合，與此坐標平面垂直的坐標軸垂直於標定板平面，與標定板平面重合的坐標平面為XOY平面，獲取標定板上圓心點的世界坐標，在Z方向上移動標定板獲取空間中不在同一平面的多個點的世界坐標，設定空間點的世界坐標(Xw，Yw，ZW)，提取得到標定板上圓心的圖像象素坐標值(μ，v)，點的世界坐標和圖像坐標存在如下關係 式中M是攝像機投影矩陣，為3×4矩陣，Zc為點在攝像機坐標系下Z方向上的坐標分量，由上式得以下兩個方程 投影矩陣M有11個自由度，通過六個不在同一平面的空間點計算投影矩陣M； 2)、計算兩幅不同角度圖片的基礎矩陣F，然後根據F及兩幅圖像上的點計算兩幅圖像的極線，極線的交點即是圖像的極點； 3)、計算旋轉軸方向向量及兩攝像機坐標系的平移向量 由步驟1)所求得的攝像機投影矩陣為M，此處記為P1 並已經過內外參數分解，則其它方位的攝像機投影矩陣表示為 R2是第二個攝像機坐標系相對於第一個攝像機坐標系變換矩陣中的旋轉分量，t2是第二個攝像機坐標系相對於第一個攝像機坐標系變換矩陣中的平移分量； 由於極點是攝像機坐標系的原點在投影平面上的成像點，對於以上兩個方位上的攝像機成像平面，得到極點坐標分別為 其中，是第二個攝像機坐標系的原點在世界坐標系下的坐標，是第一個攝像機坐標系的原點在世界坐標系下的坐標； 由式(3)和式(5)計算得 由式(4)和式(6)計算得 第一個攝像機是已標定好的，通過分解投影矩陣P1得出攝像機內參數K和第一個攝像機坐標系相對於世界坐標系的變換參數R1、

由式(7)和式(8)得到

是兩幅圖像的極點，K由攝像機投影矩陣P1分解求得，由式(9)得出旋轉矩陣R2，矩陣P1分解時採用的是四元素內參數矩陣，即內參數中的扭曲因子s為零 令 則 令 式(9)表示成(13) 由繞固定軸旋轉的旋轉矩陣計算公式計算得 令 式(13)展開為 其中，λ為一比例係數，採用計算其方向向量的辦法求解R2，R2用式(14)表示。
令 方程組(15)提供關於n1，n2，n3的兩個約束方程，方程組(15)是平面上點的變換方程； 由方程組(15)和式(16)得到 n1，n2，n3是旋轉軸方向向量的三個分量，則 由方程組(17)和式(18)提供關於n1，n2，n3的三個約束，求出方向向量的三個分量； 得出方向向量後，計算旋轉任意角度的旋轉矩陣，由得 由上式(19)把攝像機二相對於攝像機一的平移矢量計算出來； 4)、求解出

後，根據式(20)計算攝像機與旋轉軸的平移向量d，攝像機內參數矩陣已通過投影矩陣分解得到，隨後對於旋轉任意角度的攝像機外參數矩陣都根據式(20)計算得到 其中(21) 其中，n1，n2，n3為旋轉軸方向向量的三個分量，θ為旋轉角度。
本發明的技術構思為在一個方向上對攝像機進行手工標定，對得到的攝像機投影矩陣進行分解得到內外參數矩陣(這兒目的是得到攝像機內參數矩陣)。再通過從兩個方向上對同一物體所拍攝圖片求取極點坐標，根據極點坐標、攝像機內參數和旋轉矩陣的關係獲得旋轉軸方向及旋轉軸在第一個攝像機坐標系下的平移量。最後根據上面得到的參數計算任意方向上的攝像機投影矩陣。
旋轉立體視覺的外參數自標定方法克服了傳統外參數自標定方法中對每個位置進行標定的繁瑣性。本發明提供一種只需要兩個方位的物體圖片就能獲取攝像機外參數的自標定方法 本發明的有益效果主要表現在計算簡單、只需要兩個方位的物體圖片就能獲取任意方位的攝像機外參數，


圖1用於標定攝像機的標定板的圖片 圖2是算法改進之前的盒子重建圖 圖3極點線擬合圖片。
圖4算法改進後的盒子重建圖。

具體實施例方式 下面結合附圖對本發明作進一步描述。
參照圖1～圖4，一種旋轉立體視覺的外參數自標定方法，所述自標定方法包括以下步驟 1)攝像機手工標定獲取攝像機內參數 設定世界坐標系的一坐標平面與標定板平面重合，則與此坐標平面垂直的坐標軸垂直於標定板平面。此處設定，與標定板平面重合的坐標平面為XOY平面。標定板如附錄圖1所示，這樣就可獲取標定板上圓心點的世界坐標。在Z方向上移動標定板，就可獲取空間中不在同一平面的多個點的世界坐標。設定空間點的世界坐標(Xw，Yw，ZW)，提取得到標定板上圓心的圖像象素坐標值(μ，v)，點的世界坐標和圖像坐標存在如下關係 式中M是攝像機投影矩陣，為3×4矩陣。Zc為點在攝像機坐標系下Z方向上的坐標分量。由上式可得以下兩個方程 N個點可得到2N個方程。投影矩陣M有11個自由度，可通過六個不在同一平面的空間點把投影矩陣M計算出來。實際中由於存在誤差，可通過N＞6個點用最小二乘法計算M(此處參照文獻1中P57)，並通過文獻1中P58中的投影矩陣分解，求取攝像機內參數矩陣和此位置的外參數矩陣。(如果事先已知道攝像機內參數矩陣則可省去此步，後續計算中的R1特殊化為單位陣，

為零向量，這是一種特殊情況) 2).計算圖像的極點坐標 先根據文獻2中的8點算法計算兩幅不同角度圖片的基礎矩陣F，然後根據F及兩幅圖像上的點計算兩幅圖像的極線，極線的交點即是圖像的極點。
3).計算旋轉軸方向向量及兩攝像機坐標系的平移向量 由第一步所求得的攝像機投影矩陣為 並已經過內外參數分解，則其它方位的攝像機投影矩陣可表示為 R2是第二個攝像機坐標系相對於第一個攝像機坐標系變換矩陣中的旋轉分量，t2是第二個攝像機坐標系相對於第一個攝像機坐標系變換矩陣中的平移分量。
由於極點是攝像機坐標系的原點在投影平面上的成像點，對於以上兩個方位上的攝像機成像平面，可得到其極點坐標 其中，是第二個攝像機坐標系的原點在世界坐標系下的坐標，是第一個攝像機坐標系的原點在世界坐標系下的坐標。
由式(3)和式(5)可得 由式(4)和式(6)可得 由式(7)和式(8)可以看出，極點與世界坐標系的設定無關，而只與攝像機內參數和兩攝像機的相對位置有關，這就是只要知道攝像機內參數而可以省去第一步的原因。
由於第一個攝像機是已標定好的，可以通過分解投影矩陣P1得出攝像機內參數K和第一個攝像機坐標系相對於世界坐標系的變換參數R1、

由式(7)和式(8)可以得到

是兩幅圖像的極點，可以由圖像信息求得。K由攝像機投影矩陣P1分解求得。由式(9)可以得出旋轉矩陣R2。矩陣P1分解時採用的是四元素內參數矩陣，即內參數中的扭曲因子s為零。
令 則 令 式(9)可以寫成 由繞固定軸旋轉的旋轉矩陣計算公式可得 令 式(13)可以展開為 其中，λ為一比例係數。求解R2時，我們將採用計算其方向向量的辦法，R2用式(14)表示。
令 方程組(15)提供關於n1，n2，n3的兩個約束方程，方程組(15)是平面上點的變換方程，必須用方程組中的第三式作為歸一化的橋梁。
由方程組(15)和式(16)可得到 n1，n2，n3是旋轉軸方向向量的三個分量，則 由方程組(17)和式(18)可提供關於n1，n2，n3的三個約束，可以把方向向量的三個分量求出。實際計算中，我們採用GA算法求解n1，n2，n3。
得出方向向量後，可以計算旋轉任意角度的旋轉矩陣。由可得 由上式可以把攝像機二相對於攝像機一的平移矢量計算出來。但這個平移矢量並不是實際中的平移矢量，它與實際中的平移矢量方向相同，大小不一定相同。
4).通過旋轉軸方向向量和兩攝像機坐標系的平移向量求旋轉軸在攝像機一坐標系下的平移量，進一步求任意方向上的攝像機投影矩陣 求解出

後，就可以根據式(20)計算攝像機與旋轉軸的平移向量d，隨後對於旋轉任意角度的攝像機外參數矩陣都可以根據式(20)計算得到。攝像機內參數矩陣事先已通過投影矩陣分解得到，所以可求得任意方位的攝像機投影矩陣。
其中(21) 本實施例的旋轉立體視覺外參數自標定方法及用所得參數完成三維重建，具體步驟 1)通過第四章手工標定的方法，對攝像機未旋轉前的狀態進行標定，世界坐標系原點設在標定板未移動時一個標定圓的圓心； 2)對獲取的投影矩陣進行分解，求取攝像機內外參數； 3)通過在零度和五度時所拍攝紙盒的圖片求取兩幅圖像的極點； 4)通過極點坐標和內參數計算旋轉軸方向向量及兩攝像機坐標系的平移向量； 5)通過旋轉軸方向向量和兩攝像機坐標系的平移向量求旋轉軸在攝像機一坐標系下的平移量； 6)求取任意方向上的攝像機投影矩陣； 7)根據求到的投影矩陣重建物體。
本實施例的實驗過程為 通過手工標定獲取為旋轉之前的攝像機投影矩陣，未旋轉之前的攝像機投影矩陣為 由步驟二和步驟三求取旋轉軸方向向量 n＝[-0.07149 8.7348e-004 0.99744] 由於極點坐標的求取對誤差過於敏感，所以得出的旋轉軸方向與實際的方向相差很大。通過這組數據重建出來的紙盒圖形如圖2所示 算法的改進 在旋轉立體視覺中，相差相同角度拍攝的兩幅圖像，對應極點相同(參考第六章第二節)。所以，可以用多組相差相同角度拍攝的兩幅圖像計算同一組極點，剔除誤差較大的點，再計算剩餘極點的重心，作為這組圖像的極點。用這種方法計算相差不同角度下的極點對，再利用直線對這些點進行擬合，擬合得到的直線就是旋轉立體視覺系統的極點線。直線擬合圖如圖3所示 圖中，一個『☆』與一個『□』組成一組對極點。
後續計算中所用的極點用極點對在擬合直線上的投影代替。這樣在計算旋轉軸方向向量時，可以對方向向量的x、y分量的比例進行約束。旋轉軸方向向量的x分量可通過x＝ky代替，k是擬合直線的斜率。算法改進後的實驗結果如圖4所示 計算得到的各邊的長度如下表1所示，表1為重建的box各邊長度 表1。
權利要求
1、一種旋轉立體視覺的外參數自標定方法，其特徵在於所述自標定方法包括以下步驟
1)、設定世界坐標系的一坐標平面與標定板平面重合，與此坐標平面垂直的坐標軸垂直於標定板平面，與標定板平面重合的坐標平面為XOY平面，獲取標定板上圓心點的世界坐標，在Z方向上移動標定板獲取空間中不在同一平面的多個點的世界坐標，設定空間點的世界坐標(Xw，Yw，ZW)，提取得到標定板上圓心的圖像象素坐標值(μ，v)，點的世界坐標和圖像坐標存在如下關係
式中M是攝像機投影矩陣，為3×4矩陣，Zc為點在攝像機坐標系下Z方向上的坐標分量，由上式得以下兩個方程
投影矩陣M有11個自由度，通過六個不在同一平面的空間點計算投影矩陣M；
2)、計算兩幅不同角度圖片的基礎矩陣F，然後根據F及兩幅圖像上的點計算兩幅圖像的極線，極線的交點即是圖像的極點；
3)、計算旋轉軸方向向量及兩攝像機坐標系的平移向量
由步驟1)所求得的攝像機投影矩陣為M，此處記為P1
並已經過內外參數分解，則其它方位的攝像機投影矩陣表示為
R2是第二個攝像機坐標系相對於第一個攝像機坐標系變換矩陣中的旋轉分量，t2是第二個攝像機坐標系相對於第一個攝像機坐標系變換矩陣中的平移分量；
由於極點是攝像機坐標系的原點在投影平面上的成像點，對於以上兩個方位上的攝像機成像平面，得到極點坐標分別為
其中，是第二個攝像機坐標系的原點在世界坐標系下的坐標，是第一個攝像機坐標系的原點在世界坐標系下的坐標；
由式(3)和式(5)計算得
由式(4)和式(6)計算得
第一個攝像機是已標定好的，通過分解投影矩陣P1得出攝像機內參數K和第一個攝像機坐標系相對於世界坐標系的變換參數R1、
由式(7)和式(8)得到
是兩幅圖像的極點，K由攝像機投影矩陣P1分解求得，由式(9)得出旋轉矩陣R2，矩陣P1分解時採用的是四元素內參數矩陣，即內參數中的扭曲因子s為零
令
則
令
式(9)表示成(13)
由繞固定軸旋轉的旋轉矩陣計算公式計算得
令
式(13)展開為
其中，λ為一比例係數，採用計算其方向向量的辦法求解R2，R2用式(14)表示。
令
方程組(15)提供關於n1，n2，n3的兩個約束方程，方程組(15)是平面上點的變換方程；
由方程組(15)和式(16)得到
n1，n2，n3是旋轉軸方向向量的三個分量，則
由方程組(17)和式(18)提供關於n1，n2，n3的三個約束，求出方向向量的三個分量；
得出方向向量後，計算旋轉任意角度的旋轉矩陣，由得
由上式(19)把攝像機二相對於攝像機一的平移矢量計算出來；
4)、求解出
後，根據式(20)計算攝像機與旋轉軸的平移向量d，攝像機內參數矩陣已通過投影矩陣分解得到，隨後對於旋轉任意角度的攝像機外參數矩陣都根據式(20)計算得到
其中
其中，n1，n2，n3為旋轉軸方向向量的三個分量，θ為旋轉角度。
全文摘要
一種旋轉立體視覺的攝像機外參數自標定方法，包括如下1)旋轉立體視覺的半自標定方法就是在一個方向上對攝像機進行手工標定，對得到的攝像機投影矩陣進行分解得到內外參數矩陣；2)再通過從兩個方向上對同一物體所拍攝圖片求取極點坐標，根據極點坐標、攝像機內參數和旋轉矩陣的關係獲得旋轉軸方向及旋轉軸在第一個攝像機坐標系下的平移量；3)最後根據上面得到的參數計算任意方向上的攝像機投影矩陣。本發明提供一種計算簡單、只需要兩個方位的物體圖片就能獲取攝像機外參數的自標定方法。
文檔編號G06T7/00GK101320474SQ20081006369
公開日2008年12月10日 申請日期2008年6月25日 優先權日2008年6月25日
發明者陳勝勇, 漆喜慶, 盛 劉, 李蘭蘭, 駱廣娟, 秋 管, 毛國紅 申請人:浙江工業大學