用於車輛照相機的照相機外在參數的自標定的製作方法

2023-10-07 09:56:44 2

專利名稱：用於車輛照相機的照相機外在參數的自標定的製作方法
用於車輛照相機的照相機外在參數的自標定技術領域
本發明總體上涉及用於標定車輛上的照相機的系統和方法，且更具體地涉及用於 自動地標定車輛上的照相機的系統和方法，所述照相機跟蹤地面上的點。
背景技術：
現代車輛有時包括一個或多個照相機，所述照相機提供備用輔助，獲得車輛駕駛 員的圖像以確定駕駛員的睡意或注意力，在車輛行駛時提供道路圖像以用於避免碰撞目 的，提供結構識別(例如道路標誌等)。對於圖形疊加在照相機圖像上的那些應用，重要的是 準確地標定照相機相對於車輛的位置和取向。由於製造公差，在每個車輛上必須針對諸如 預測車輛路線的準確疊加的事情進行獨立的生產線結束(end-of-line)照相機標定或售後 照相機調節。
一些已知照相機系統不提供照相機標定，而是回歸可能提供幾度誤差的預設值。 其它照相機系統提供預先標定方法，其中，照相機圖像上的點被手動標記，且特徵點位置在 車輛坐標中手動測量，例如通過提供圖像的檢測板圖案。然而，這些標定技術通常是耗時的 且必須在維護位置進行。因而，如果車輛在行駛且碰撞道路中的突起物或一些其它障礙物， 照相機位置可能改變，此時，標定將不準確，直到車輛被帶到維護位置以被校正。
照相機標定包括確定一組參數，所述參數將照相機圖像坐標與車輛坐標相關聯， 反之亦然。一些照相機參數(如，照相機焦距、光學中心等)是穩定的，而其它參數(如，照相 機取向和位置)不穩定。例如，照相機的高度取決於車輛的負載，負載將隨時間而變。該變 化可使得在照相機圖像上疊加的車輛軌跡圖形不準確。因而，需要一種在車輛駕駛時自動 地標定較不穩定的照相機參數的照相機標定過程，其中，車輛照相機系統隨時間連續地調 節自身。發明內容
根據本發明的教導，公開了一種用於在車輛駕駛時標定車輛上的照相機的系統和 方法。所述方法包括識別來自於車輛的至少兩個照相機圖像中的至少兩個特徵點，所述車 輛在獲取所述圖像之間已經移動。所述方法然後確定兩個照相機位置之間的照相機移動。 之後，所述方法基於來自於圖像的相應特徵和照相機移動方向來確定照相機坐標中的地平 面。所述方法然後確定照相機在地面上方的高度和照相機在車輛坐標中的旋轉。
本發明的附加特徵從以下說明和所附權利要求結合附圖顯而易見。


圖1是車輛附近的地面的照相機圖像，所述圖像包括疊加圖形； 圖2 (a)和2 (b)示出了兩個連續照相機幀的照相機圖像的圖示；圖3是包括照相機的車輛從一個位置移動到另一個位置的圖示，其中，地面上的點用 於標定照相機；圖4是照相機相對於地面的圖示，以確定地平面； 圖5是照相機相對於地面的圖示，以確定在地面上方的照相機高度； 圖6是車輛相對於地面的圖示，以確定車輛坐標； 圖7是照相機相對於地面的圖示，以確定在車輛坐標中的照相機旋轉； 圖8是照相機相對於地面的圖示，以使用兩個點確定照相機的標定； 圖9是照相機在相對於地面的不同位置處的圖示，以在沒有車輛行駛距離的情況下確 定地平面；圖10是用於限定地平面的圖示，其中，多個照相機快照示出了在照相機坐標<0,和 中的三維點；圖11是用於限定地平面的圖示，其中，多個照相機快照示出了在照相機坐標<0,中的 --會 ； ^^，圖12是示出了具有在照相機坐標中的三維點的地平面取 向識別的圖示； 圖13是地平面取向識別的圖示，示出了照相機坐標中的三維點； 圖14是示出了地平面取向識別和合併地平面的圖示； 圖15是照相機相對於地面的圖示，以在車輛轉向時確定照相機標定； 圖16是照相機相對於地面的圖示，用於確定地平面； 圖17是照相機相對於兩個偽地平面的圖示，用於確定地平面位置；和 圖18是示出了用於標定照相機的自動標定過程的流程圖，所述自動標定過程提供累 進迭代。
具體實施方式
涉及用於在車輛駕駛時標定車輛上的照相機的系統和方法的本發明實施例的以 下闡述本質上僅僅是示例性的且不旨在以任何方式限制本發明或其應用或使用。例如，本 發明標定車輛上的照相機。然而，如本領域技術人員理解的那樣，本發明的照相機標定方法 可以應用於標定可能不在車輛上的其它照相機。
如上所述，對於某些照相機應用，由照相機生成的照相機圖像用圖形(例如，車輛 路徑或軌跡)疊加，以幫助車輛駕駛員導航車輛。圖1是在車輛(未示出)後面的地面的照 相機圖像10的圖示，其中，車輛倒車進入駐車空間12。疊加圖形線14和16在照相機圖像 上顯示，照相機圖像將在儀錶盤的顯示屏上顯示給車輛駕駛員，以給駕駛員顯示車輛正確 地倒車進入駐車空間12需要的路徑。
如下文將詳細討論的那樣，將描述用於標定照相機的各種技術，取決於什麼信息 可用以確定照相機在地面上方的高度和照相機在車輛坐標中的取向。在第一種情況下，車 輛以直線行駛，地面上的固定點以連續視頻幀跟蹤，提供裡程表或車輛速度讀數以計算在 照相機圖像之間車輛行駛的距離。如將討論的那樣，對於第一種情況，算法確定對於照相機 的不同位置而言在照相機坐標之間的移動和旋轉，所述位置在第一位置的照相機坐標中測 量。該算法也基於地面上的至少兩個點和照相機移動方向來確定照相機坐標中的地平面表 示。該算法然後識別照相機在地面上方的高度和照相機在車輛坐標中的旋轉。
圖2 (a)示出了車輛M前面的道路22的照相機圖像20，其中，在圖像20中識別 特徵點26。圖2(b)是道路22的照相機圖像觀的下一幀，其中，特徵點沈更接近車輛24。5
圖3是在地面34上行駛且包括照相機32的車輛30的圖示，照相機32在車輛行 駛時獲取地面34的圖像。在該顯示中，車輛30從第一位置行駛到彼此距離為^的第二位 置。在第一位置，照相機32的中心識別為點O1,在第二位置，照相機32的中心識別為點02。 也示出了地面特徵點P和Q以及特徵點P在移動照相機32的標準化圖像平面(由線36表 示)中的投影位置P1和P2。
當車輛M以直線在平坦地面34上行駛時，在地面上使用例如Harris角點檢測器 在照相機圖像中圍繞其駕駛路徑區域識別特徵點P和Q。由此，在下一圖像幀中有相應特徵 點P和Q，可以使用金字塔Lucas-Kanade光流估計算法來識別。對於圖像中的每個跟蹤點 (u, v)，特徵點(例如，P)基於給定的照相機內在參數在每個標準化圖像平面中表示為ρ = (xn, yn, 1)。給定兩個相鄰幀，跟蹤的相應特徵點在其相應標準化圖像平面36中表示為點 對(例如，)。對於每個跟蹤點(例如P)，三個點(即，第一照相機快照的照相機中心 O1、第二照相機快照的照相機中心O2、和地面點P)在三維空間中限定平面。由於P1在光射 線O1P上，p2在光射線O2P上，因此，五個點Op 02、Pl、p2和P共面。因而在車輛30以直線移動時，在照相機32的位置之間沒有旋轉。在照相機坐標<0)中，射 線O1P1和O2P2由矢量P1和p2表示。線O1O2由點對車輛移動方向t = [t1; t2, t3]T表示。 使用該標記，方程(1)可以重寫為方程(2)中的唯一未知項是移動方向t。對於每個相應特徵點對，方程(2)能 以矩陣形式重寫為rpli以及 P2= P2 (3)■ 1-方程(3)是關於未知距離、，t2和t3的線性方程，其中，ip2 ~ Pi + (a - p^)1! + (P2Pi ~ PiPiK = °。移動方向t可以從至少兩個點對確定。由於在快照之間的距離It1I作為車輛行駛方向給出，因而，在兩個快照之間的移 動方向ti表示為ti = It1 |t。
如果有多於兩對的相應照相機點和，那麼可以在排除噪音的情 況下使用總體最小二重估計，以魯棒地估計移動方向t。給定所有相應特徵點，總體最小二 重估計用於估計移動方向t。給定估計移動方向t，排除了由方程(2)估算的界外特徵點， 其在所有特徵點的標準偏差的三倍之外。根據其餘特徵點再次使用總體最小二重估計來估 計魯棒的移動方向t。
一旦算法已經計算照相機移動方向t，那麼算法基於地面34上的至少兩個點P和 Q以及照相機移動方向t來確定照相機坐標中的地平面表示。圖4是在相對於地平面40的 位置O1和&時照相機32的圖示。
由於移動方向矢量t已知，在照相機坐標<0,中每個點P的三維位置可以基於三6角測定從相應照相機點對計算。假定車輛高度h在照相機標定期間不變，照相機 移動方向t平行於地平面40。因而，在地面34上的重構三維點與照相機移動方向t 一起限 定地平面40。
如果在地面34上有多於兩對的相應特徵點，則計算均值m，然後所有計算的三維 點被投影到移動方向t的零空間上。主成分分析(PCA)可以用於在移動方向t的零空間中 尋找地面特徵點的顯著變化方向(dominant variation direction)d。方向d是方向t和 地平面法線(norm) η的矢量積。顯著變化方向d、照相機移動方向t和特徵點均值m在照 相機坐標<0,中限定地平面40。
實際上，不是所有跟蹤特徵點P和Q都在地面34上。地面上方特徵點歸因於誤差 /噪音。因而，排除距地平面40的距離大於閾值的特徵點。最終地平面從其餘特徵點估計。
一旦算法確定照相機坐標中的地平面40，算法首先排除不在地面上的那些點，且 然後確定在地面34上方的照相機高度h。圖5是照相機32相對於地平面40的顯示，示出 了用於該計算的矢量和點。點S表示界外，高於估計地平面34。為了識別地平面40上方的 照相機高度h，地平面40的法線η根據n=dXt計算。地平面40上方的照相機高度h可以 根據特徵點均值m和地平面法線η之間的內積(h = )計算。
一旦算法計算照相機32的高度h，算法識別在車輛坐標中的照相機旋轉。圖6是 識別相對於地平面40的車輛坐標幀的車輛50的圖示。限定在地面34上車輛 50的後輪之間居中的原點。χ軸平行於車輛保險槓，y軸是在沒有轉向的情況下的車輛倒 車方向，ζ軸是地平面40的法線η。
由於車輛50以直線移動，因而，y軸平行於照相機移動方向t。χ方向與方向d相 同，因為兩者均在地平面40中垂直於y軸。因而，在照相機坐標<0,中車輛坐標限定為。
圖7示出了照相機32相對於地平面40，包括用於計算車輛坐標中的照相機位置的 變量，其中，α是照相機32的下俯角，γ是照相機32的偏航角。在照相機坐標和車輛坐標 之間的旋轉矩陣給出為
權利要求
1.一種用於標定相對於地面移動的照相機的方法，所述方法包括 識別至少兩個照相機圖像中的至少兩個特徵點；確定在照相機的第一位置時用於照相機的不同位置的照相機坐標之間的照相機移動 和旋轉；限定照相機坐標中的地平面； 確定照相機在地面上方的高度；以及 識別照相機在車輛坐標中的旋轉。
2.根據權利要求1所述的方法，其中，確定照相機移動和旋轉包括相對於標準化圖 像平面識別照相機在所述至少兩個圖像中的位置點；使用照相機的兩個圖像的照相機位置 點和一個特徵點來識別三維空間；以及使用三維空間來確定兩個圖像之間的照相機移動方向。
3.根據權利要求2所述的方法，其中，在獲取兩個圖像的位置之間的距離已知時，計算 移動方向。
4.根據權利要求2所述的方法，其中，在獲取兩個圖像的位置之間的距離未知時，估計 移動方向。
5.根據權利要求2所述的方法，其中，限定地平面包括基於所述至少兩個特徵點和照 相機移動方向限定照相機坐標中的地平面。
6.根據權利要求5所述的方法，其中，限定地平面包括使用移動方向、用以確定地面上 的點的均值的地面上的兩個點、地面點的顯著變化方向和地面法線方向。
7.根據權利要求1所述的方法，其中，確定照相機高度包括計算特徵點的均值和地平 面法線之間的內積，其中，照相機高度用於排除不在地面上的特徵點。
8.根據權利要求1所述的方法，其中，確定在車輛坐標中的照相機旋轉包括使用照相 機下俯角和照相機偏航角來確定車輛坐標中的照相機位置。
9.根據權利要求1所述的方法，其中，識別特徵點包括在車輛以直線行駛時識別特徵點ο
10.根據權利要求1所述的方法，其中，提供至少兩個照相機圖像包括提供多於兩個的 照相機圖像。
11.根據權利要求1所述的方法，其中，限定地平面包括合併地面上檢測的每個特徵點 的獨立地平面。
12.根據權利要求1所述的方法，其中，識別至少兩個特徵點包括識別一個時間幀的兩 個照相機圖像的兩個特徵點和另一個時間幀的兩個照相機圖像的兩個特徵點。
13.根據權利要求12所述的方法，其中，照相機在所述一個時間幀期間以直線移動，照 相機在所述兩個時間幀之間轉向，照相機在所述另一個時間幀期間以直線移動。
14.根據權利要求1所述的方法，其中，照相機在車輛上。
15.一種用於標定在相對於地面移動的車輛上的照相機的方法，所述方法包括 識別至少兩個照相機圖像中的至少兩個特徵點；確定在照相機的第一位置時用於照相機的不同位置的照相機坐標之間的照相機移動 和旋轉，其中，確定照相機移動和旋轉包括相對於標準化圖像平面識別照相機在所述至少 兩個圖像中的位置點；使用照相機的兩個圖像的照相機位置點和一個特徵點來識別三維空間；以及使用三維空間來確定兩個圖像之間的照相機移動方向；基於所述至少兩個特徵點和照相機移動方向來限定照相機坐標中的地平面，其中，限 定地平面包括使用移動方向、用以確定地面上的點的均值的地面上的兩個點、地面點的顯 著變化方向和地面法線方向；排除不在地平面上的特徵點；通過計算特徵點的均值和地平面法線之間的內積來確定照相機在地面上方的高度，其 中，照相機高度用於排除不在地面上的特徵點；以及使用照相機下俯角和照相機偏航角來識別照相機在車輛坐標中的旋轉。
16.根據權利要求15所述的方法，其中，在獲取兩個圖像的位置之間的距離已知時，計 算移動方向。
17.根據權利要求15所述的方法，其中，在獲取兩個圖像的位置之間的距離未知時，估 計移動方向。
18.根據權利要求15所述的方法，其中，限定地平面包括合併地面上檢測的每個特徵 點的獨立地平面。
19.根據權利要求15所述的方法，其中，識別至少兩個特徵點包括識別一個時間幀的 兩個照相機圖像的兩個特徵點和另一個時間幀的兩個照相機圖像的兩個特徵點，其中，照 相機在所述一個時間幀期間以直線移動，照相機在所述兩個時間幀之間轉向，照相機在所 述另一個時間幀期間以直線移動。
20.一種用於標定在相對於地面移動的車輛上的照相機的方法，所述方法包括識別至少兩個照相機圖像中的至少兩個特徵點；確定在照相機的第一位置時用於照相機的不同位置的照相機坐標之間的照相機移動 和旋轉，其中，確定照相機移動和旋轉包括相對於標準化圖像平面識別照相機在所述至少 兩個圖像中的位置點；使用照相機的兩個圖像的照相機位置點和一個特徵點來識別三維空 間；以及使用三維空間來確定兩個圖像之間的照相機移動方向；基於所述至少兩個特徵點和照相機移動方向來限定照相機坐標中的地平面；通過計算特徵點的均值和地平面法線之間的內積來確定照相機在地面上方的高度；以及識別照相機在車輛坐標中的旋轉。
全文摘要
一種用於在車輛駕駛時標定車輛上的照相機的系統和方法。所述方法包括識別來自於車輛的至少兩個照相機圖像中的至少兩個特徵點，所述車輛在獲取所述圖像之間已經移動。所述方法然後確定兩個照相機位置之間的照相機移動方向。之後，所述方法基於來自於圖像的相應特徵點和照相機移動方向來確定照相機坐標中的地平面。所述方法然後確定照相機在地面上方的高度和照相機在車輛坐標中的旋轉。
文檔編號H04N13/00GK102037735SQ200980118127
公開日2011年4月27日 申請日期2009年5月8日 優先權日2008年5月22日
發明者J. 沃爾斯基 M., 張 W. 申請人:通用汽車環球科技運作公司