車載攝像機自動校準裝置的製作方法

2023-06-12 17:46:01

車載攝像機自動校準裝置相關申請的交叉引用本申請要求於2012年5月15日提交的日本專利申請第2012-111897號的優先權的權益，其全部內容通過引證結合於本文中。技術領域本文所述的實施方式總體上涉及一種車載攝像機自動校準裝置。

背景技術：
安裝有用於拍攝車輛周圍環境圖像的車載攝像機的車輛（例如，汽車）的數量越來越多。車載攝像機所拍攝的圖像是非常實用的，因為其可用於支持指導停車、車輛與物體之間碰撞可能性的判斷等。在利用車載攝像機所拍攝的圖像的情況下，精確地校準車載攝像機相對於路面的安裝角度是非常重要的。這種車載攝像機校準方法包括：使用預先設於路面上的預定位置的已知物體（校準目標）的方法。然而，在使用預先安裝在路面上的校準目標來校準車載攝像機相對於路面的安裝角度的情況下，進行校準時車輛的狀態不一定與車輛行駛時車輛的實際狀態相對應。例如，車載攝像機相對於路面的安裝角度隨著乘客數量或路面起伏而變化。因此，使用校準目標進行的校準並不足以作為車輛行駛時安裝角度的校準。車載攝像機相對於路面的安裝角度還由於隨著使用校準目標進行校準之後所逝去的年限發生變化而變化。

技術實現要素：
考慮到上述條件，創作了本發明，本發明的目的在於提供一種車載攝像機自動校準裝置，用於基於攝像機獲取的圖像獲取關於車輛行駛時攝像機相對於路面的安裝角度的信息，並基於該信息對圖像進行旋轉校正。為了解決上述問題，根據一個實施方式，所述車載攝像機自動校準裝置包括攝像機、運動矢量計算單元、路面點選擇單元、繞Z軸旋轉量計算單元和坐標旋轉校正單元。所述攝像機設於車輛上，以獲取車輛周圍的圖像。所述運動矢量計算單元被配置為確定攝像機所獲取的多個圖像間的運動矢量。所述路面點選擇單元被配置為在多個圖像中的預定圖像內的路面上選擇三個以上點。所述路面點選擇單元被進一步配置為從所述路面上的所述三個以上點中選擇多個兩點組合。所述繞Z軸旋轉量計算單元被配置為在將光軸作為Z軸的攝像機坐標系中確定繞Z軸旋轉量。該量是基於多個兩點組合和分別與多個兩點組合中的每個點對應的運動矢量來確定的，以使得路面與X軸平行。所述坐標旋轉校正單元被配置為基於繞Z軸旋轉量計算單元確定的繞Z軸旋轉量，對攝像機獲取的圖像進行繞Z軸旋轉校正。通過所述車載攝像機自動校準裝置，可基於攝像機獲取的圖像獲取關於車輛行駛時攝像機相對於路面的安裝角度的信息，並基於該信息對圖像進行旋轉校正。附圖說明結合於本說明書中並構成本說明書的一部分的附圖示意性示出了本發明的實施方式，並與上述給出的總體描述和以下實施方式的詳細描述一起用於解釋本發明的原理。圖1為示出了根據本發明第一實施方式的車載攝像機自動校準裝置的示例的整體框圖；圖2為示出了根據第一實施方式的攝像機坐標系與攝像機投影面上的畫面坐標系之間的關係的示意圖；圖3A為示出了根據第一實施方式的用於將當前延伸焦點（focusofexpansion）FOE0轉換為目標延伸焦點FOE1的繞Y軸旋轉量θy的示意圖；圖3B為示出了根據第一實施方式的用於將當前延伸焦點FOE0轉換為目標延伸焦點FOE1的繞X軸旋轉量θx的示意圖；圖4為示出了使路面與X軸互相平行的繞Z軸旋轉量θz的示意圖；圖5為示出了由圖1所示的自動校準ECU基於攝像機獲取的圖像獲取關於車輛行駛時攝像機相對於路面的安裝角度的信息，並基於該信息對圖像進行旋轉校正的過程的流程圖；圖6為示出了圖5中的步驟S4中執行的θx、θy計算處理的工序的子工序流程圖；圖7為示出了關於圖5中的步驟S6中執行的θz計算處理的根據第一實施方式的工序的子工序流程圖；圖8為示出了根據本發明第二實施方式的車載攝像機自動校準裝置的示例的整體框圖；圖9為示出了根據第二實施方式的攝像機坐標系與攝像機投影面上的畫面坐標系之間的關係的示意圖；圖10為示出了根據第一實施方式的攝像機坐標系與根據第二實施方式的攝像機坐標系之間的關係的示意圖；以及圖11為示出了關於圖5中的步驟S6中執行的θz計算處理的根據第二實施方式的工序的子工序流程圖。具體實施方式下文，將參照附圖給出關於根據本發明實施方式的車載攝像機自動校準裝置的描述。（第一實施方式）圖1為示出了根據本發明第一實施方式的車載攝像機自動校準裝置10的示例的整體框圖。車載攝像機自動校準裝置10具有攝像機11、車載攝像機自動校準ECU（電子控制單元）12和存儲單元13。由CCD（電荷耦合器件）圖像傳感器或CMOS（互補金屬氧化物半導體）圖像傳感器構造的攝像機11拍攝自家用轎車等車輛周圍的圖像，生成圖像信號，並將圖像信號發送給車載攝像機自動校準ECU（下文稱為自動校準ECU）12。例如，在監控車輛後方的情況下，攝像機11設於車輛後部的牌照附近或後窗的上部。這種情況下，期望的是，將攝像機11設為其光軸與路面平行，或光軸處於從與路面平行的線略微向下的方向上。攝像機11可設有廣角透鏡或魚眼透鏡，從而可獲取車輛外部寬範圍內的圖像。在監控車輛的側面方向的情況下，攝像機11設於側鏡附近。當然，還可以通過使用多個攝像機11來拍攝車輛周圍寬範圍內的圖像。在該實施方式中，將對攝像機11設於車輛後部的牌照附近或後窗上部而使得其光軸與路面平行的示例進行說明。自動校準ECU12由CPU和諸如RAM和ROM的存儲介質構成。自動校準ECU12的CPU將存儲於諸如ROM的存儲介質中的自動校準程序和執行該程序所需的數據加載在RAM中。隨後，CPU基於攝像機11獲取的圖像，根據自動校準程序獲取車輛行駛時攝像機11相對於路面的安裝角度的信息，並基於該信息對圖像進行旋轉校正。自動校準ECU12的RAM提供用於臨時存儲由CPU執行的程序和數據的工作區。自動校準ECU12的存儲介質（例如，ROM）存儲自動校準程序和執行程序所需的各種數據。包括ROM的存儲介質具有其中包括CPU可讀記錄介質（例如，磁性或光學記錄介質和半導體存儲器）的配置，並且存儲介質中的一部分或所有程序和數據可配置為，可經由網絡連接單元（未示出）從電子網絡下載。在這種情況下，網絡連接單元被實施有與網絡形式對應的用於信息通信的各種協議，並根據各種協議通過電子網絡將自動校準ECU12與另一個車輛的電子設備（例如，ECU）連接。可將經由電子網絡的電連接應用於所述連接。此處，電子網絡表示使用電信技術的所有信息通信網絡，除無線/有線LAN（區域網）和網際網路之外，還包括電話通信網絡、光纖通信網絡、電纜通信網絡和衛星通信網絡等。存儲單元13為自動校準ECU12可將數據寫入其中並自其讀取數據的非易失性存儲器，並且其存儲作為關於根據本實施方式的目標延伸焦點坐標的信息的目標FOE1(x1,y1)、FOE距離閾值th1、兩點間距閾值th2、查找表等。這些信息可通過電子網絡或通過諸如光碟等的可攜式存儲介質進行更新。根據本實施方式的目標FOE1(x1,y1)被設為原點（0,0）（目標FOE1=(0,0)）。該目標FOE1用於通過自動校準ECU12進行繞X和Y軸的旋轉校正。自動校準ECU12在提取路面點時使用FOE距離閾值th1和兩點間距th2作為閾值。在對圖像進行旋轉校正時，自動校準ECU12根據需要參考所述查找表。如果自動校準ECU12對圖像進行旋轉校正時進行矩陣運算，則可不使用查找表，並且可不將查找表存儲於存儲單元13中。如圖1所示，自動校準ECU12的CPU在自動校準程序下至少具有坐標旋轉校正單元21、運動矢量計算單元22、FOE計算單元23、直線行駛判斷單元24、繞X/Y軸旋轉量計算單元25、路面判斷單元26、路面點選擇單元27和繞Z軸旋轉量計算單元28的功能。單元21～28中的每一個使用RAM的預定工作區作為用於臨時存儲數據的場所。這些功能實現單元可由諸如電路等的硬體邏輯構成，而不是使用CPU。下文，將對本實施方式中使用的攝像機坐標系進行簡要說明。圖2為示出了根據第一實施方式的攝像機坐標系與攝像機投影面31上的畫面坐標系之間的關係的示意圖。在本實施方式中，攝像機坐標系表示為(X,Y,Z)，畫面坐標系表示為(x,y)（或(x,y,z)）。攝像機坐標系(X,Y,Z)為攝像機11的中心作為原點的笛卡兒坐標系。在本實施方式中，將攝像機坐標系的Z軸、X軸和Y軸定義為分別與路面、車輛的左右方向和車輛垂直方向相對應。假設畫面坐標系的原點(0,0)（或(0,0,f)）為光軸與攝像機投影面31之間的相交點。假設路面與車輛的前後方向（直線行駛方向）和左右方向平行。在本實施方式中，對攝像機11獲取的圖像進行旋轉校正，以使攝像機11的光軸與路面（Z軸）平行。在攝像機坐標系中，攝像機投影面31為滿足Z=f的表面。攝像機11的焦距用f表示。攝像機11獲取投影在攝像機投影面31上的車輛周圍的圖像。假設，某點P在攝像機坐標系中的三維坐標為(X,Y,Z)，點p（作為投影在攝像機投影面31上的點P）的坐標用p(x,y,z)表示。攝像機11在車輛移動時與路面平行移動。因此，攝像機坐標系的原點與畫面坐標系的原點在車輛移動時與路面平行移動。已知的是，當攝像機11直線移動時，可根據與攝像機投影面31上靜止被攝體的點(x,y)對應的運動矢量(u,v)的延長線交點確定延伸焦點(FOE)的坐標。攝像機11的移動方向可用連接攝像機坐標系的原點(0,0,0)與攝像機投影面31上的延伸焦點的線表示。因此，在本實施方式中，當攝像機11以理想安裝角度安裝時，即，光軸方向與Z軸對應時，延伸焦點的坐標與原點（目標延伸焦點FOE1(0,0)）對應。然而，當攝像機11相對於路面的安裝角度偏離理想安裝角度時，根據與攝像機投影面31上靜止被攝體的點(x,y)對應的運動矢量(u,v)的延長線相交點確定的延伸焦點的坐標（下文，稱為當前延伸焦點FOE0(x0,y0)）偏離目標FOE1。例如，由於車輛中乘客或裝載物和經年變化的原因造成的車輛傾斜被視為攝像機11相對於路面的安裝角度偏離理想安裝角度的原因。因此，根據本實施方式的車載攝像機自動校準裝置10基於攝像機11獲取的圖像，獲取關於車輛行駛時攝像機11相對於路面的安裝角度的信息，並基於該信息對圖像進行旋轉校正。更具體地，坐標旋轉校正單元21分別基於繞X/Y軸旋轉量計算單元25確定的繞X軸旋轉量θx和繞Y軸旋轉量θy，對攝像機11拍攝的圖像進行繞X軸和繞Y軸旋轉校正。坐標旋轉校正單元21基於繞Z軸旋轉量計算單元28確定的繞Z軸旋轉量θz，對攝像機11拍攝的圖像進行繞Z軸旋轉校正。下文，將對用於獲取繞X軸旋轉量θx和繞Y軸旋轉量θy的方法進行說明。繞X軸旋轉量θx和繞Y軸旋轉量θy可被確定為用於將當前延伸焦點FOE0轉換為目標FOE1的旋轉量。運動矢量計算單元22利用塊匹配法（blockmatch）或梯度法（gradient），計算攝像機11所拍攝的多個圖像中的每個像素的運動矢量(u,v)。在以下描述中，示出了運動矢量計算單元22計算當前圖像與當前圖像的前一幀圖像之間的運動矢量(u,v)，並基於運動矢量確定當前圖像的延伸焦點FOE0的坐標(x0,y0)的示例。當攝像機11直線移動（車輛向前或向後移動）時，與攝像機投影面31上靜止被攝體的點(x,y)對應的運動矢量(u,v)和當前延伸焦點FOE0(x0,y0)之間存在以下關係。u/v=(x-x0)/(y-y0)(1)因此，如果獲取了兩個以上點(x,y)的運動矢量(u,v)，可確定當前延伸焦點FOE0(x0,y0)。當假設現在觀測到與圖像點(xi,yi)（i=l,2,...,N;N=自然數）對應的運動矢量(u,v)時，可獲得以下N個式子。X0vi–y0ui=xivi-uiyi其中i=l,...,N(2)FOE計算單元23通過從運動矢量計算單元22中獲取多個運動矢量，將式子(2)中的未知量設為x0和y0，並確定對最小二乘方來說最優的最優解x0和y0，來確定當前延伸焦點FOE0(x0,y0)。下文，將對直線行駛判斷單元24的直線行駛判斷方法的示例進行說明。已知的是，與攝像機投影面31上對應於目標點P(X,Y,Z)的點p(x,y,f)對應的運動矢量(u,v)可表達如下：u=xy(1/f)Rx－(x2+f2)(1/f)Ry+yRz－f(Tx/z)+x(Tz/z)(3)v=(y2+f2)(1/f)Rx－xy(1/f)Ry－xRz－f(Ty/z)+y(Tz/z)(4)在上述式子中，z表示目標點P的Z坐標的值。攝像機移動參數用Rx、Ry、Rz、Tx、Ty和Tz表示；攝像機11（包括攝像機的車輛）的旋轉分量用Rx、Ry和Rz表示；攝像機11（包括攝像機的車輛）與目標點P之間的相對平移分量用Tx、Ty和Tz表示。直線行駛時，滿足Rx=Ry=Rz=0。已知的是，式子(3)的u與式子(4)的v之間的比等於從點p(x,y)向FOE0(x0,y0)的傾斜度。因此，獲得以下式子(5)。u/v={－f(Tx/z)+x(Tz/z)}/{－f(Ty/z)+y(Tz/z)}=(x－x0)/(y－y0)(5)由於攝像機11的原點現在與Z軸平行移動，所以滿足Tx=Ty=0。這種情況下，獲得以下式子(6)。u/v=x/y(6)從式子(5)可以看出，在直線行駛時，運動矢量u/v的傾斜度等於從點p(x,y)（作為投影在攝像機投影面31上的目標點P(X,Y,Z)）向當前FOE0的傾斜度。從式子(6)可以看出，如果攝像機11以理想安裝角度安裝，或者，如果攝像機11拍攝的圖像已被坐標旋轉校正單元21旋轉校正為使得當前延伸焦點FOE0轉換為目標延伸焦點FOE1，則當前延伸焦點FOE0與目標延伸焦點FOE1對應。這種情況下，直線行駛時，運動矢量u/v的傾斜度等於從點p(x,y)（作為投影在攝像機投影面31上的目標點P(X,Y,Z)）向原點（目標FOE1）的傾斜度。因此，直線行駛判斷單元24將攝像機投影面31上的點p(x,y)向當前延伸焦點FOE0的傾斜度和與點p(x,y)對應的運動矢量(u,v)的傾斜度相比較，並且如果傾斜度之間的差在預定差的範圍內，判斷包括直線行駛判斷單元24的車輛為直線行駛。如果直線行駛判斷單元24判斷為車輛直線行駛，則FOE計算單元23可利用從運動矢量計算單元22接收的運動矢量確定當前延伸焦點FOE0(x0,y0)。繞X/Y軸旋轉量計算單元25從存儲單元13中獲取目標延伸焦點FOE1的坐標(0,0)的信息，並確定將當前延伸焦點FOE0轉換為目標延伸焦點FOE1所需的繞X軸旋轉量θx和繞Y軸旋轉量θy。圖3A為示出了根據第一實施方式的用於將當前延伸焦點FOE0轉換為目標延伸焦點FOE1的繞Y軸旋轉量θy的示意圖，圖3B為示出了根據第一實施方式的用於將當前延伸焦點FOE0轉換為目標延伸焦點FOE1的繞X軸旋轉量θx的示意圖。圖3A示出了圖2中的XZ平面，圖3B示出了圖2中的YZ平面。攝像機11的移動方向（車輛的行駛方向）可用將攝像機坐標系的原點(0,0,0)與攝像機投影面31上的延伸焦點FOE0連接的線表示。該線從Z軸的傾斜度可用繞X軸旋轉量θx和繞Y軸旋轉量θy示出。從圖3A和3B可以看出，繞X軸旋轉量θx和繞Y軸旋轉量θy與當前FOE0的坐標(x0,y0)具有以下關係。tanθx=y0/f(7)tanθy=x0/f(8)因此，繞X/Y軸旋轉量計算單元25基於當前延伸焦點FOE0的坐標(x0,y0)，根據式子(7)和(8)確定繞X軸旋轉量θx和繞Y軸旋轉量θy，並將其發送給坐標旋轉校正單元21。隨後，坐標旋轉校正單元21分別基於繞X/Y軸旋轉量計算單元25確定的繞X軸旋轉量θx和繞Y軸旋轉量θy，對攝像機11拍攝的圖像進行繞X軸和繞Y軸旋轉校正，以滿足θx=θy=0。因此，當前延伸焦點FOE0與目標延伸焦點FOE1(0,0)對應；攝像機11的光軸與Z軸對應；以及Z軸與路面平行。接下來，將對用於獲取繞Z軸旋轉量θz的方法進行說明。繞Z軸旋轉量θz可確定為用於使路面和X軸互相平行的繞Z軸旋轉量。圖4為示出了用於使路面與X軸互相平行的繞Z軸旋轉量θz的示意圖。在以下描述中，假設當前延伸焦點FOE0與目標延伸焦點FOE1(0,0)對應；攝像機11的光軸與Z軸對應；以及Z軸與路面平行。如果假設滿足Z=z，則某點P在攝像機坐標系中的三維坐標P(X,Y,Z)與畫面坐標系中點p（作為投影在攝像機投影面31上的點P）的坐標（x,y,f)之間的關係可表達為如下：X=zx/f(9)Y=zy/f(10)Z=z(11)現在，將考慮路面上的點Pj(Xj,Yj,Zj)。當假設在Z=Zj平面上，路面與X軸形成的繞Z軸的角度用θz表示，並且沿攝像機坐標系的原點與路面之間的Y軸的距離用H表示時，如圖4所示，對於路面上的點Pj(Xj,Yj,Zj)，滿足以下式子(12)（參見圖4）。Yj=H－Xjtanθz(12)類似地，對於點Pk(Xk,Yk,Zk)，也滿足以下式子(13)。Yk=H-Xktanθz(13)可由式子(12)和(13)推導出以下式子(14)。tanθz=－(Yk-Yj)/(Xk-Xj)(14)使用式子(9)至(11)，式子(14)可變換為如下。tanθz=-(ykzk-yjzj)/(xkzk-xjzj)=-(yk-yjzj/zk)/(xk-xjzj/zk)(15)通過將Tx=Ty=0和Rx=Ry=Rz=0代入式子(3)和(4)，分別獲得以下式子(16)和(17)。u=x(Tz/z)(16)v=y(Tz/z)(17)通過合併式子(16)和(17)，獲得以下式子(18)。Tz/z=(ux+vy)/(x2+y2)(18)基於該式子(18)，可根據點pj(xj,yj)（作為投影在攝像機投影面31上的路面上的點Pj）的運動矢量(uj,vj)，確定點Pj的距離標準化平移分量(Tz/z)j。距離標準化平移分量Tz/zj表示為(Tz/z)j。類似地，還可確定路面上的點Pk的(Tz/z)k。由於(Tz/z)j和(Tz/z)k使用相同Tz，所以滿足以下式子(19)的關係。zj/zk=(Tz/z)k/(Tz/z)j(19)使用該式子(19)，式子(15)可變換為如下：tanθz=－{yk(Tz/z)j－yj(Tz/z)k}/{xk(Tz/z)j－xj(Tz/z)k}(20)通過將式子(18)代入式子(20)，並變換所獲得的式子，獲得以下式子(21)。{xk(ujxj+vjyj)(xk2+yk2)－xj(ukxk+vkyk)(xj2+yj2)}tanθz=－{yk(ujxj+vjyj)(xk2+yk2)-yj(ukxk+vkyk)(xj2+yj2)}(21)假設表示路面上的兩個點Pj和Pk的組合的指標（index）表示為m=m(j,k)。例如，如果獲得N個點作為路面上的點，則從路面上的這些點中提取兩個點Pj和Pk的組合數量M表示為如下：M=2CN=N(N-l)/2。這種情況下，指標m定義為m=l、2、……、M。如果用amtanθz和bm分別替換式子(21)的左邊和右邊，則式子(21)可變換為如下：amtanθｚ=bm(22)am={xk(ujxj+vjyj)(xk2+yk2)-xj(ukxk+vkyk)(xj2+yj2)}(23)bm=－{yk(ujxj+vjyj)(xk2+yk2)-yj(ukxk+vkyk)(xj2+yj2)}(24)根據式子(22)，tanθz的最小二乘解用以下式子(25)表示。tanθz=(Σambm)/(Σam2)其中m=1、2、…M(25)該式子(25)是使攝像機投影面31上與路面上的兩個點Pj和Pk對應的點pj和pk的坐標pj(xj,yj)和pk(xk,yk)、與兩個點pj和pk對應的運動矢量(uj,vj)和(uk,vk)以及路面與X軸形成的繞Z軸的角度θz互相關聯。因此，從式子(21)可以看出，tanθz可基於路面上的兩個點Pj和Pk的畫面坐標和與兩個點對應的運動矢量來確定。從同一拍攝圖像中提取路面上不少於三個點（即，三個以上點），以獲取M個兩點組合時，可利用式子(25)獲取更準確tanθz。如上所述，在確定繞Z軸旋轉量θz時，使用投影在攝像機投影面31上的路面上的點。首先，路面判斷單元26判斷攝像機11的圖像拍攝畫面內的路面區域。作為判斷路面區域的方法，例如存在一種將其中運動矢量會聚到延伸焦點FOE0且具有瀝青狀反差的區域判斷為路面區域的方法。由於路面區域中的點（路面上的點）為與靜止被攝體（路面）相關的點，所以對應運動矢量會聚到延伸焦點FOE0（如果當前延伸焦點FOE0與目標延伸焦點FOE1對應，則為FOE1）。假設用於進行路面區域判斷的拍攝圖像為運動矢量計算單元22使用的多個圖像中的預定圖像。例如，如果運動矢量計算單元22計算當前圖像與先前圖像（例如，當前圖像前一幀的圖像）之間的運動矢量，當前圖像可用於進行路面區域判斷。下文將對用於進行路面判斷的拍攝圖像為當前圖像的示例進行說明。路面點選擇單元27從當前圖像中被路面判斷單元26判斷為路面區域的圖像區域中的多個點中選擇三個以上點。在這種情況下，期望的是，路面點選擇單元27僅提取滿足預定條件的點，以減少式子(25)的計算誤差等。作為預定條件，例如，可設想點應為圖像區域中與路面上的點Pj對應的點pj中與FOE0(x0,y0)（如果當前延伸焦點FOE0與目標延伸焦點FOE1對應，則為FOE1）相距預定距離（FOE距離閾值）th1以上的點。該條件可由以下式子(26a)或(26b)表示：FOE距離閾值th1≦√{(xj－x0)2+(yj－y0)2}(26a)FOE距離閾值th1≦｜x－x0｜+｜y－y0｜(26b)由於與屬於延伸焦點附近區域的點對應的運動矢量的絕對值較小，所以其檢測誤差率容易較高。通過提取滿足式子(26a)或(26b)表示的條件的點pj，可防止由於誤差產生的負面效果。另外，還可設想僅使用提取的兩點pj和pk之間的距離等於或大於預定兩點間距閾值th2的這種組合作為預定條件，以計算式子(25)。該條件可用（例如）以下式子(27)表示：兩點間距閾值th2≦｜xk-xj｜(27)由於(Tz/z)j與(Tz/z)k之間的距離一般較小，從誤差的角度來說，期望使用|xk-xj|的值較大的兩點pj和pk組合。隨後，繞Z軸旋轉量計算單元28利用式子(25)，基於路面點選擇單元27提取的多個兩點組合和與每個組合的兩個點對應的運動矢量，確定tanθz的最小二乘解。由於θz的值非常小，所以可將該值視為tanθz≈θz。因此，繞Z軸旋轉量計算單元28將tanθz的最小二乘解發送給坐標旋轉校正單元21，作為使路面與X軸互相平行的繞Z軸旋轉量θz。繞Z軸旋轉量計算單元28可通過確定攝像機11拍攝的每個圖像的繞Z軸旋轉量θz、將其存儲在RAM的預定工作區、並對存儲的預定數量的繞Z軸旋轉量θz進行平均，來確定平均繞Z軸旋轉量θz_ave。這種情況下，繞Z軸旋轉量計算單元28將平均繞Z軸旋轉量θz_ave發送給坐標旋轉校正單元21。在使用θz_ave的情況下，可與θz比較來進行更可靠校正，這是因為可降低由於基於一個幀在θz中所包括的車輛振動造成的誤差。隨後，坐標旋轉校正單元21基於繞Z軸旋轉量計算單元28確定的繞Z軸旋轉量θz或繞Z軸的平均旋轉量θz_ave，對攝像機11拍攝的圖像進行繞Z軸旋轉校正，以滿足θz_ave=0。因此，路面與X軸變得互相平行。接下來，將對根據本實施方式的車載攝像機自動校準裝置10的操作的示例進行說明。圖5為示出了用於通過圖1所示的自動校準ECU12基於攝像機11獲取的圖像獲取關於車輛行駛時攝像機11相對於路面的安裝角度的信息，並基於該信息對圖像進行旋轉校正的過程的流程圖。在圖5中，用S和數字示出的符號表示流程圖的每個步驟。首先，在步驟S1中，運動矢量計算單元22獲取攝像機11拍攝的圖像中的圖像數據。在從步驟S8返回到步驟S1的情況下，運動矢量計算單元22獲取攝像機11拍攝的圖像中坐標旋轉校正單元21已在步驟S5中進行了繞X和Y軸的旋轉校正並且已在步驟S7中進行了繞Z軸旋轉校正的圖像數據。接下來，在步驟S2中，運動矢量計算單元22基於獲取的圖像數據確定多個圖像間的運動矢量(u,v)。接下來，在步驟S3中，直線行駛判斷單元24基於運動矢量，判斷車輛是否直線行駛。如果車輛直線行駛，則流程進行至步驟S4。另一方面，如果車輛沒有直線行駛，則流程返回到步驟S1。接下來，在步驟S4中，自動校準ECU12確定將當前延伸焦點FOE0轉換為目標延伸焦點FOE1所需的繞X軸旋轉量θx和繞Y軸旋轉量θy。接下來，在步驟S5中，坐標旋轉校正單元21分別基於繞X/Y軸旋轉量計算單元25確定的繞X軸旋轉量θx和繞Y軸旋轉量θy，對攝像機11拍攝的圖像進行繞X軸和繞Y軸旋轉校正，以滿足θx=θy=0。因此，當前延伸焦點FOE0與目標延伸焦點FOE1(0,0)對應；攝像機11的光軸與Z軸對應；Z軸與路面平行。接下來，在步驟S6中，自動校準ECU12基於從路面上的多個點中獲得的多個兩點組合和與每個組合的兩點對應的運動矢量，確定用於使路面與X軸互相平行的繞Z軸旋轉量θz，或通過平均預定數量的繞Z軸旋轉量θz所獲得的平均繞Z軸旋轉量θz_ave。接下來，在步驟S7中，坐標旋轉校正單元21基於繞Z軸旋轉量計算單元28確定的繞Z軸旋轉量θz或平均繞Z軸旋轉量θz_ave，對攝像機11拍攝的圖像進行繞Z軸旋轉校正，以滿足θz（或θz_ave）=0。因此，路面與X軸變得互相平行。接下來，在步驟S8中，自動校準ECU12判斷是否結束圖像旋轉校正。例如，自動校準ECU12可在車輛停止時或步驟S1至S7已重複預定次數時判斷結束旋轉校正。如果判斷結束旋轉校正，則處理結束。另一方面，如果不結束旋轉校正，則流程返回到步驟S1。根據上述處理，可基於攝像機11獲取的圖像，獲取關於車輛行駛時攝像機11相對於路面的安裝角度的信息，並基於該信息對圖像進行旋轉校正。接下來，將對用於確定將當前延伸焦點FOE0轉換為目標延伸焦點FOE1所需的繞X軸旋轉量θx和繞Y軸旋轉量θy的處理進行說明。圖6為示出了圖5中的步驟S4中執行的θx、θy計算過程的工序的子工序流程圖。在步驟S41中，FOE計算單元23從運動矢量計算單元22中獲取兩個以上圖像點的運動矢量。接下來，在步驟S42中，FOE計算單元23基於獲取的兩個以上圖像點的運動矢量，使用式子(2)確定當前延伸焦點FOE0(x0,y0)。接下來，在步驟S43中，繞X/Y軸旋轉量計算單元25從存儲單元13中獲取關於目標延伸焦點FOE1的坐標(0,0)的信息。隨後，繞X/Y軸旋轉量計算單元25基於當前延伸焦點FOE0的坐標(x0,y0)，根據式子(7)和(8)確定繞X軸旋轉量θx和繞Y軸旋轉量θy，並將其發送給坐標旋轉校正單元21。根據上述工序，可確定將當前延伸焦點FOE0轉換為目標延伸焦點FOE1所需的繞X軸旋轉量θx和繞Y軸旋轉量θy。接下來，將對用於確定平均繞Z軸旋轉量θz_ave的工序進行說明，其中該平均繞Z軸旋轉量θz_ave是通過對基於從路面上的多個點中獲得的多個兩點組合和與每個組合的兩點對應的運動矢量，為拍攝圖像確定的繞Z軸旋轉量θz中的預定數量的繞Z軸旋轉量θz進行平均所獲得的。圖7為示出了在圖5中的步驟S6中執行的θz計算過程的根據第一實施方式的工序的子工序的流程圖。圖7為示出了用於確定平均繞Z軸旋轉量θz_ave的工序的子工序流程圖，其中平均繞Z軸旋轉量θz_ave是通過對為拍攝圖像確定的繞Z軸旋轉量θz中的預定數量的繞Z軸旋轉量θz進行平均所獲得的。在確定與一個拍攝圖像對應的繞Z軸旋轉量θz的情況下，步驟S69可省略。在步驟S61中，路面判斷單元26判斷攝像機11的圖像拍攝畫面中的路面區域。接下來，在步驟S62中，路面點選擇單元27利用式子(26a)或(26b)，在圖像區域中與路面上的點對應的點中選擇與當前延伸焦點FOE0(x0,y0)（如果當前延伸焦點FOE0與目標延伸焦點FOE1對應，則為FOE1）相距的距離為FOE距離閾值th1以上的多個點。接下來，在步驟S63中，路面點選擇單元27將指標m設為1，並將其存儲在RAM的預定工作區內。該指標m是表示兩點組合的數量的指標。接下來，在步驟S64中，路面點選擇單元27針對從步驟S62中提取的多個路面點中獲取的多個兩點組合中的一個組合，判斷兩個點相距的距離是否為兩點間距閾值th2以上。如果組合的兩點相距的距離為兩點間距閾值th2以上，則流程進行至步驟S65。另一方面，如果組合的兩點相距的距離小於兩點間距閾值th2，則丟棄該組合，再針對另一個組合進行判斷。接下來，在步驟S65中，路面點選擇單元27將關於在步驟S64中被判斷為彼此相距的距離為兩點間距閾值th2以上的兩個點的信息以及當前指標m的值存儲在RAM的預定工作區內，並將其互相關聯。接下來，在步驟S66中，路面點選擇單元27判斷指標m是否等於或大於預定數M。如果指標m等於或大於預定數M，則流程進入步驟S68。另一方面，如果指標m小於預定數M，則在步驟S67中將指標m加一，流程返回到步驟S64，以針對另一個組合判斷組合的點相距的距離是否為兩點間距閾值th2以上。接下來，在步驟S68中，繞Z軸旋轉量計算單元28利用M個兩個路面點Pj和Pk的組合，基於式子(25)（FOE1的tanθz計算表達式）計算使路面與X軸平行的旋轉量θz，並將旋轉量θz存儲在RAM的預定工作區內。接下來，在步驟S69中，繞Z軸旋轉量計算單元28通過對針對拍攝圖像所確定的繞Z軸旋轉量θz中的預定數量的繞Z軸旋轉量θz進行平均，來確定平均繞Z軸旋轉量θz_ave，並將其發送給坐標旋轉校正單元21。根據上述工序，可基於從路面上的多個點中獲得的多個兩點組合和與每個組合的兩點對應的運動矢量，通過平均預定數量的繞Z軸旋轉量θz，來確定平均繞Z軸旋轉量θz_ave。儘管圖7示出了了提取兩點的預定數量M個組合的情況的示例，但也可提取所有可提取兩點組合，並在步驟S68中的式子(25)中，將M作為提取數。根據本實施方式的車載攝像機自動校準裝置10可基於攝像機11獲取的圖像，獲取關於車輛行駛時攝像機11相對於路面的安裝角度（θx、θy和θz_ave（或θz））的信息，並基於該信息對圖像進行旋轉校正。因此，根據車載攝像機自動校準裝置10，可在車輛行駛時自動校準攝像機11的安裝角度。因此，例如，如果攝像機11為用於監控車輛後部的圖像拍攝裝置，則可以在不頻繁使用用於監控後部的攝像機11的情況下，通過在直線行駛時進行上述旋轉校正來自動校準攝像機11，而不會使使用者感到困難。對於θx、θy和θz，車輛在路面上直線行駛時，即，可獲得適合於校準的圖像時，對每個幀計算θx、θy和θz。另外，通過確定逐幀計算的θz的幀間平均數，可計算更可靠θz_ave。另外，根據本實施方式的車載攝像機自動校準裝置10不僅可獲取與路面點數量的一半相等的兩點組合，以提取路面點等，而且可獲取與從多個路面點中選取的可能兩點組合的數量相等的兩點組合。因此，可獲取大於所獲取的運動矢量的數量的、由式子(22)表示的函數曲線的數量，即，等於運動矢量的可能組合的數量，因此，式子(25)獲取的θz可為更準確值。另外，通過在提取路面上的點以用於計算θz時應用FOE距離閾值th1或兩點間距閾值th2，可減少計算θz時造成的誤差。（第二實施方式）接下來，將對根據本發明的車載攝像機自動校準裝置的第二實施方式進行說明。圖8為示出了根據本發明第二實施方式的車載攝像機自動校準裝置10A的示例的整體框圖。第二實施方式中示出的車載攝像機自動校準裝置10A與第一實施方式中示出的車載攝像機自動校準裝置10的不同之處在於，攝像機11的光軸從與路面平行的線傾斜θ0的位置為校準目標位置。由於部件和操作與圖1所示的車載攝像機自動校準裝置10基本相同，所以相同部件將被賦予相同參考標號，並且其說明將被省略。期望的是，採用攝像機11拍攝的圖像的上側上的百分之一至百分之四為空白的這種角度作為角θ0。例如，上側約1/3空白時，地平線處於上側的約1/3處，路面顯示在地平線以下。存儲單元13A存儲作為關於根據該實施方式的目標延伸焦點坐標的信息的目標FOE2(x2,y2)、FOE距離閾值th1、兩點間距閾值th2和查找表。這些信息可通過電子網絡或通過光碟等可攜式存儲介質進行更新。根據第二實施方式的目標FOE2(x2,y2)設為(0,y2)（目標FOE2=(0,y2)），使攝像機11的光軸從與路面平行的線傾斜θ0。該目標FOE2用於由自動校準ECU12A校準繞X和Y軸旋轉量。圖9為示出了根據第二實施方式的攝像機坐標系與攝像機投影面31上的畫面坐標系之間的關係的示意圖。根據第二實施方式的攝像機坐標系表示為(X′,Y′,Z′)，畫面坐標系表示為(x′,y′(,z′))。對於(X,Y,Z)，其與根據第一實施方式的攝像機坐標系相同。當不需要將根據本實施方式的攝像機坐標系與根據第一實施方式的攝像機坐標系區分開時，為了方便起見，根據本實施方式的攝像機坐標系表示為(X,Y,Z)。如圖9所示，根據第二實施方式的攝像機坐標係為與根據第一實施方式的攝像機坐標系具有相同原點並且繞X軸旋轉θ0的坐標系。攝像機坐標系的Z′和Y′軸定義為，分別相對於根據第一實施方式的坐標系的Z和Y軸傾斜θ0。攝像機坐標系的X′軸與根據第一實施方式的攝像機坐標系的X軸（車輛的左右方向）對應。假設畫面坐標系的原點(0,0)（或(0,0,f)）為攝像機坐標系的Z′軸與攝像機投影面31之間的相交點。在第二實施方式中，對攝像機11獲取的圖像進行旋轉校正，以使攝像機11的光軸從與路面平行的線傾斜θ0。如上所述，攝像機11的移動方向可用將攝像機坐標系的原點(X′,Y′,Z′)=(0,0,0)與攝像機投影面31上的延伸焦點連接的線表示。因此，在本實施方式中，當攝像機11以理想安裝角度安裝時，即，光軸方向與Z′軸對應時，延伸焦點的坐標與目標延伸焦點FOE2(0,y2)對應。因此，與第一實施方式相似，繞X/Y軸旋轉量計算單元25基於當前延伸焦點的坐標FOE0(x0,y0)，根據式子(7)和(8)確定繞X′軸旋轉量θx′（為了方便起見，下文稱為繞X軸旋轉量θx）和繞Y′軸旋轉量θy′（為了方便起見，下文稱為繞Y軸旋轉量θy），並將其發送給坐標旋轉校正單元21A。隨後，根據本實施方式的自動校準ECU12A的坐標旋轉校正單元21A分別基於繞X/Y軸旋轉量計算單元25確定的繞X軸旋轉量θx和繞Y軸旋轉量θy，對攝像機11拍攝的圖像進行繞X′軸和繞Y′軸旋轉校正，以滿足θx=θ0(=tan-1(y2/f))並且θy=0。因此，當前延伸焦點FOE0與目標延伸焦點FOE2(0,y2)對應，並且攝像機11的光軸（Z′軸）相對於與路面平行的線的傾斜角為θ0。接下來，將對用於獲取根據第二實施方式的繞Z′軸旋轉量（為了避免複雜，下文稱為繞Z軸旋轉量，省略″′″）的方法進行說明。繞Z軸旋轉量θz可確定為使路面和X′軸（=X軸）互相平行的繞Z′軸旋轉量。圖10為示出了根據第一實施方式的攝像機坐標系與根據第二實施方式的攝像機坐標系之間的關係的示意圖。圖10中的平面與圖9中的YZ(Y′Z′)平面對應。首先，根據本實施方式的攝像機坐標系(X′,Y′,Z′)轉換為根據第一實施方式的攝像機坐標系(X,Y,Z)。X=X′(28)Y=Y′cosθ0＋Z′sinθ0(29)Z=－Y′sinθ0＋Z′cosθ0(30)根據本實施方式的攝像機坐標系(X′,Y′,Z′)與畫面坐標系(x′,y′,z′)也滿足與式子(9)至(11)相同的關係。因此，通過代替式子(28)至(30)，使用式子(9)至(11)，式子(14)可變換為以下式子(31)。tanθz=－(Yk-Yj)/(Xk-Xj)=－(Yk′cosθ0＋Zk′sinθ0－Yj′cosθ0－Zj′sinθ0)/(Xk′-Xj′)=－(yk′zk′cosθ0＋zk′fsinθ0－yj′zj′cosθ0－zj′fsinθ0)/(xk′zk′-xj′zj′)=－{(yk′cosθ0＋fsinθ0)zk′－(yj′cosθ0＋fsinθ0)zj′}/(xk′zk′-xj′zj′)=－{yk′cosθ0＋fsinθ0－(zj′/zk′)(yj′cosθ0+fsinθ0)}/{xk′－(zj′/zk′)xj′}(31)通過將式子(19)代入式子(31)，使用tanθ0=y2/f（y2：目標延伸焦點FOE2的y坐標），獲得以下式子(32)。tanθz=－[yk′cosθ0＋fsinθ0－{(Tz/z)k′/(Tz/z)j′}*(yj′cosθ0＋fsinθ0)]/[xk′－{(Tz/z)k′/(Tz/z)j′}xj′]=－[(Tz/z)j′(yk′cosθ0＋fsinθ0)－(Tz/z)k′*(yj′cosθ0＋fsinθ0)]/[(Tz/z)j′xk′－(Tz/z)k′xj′]=－{f/√(f2＋y22)}[(Tz/z)j′(yk′＋y2)－(Tz/z)k′(yj′＋y2)]/{(Tz/z)j′xk』－(Tz/z)k′xj′}(32)通過將式子(18)代入式子(32)，獲得以下式子(33)。在以下說明中，為了避免複雜，撇號(′)將省略。{xk(ujxj＋vjyj)(xk2＋yk2)－xj(ukxk＋vkyk)(xj2＋yj2)}tanθz=－{f/√(f2＋y22)}[(yk+y2)(ujxj＋vjyj)(xk2＋yk2)－(yj＋y2)(ukxk＋vkyk)(xj2＋yj2)](33)該式子(33)與式子(21)對應。如果，與式子(21)相似，當表示路面上的兩個點Pj和Pk的組合的指標表示為m=m(j,k)時，amtanθz和bm替換式子(33)的左邊和右邊，式子(33)可變換為如下：amtanθｚ=bm(34)am={xk(ujxj+vjyj)(xk2+yk2)-xj(ukxk+vkyk)(xj2+yj2)}(35)bm=－{f/√(f2＋y22)}[(yk+y2)(ujxj＋vjyj)(xk2＋yk2)－(yj＋y2)(ukxk＋vkyk)(xj2＋yj2)](36)根據式子(34)，tanθz的最小二乘解用以下式子(37)表示。tanθz=(Σambm)/(Σam2)其中m=1、2、…M(37)因此，與第一實施方式相似，繞Z軸旋轉量計算單元28A可基於一個幀內M個兩點pj和pk的組合，根據式子(37)確定tanθz。圖11為示出了圖5中的步驟S6中執行的θz計算過程的根據第二實施方式的工序的子工序流程圖。與圖7中相同的步驟將被賦予相同參考標號，並且其重複說明將被省略。在步驟S81中，路面點選擇單元27A利用式子(26a)或(26b)，從圖像區域中與路面上的點對應的點中選擇與當前延伸焦點FOE0(x0,y0)（如果當前延伸焦點FOE0與目標延伸焦點FOE2對應，則為FOE2）相距的距離為FOE距離閾值th1以上的多個點。在步驟S82中，繞Z軸旋轉量計算單元28A利用M個兩個路面點Pj和Pk的組合，基於式子(34)（FOE2的tanθz計算表達式）計算使路面與X軸平行的旋轉量θz，並將旋轉量θz存儲在RAM的預定工作區內。隨後，在步驟S69中，繞Z軸旋轉量計算單元28A通過對為拍攝圖像確定的繞Z軸旋轉量θz中的預定數量的繞Z軸旋轉量θz進行平均來確定平均繞Z軸旋轉量θz_ave，並將其發送給坐標旋轉校正單元21A。利用根據第二實施方式的車載攝像機自動校準裝置10A，由於可基於攝像機11獲取的圖像，獲取關於車輛行駛時攝像機11相對於路面的安裝角度（θx、θy、θz_ave（或θz））的信息，所以可在車輛行駛時自動校準攝像機11的安裝角度。另外，利用根據本實施方式的車載攝像機自動校準裝置10A，由於可將攝像機11的光軸從與路面平行的線傾斜θ0的位置設為校準目標位置，所以可將攝像機11拍攝的圖像中的地平線位置設為符合θ0的任何位置。儘管已經對特定實施方式進行了描述，但這些實施方式僅作為示例，並非用於限制本發明的範圍。實際上，本文所述的新穎實施方式可實施為各種其他形式；另外，在不背離本發明的精神的前提下，可對本文所述的實施方式的形式進行各種省略、替代和改變。所附權利要求及其等同物旨在涵蓋落入本發明的範圍和精神內的這些形式或修改。另外，儘管本發明的實施方式公開了按所述順序以時間順序進行流程圖中的步驟的過程的示例，但過程的步驟並不一定按該時間順序進行，可同時進行或單獨進行。