機載的形成立體圖像的系統的攝像機的外在校準方法與流程
2023-07-15 20:27:26 3
在機動車安全領域，輔助駕駛系統可能包括藉助於在車輛上的機載立體視覺系統的視覺輔助。這些系統一般用來檢測位於這些車輛前方的視場中的障礙物。立體視覺系統實際上允許根據如下的兩個機載攝像機來確定車輛和這些前方障礙物之間的距離：所述兩個機載攝像機被布置成接近於彼此以用於為數字處理單元提供成對的立體圖像。通過分析這樣提供的圖像之間的差異，系統允許準確標識障礙物以及它們到車輛的距離。
此外，對這些障礙物的認識被通過輔助駕駛系統告知給駕駛員。例如在涉及在沒有另外地指示障礙物的情況下實時地獲知道路是否確實沒有障礙物時，攝像機的可靠性可能成為決定性的。
準確性取決於攝像機的校準以及對相對於初始校準的可能的變化的知悉。攝像機的校準與內在參數有關，如它們的焦距或它們的變倍的設置，並且與它們的有關於每個攝像機相對於車輛的位置以及有關於攝像機中的一個相對於另一個的相對位置的外在參數有關。
每個攝像機被在工廠初始地內在校準並且對於供應商而言內在參數在整個使用持續時間期間被認為是恆定的。
傳統地，將攝像機中的一個認為是基準攝像機，內在校準在於設置該基準攝像機相對於車輛的位置和旋轉以及相對於另一照相機（被稱為從攝像機）的旋轉的位置和旋轉。各攝像機應當被相對於彼此以相當準確的方式在位置上進行設置以用於避免它們的位置相對於它們的間隔的任何垂直度誤差。然而以足夠準確的方式組裝它們以用於獲得偏轉上的零偏離並且因此避免該誤差是困難的。
此外，外在參數由於使用參數的變化，特別是由於因溫度所致或因攝像機所經受的機械振動所致的變化而隨時間變化。
參照立體視覺系統的OXYZ正交坐標系，對攝像機圍繞橫軸OX的相對旋轉（俯仰角）、攝像機圍繞縱軸OZ的相對旋轉（傾斜角）、以及攝像機圍繞仰角軸OY的相對旋轉（偏轉（或按英語術語的「yaw（偏航）」）角）的校準可以有利地通過應用在稱為核面（épipolaire）幾何學空間中的多點立體視覺配對搜索中所使用的核面約束來實現。該幾何學在從不同的視點實現的同一場景（圖像點）的不同圖像的各點之間建立關係，這些圖像點對應於場景的同一對象點在攝像機圖像空間中的投影。
核面約束允許在給定的圖像中把對象點的圖像點的搜索限制於被稱為核面線的投影線上，而僅知道該圖像點在另一圖像中的位置。核面約束因此通過在由第一攝像機產生的單獲取的第一圖像的每個點和由另一攝像機同時產生的另一圖像的核面線的各點之間搜索配對點來引導立體視覺圖像的構建。核面幾何學允許通過簡單的關係與對應的圖像點的場深度結合地得出對應的圖像點，以便重構立體視覺（即呈三維景像的）圖像。
然而，圖像的像素化對圖像的質量有影響。該影響對於俯仰或傾斜校準而言是可測量的，因為校準錯誤的檢測於是在圖像上是直接可測量的。例如，一度的俯仰或傾斜旋轉將在圖像上引起10像素的偏差並且這將是可見的。但是該偏轉偏差不能在圖像上被校正，因為那樣靈敏度太低：核面線上的投影偏差相對於圖像噪聲仍然太小—對於一度的偏離而言平均小於0.1像素—並且於是核面約束不能被利用。
為了克服該問題，並且更一般地為了消除攝像機準確組裝的誤差—其更特別地表現在偏轉校準上—可能想見的是使用補充的外部信息，如來自另一傳感器的車輛速度或場景深度。
例如，雷達的使用允許將對象—例如車輛—定位於給定的距離。同一車輛於是被利用立體系統的第一攝像機觀測並且被利用另一攝像機按角度進行校準因而車輛確實處於所給定的距離。然而，雷達並不是足夠準確的並且因此並不是對於取得大數量的坐標系點來說是必需的。此外，這種雷達生成額外的成本。
已經通過僅使用圖像處理系統從而開發出了在沒有使用雷達的約束的情況下的其它進展。
因此，專利文獻FR 2 986 358描述了根據捕獲特定的並且定位在測試卡上的目標點來校準安裝在車輛上的攝像機。通過求解帶有六個未知量（三個平動分量和三個旋轉分量）的非線性方程系統，攝像機的圖像平面中的給定坐標點於是被定位在場景中。
該方案對於在立體視覺系統的兩個攝像機之間的偏轉校準而言是難以應用的，因為系統的複雜性不允許從同一測試卡針對運動中的兩個攝像機得到無疑義的確定。
國際申請WO 2011/079258規定了實時地確定多攝像機系統的失準（更特別地，其外在失準），並且根據一個圖像的所觀測數據—通過對這些數據的測量—以及按照先前設置的校準應用而規定的數據之間的對應來重新校準多攝像機系統。與典型對象的模型的特性有關的所述數據的對應被以實時測量的對準得分的歷史統計的形式存儲。
然而，該方案有關於至少三個的多攝像機的系統並且使用多個模型對象（如圓形）或者3D（三維）模型（如圓柱體）以用於實施該方法。典型模型的使用限制了該方法的使用。此外，確定失準（對於機載立體視覺系統而言特別是偏轉失準）的性能是不可測量的。
本發明的目的在於以可再現並且對於道路不規則性或者由攝像機產生的圖像噪聲不靈敏的方式校準機載立體視覺攝像機系統。為此，本發明提出把由系統觀測的場景的點相對於假設的平面場景的深度偏差與系統的各攝像機之間的對應的偏轉變化相關聯，然後由此得出攝像機的偏轉校準的校正。
為此，本發明的目的在於一種機載於機動車輛中的形成立體圖像的立體視覺系統的第一攝像機和第二攝像機的外在校準方法，包括以下步驟：
●獲取各攝像機的傾斜、俯仰和偏轉的立體外在和單內在校準；
●通過重構由前述的校準步驟校準的三維圖像來獲取視場中的場景的連續的立體視覺圖像，每個立體視覺圖像是從所述第一和第二攝像機的左和右圖像重構的，所述左圖像和右圖像被同時地產生並且被以像素的形式數字地存儲；
●對這樣重構的立體視覺圖像進行濾波；
●通過利用預先確定的數量的點進行時間空間濾波來在如通過重構的每個圖像所觀測的場景的輪廓和如所期待的場景的線性輪廓之間進行比較；
●根據前述的比較來建立偏轉校準偏差；
●根據由前述步驟確定的偏轉校準偏差來校正攝像機的偏轉校準；以及
●對前述步驟的校正進行迭代直到通過重複前述的各步驟獲得零校準偏差為止。
根據優選的實施方式：
–在如所觀測的場景的輪廓和如所期待的場景的輪廓之間進行比較在於：確定如所觀測的場景的場深度和如所期待的線性輪廓的場景的至少一個點的場深度之間的場深度偏差，然後根據在預先確定的一組點上取平均的深度偏差來確定第一攝像機和第二攝像機之間的偏轉校準的偏差；
●由所述第一攝像機形成的場景的圖像點的所觀測的場深度是根據攝像機的圖像之間的差異確定的；
●所述第一攝像機和圖像點之間的距離等於所述第一攝像機的焦距和由攝像機的圖像之間的差異分開的攝像機之間的距離的乘積；
●所期待的深度是由所述第一攝像機的坐標系和所述車輛的坐標系之間的轉換矩陣確定的；
●對於每個圖像點而言，偏轉校準的偏差與深度偏差成正比，並且與所期待的深度的平方成反比；
●所述第一攝像機和所述第二攝像機之間的偏轉校準偏差取決於如下而分別對應於各攝像機之間的會聚以及輻散：相對於零全局傾斜度的輪廓的所期待場景，所觀測的場景的輪廓分別以正的全局傾斜度傾斜以及以負的全局傾斜度全局地傾斜；
●在分別如所觀測場景的輪廓中所觀測的以及如所期待場景的線性輪廓中所期待的同一個點之間，在所述第一攝像機和所述第二攝像機之間的按照單位深度偏差dZ的單位偏轉角度變化dL由如下等式給出：，「b」是攝像機之間的距離；「Z」是線性輪廓的場景中的點的所期待的深度；「Un」是與所述第一攝像機的二維圖像坐標系中的所觀測點對應的圖像點的歸一化的橫坐標（其中，「Ui」是所述第一攝像機的圖像平面中的圖像點的橫坐標；「U0」是所述圖像中的中心坐標並且「f」是所述第一攝像機的焦距）。
通過參照隨附各圖閱讀以下的非限制性的詳細描述，本發明的其它數據、特性和優點將變得明顯，隨附各圖分別表示：
–圖1是根據本發明的方法的偏轉校準的邏輯圖；
–圖2a和圖2b是其中立體視覺系統的攝像機被組裝在機載支承件上的車輛的側視圖和頂視圖；
–圖3a是在系統的攝像機之間的會聚偏轉誤差的情況下不同的道路輪廓的側視圖：假設為線性的輪廓；要由車輛走過的真實輪廓；以及如由機載於車輛中的立體視覺系統—通過第二攝像機的坐標系中的第一攝像機—觀測的輪廓；
–圖3b是在攝像機之間的輻散偏轉誤差的情況下根據圖3的道路的不同輪廓的側視圖；以及
–圖4是立體視覺系統的第一攝像機的圖像平面的透視圖。
圖1的邏輯圖圖解從如下的步驟開始的根據本發明的在車輛中的機載立體視覺攝像機系統的外在校準方法的實現：由所述系統觀測的道路的圖像的獲取步驟10，以及如所期待的道路的圖像（也就是說，被認為是平坦的道路的圖像）的並行獲取步驟（步驟20）。除了攝像機之外，機載立體視覺系統還包括來自這些攝像機的數據的處理單元以便構建三維圖像。
所觀測的道路的每個圖像（步驟10）來自於所說的3D校準的三維重構圖像，該三維重構圖像是根據由立體視覺系統的攝像機所看到的大量的點—例如100000個點—實現的。這些點的深度是根據由對應的攝像機形成的左圖像和右圖像之間的差異圖確定的。
為了在步驟30重構每個3D圖像，在步驟40處對立體外在和單內在初始校準獲取步驟31進行濾波。
步驟10的每個被觀測並且被3D重構的圖像然後在深度上與步驟20的被假設為平坦的道路的對應的所期待圖像進行比較。每個所期待圖像是由立體視覺系統的攝像機中的一個的基準2D二維圖像形成的，該同一基準圖像用於實現對應的3D重構圖像。在利用預先確定的數量的點進行時間—空間濾波之後，道路的圖像被假設為是平坦的。因此使用多個相繼的圖像上的多個點以便獲得道路的圖像的平均輪廓。該預先確定的數量至少等於1，但是考慮到獲取噪聲和道路的或多或少不規則的輪廓，有利的是採用多個相繼的圖像上的多個點。所使用的圖像的數量取決於車輛的速度和所希望的校準準確度。然後根據該比較在步驟50建立深度偏差。
可以執行預先標定以便經驗地建立深度偏差和對應的偏轉角度偏差之間的關聯。稍後提出該關聯的確定方法。
由於攝像機之間的偏轉變化所致的偏轉校準偏差因此在步驟60被確定並且在步驟61被以圖像校正的形式注入到如在步驟30建立的3D圖像的重構中。每當建立新的偏轉角度校準偏差，就這樣依次地對校準進行校正。只要有校正被提供到步驟30並且在步驟60被確定為非零，該迭代就繼續。
如由圖2a和圖2b的側視圖和頂視圖所圖解那樣，立體視覺系統的攝像機11和12被組裝在布置於車輛1的擋風玻璃1a的頂部上的機載支承件110上。還在這些圖上表示的是分別以第一攝像機11的光學中心O1、第二攝像機12的光學中心O2以及立體視覺系統的光學中心O為中心的坐標系O1X1Y1Z1、O2X2Y2Z2以及OXYZ，這些坐標系分別聯繫於所述攝像機11、12和車輛1。攝像機之間的距離是按它們的光學中心O1和O2之間的距離來測量的，該距離在圖中由「b」標明。
更特別地，攝像機11和12的二維子坐標系X1O1Z1和X2O2Z2之間的角向偏離ΔL（圖2b）表示攝像機11和12之間的偏轉偏差。在圖2b中，該偏轉偏差ΔL被圖解在所述二維子坐標的O1X1軸和O2X2軸之間，但是還完全可以由形成攝像機11和12的光軸的O1Z1軸和O2Z2軸之間的角向偏離表示。
不過根據本發明，深度偏差被認為揭示了攝像機之間歸因於角向偏離ΔL的偏轉校準誤差。參照根據圖3a和圖3b的道路輪廓的側視圖，該深度偏差被圖解於與第一攝像機11的圖像平面垂直的車輛1的Y1O1Z1平面中。在這些圖中，道路的真實輪廓121以平均方式—通過時間-空間濾波—限定所說的如所期待的基準線性輪廓120。
在這些圖中，還顯示了根據上升全局輪廓13a（圖3a）或下降全局輪廓13b（圖3b）的如由機載立體視覺系統觀測的道路輪廓130，上升全局輪廓13a和下降全局輪廓13b分別對應於攝像機的會聚以及輻散偏轉角度誤差，其生成偏轉校準誤差。
攝像機的偏轉角度偏差來自於系統的攝像機中的一個或另一個的（如攝像機11在它的機載支承件110上的）安裝誤差或變化。並且在這兩種情況下（圖3a和圖3b）如所觀測的道路的輪廓13a或13b的傾斜因為角度誤差並且因此偏轉校準誤差大而更大。
在第一種情況下（圖3a），所觀測的道路輪廓13a的任何點P1a以與對應於如所期待的基準線性輪廓120的點P2a相比是更靠近的方式被立體視覺系統看到，點P1a和P2a在通過立體視覺系統的光學中心「O」的直線Da上。該光學中心在根據圖2a和圖2b的側視圖上與攝像機11的光學中心O1重合。點P1a的這種「靠近」由輪廓13a的正傾斜引起。
點P1a和P2a之間的深度偏差ΔZa是沿著O1Z1軸測量的。由於所觀測的輪廓13a相對於基準線性輪廓120傾斜，因而該偏差ΔZa隨著所考慮的點P1a沿著O1Z1軸遠離而增大。於是障礙物可能出現在與輪廓121對應的真實道路上的立體視覺系統的視場中並且可能例如通過濾波而被排除（圖1，步驟40）。
在第二種情況下（圖3b），所觀測的道路輪廓13b的任何點P1b以與對應於基準線性輪廓120的點P2b相比是更遠離的方式被立體視覺系統看到，點P1b和P2b在通過攝像機11的光學中心O1—在該側視圖的投影上—的直線Db上。點P1b的這種「遠離」是由輪廓13b的負傾斜導致的。
點P1b和P2b之間的深度偏差ΔZb也是沿著OZ軸測量的。由於所觀測的輪廓13b相對於基準線性輪廓120傾斜，因而該偏差ΔZb隨著所考慮的點P1b的遠離而增大。
因此顯見重要的是能夠校正立體視覺系統的（由于振動、初始校準和/或熱效應所致的）「會聚」或者「輻散」的、並且分別導致正的或者負的傾斜輪廓的偏轉校準偏差。
除了上面提及的經驗方法以外，本發明還提出利用在形成於攝像機之間的偏轉變化ΔL—其引起偏轉校準偏差—和深度偏差ΔZ（即根據此前描述的兩種情況的ΔZa或ΔZb，ΔZa或ΔZb從所述兩種情況得出）之間的關聯的偏轉校準的量化校正方法。
為了建立這樣的關聯，適當的是從在攝像機11的平面圖像I1中觀測的場景的圖像點Pi的定位開始，如由圖4的透視圖所圖解的那樣。（由採用虛線的輪廓象徵性地指示的）攝像機11具有：光學中心O1,其為O1X1Y1Z1坐標系的中心，O1X1Y1Z1坐標系定義光軸O1Z1，在此假定光軸O1Z1平行於立體視覺系統的縱向滾動軸OZ（圖2a，圖2b）；橫軸O1X1，在此假定橫軸O1X1平行於該系統的俯仰軸OX；以及仰角軸O1Y1，其平行於立體視覺系統的偏轉軸OY。攝像機11還具有焦距「f」，其等於攝像機的圖像平面I1和攝像機的光學中心O1之間的距離。
在圖像平面的I1的（U,V）坐標系中，攝像機11形成場景的對象點Ps的圖像點Pi（其中針對坐標Ui和Vi），Ui是橫坐標（平行於O1X1軸）並且Vi是仰角坐標（平行於O1Y1軸）。點Pi的歸一化坐標以及是參照原點P0的坐標U0和V0定義的，其中攝像機11的光軸O1Z1以垂直方式穿透圖像平面I1。
以與攝像機11類似的方式圖解的立體視覺系統的另一攝像機12—以與攝像機11相同的方式—在其原點P』0的圖像平面I2的（U』，V』）坐標系中形成對象點Ps的坐標為U』i和V』i的圖像點P』i。攝像機12的基準坐標系O2X2Y2Z2以該攝像機的光學中心O2為中心，O2Z2軸形成其光軸。
系統的兩個攝像機11和12之間的單位偏轉角度變化dL於是被根據—與圖3a和圖3b的有限偏差ΔZa或ΔZb對應的—形成在縱向軸O1Z1上的單位深度偏差dZ來確定。單位深度偏差dZ是通過如下兩者之間的偏差來測量的：點Pi在O1Z1軸上的深度Zi以及作為如通過立體視覺圖像的核面重構方法在該攝像機12的圖像平面I2中觀測到的點Ps的圖像點的點P』i的深度Z』i。
單位偏轉角度變化dL和對應的單位深度偏差dZ之間的關聯於是 由如下等式給出：
，b是攝像機的光學中心之間的距離（比照圖2b）。因此顯示出偏轉角度變化dL取決於按平方增加的如在被認為平坦的場景中所期待的對象點P’s的深度Zs。在系統的攝像機之間的會聚或輻散的偏轉角度的情況下，該強的依賴導致如由車輛中的機載立體視覺系統所觀測的道路輪廓的強的傾斜（比照圖3a和圖3b）。
本發明不限制於所描述和表示的示例。因此，本發明可以通過針對系統的每組攝像機（成對組、三元組、四元組）使用方法而應用於多於兩個攝像機的系統
此外，可能的是使用能夠實現差異圖的任何三維圖像重構方法以用於根據由立體視覺系統的攝像機提供的圖像來確定場景的各點的深度，例如根據確定配對得分的模式、圖像切割以及表達差異的模式的局部、全局和半全局方法。
局部方法基於在緊挨地圍繞要配對的兩個像素的像素之間獲得的每個圖像的每對像素的配對得分。各種關聯功能可以被使用（平方偏差求和、絕對偏差求和、中心歸一化互相關等）以用于于是確定被配對的像素的差異。對於被分析的每對像素而言，選擇對應於最佳得分的差異。
全局方法在於優化在整個基準圖像上定義的能量函數。能量函數定義差異圖應當遵從的約束，例如在對象上的差異的連續性。隨後，搜索使該能量函數最小化的差異的全體。圖形切割（按英語術語的「Graph-Cut（圖形切割）」）和信任傳播（按英語術語的「Belief Propagation（信任傳播）」）方法是被研究最多的全局方法。
半全局方法基於與全局方法相同的原理但是基於圖像的子部分，即線和塊。相對於全局方法，將能量函數的優化問題劃分成子問題允許減少對計算和存儲器資源的需求。