車載多目攝像機環視系統的在線標定處理方法

2023-07-10 23:02:36 2

專利名稱：：車載多目攝像機環視系統的在線標定處理方法
技術領域：
：本發明涉及車載多目攝像機環視系統，尤其是一種車載多目攝像機環視系統的在線標定處理方法。
背景技術：
：當今社會，汽車已成為一種必不可少的交通工具。人們在享受汽車帶來的方便和快捷的同時，汽車交通事故，汽車尾氣排放帶來的環境汙染以及交通阻塞帶來的問題，已成為日益嚴峻的全球性社會問題。因此，利用各種先進的汽車安全技術、設備和理念減少交通事故和提高汽車安全有很大的市場潛能。上一世紀90年代以後，隨著電子技術、控制技術、傳感器技術和新材料在汽車產品中的廣泛應用，汽車安全技術得到了更加迅猛的發展。現如今，汽車安全技術的研究已由單一安全技術的研發，向各種安全技術相融合協同的集成化、系統化和智能化方向發展。智能化的汽車安全系統以現代探測技術、光電傳感技術、計算機技術和自動控制技術為核心，具有特定的識別判斷能力，能在各種複雜情況下自動協助駕駛員或自行控制汽車，確保行車安全。車載環境感知系統利用各種傳感器對車輛自身、周圍環境及駕駛員狀態等信息進行探測，通過與預先設定的標準進行比較，判別車輛是否處於危險狀態及危險程度，必要時能夠通過聲、光等方式向駕駛員進行預警。目前車載環境感知系統使用的傳感器主要有1)單目或多目攝像機系統，通過對實時採集來的環境圖像進行處理得到相關距離，位置等信息；2)雷射雷達或毫米波雷達，通過發出並接收紅外雷射或者電波，根據都卜勒效應，計算周邊障礙物的距離和位置等信息；3)聲納，通過定向發出並接收超聲波，計算周邊障礙物的距離和位置等信息。比較起來，雷射或毫米波雷達可測範圍廣，抗外界惡劣環境的能力強，但通常只有一層或數層掃描面，無法獲得整個場景的三維立體信息，而且價格昂貴。聲納只適用於近距測量(比如倒車用)，而且只有照射方向上的一點信息。車載攝像機系統通過視覺得到信息，是目前應用最廣泛也是最有前景的傳感器之一。比如倒車攝像頭是應用最普遍的一種車載視覺系統。它一般安裝在車輛後部，方向朝側下方。在駕駛員倒車時，系統自動接通車載顯示屏，為駕駛員提供後方廣域景象。為了讓駕駛員更準確的了解車輛周邊的障礙物等危險信息，系統通過視角的變換處理將原有的具有一定俯角的圖像變換為垂直朝下的虛擬攝像機圖像。倒車攝像機多用於比較複雜的倒車環境，但一臺攝像頭的視野有限，在車輛前方側方障礙物較多的情況下，通常採用多臺攝像機構成車輛環視系統，為駕駛員提供車輛360度完整的環境感知信息。車輛環視系統主要是通過安裝在車輛前後左右的多臺攝像頭拍攝的圖像，經過前述的視角變換處理得到多張虛擬以車輛為中心垂直向下的俯視圖，並通過合成算法拼接為一張完整俯視圖。本專利所述車載多目攝像機環視系統是指車載環境感知的多目立體攝像機系統。(1)與本發明相關的現有技術一視點變換現有技術一(國際公開專利W000-07373，日本專利JP3625059，JPT2002-067158，日本專利申請JPA特開P2002-166802A，P2008-48317A等)。車輛環視系統的基礎技術在於攝像頭的視角變換技術。如圖1所示，車載攝像頭位置處在以地面為中心的三維坐標系X-Y-γ的(0，0，H)點，光軸方向同Y軸夾角為τ(攝像頭的俯角)，攝像頭三維坐標係為X」-Y」-γ」。攝像頭內的二維投影坐標係為α-β，焦距為f。根據投影變換的法則，所有位於地面(Z軸坐標為0)的點(x，y)投影到攝像頭平面的位置(α，β)可以通過以下公式推定。一般的視點變換通常把處於攝像頭的中心位置的地面參照點作為中心，高度為H』焦距為f』的光軸垂直向下的虛擬相機(參照圖4)。由於光軸垂直向下，可以通過平行投影的法則，推導出地面點(x，y)投影到攝像頭平面的位置(α』，β』)。所以綜合(1)(2)之後，我們就可以得到視點變換的公式為視點變換後的示意圖如圖4所示。專利文獻1日本專利JP3625059；專利文獻2日本專利JPT2002-067158。(2)與本發明相關的現有技術二環視圖像合成同上所述，安裝在車輛前後左右的攝像頭經過視點變換之後，分別形成多張虛擬垂直拍攝的俯視圖像。在初始標定處理過程中，各臺相機相對於車輛坐標系的位置可以求出。根據攝像頭的相對位置數據，可以將這些俯視圖像進行合成處理，拼接成一幅車輛環視的全景圖。在各臺虛擬相機的高度及焦距相同的情況下，這些俯視圖像的尺寸比例相同，可以直接進行拼接處理。在拼接後的環繞俯視圖上加入自車的俯視示意圖，即可得到最後的結果圖。專利文獻3日本專利JPA2002-067158；專利文獻4日本專利JPA2008-34966。(3)與本發明相關的現有技術三對應車輛姿態變化的解決辦法現有技術二中雖然可以生成多視點的車輛環繞俯視圖，但由於各臺相機的相對位置關係是在初期標定處理中計算出來的，尤其是車輛姿態(俯角和水平偏角)在車輛經久變化，以及載人載物的重量分布出現變化時這些相對位置的信息會出現一定變化，這些變化會影響環視圖的拼接質量。現有技術三(日本專利JPA-2003274394，JPA-2008034966)提出通過安裝在後視攝像頭內部的可視雷射發生器，發出雷射束照射路面，同時後視攝像頭根據雷射點的路面位置來計算車輛的三維姿態變化，來調整拼圖的處理參數。JPA-2008034966進一步通過圖像處理的方式判斷雷射點是否照射到平坦的路面上，保證測量參數的準確性。專利文獻5日本專利JPA-2003274394；專利文獻6日本專利JPA-2008034966。(4)現有技術的缺點現有技術一以及現有技術二可以通過多視點的視點變換圖像進行拼接，得到環繞俯視圖，但由於車輛姿態(車輛相對路面的俯角，水平偏角等)的實時變化，無法保證拼接的準確性。大部分現有技術往往採用固定姿態參數，即在各臺攝像頭大的初期標定處理之後，系統生成圖像視點變化用查找表(Look-uptableLUT)，將拼接後的環視圖的每一個像素對應的各臺相機的原始圖上的位置記錄下來。在拼接處理中直接調用原始圖像數據進行合成，滿足高速處理的需求。但車輛姿態(俯角和水平偏角)在車輛經久變化，以及載人載物的重量分布出現變化時這些相對位置的信息會出現一定變化，這些變化會影響環視圖的拼接質量。現有技術三雖然可以通過外設雷射發生器實時判斷車輛姿態變化，但遇到路面積水，剎車燈點亮等情況下，無法正確判斷投射雷射點的位置。同時後視攝像頭內安裝雷射發射器會導致系統成本增加，複雜性和出現故障可能性都會增大。
發明內容本發明是為了解決車載環視系統中存在的車輛姿態變化導致俯視圖拼接準確性問題而提出的一種車載多目攝像機環視系統的在線標定處理方法，更準確的完成了環視系統的在線標定及拼接。按照本發明提供的技術方案，所述車載多目攝像機環視系統中查表進行環視拼接的方法如下對多目攝像頭得到的原始圖像通過查表進行視點變換及圖像拼接，得到車輛環視圖；所述視點變換及拼接時對於所述環視圖各個像素的輸出值通過查表確定，所述表包括所述環視圖的二維坐標、車輛俯角、車輛水平偏角、攝像頭編號、所述原始圖像坐標、攝像頭的加權參數，一組特定環視圖二維坐標、車輛俯角、車輛水平偏角和攝像頭編號對應唯一一組該編號攝像頭的原始圖像坐標、該編號攝像頭的加權參數。所述車載多目攝像機環視系統的在線標定處理方法如下(1)對車載多目攝像頭得到的原始圖像的重疊區域，分別進行視點變換；(2)對所述各個攝像頭視點變換後的重疊區域進行特徵量計算；(3)分別將所述重疊區域的兩組圖像的特徵量進行相減，沿著攝像頭的射線方向的特徵量不參與相減；若特徵量相減後不為零，則斷定車輛姿態發生變化，按照車輛俯角和水平偏角可能的變化範圍，重新進行視點變換以及特徵量計算，直到全部重疊區域的特徵量相減的差的絕對值小於預先設定的閾值，從而得到車輛的俯角和水平偏角；(4)通過查表進行視點變換及圖像拼接，得到車輛環視圖；所述視點變換及拼接時對於所述環視圖各個像素的輸出值通過查表確定，所述表包括所述環視圖的二維坐標、車輛俯角、車輛水平偏角、攝像頭編號、所述原始圖像坐標、攝像頭的加權參數，一組特定環視圖二維坐標、車輛俯角、車輛水平偏角和攝像頭編號對應唯一一組該編號攝像頭的原始圖像坐標、該編號攝像頭的加權參數。每一組攝像頭採集的新圖像到來之後都要進行步驟1-4，所述一組圖像是指多目攝像頭同時採集到的多幅圖像。所述特徵量可以是邊緣、特徵點、特徵顏色中的一種或幾種的組合。本發明的優點是本發明解決了車輛姿態變化時對環視圖的影響，可以高速準確的檢測到車輛的姿態變化，同時本發明不需要利用雷射發生器等外部設備，直接利用原始圖像，降低成本。圖1是車載攝像頭的投影坐標系。圖2是視點變換示意圖。圖3是在線標定系統結構圖。圖4是重疊區域示意圖。具體實施例方式本發明提出車載環視處理用在線標定系統的概念。如圖3所示，該系統由重疊區域決定部分，特徵量計算部分，車輛姿態計算部分和結果輸出部分這四個部分構成在線標定系統。重疊區域可以事先得到。除了重疊區域決定部分以外，其他三個部分都是在線處理，即每一組新圖像到來之後都要進行在線標定處理。一組圖像是指多目攝像頭同時採集到的多幅圖像，如同一時間，每個攝像頭得到的一幀圖像。一、重疊區域決定部分車載環視處理系統是由多臺廣角攝像頭構成，每臺攝像頭覆蓋一定區間，圖像經過視點變換生成俯視圖，並進行拼接得到車輛環視圖。如圖9所示，相鄰攝像頭通常都要有一部分區域相互重疊，根據鏡頭及攝像頭設置的高低，這些重疊區域大小略有變化。各臺攝像頭在初期標定處理中已經確定了相對車輛坐標系的位置關係，並生成圖像視點變化用查找表(Look-uptableLUT)如下表所示，記錄著拼接後的環視圖的每一個像素對應的相機編號，每臺攝像頭的原始圖上的位置，以及對應的加權參數。從這個查找表中可以確定各個相機相互重疊的區域。這些區域在車輛姿態沒有特別大的變化時基本保持不變。重疊區域如圖4所示。表1.環視拼接用查找表二、特徵量計算部分每一組新圖像採集進來之後，各臺攝像頭根據查詢表進行視點變換處理，並分別得到重疊區域的圖像。如圖4所示，重疊區域00是由前方攝像頭和左側攝像頭的重疊部分構成，01是由前方同右側，02是後方同右側，03是後方與左側構成。在這些重疊區域的圖像中進行特徵量計算，特徵量可以是邊緣，特徵點或特徵顏色等，計算處理可以是空間卷積，Harr-like特徵提取等。三、車輛姿態計算部分我們用車輛俯角和水平偏角表示車輛姿態。如果車輛姿態保持初期標定時的姿態，那麼每個重疊區域的兩組圖像的特徵量計算結果就會完全相同，特徵量進行相減後可以完全消除。對於高於路面的物體，由於視點變換時會產生變形(沿攝像頭的射線方向傾倒)，在重疊區域內的兩組圖像中的特徵量不會相同，我們可以事先把沿著攝像頭的射線方向的特徵量不做考慮。如果重疊區域的兩組圖像進行相減後不能消除，可以斷定車輛姿態已經發生變化。按照車輛俯角和水平偏角可能的變化範圍，利用窮舉法或其他高速參數確定法，重新進行視點變換以及特徵量計算，達到全部重疊區域的特徵量相減結果接近於零，從而得到車輛姿態。實際操作時是使相減結果的差的絕對值小於預先設定的閾值，這個閾值根據實際情況設為接近零的數值。為了提高計算速度，可以事先把各種姿態的攝像頭視點變換後的重疊部分製成查找表LUT。四、結果輸出部分得到上述車輛姿態以後，根據事先做好的查找表重新生成環視圖並輸出結果。這種查找表可以是以下包含車輛姿態的查找表。所述表包括環視圖輸出結果坐標，車輛姿態的俯角和水平偏角，對應攝像機的編號，每臺攝像機的原始圖像的坐標以及對應的加權參數。車輛姿態的俯角和水平偏角變化範圍和變化間隔取決於實際車輛動態性能以及查找表可使用存儲器空間大小。表2.含有車輛姿態的環視拼接用查找表以下為一個具體實施例。如圖4所示，車輛前後左右共有4臺相機進行環視處理。各臺相機3維空間位置角度以及相對於車輛坐標系的相對位置和偏角可以事先通過離線標定處理得到。離線標定處理的具體實施例可參考上述專利文獻1到6。根據公式(1)到公式(3)分別得到各臺相機視點變換後的虛擬垂直拍攝的俯視圖像像素位置(αi』，βi』)對應的原始圖像像素位置(αi，βi)，這裡i表示相機編號。根據離線標定得到的各臺相機相對於車輛坐標系的相對位置和偏角可以得到環視結果圖的像素位置(x_new，y_new)對應於各臺相機視點變換後的虛擬垂直拍攝的俯視圖像像素位置(αi』，βi』)，從而得到原始圖像像素位置(αi，βi)。製作的查找表如表2所述包含車輛姿態數據以及對應的各臺相機的原始圖像位置結果。在線標定處理時，例如通過窮舉法，在俯角和水平偏角的變化範圍內對每一臺重疊區域按照查找表的結果分別生成重疊區域圖像，尋找可以達到全部重疊區域的特徵量相減結果接近於零的車輛姿態數據。得到姿態數據之後，可以通過參照表直接計算環視圖的輸出結果。如表2例示，環視圖坐標(x_new，y_new)的(0，0)對應俯角0.0，水平偏角0.0的1號相機原始坐標為(3.42，198.23)，加權參數為0.82；2號相機原始坐標為(98.34，1.23)，加權參數為0.18。結果的環視圖(0，0)的亮度值可以按以下方法進行計算。1、通過線性或非線性插值法計算1號相機(3.42，198.23)點的圖像輸出值I1。2、通過線性或非線性插值法計算2號相機(98.34，1.23)點的圖像輸出值I2。3、結果(0，0)的亮度值I為I1和I2的加權平均。I＝0.82xI1+0.18xI2.環視圖的全部像素按照以上辦法計算。綜上，本發明在車載環視系統中採用在線標定的方法達到對應車輛姿態變化的目的。在線標定通過相鄰攝像頭的重疊區域，生成視點變換圖像並計算重疊區域的特徵量。按照車輛俯角和水平偏角可能的變化範圍，利用窮舉法或其他高速參數確定法，重新進行視點變換以及特徵量計算，達到全部重疊區域的特徵量相減結果接近於零，從而得到車輛姿態。為了提高計算速度，可以事先把各種姿態的攝像頭視點變換以及拼接處理的結果製作一種查找表，這種查找表包含車輛姿態數據以及對應的各臺相機的原始圖像位置結果，加權參數等，這樣可以在得到姿態數據之後同時進行視點變換和圖像拼接處理。權利要求1.一種車載多目攝像機環視系統中查表進行環視拼接的方法，其特徵是對多目攝像頭得到的原始圖像通過查表進行視點變換及圖像拼接，得到車輛環視圖；所述視點變換及拼接時對於所述環視圖各個像素的輸出值通過查表確定，所述表包括所述環視圖的二維坐標、車輛俯角、車輛水平偏角、攝像頭編號、所述原始圖像坐標、攝像頭的加權參數，一組特定環視圖二維坐標、車輛俯角、車輛水平偏角和攝像頭編號對應唯一一組該編號攝像頭的原始圖像坐標、該編號攝像頭的加權參數。2.一種車載多目攝像機環視系統的在線標定處理方法，其特徵是(1)對車載多目攝像頭得到的原始圖像的重疊區域，分別進行視點變換；(2)對所述各個攝像頭視點變換後的重疊區域進行特徵量計算；(3)分別將所述重疊區域的兩組圖像的特徵量進行相減，沿著攝像頭的射線方向的特徵量不參與相減；若特徵量相減後不為零，則斷定車輛姿態發生變化，按照車輛俯角和水平偏角可能的變化範圍，重新進行視點變換以及特徵量計算，直到全部重疊區域的特徵量相減的差的絕對值小於預先設定的閾值，從而得到車輛的俯角和水平偏角；(4)通過查表進行視點變換及圖像拼接，得到車輛環視圖；所述視點變換及拼接時對於所述環視圖各個像素的輸出值通過查表確定，所述表包括所述環視圖的二維坐標、車輛俯角、車輛水平偏角、攝像頭編號、所述原始圖像坐標、攝像頭的加權參數，一組特定環視圖二維坐標、車輛俯角、車輛水平偏角和攝像頭編號對應唯一一組該編號攝像頭的原始圖像坐標、該編號攝像頭的加權參數。3.如權利要求2所述的車載多目攝像機環視系統的在線標定處理方法，其特徵是每一組攝像頭採集的新圖像到來之後都要進行步驟1-4，所述一組圖像是指多目攝像頭同時採集到的多幅圖像。4.如權利要求2所述的車載多目攝像機環視系統的在線標定處理方法，其特徵是所述特徵量可以是邊緣、特徵點、特徵顏色中的一種或幾種的組合。全文摘要本發明是為了解決車載環視系統中存在的車輛姿態變化導致俯視圖拼接準確性問題而提出的車載多目攝像機環視系統的在線標定處理方法。由重疊區域決定部分，特徵量計算部分，車輛姿態計算部分和結果輸出部分這四個部分構成在線標定系統。把各種姿態的攝像頭視點變換以及拼接處理的結果製作一種查找表，這種查找表包含車輛姿態數據以及對應的各臺相機的原始圖像位置結果，加權參數等，這樣可以在得到車輛姿態數據之後同時進行視點變換和圖像拼接處理。文檔編號G06T7/00GK101763640SQ20091026477公開日2010年6月30日申請日期2009年12月31日優先權日2009年12月31日發明者胡振程申請人:無錫易斯科電子技術有限公司