車輛全景圖像處理方法及裝置與流程

2023-05-09 21:54:37

本發明涉及全景圖像生成技術領域，特別是涉及車輛全景圖像處理方法及裝置。

背景技術：

隨著圖像和計算機視覺技術的快速發展，越來越多的技術被應用到汽車電子領域，傳統的基於圖像的倒車影像系統只在車尾安裝攝像頭，只能覆蓋車尾周圍有限的區域，而車輛周圍和車頭的盲區無疑增加了安全駕駛的隱患，在狹隘擁堵的市區和停車場容易出現碰撞和刮蹭事件。為擴大駕駛員視野，就必須能感知360°全方位的環境，這就需要多個視覺傳感器的相互協同配合作用然後通過視頻合成處理，形成全車周圍的一整套的視頻圖像，就是有這類需求，全景視覺泊車輔助系統應運而生。

但是，全景泊車系統標定完成之後，如果車身高度發生變化，則拼接圖像拼接質量會受影響，產生拼接錯位問題，高度變化越大則錯位越嚴重。

因為大部分車輛在使用過程中不可避免的會有不同程度的承載變化，車身高度變化也不可避免，所以實車使用過程中總會有不同程度的拼接錯位問題，使得用戶體驗差。

技術實現要素：

鑑於以上所述現有技術的缺點，本發明的目的在於提供車輛全景圖像處理方法及裝置，用於解決現有技術中全景圖像拼接錯位的問題。

為實現上述目的及其他相關目的，本發明提供一種車輛全景圖像處理方法，包括：通過設於一車輛上朝向不同方向的多路圖像採集裝置分別採集圖像；識別並收集各路圖像中出現的車道線的圖像位置數據；利用相鄰圖像採集裝置所採集的關於同一條車道線的圖像位置數據來計算各條車道線的空間物理位置；對所述空間物理位置的數據進行處理以估計出車身沉降數據；利用所述車身沉降數據對圖像採集裝置的標定數據進行補償處理；利用補償後的所述標定數據拼接各路圖像以生成全景拼接畫面。

於本發明的一實施例中，所述識別並收集各路圖像中出現的車道線的圖像位置數據，包括：識別各路所述圖像採集裝置所採集圖像中的車道線，並獲得車道線在標定地平面上的圖像位置數據。

於本發明的一實施例中，所述對所述空間物理圖像位置數據進行處理以估計出車身沉降數據，包括：選擇車道線所在空間物理位置上兩個物理點的物理位置數據放入頂點緩衝池；根據積累在所述頂點緩衝池中的物理點的物理位置數據形成物理地面點雲數據；將所述地面點雲數據通過最小二乘平面擬合獲得對應的真實物理地面方程。

於本發明的一實施例中，所述利用所述車身沉降數據對圖像採集裝置的標定數據進行補償處理，包括：利用所述真實物理地面方程更新所述標定數據。

於本發明的一實施例中，所述圖像採集裝置為魚眼攝像頭，所述不同方向包括：前、後、左、及右。

為實現上述目的及其他相關目的，本發明提供一種車輛全景圖像處理裝置，包括：採集模塊，用於通過設於一車輛上朝向不同方向的多路圖像採集裝置分別採集圖像；圖像識別模塊，用於識別並收集各路圖像中出現的車道線的圖像位置數據；計算模塊，用於利用相鄰圖像採集裝置所採集的關於同一條車道線的圖像位置數據來計算各條車道線的空間物理位置；數據估計模塊，用於對所述空間物理位置的數據進行處理以估計出車身沉降數據；補償模塊，用於利用所述車身沉降數據對圖像採集裝置的標定數據進行補償處理；圖像拼接模塊，用於利用補償後的所述標定數據拼接各路圖像以生成全景拼接畫面。

於本發明的一實施例中，所述識別並收集各路圖像中出現的車道線的圖像位置數據，包括：識別各路所述圖像採集裝置所採集圖像中的車道線，並獲得車道線在標定地平面上的圖像位置數據。

於本發明的一實施例中，所述對所述空間物理圖像位置數據進行處理以估計出車身沉降數據，包括：選擇車道線所在空間物理位置上兩個物理點的物理位置數據放入頂點緩衝池；根據積累在所述頂點緩衝池中的物理點的物理位置數據形成物理地面點雲數據；將所述地面點雲數據通過最小二乘平面擬合獲得對應的真實物理地面方程。

於本發明的一實施例中，所述利用所述車身沉降數據對圖像採集裝置的標定數據進行補償處理，包括：利用所述真實物理地面方程更新所述標定數據。

於本發明的一實施例中，所述圖像採集裝置為魚眼攝像頭，所述不同方向包括：前、後、左、及右。

如上所述，本發明的完整的車輛全景圖像處理方法及裝置，通過設於一車輛上朝向不同方向的多路圖像採集裝置分別採集圖像；識別並收集各路圖像中出現的車道線的圖像位置數據；利用相鄰圖像採集裝置所採集的關於同一條車道線的圖像位置數據來計算各條車道線的空間物理位置；對所述空間物理位置的數據進行處理以估計出車身沉降數據；利用所述車身沉降數據對圖像採集裝置的標定數據進行補償處理；利用補償後的所述標定數據拼接各路圖像以生成全景拼接畫面；利用路面車道線信息來對標定數據進行處理分析監測，以避免拼接錯位，使得任何時刻全景畫面都處於較好的拼接效果。

附圖說明

圖1顯示為本發明於一實施例中車輛全景圖像處理方法的流程示意圖。

圖2顯示為本發明於一實施例中車輛全景圖像處理方法的一步驟分支展開的流程示意圖。

圖3a及3b顯示為現有技術與本發明生成的全景鳥瞰圖的比對示意圖。

圖4顯示為本發明於一實施例中車輛全景圖像處理裝置的模塊示意圖。。

元件標號說明

401採集模塊

402圖像識別模塊

403計算模塊

404數據估計模塊

405補償模塊

406圖像拼接模塊

s101～s106方法步驟

s201～s203方法步驟

具體實施方式

以下通過特定的具體實例說明本發明的實施方式，本領域技術人員可由本說明書所揭露的內容輕易地了解本發明的其他優點與功效。本發明還可以通過另外不同的具體實施方式加以實施或應用，本說明書中的各項細節也可以基於不同觀點與應用，在沒有背離本發明的精神下進行各種修飾或改變。需說明的是，在不衝突的情況下，以下實施例及實施例中的特徵可以相互組合。

需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發明的基本構想，遂圖式中僅顯示與本發明中有關的組件而非按照實際實施時的組件數目、形狀及尺寸繪製，其實際實施時各組件的型態、數量及比例可為一種隨意的改變，且其組件布局型態也可能更為複雜。

如圖1所示，本發明提供一種車輛全景圖像處理方法實施例，其包括：

步驟s101：通過設於一車輛上朝向不同方向的多路圖像採集裝置分別採集圖像。

於本發明的一實施例中，所述圖像採集裝置為魚眼攝像頭，所述魚眼攝像頭可設有至少4個，分別設於車輛的前、後、左、右位置，較佳的，是設於車輛的左右車燈位置，以及車輛前、後端的保險槓中部附近位置。

所述魚眼攝像頭至少能採集180度以上視角的圖像。

步驟s102：識別並收集各路圖像中出現的車道線的圖像位置數據。

於本發明的一實施例中，在車道中行駛的過程中，車道線的存在可以作為用於辨識路面數據的參考依據，因此，通過圖像採集裝置識別該些車道線在圖像中的圖像位置數據。

具體的，關於車道線識別的技術，為常見技術，例如中國專利申請號201510121902.5所公開的「車道識別裝置，其具有分界線候選項識別部和分界線候選項修正部。分界線候選項識別部根據攝像頭的拍攝圖像中具有規定連續性的邊緣點，識別出分界線候選項，所述分界線候選項是劃分車道的左右一對分界線的候選項。分界線候選項修正部在由所述分界線候選項識別部識別出的左右一對分界線候選項的平行度在規定水平以下時，將真實空間中的對應位置到所述攝像頭的距離在規定距離以上的邊緣點除外，根據未被除外的邊緣點中的具有規定連續性的邊緣點，再次對左右一對分界線候選項進行識別」；又或者如中國專利申請號201410621254.5所公開的「基於360度全景的車道偏離預警方法，包括：s1、在車輛的四周安裝若干廣角攝像頭，使廣角攝像頭覆蓋車輛周圍360°的視場區域；s2、由攝像頭標定工具箱對廣角攝像頭採集到的圖像進行校正畸變，並實時將圖像投影到地面生成360度全景俯視圖；s3、利用全景車道線檢測二值化算子對360度全景俯視圖二值化，利用區域生長法在二值化圖像中識別車道線；s4、實時計算車道線與車輛之間的位置關係並預警」，從上述內容可知，車道線識別技術為現有，因此此處不作展開贅述。

步驟s103：利用相鄰圖像採集裝置所採集的關於同一條車道線的圖像位置數據來計算各條車道線的空間物理位置。

具體的，該步驟s103是通過識別各路所述圖像採集裝置所採集圖像中的同一條車道線上，通過獲得該同一條車道線在標定地平面上的圖像位置數據，從而可計算對應的同一條車道線實際的空間物理位置，即從圖像坐標到物理坐標的轉換。

步驟s104：對所述空間物理位置的數據進行處理以估計出車身沉降數據。

如圖2所示，步驟s104具體可包括：

步驟s201：選擇車道線所在空間物理位置上兩個物理點的物理位置數據放入頂點緩衝池。

於本發明的一實施例中，所述兩個物理點可以是同一車道線在相鄰兩個圖像採集裝置所採集圖像中對應相接位置的頂點。

步驟s202：根據積累在所述頂點緩衝池中的物理點的物理位置數據形成物理地面點雲數據。

於本發明的一實施例中，在所述頂點緩衝池中的物理點數量積累到一定程度後，可通過該些物理點的物理位置數據形成車道線的地面點雲數據。

所謂「點雲」，是在目標表面特性的海量點集合，根據雷射測量原理得到的點雲，包括三維坐標(xyz)和雷射反射強度(intensity)，根據攝影測量原理得到的點雲，包括三維坐標(xyz)和顏色信息(rgb)；結合雷射測量和攝影測量原理得到點雲，包括三維坐標(xyz)、雷射反射強度(intensity)和顏色信息(rgb)；在獲取物體表面每個採樣點的空間坐標後，得到的是一個點的集合，稱之為「點雲」(pointcloud)。

在本實施例中，採用的是魚眼攝像頭來採集圖像數據，因此，所述點雲數據中包含了每個物理點的三維坐標以及顏色信息。

步驟s203：將所述地面點雲數據通過最小二乘平面擬合獲得對應的真實物理地面方程。

最小二乘法(又稱最小平方法)是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。

於本發明的一實施例中，根據地面點雲數據，並經過最小二乘平面擬合獲得描述地面真實狀況(例如是凸出、平面或沉降等情況)的真實物理地面方程。

步驟s105：利用所述車身沉降數據對圖像採集裝置的標定數據進行補償處理。

於本發明的一實施例中，原標定數據可能是基於標定地平面獲得的數據，不存在凹凸、沉降等情況，則通過能反映地面真實狀況的真實物理地面方程即可對所述標定數據進行補償更新。

步驟s106：利用補償後的所述標定數據拼接各路圖像以生成全景拼接畫面。

於本發明的一實施例中，通過補償後的標定數據來拼接各路圖像所生成的全景拼接畫面可以避免錯位的問題。

如圖3a和圖3b所示，分別展示現有的全景鳥瞰圖以及採用本發明的方法拼接生成的全景鳥瞰圖，從中可見，採用本發明的方法已避免了由於沉降等原因而造成的拼接錯位的問題。

如圖4所示，本發明提供一種車輛全景圖像處理裝置實施例，其原理與上述方法實施例大致相同，實施例間可通用的技術特徵不作重複贅述；所述車輛全景圖像處理裝置包括：採集模塊401，用於通過設於一車輛上朝向不同方向的多路圖像採集裝置分別採集圖像；圖像識別模塊402，用於識別並收集各路圖像中出現的車道線的圖像位置數據；計算模塊403，用於利用相鄰圖像採集裝置所採集的關於同一條車道線的圖像位置數據來計算各條車道線的空間物理位置；數據估計模塊404，用於對所述空間物理位置的數據進行處理以估計出車身沉降數據；補償模塊405，用於利用所述車身沉降數據對圖像採集裝置的標定數據進行補償處理；圖像拼接模塊406，用於利用補償後的所述標定數據拼接各路圖像以生成全景拼接畫面。

於本發明的一實施例中，所述識別並收集各路圖像中出現的車道線的圖像位置數據，包括：識別各路所述圖像採集裝置所採集圖像中的車道線，並獲得車道線在標定地平面上的圖像位置數據。

具體的，關於車道線識別的技術，為常見技術，例如中國專利申請號201510121902.5所公開的「車道識別裝置，其具有分界線候選項識別部和分界線候選項修正部。分界線候選項識別部根據攝像頭的拍攝圖像中具有規定連續性的邊緣點，識別出分界線候選項，所述分界線候選項是劃分車道的左右一對分界線的候選項。分界線候選項修正部在由所述分界線候選項識別部識別出的左右一對分界線候選項的平行度在規定水平以下時，將真實空間中的對應位置到所述攝像頭的距離在規定距離以上的邊緣點除外，根據未被除外的邊緣點中的具有規定連續性的邊緣點，再次對左右一對分界線候選項進行識別」；又或者如中國專利申請號201410621254.5所公開的「基於360度全景的車道偏離預警方法，包括：s1、在車輛的四周安裝若干廣角攝像頭，使廣角攝像頭覆蓋車輛周圍360°的視場區域；s2、由攝像頭標定工具箱對廣角攝像頭採集到的圖像進行校正畸變，並實時將圖像投影到地面生成360度全景俯視圖；s3、利用全景車道線檢測二值化算子對360度全景俯視圖二值化，利用區域生長法在二值化圖像中識別車道線；s4、實時計算車道線與車輛之間的位置關係並預警」，從上述內容可知，車道線識別技術為現有，因此此處不作展開贅述。

於本發明的一實施例中，所述對所述空間物理圖像位置數據進行處理以估計出車身沉降數據，包括：選擇車道線所在空間物理位置上兩個物理點的物理位置數據放入頂點緩衝池；根據積累在所述頂點緩衝池中的物理點的物理位置數據形成物理地面點雲數據；將所述地面點雲數據通過最小二乘平面擬合獲得對應的真實物理地面方程。

其中，所謂「點雲」，是在目標表面特性的海量點集合，根據雷射測量原理得到的點雲，包括三維坐標(xyz)和雷射反射強度(intensity)，根據攝影測量原理得到的點雲，包括三維坐標(xyz)和顏色信息(rgb)；結合雷射測量和攝影測量原理得到點雲，包括三維坐標(xyz)、雷射反射強度(intensity)和顏色信息(rgb)；在獲取物體表面每個採樣點的空間坐標後，得到的是一個點的集合，稱之為「點雲」(pointcloud)。

在本實施例中，採用的是魚眼攝像頭來採集圖像數據，因此，所述點雲數據中包含了每個物理點的三維坐標以及顏色信息。

最小二乘法(又稱最小平方法)是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。

於本發明的一實施例中，所述利用所述車身沉降數據對圖像採集裝置的標定數據進行補償處理，包括：利用所述真實物理地面方程更新所述標定數據。

於本發明的一實施例中，所述圖像採集裝置為魚眼攝像頭，所述不同方向包括：前、後、左、及右；所述魚眼攝像頭至少能採集180度以上視角的圖像；較佳的，是設於車輛的左右車燈位置，以及車輛前、後端的保險槓中部附近位置。

綜上所述，本發明的完整的車輛全景圖像處理方法及裝置，通過設於一車輛上朝向不同方向的多路圖像採集裝置分別採集圖像；識別並收集各路圖像中出現的車道線的圖像位置數據；利用相鄰圖像採集裝置所採集的關於同一條車道線的圖像位置數據來計算各條車道線的空間物理位置；對所述空間物理位置的數據進行處理以估計出車身沉降數據；利用所述車身沉降數據對圖像採集裝置的標定數據進行補償處理；利用補償後的所述標定數據拼接各路圖像以生成全景拼接畫面；利用路面車道線信息來對標定數據進行處理分析監測，以避免拼接錯位，使得任何時刻全景畫面都處於較好的拼接效果。

本發明有效克服了現有技術中的種種缺點而具高度產業利用價值。

上述實施例僅例示性說明本發明的原理及其功效，而非用於限制本發明。任何熟悉此技術的人士皆可在不違背本發明的精神及範疇下，對上述實施例進行修飾或改變。因此，舉凡所屬技術領域中具有通常知識者在未脫離本發明所揭示的精神與技術思想下所完成的一切等效修飾或改變，仍應由本發明的權利要求所涵蓋。