無縫拼接全景輔助駕駛系統及方法
2023-06-22 08:53:21 1
無縫拼接全景輔助駕駛系統及方法
【專利摘要】本發明公開了一種無縫拼接全景輔助駕駛系統及方法，該方法包括：S1、畸變校正，對廣角攝像頭進行畸變校正，獲取車輛四周的圖像；S2、圖像配準，對相鄰圖像進行特徵提取，實現多幅圖像的配準；S3、鳥瞰變換，將不同視點圖像變換至同一視點；S4、圖像融合，採用對感興趣區域加權融合的方法，消除有縫拼接、光照影響、鬼影、模糊的影響，實現高清無縫拼接；S5、虛擬車實現，實現360度全景虛擬車顯示。本發明為駕駛者提供了一種全新的駕駛模式，是一種無盲區、無縫隙的全景系統，為駕駛者提供了一種實景360度全景系統，使駕駛員能直觀、全面了解車身周邊情況。
【專利說明】無縫拼接全景輔助駕駛系統及方法
【技術領域】
[0001]本發明涉及汽車電子【技術領域】，特別是涉及一種無縫拼接全景輔助駕駛系統及方法。
【背景技術】
[0002]汽車的主動安全主要以操控的安全性為前提，目前主動安全的技術主要包括了防抱死制動系統(ABS)、防碰撞預警系統(AWS)、變道輔助系統(LCA)、電子制動力分配系統(EBD)、牽引力控制系統(TCS)、電子穩定裝置(ESP)、高級駕駛輔助系統(ADAS)等多項能夠讓汽車駕駛者能夠在多種環境和路況下儘可能的自由操縱控制汽車的技術。
[0003]而汽車的被動安全主要以汽車發生交通事故後的防護性安全為主，目前其主要技術突破都出現安全氣囊、頸部防護系統、兒童安全座椅以及安全帶等多個項目中。
[0004]隨著汽車技術的快速發展和不斷革新，汽車作為人們工作生活中的常用交通工具，已經對整個社會的發展產生了重要的影響。而伴隨頻繁發生的交通事故，人們對汽車安全的關注和要求也越來越高。一方面人們開始逐步提高安全駕駛意識，另一方面汽車相關企業也從主動安全和被動安全兩個方面進行技術研發，不斷推出增加汽車駕駛安全係數的產品和應用。
[0005]隨著社會的發展，交通安全問題越來越凸顯，傳統的汽車安全理念也在逐漸發生變化，傳統的安全理念很被動比如安全帶、安全氣囊、保險槓等多是些被動的方法並不能有效解決交通事故的發生，隨著科技的進步，汽車的安全被細化，主動安全的概念慢慢的行成並不斷的完善。
[0006]倒車警告/倒車影像/車外攝像頭、晶片防盜系統、自動感應大燈和/或夜視輔助系統等都是常見的汽車主動安全技術。
[0007]Bird View(360度環視系統)，這一系統安裝在儀表臺上的顯示屏顯示了車輛四周的俯視情況，可以徹底消滅車輛的盲點。尤其是在停車時會給出很大幫助。通過安裝在車身前後左右的攝像頭對周圍路面情況進行拍攝，然後利用圖像處理技術將其合成為一個完整的畫面在顯示屏上。
[0008]目前一些專利或文獻中提出了一系列相似技術方案，如申請號201010590428.8(一種全景泊車輔助系統)的專利中提出了一種包含攝像頭輸入模塊、圖像校正模塊、鳥瞰透視模塊、圖像拼接模塊、直方圖均衡模塊和圖像顯示模塊，在攝像頭輸入模塊，支持PAL制式相機，在圖像校正模塊採用多項式擬合方法標定攝像頭，採用通用鳥瞰透視變換實現圖像鳥瞰變換，並按照各透視變換圖在三維坐標系中的尺寸關係實現全景拼接。上述實現全景圖像拼接的方法實現的是一種有縫的全景圖像拼接。申請號200910119475.1 (全景可視泊車系統)的專利提出了一種採用4個攝像頭的全景可視泊車系統，該系統只是單純的將4個攝像頭數據簡單放置於儀器，並沒有對圖像進行處理形成自然直觀的全景圖。
[0009]申請號201010590428.8的專利中實現全景圖像拼接的方式是採用世界坐標拼接，勢必會造成圖像拼接中出現縫隙，且在圖像拼接過程中可能會造成拼接區域死點的存在。申請號200910119475.1專利中只是簡單的圖像堆積，並沒有有效融合，形成一種有縫隙全景拼接；該專利的後續補充專利申請號201110382366.6提出了一種用於全景泊車系統的圖像融合方法，採用的是將重合區域圖像點坐標與重疊區邊界的位置關係，從而將信息融合，這種融合方法單純利用數據本身在坐標系中的位置關係，而忽略了融合部分的內容信息。目前一些融合方法由於拼接過程中採用圖像簡單的疊加以及圖像在標定或鳥瞰變換過程中造成的圖像缺失在拼接過程中會造成拼接區域出現死角等問題。
[0010]因此，針對上述技術問題，有必要提供一種無縫拼接全景輔助駕駛系統及方法。
【發明內容】
[0011]有鑑於此，本發明針對上述問題，提出了一種無縫拼接全景輔助駕駛系統及方法。
[0012]為了實現上述目的，本發明實施例提供的技術方案如下:
[0013]一種無縫拼接全景輔助駕駛方法，所述方法包括:
[0014]S1、畸變校正，對廣角攝像頭進行畸變校正，獲取車輛四周的圖像；
[0015]S2、圖像配準，對相鄰圖像進行特徵提取，實現多幅圖像的配準；
[0016]S3、鳥瞰變換，將不同視點圖像變換至同一視點；
[0017]S4、圖像融合，採用對感興趣區域加權融合的方法，消除有縫拼接、光照影響、鬼影、模糊的影響，實現高清無縫拼接；
[0018]S5、虛擬車實現，實現360度全景虛擬車顯示。
[0019]作為本發明的進一步改進，所述步驟S2具體包括:
[0020]S21、根據相鄰圖像中重疊部分的位置，確定兩張圖像的變換關係，找出待拼接圖像之間映射關係的變換模型；
[0021]S22、利用一種或多種配準方式實現多幅圖像的配準。
[0022]作為本發明的進一步改進，所述步驟S21中的變換關係包括平移變換、剛性變換、仿射變換、投影變換。
[0023]作為本發明的進一步改進，所述步驟S22中配準方法包括基於坐標系位置的圖像配準方法、基於像素灰度的圖像配準方法。
[0024]作為本發明的進一步改進，所述步驟S4中圖像融合採用像素級的特徵融合算法實現，具體為:
[0025]採用線性亮度補償方法進行融合處理，根據待拼接區域亮度差按照亮度線性分布方式調整，實現亮度融合。
[0026]相應地，一種無縫拼接全景輔助駕駛系統，所述系統包括若干安裝於車輛四周的廣角攝像頭、與廣角攝像頭相連的圖像處理模塊、以及與圖像處理模塊相連的顯示器和蜂鳴器。
[0027]作為本發明的進一步改進，所述廣角攝像頭數量為4個，包括分別位於車輛前後左右位置的前置廣角攝像頭、後置廣角攝像頭、左置廣角攝像頭、右置廣角攝像頭。
[0028]作為本發明的進一步改進，所述前置廣角攝像頭採用螺栓與螺母固定安裝於車頭中部，前置廣角攝像頭為斜向下傾斜安裝；
[0029]所述後置廣角攝像頭採用彈片式卡扣固定安裝於車尾中部，後置廣角攝像頭為斜向下傾斜安裝；[0030]所述左置廣角攝像頭採用嵌入式安裝於左後視鏡底部，左置廣角攝像頭為垂直向下安裝或向外傾斜安裝；
[0031]所述右置廣角攝像頭採用嵌入式安裝於右後視鏡底部，右置廣角攝像頭為垂直向下安裝或向外傾斜安裝。
[0032]作為本發明的進一步改進，所述廣角攝像頭上墊設有矽膠墊。
[0033]作為本發明的進一步改進，所述廣角攝像頭為180°廣角攝像頭。
[0034]本發明不僅為駕駛者提供了一種全新的駕駛模式，其作為主動安全系統，是一種無盲區、無縫隙的全景系統，該系統為駕駛者提供了一種實景360°全景系統；安全線的設置與蜂鳴器提醒更是增強了該系統的安全性；能使駕駛員能直觀、全面了解車身周邊情況，高速模式下為增強安全性，系統自動關閉。
【專利附圖】
【附圖說明】
[0035]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明中記載的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0036]圖1為本發明無縫拼接全景輔助駕駛系統的模塊示意圖；
[0037]圖2為本發明無縫拼接全景輔助駕駛系統中廣角攝像頭的安裝示意圖；
[0038]圖3為本發明無縫拼接全景輔助駕駛方法的具體流程圖；
[0039]圖4為本發明廣角攝像頭的畸變校正原理圖；
[0040]圖5為本發明視點變換的原理圖；
[0041]圖6為本發明圖像融合時的光線補償示意圖；
[0042]圖7為本發明一具體實施例中廣角攝像頭的標定示意圖。
【具體實施方式】
[0043]為了使本【技術領域】的人員更好地理解本發明中的技術方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬於本發明保護的範圍。
[0044]參圖1所示，本發明的一種無縫拼接全景輔助駕駛系統，包括若干安裝於車輛四周的廣角攝像頭、與廣角攝像頭相連的圖像處理模塊20、以及與圖像處理模塊20相連的顯示器(未圖示)和蜂鳴器30。
[0045]結合圖2所示，廣角攝像頭數量為4個，前置廣角攝像頭11、後置廣角攝像頭12、左置廣角攝像頭13、右置廣角攝像頭14，其中:
[0046]前置廣角攝像頭11採用螺栓與螺母固定安裝於車頭中部，前格柵附近，高度大於70cm，斜向下傾斜安裝，使攝像頭的光軸在車輛前方I?2米處；
[0047]後置廣角攝像頭12採用彈片式卡扣固定安裝於車尾中部，牌照燈下方，高度大於70cm，斜向下傾斜安裝，使攝像頭的光軸在車輛後方I?2米處；[0048]左置廣角攝像頭13採用嵌入式安裝於左後視鏡底部，左置廣角攝像頭為垂直向下安裝或向外傾斜安裝；
[0049]右置廣角攝像頭14採用嵌入式安裝於右後視鏡底部，右置廣角攝像頭為垂直向下安裝或向外傾斜安裝。
[0050]廣角攝像頭在安裝時還可以加裝矽膠墊起到加緊固定和防震的作用。
[0051]本發明所採用的攝像頭均為視野大於或等於180°的廣角攝像頭，因此，上述安裝方法可以確保攝像頭採集到的場景能夠有效覆蓋車身周圍360°的視場區域，為後續的全景拼接提供了保障。當然，在其他實施方式中攝像頭數量及安裝位置也可以改變，只要滿足攝像頭覆蓋車身周圍360°的視場區域即可。
[0052]布線步驟如下:
[0053]布線時應按照攝像頭位置向主機方向穿線；線路最後匯集到主機方向進行集中。布線時要參照相應的線路連接圖；連接線路要注意攝像頭延長線的匹配。其中:
[0054]前面:1.卸下工具櫃；2.從前柵格板車標位置，通過駕駛室穿線孔，將前攝像頭延長線穿到工具櫃位置；
[0055]後面:1.卸下車門內板或後行李箱蓋板；2.從尾部牌照燈位置，沿底棚或地板將後攝像頭延長線穿到工具櫃位置；
[0056]左右兩側:1.卸下左右後視鏡及左右駕駛室側門內裝飾板；2.卸下後視鏡鏡片，從後視鏡鏡片後面位置，經後視鏡穿線孔將側攝像頭延長線穿到車門夾層；3.從車門夾層經門側穿線孔穿到工具櫃。
[0057]布線注意:非主機廠原配時，倒車後視鏡折卸注意點後視鏡鏡片通常採用塑料卡扣的結構設計，內部上邊上L型卡扣，下邊是凹形卡扣，折卸時通常從下部將平口改錐插入白色構件與底部塑膠件之間，輕輕轉動或撬動就能分離鏡片，切不可用力在鏡片上以免損壞。也有一些車型採用球頭卡扣設計，折卸容易，安裝時球頭受力會向內收縮，可以考慮對塑料卡扣進行適當加熱或加潤滑劑。
[0058]安裝注意:左右攝像頭根據後視鏡的規格可選擇內藏式或外掛式。非主機廠原配時，拆卸時注意保護後視鏡鏡片，打孔時注意保護底漆。
[0059]參圖3所示，本發明的一種無縫拼接全景輔助駕駛方法，具體包括:
[0060]S1、畸變校正，對廣角攝像頭進行畸變校正，獲取車輛四周的圖像；
[0061]S2、圖像配準，對相鄰圖像進行特徵提取，實現多幅圖像的配準；
[0062]S3、鳥瞰變換，將不同視點圖像變換至同一視點；
[0063]S4、圖像融合，採用對感興趣區域加權融合的方法，消除有縫拼接、光照影響、鬼影、模糊的影響，實現高清無縫拼接；
[0064]S5、虛擬車實現，實現360度全景虛擬車顯示。
[0065]具體算法實現如下:
[0066]S1、畸變校正
[0067]180度廣角鏡頭不同於傳統真空模型攝像頭，真空模型攝像頭為小孔成像原理攝像頭，而180度廣角鏡頭為等距離模型，180度廣角鏡頭模型如圖4所示。
[0068]廣角鏡頭畸變校正是360°全景圖像顯示的第一步,採用基於擴展kalman濾波的攝像機標定方法具有速度快、精度高的優點，畸變模型如圖4所示，採用多項式擬合方法即可求解攝像機參數。
[0069]參圖4所示，在成像系統中的世界坐標點投影至球面，公式如下:
【權利要求】
1.一種無縫拼接全景輔助駕駛方法，其特徵在於，所述方法包括: 51、畸變校正，對廣角攝像頭進行畸變校正，獲取車輛四周的圖像； 52、圖像配準，對相鄰圖像進行特徵提取，實現多幅圖像的配準； 53、鳥瞰變換，將不同視點圖像變換至同一視點； 54、圖像融合，採用對感興趣區域加權融合的方法，消除有縫拼接、光照影響、鬼影、模糊的影響，實現高清無縫拼接； 55、虛擬車實現，實現360度全景虛擬車顯示。
2.根據權利要求1所述的方法，其特徵在於，所述步驟S2具體包括: 521、根據相鄰圖像中重疊部分的位置，確定兩張圖像的變換關係，找出待拼接圖像之間映射關係的變換模型； 522、利用一種或多種配準方式實現多幅圖像的配準。
3.根據權利要求2所述的方法，其特徵在於，所述步驟S21中的變換關係包括平移變換、剛性變換、仿射變換、投影變換。
4.根據權利要求2所述的方法，其特徵在於，所述步驟S22中配準方法包括基於坐標系位置的圖像配準方法、基於像素灰度的圖像配準方法。
5.根據權利要求1所述的方法，其特徵在於，所述步驟S4中圖像融合採用像素級的特徵融合算法實現，具體為: 採用線性亮度補償方法進行融合處理，根據待拼接區域亮度差按照亮度線性分布方式調整，實現亮度融合。
6.一種應用權利要求1所述的無縫拼接全景輔助駕駛方法的駕駛系統，其特徵在於，所述系統包括若干安裝於車輛四周的廣角攝像頭、與廣角攝像頭相連的圖像處理模塊、以及與圖像處理模塊相連的顯示器和蜂鳴器。
7.根據權利要求6所述的系統，其特徵在於，所述廣角攝像頭數量為4個，包括分別位於車輛前後左右位置的前置廣角攝像頭、後置廣角攝像頭、左置廣角攝像頭、右置廣角攝像頭。
8.根據權利要求7所述的系統，其特徵在於，所述前置廣角攝像頭採用螺栓與螺母固定安裝於車頭中部，前置廣角攝像頭為斜向下傾斜安裝； 所述後置廣角攝像頭採用彈片式卡扣固定安裝於車尾中部，後置廣角攝像頭為斜向下傾斜安裝； 所述左置廣角攝像頭採用嵌入式安裝於左後視鏡底部，左置廣角攝像頭為垂直向下安裝或向外傾斜安裝； 所述右置廣角攝像頭採用嵌入式安裝於右後視鏡底部，右置廣角攝像頭為垂直向下安裝或向外傾斜安裝。
9.根據權利要求7所述的系統，其特徵在於，所述廣角攝像頭上墊設有矽膠墊。
10.根據權利要求6所述的系統，其特徵在於，所述廣角攝像頭為180°廣角攝像頭。
【文檔編號】B60R1/00GK103810686SQ201410070044
【公開日】2014年5月21日 申請日期:2014年2月27日 優先權日:2014年2月27日
【發明者】王正, 陳國棟 申請人:蘇州大學