一種三維立體鳥瞰行車輔助的方法、裝置以及系統的製作方法
2023-06-15 10:09:26
一種三維立體鳥瞰行車輔助的方法、裝置以及系統的製作方法
【專利摘要】本發明公開了一種三維立體鳥瞰行車輔助的方法，包括：S1.通過4個超廣角攝像頭採集車身前後左右的視頻信息，複合成第一視頻圖像；S2.將所述的第一視頻圖像進行4路視頻圖像的分離；S3.將所述的分離的4路視頻圖像按照其原本在車身前後左右的位置進行拼接，合成一幅以車輛為中心，可同時俯視車輛四周實際視頻圖像的全景俯視鳥瞰視頻圖像；S4.顯示所述的全景俯視鳥瞰視頻圖像。本發明還公開了一種三維立體鳥瞰行車輔助的裝置以及系統。本發明提供的三維立體鳥瞰行車輔助的方法、裝置以及系統能讓駕駛員坐在車中即可直觀地看到車輛所處的位置以及車輛周圍的障礙物。
【專利說明】一種三維立體鳥瞰行車輔助的方法、裝置以及系統
【技術領域】
[0001]本發明涉及行車輔助的領域，特別涉及一種三維立體鳥瞰行車輔助的方法、裝置以及系統。
【背景技術】
[0002]車禍，指行車(多指汽車等機動車)時發生的傷亡事故。造成的傷害大體可分為減速傷、撞擊傷、碾挫傷、壓榨傷及跌扑傷等，其中以減速傷、撞擊傷為多。減速傷是由於車輛突然而強大的減速所致傷害，如顱腦損傷、頸椎損傷，主動脈破裂、心臟及心包損傷，以及"方向盤胸"等。撞擊傷多由機動車直接撞擊所致。碾挫傷及壓榨傷多由車輛碾壓挫傷，或被變形車廂、車身和駕駛室擠壓傷害同時發生於一體。因此，車禍的傷勢重、變化快、死亡率高。車禍已成為當今社會公害，為城市人口死亡的四大原因之一。
[0003]如何有效地避免車禍，這就要求駕駛員坐在車中即可直觀地看到車輛所處的位置以及車輛周圍的障礙物，能幫助駕駛者從容操控車輛泊車入位或通過複雜路面，以及觀察車身四周有無障礙物或者玩耍的兒童，有效減少刮蹭、碰撞、陷落等事故的發生，以及保障駕駛者以及周邊人員的人身安全。
【發明內容】
[0004]為解決以上的問題，本發明提供三維立體鳥瞰行車輔助的方法、裝置及系統。
[0005]本發明公開了一種三維立體鳥瞰行車輔助的方法，包括:
[0006]S1.通過4個超廣角攝像頭採集車身前後左右的視頻信息，複合成第一視頻圖像；
[0007]S2.將所述的第一視頻圖像進行4路視頻圖像的分離；
[0008]S3.將所述的分離的4路視頻圖像按照其原本在車身前後左右的位置進行拼接，合成一幅以車輛為中心，可同時俯視車輛四周實際視頻圖像的全景俯視鳥瞰視頻圖像；
[0009]S4.顯示所述的全景俯視鳥瞰視頻圖像。
[0010]在本發明所述的三維立體鳥瞰行車輔助的方法中，所述步驟S2以及步驟S3還包括步驟S21，將所述的分離的4路視頻圖像進行打包壓縮，並對每路視頻做H.264的壓縮算法處理，將4路的視頻壓縮數據進行打包合成，將合成並壓縮的視頻數據存儲在系統設備的SD卡或者USB盤上。
[0011]在本發明所述的三維立體鳥瞰行車輔助的方法中，所述步驟S3還具體包括以下步驟:
[0012]S32.將所述的分離的4路視頻圖像數據通過校正算法校正為正常無畸變的圖像；
[0013]S33.將校正過後的圖像視頻進行合理的裁剪，保留以車身為中心的可視區域，並將視頻圖像按照俯視的視角進行透視變換，使得每一路視頻變換成在其區域內的一個俯視視頻影像；
[0014]S34.將4路視頻每兩路相交處重合的視頻覆蓋區域根據兩部分圖像的色度、亮度等參數進行均衡處理，使得每兩路視頻的相交部分能夠平滑的過度，並在整體視覺上感覺不到拼接的效果。
[0015]本發明公開了一種三維立體鳥瞰行車輔助的裝置，包括:
[0016]第一視頻圖像複合單元，用於通過4個超廣角攝像頭採集車身前後左右的視頻信息，複合成第一視頻圖像；
[0017]視頻圖像分離單元，用於將所述的第一視頻圖像進行4路視頻圖像的分離；
[0018]視頻圖像拼接單元，用於將所述的分離的4路視頻圖像按照其原本在車身前後左右的位置進行拼接，合成一幅以車輛為中心，可同時俯視車輛四周實際視頻圖像的全景俯視鳥瞰視頻圖像；
[0019]全景俯視鳥瞰視頻圖像顯示單元，用於顯示所述的全景俯視鳥瞰視頻圖像。
[0020]在本發明所述的三維立體鳥瞰行車輔助的裝置中，在所述的視頻圖像分離單元及視頻圖像拼接單元還包括視頻圖像壓縮存儲單元，用於將所述的分離的4路視頻圖像進行打包壓縮，並對每路視頻做H.264的壓縮算法處理，將4路的視頻壓縮數據進行打包合成，將合成並壓縮的視頻數據存儲在系統設備的SD卡或者USB盤上。
[0021]在本發明所述的三維立體鳥瞰行車輔助的裝置中，所述的視頻圖像拼接單元具體包括下列子單元:
[0022]視頻畸變校正子單元，將所述的分離的4路視頻圖像數據通過校正算法校正為正常無畸變的圖像；
[0023]視頻裁剪透視變換子單元，將校正過後的圖像視頻進行合理的裁剪，保留以車身為中心的可視區域，並將視頻圖像按照俯視的視角進行透視變換，使得每一路視頻變換成在其區域內的一個俯視視頻影像；
[0024]視頻圖像交合處均衡處理子單元，將4路視頻每兩路相交處重合的視頻覆蓋區域根據兩部分圖像的色度、亮度等參數進行均衡處理，使得每兩路視頻的相交部分能夠平滑的過度，並在整體視覺上感覺不到拼接的效果。
[0025]本發明公開了一種三維立體鳥瞰行車輔助的系統，包括安裝在車身前後左右的用於採集車輛四周的影像的4個超廣角攝像頭、DSP (Digital Signal Processing,數位訊號處理)主處理器、與所述的DSP主處理器相連的存儲器以及顯示單元，還包括:所述的DSP主處理器具有如上所述的三維立體鳥瞰行車輔助的裝置。
[0026]在本發明所述的三維立體鳥瞰行車輔助的系統中，所述的存儲器包括DDR2內存和/或Flash固態存儲器和/或SD卡和/或USB存儲器。
[0027]在本發明所述的三維立體鳥瞰行車輔助的系統中，所述的顯示單元包括IXD/LED
顯示屏。
[0028]本發明的一種三維立體鳥瞰行車輔助的方法、裝置以及設備，具有以下有益效果:
[0029]本技術方案利用計算機視覺原理，結合優化的DSP圖像和視頻處理算法，在一個嵌入式實時系統平臺上實現了三維立體鳥瞰行車輔助系統，不但解決了駕駛者視覺盲區的問題，並給所有的駕駛者提供了一隻可資依賴的永不疲倦的空中的眼睛，為車輛的安全行駛保駕護航。
[0030]本專利區別於相近的技術方案主要有兩點:
[0031]1.本專利對於可系統匹配的超廣角攝像頭的工藝要求降低。按照目前國內車載攝像頭的生產工藝(主要指光學鏡頭的生產工藝以及攝像頭的加工工藝)，能夠滿足三維立體鳥瞰或者全景系統的匹配要求的攝像頭加工的成品率很低，一致性很差。本專利通過獨特的視頻處理算法，將一般普通工藝的超廣角攝像頭均可運用在本系統中，降低了系統整體成本，擴大了應用範圍，普及了三維立體鳥瞰系統的推廣和使用。
[0032]2.本專利使用一顆DSP晶片，同時完成了三維立體鳥瞰行車輔助系統的功能以及4路超廣角攝像頭實時視頻錄像的功能，而無需整合多個視頻處理晶片。
【專利附圖】
【附圖說明】
[0033]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
[0034]圖1為本發明第一實施例一種三維立體鳥瞰行車輔助的方法流程示意圖；
[0035]圖2為本發明第二實施例一種三維立體鳥瞰行車輔助的方法流程示意圖；
[0036]圖3為本發明第一實施例一種三維立體鳥瞰行車輔助的方法裝置功能方框圖；
[0037]圖4為本發明第二實施例一種三維立體鳥瞰行車輔助的方法裝置功能方框圖；
[0038]圖5為本發明一種三維立體鳥瞰行車輔助的方法系統示意圖；
[0039]圖6為本發明一種三維立體鳥瞰行車的攝像頭拍攝範圍以及重合區域示意圖。
【具體實施方式】
[0040]通過下面給出的本發明的具體實施例可以進一步了解本發明，但它們不是對本發明的限定。對於本領域的技術人員根據上述
【發明內容】
所作的一些非本質的改進與調整，也視為落在本發明的保護範圍內。
[0041]請參閱圖1及圖6，本發明第一實施例，一種三維立體鳥瞰行車輔助的方法，包括:
[0042]S1.通過4個超廣角攝像頭採集車身前後左右的視頻信息，複合成第一視頻圖像；
[0043]將安裝在行駛車輛前後左右的4個超廣角攝像頭(每個大於170度)分別進行其覆蓋範圍的取景拍攝，每路視頻的解析度為720x576，PAL制或者NTSC制，輸入模塊將4路視頻複合成一個1440x1152大小的圖像，並通過I個快速視頻通道輸入到主處理DSP晶片進行下一步處理。
[0044]S2.將所述的第一視頻圖像進行4路視頻圖像的分離；
[0045]主處理DSP晶片在收到複合的視頻圖像後再次進行4路圖像的分離，分別分離成720x576的Dl的標準視頻圖像，以待後續模塊進行分別運算和處理，在本模塊將4路視頻圖像分離後，本技術方案通過DSP的並行處理，分別同時對視頻圖像展開壓縮以及變換。
[0046]S3.將所述的分離的4路視頻圖像按照其原本在車身前後左右的位置進行拼接，合成一幅以車輛為中心，可同時俯視車輛四周實際視頻圖像的全景俯視鳥瞰視頻圖像；
[0047]三維立體鳥瞰行車輔助系統即是利用安裝在車輛周身的4個廣角魚眼攝像頭，分別形成4幅廣角視頻圖像後再經過圖像的校正和拼接等處理，從而合成一幅全景的360度可覆蓋車身四周所有視覺的視頻圖像。
[0048]S4.顯示所述的全景俯視鳥瞰視頻圖像。[0049]將上述合成的鳥瞰全景俯視圖像配合單個前/後/左/右的原始視頻，合成一個標準的800x480解析度的視頻信號並進行輸出。
[0050]其中，所述步驟S2以及步驟S3還包括步驟S31，將所述的分離的4路視頻圖像進行打包壓縮，並對每路視頻做H.264的壓縮算法處理，將4路的視頻壓縮數據進行打包合成，將合成並壓縮的視頻數據存儲在系統設備的SD卡或者USB盤上。
[0051]本技術方案中，在一顆DSP晶片上同時實現三維立體鳥瞰行車輔助系統以及4路視頻圖像的壓縮和保存的行車記錄儀功能，有利於產品化成本的控制以及整體系統的穩定性。
[0052]請參閱圖2，本發明第二實施例，一種三維立體鳥瞰行車輔助的方法，與實施例大部分相同，不同之處在於，所述步驟S3具體包括以下步驟:
[0053]S32.將所述的分離的4路視頻圖像數據通過校正算法校正為正常無畸變的圖像；
[0054]將輸入分解出的Dl的廣角魚眼視頻圖像數據通過校正算法校正為正常無畸變的圖像。
[0055]S33.將校正過後的圖像視頻進行合理的裁剪，保留以車身為中心的可視區域，並將視頻圖像按照俯視的視角進行透視變換，使得每一路視頻變換成在其區域內的一個俯視視頻影像；
[0056]S34.將4路視頻每兩路相交處重合的視頻覆蓋區域根據兩部分圖像的色度、亮度等參數進行均衡處理，使得每兩路視頻的相交部分能夠平滑的過度，並在整體視覺上感覺不到拼接的效果。
[0057]請參閱圖3、本發明第一實施例，一種三維立體鳥瞰行車輔助的裝置1，包括:
[0058]第一視頻圖像複合單元10，用於通過4個超廣角攝像頭採集車身前後左右的視頻信息，複合成第一視頻圖像；
[0059]視頻圖像分離單元20，用於將所述的第一視頻圖像進行4路視頻圖像的分離；
[0060]視頻圖像拼接單元30，用於將所述的分離的4路視頻圖像按照其原本在車身前後左右的位置進行拼接，合成一幅以車輛為中心，可同時俯視車輛四周實際視頻圖像的全景俯視鳥瞰視頻圖像；
[0061]全景俯視鳥瞰視頻圖像顯示單元40，用於顯示所述的全景俯視鳥瞰視頻圖像。
[0062]其中，在視頻圖像分離單元20及視頻圖像拼接單元30還包括視頻圖像壓縮存儲單元25，用於將所述的分離的4路視頻圖像進行打包壓縮，並對每路視頻做H.264的壓縮算法處理，將4路的視頻壓縮數據進行打包合成，將合成並壓縮的視頻數據存儲在系統設備的SD卡或者USB盤上。
[0063]請參閱圖4、本發明第二實施例，一種三維立體鳥瞰行車輔助的裝置2，與圖3中實施例一大部分相同，不同之處在於，視頻圖像拼接單元30具體包括下列子單元:
[0064]視頻畸變校正子單元31，將所述的分離的4路視頻圖像數據通過校正算法校正為正常無畸變的圖像；
[0065]視頻裁剪透視變換子單元32，將校正過後的圖像視頻進行合理的裁剪，保留以車身為中心的可視區域，並將視頻圖像按照俯視的視角進行透視變換，使得每一路視頻變換成在其區域內的一個俯視視頻影像；
[0066]視頻圖像交合處均衡處理子單元33，將4路視頻每兩路相交處重合的視頻覆蓋區域根據兩部分圖像的色度、亮度等參數進行均衡處理，使得每兩路視頻的相交部分能夠平滑的過度，並在整體視覺上感覺不到拼接的效果。
[0067]請參閱圖5、一種三維立體鳥瞰行車輔助的系統，包括安裝在車身前後左右的用於採集車輛四周的影像的4個超廣角攝像頭100、DSP主處理器300、與DSP主處理器300相連的存儲器400以及顯示單元500，DSP主處理器300具有如上述的三維立體鳥瞰行車輔助的裝置I或三維立體鳥瞰行車輔助的裝置2。
[0068]其中，存儲器400包括DDR2內存和/或Flash固態存儲器和/或SD卡和/或USB
存儲器。
[0069]其中，顯示單元500包括IXD/LED顯示屏。
[0070]本技術方案的工作過程為:上電初始化，三維立體鳥瞰行車輔助系統通過安裝在車身前後左右的4個超廣角攝像頭100，同時採集車輛四周的影像，經過DSP主處理器300的中的三維立體鳥瞰行車輔助的裝置I或三維立體鳥瞰行車輔助的裝置2的複雜的圖像軟體處理和有效的合成拼接後，形成一幅車輛四周的360度全景俯視圖，實時傳送到中控臺的顯示單元500上。
[0071]通過三維立體鳥瞰行車輔助系統，駕駛員坐在車中即可直觀地看到車輛所處的位置以及車輛周圍的障礙物，如同駕駛者有一隻從空中俯視的眼睛，幫助駕駛者從容操控車輛泊車入位或通過複雜路面，以及觀察車身四周有無障礙物或者玩耍的兒童，有效減少刮蹭、碰撞、陷落等事故的發生，以及保障駕駛者以及周邊人員的人身安全。
[0072]本發明的一種三維立體鳥瞰行車輔助的方法、裝置以及設備，具有以下有益效果:
[0073]1.本技術方案使用DSP作為視頻圖像處理平臺，各種功能依靠軟體和算法在上電時下載到DSP晶片中運行得以實現，因此具有相當的靈活性，可以根據各種不同攝像頭的方案，各種超廣角鏡頭的不同的畸變參數進行算法的調整和優化，以使得本專利能夠適應市場上各種不同的超廣角攝像頭產品種類以及各種不同的車輛形狀以及安裝位置。
[0074]2.在一顆DSP晶片上同時實現三維立體鳥瞰行車輔助系統以及4路視頻圖像的壓縮和保存的行車記錄儀功能，這是目前類似方案中尚沒有能夠達到或者實現的。有利於產品化成本的控制以及整體系統的穩定性。
[0075]以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發明的保護範圍之內。
【權利要求】
1.一種三維立體鳥瞰行車輔助的方法，其特徵在於，包括: S1.通過4個超廣角攝像頭採集車身前後左右的視頻信息，複合成第一視頻圖像； S2.將所述的第一視頻圖像進行4路視頻圖像的分離； S3.將所述的分離的4路視頻圖像按照其原本在車身前後左右的位置進行拼接，合成一幅以車輛為中心，可同時俯視車輛四周實際視頻圖像的全景俯視鳥瞰視頻圖像； S4.顯示所述的全景俯視鳥瞰視頻圖像。
2.根據權利要求1所述的三維立體鳥瞰行車輔助的方法，其特徵在於，所述步驟S2以及步驟S3還包括步驟S21，將所述的分離的4路視頻圖像進行打包壓縮，並對每路視頻做H.264的壓縮算法處理，將4路的視頻壓縮數據進行打包合成，將合成並壓縮的視頻數據存儲在系統設備的SD卡或者USB盤上。
3.根據權利要求1所述的三維立體鳥瞰行車輔助的方法，其特徵在於，所述步驟S3還具體包括以下步驟: S32.將所述的分離的4路視頻圖像數據通過校正算法校正為正常無畸變的圖像； S33.將校正過後的圖像視頻進行合理的裁剪，保留以車身為中心的可視區域，並將視頻圖像按照俯視的視角進行透視變換，使得每一路視頻變換成在其區域內的一個俯視視頻影像； S34.將4路視頻每兩路相交處重合的視頻覆蓋區域根據兩部分圖像的色度、亮度等參數進行均衡處理，使得每兩路視頻的相交部分能夠平滑的過度。
4.一種三維立體鳥瞰行車輔助的裝置，其特徵在於，包括: 第一視頻圖像複合單元，用於通過4個超廣角攝像頭採集車身前後左右的視頻信息，複合成第一視頻圖像； 視頻圖像分離單元，用於將所述的第一視頻圖像進行4路視頻圖像的分離； 視頻圖像拼接單元，用於將所述的分離的4路視頻圖像按照其原本在車身前後左右的位置進行拼接，合成一幅以車輛為中心，可同時俯視車輛四周實際視頻圖像的全景俯視鳥瞰視頻圖像； 全景俯視鳥瞰視頻圖像顯示單元，用於顯示所述的全景俯視鳥瞰視頻圖像。
5.根據權利要求4所述的三維立體鳥瞰行車輔助的裝置，其特徵在於，在所述的視頻圖像分離單元及視頻圖像拼接單元還包括視頻圖像壓縮存儲單元，用於將所述的分離的4路視頻圖像進行打包壓縮，並對每路視頻做H.264的壓縮算法處理，將4路的視頻壓縮數據進行打包合成，將合成並壓縮的視頻數據存儲在系統設備的SD卡或者USB盤上。
6.根據權利要求4所述的三維立體鳥瞰行車輔助的裝置，其特徵在於，所述的視頻圖像拼接單元具體包括下列子單元: 視頻畸變校正子單元，將所述的分離的4路視頻圖像數據通過校正算法校正為正常無畸變的圖像； 視頻裁剪透視變換子單元，將校正過後的圖像視頻進行合理的裁剪，保留以車身為中心的可視區域，並將視頻圖像按照俯視的視角進行透視變換，使得每一路視頻變換成在其區域內的一個俯視視頻影像； 視頻圖像交合處均衡處理子單元，將4路視頻每兩路相交處重合的視頻覆蓋區域根據兩部分圖像的色度、亮度等參數進行均衡處理，使得每兩路視頻的相交部分能夠平滑的過度。
7.—種三維立體鳥瞰行車輔助的系統，包括安裝在車身前後左右的用於採集車輛四周的影像的4個超廣角攝像頭、DSP主處理器、與所述的DSP主處理器相連的存儲器以及顯示單元，其特徵在於:所述的DSP主處理器具有如權利要求4至6中的任一項所述的三維立體鳥瞰行車輔助的裝置。
8.根據權利要求7所述的三維立體鳥瞰行車輔助的系統，其特徵在於，所述的存儲器包括DDR2內存和/或Flash固態存儲器和/或SD卡和/或USB存儲器。
9.根據權利要求7所述的三維立體鳥瞰行車輔助的系統，其特徵在於，所述的顯示單元包括IXD/LED顯 示屏。
【文檔編號】H04N5/262GK103929613SQ201310010881
【公開日】2014年7月16日 申請日期:2013年1月11日 優先權日:2013年1月11日
【發明者】陸如楓, 唐旭, 夏宇 申請人:深圳市靈動飛揚科技有限公司