一種車輛行人檢測跟蹤預警系統的製作方法
2023-05-07 22:43:56
專利名稱：一種車輛行人檢測跟蹤預警系統的製作方法
技術領域：
本發明涉及一種汽車輔助安全駕駛系統，尤其涉及一種基於單目紅外視頻的車輛行人檢測跟蹤預警系統，可具體應用於車載夜視、交通運輸、視頻監控和公共安全等領域的目標檢測、跟蹤和測距。
背景技術：
隨著汽車市場的快速發展和安防意識的日益強化，人們對汽車安全保障技術的要求越來越高。現有汽車照明系統在夜間、雪天或大霧等能見度較低情況下視距不遠、效果不佳的弊病成為汽車行駛的安全隱患之一，另外在夜晚行車時，駕駛員通常會被對方車輛的燈光幹擾出現盲區，也容易發生車禍。被動式紅外夜視系統根據不同溫度的物體發出的紅外光強度不同的原理進行成像，物體的溫度越高，呈現出的圖像越亮，所以被動式紅外夜視系統可以在黑暗中幫助駕駛員導航，使駕駛員在有燈光和黑暗兩種情況下都能看清駕駛環境，通過被動式紅外夜視系統看到的車輛行人會比路面和樹木更明亮，所以司機能夠立即注意到前方的車輛和行人。另外駕駛員由於疲勞駕駛或者注意力分散等原因也會導致事故頻發。研究表明，駕駛員只要在碰撞危險前得到0.5秒預警時間，能避免60%的碰撞事故，若在1.5秒鐘前得到預警時間，則可以避免90%以上交通事故。因此，汽車配備一套智能防撞預警系統將能夠大幅降低道路事故的發生率，可能與前方車輛或者行人發生碰撞時，汽車可以進行聲光報警，提示駕駛員危險物的方向以及危險程度，必要時駕駛員可以採取制動措施避免事故的發生，也可以通過汽車CAN總線，預警系統控制汽車自動實施制動。目前，車載紅外夜視儀已運用於前裝市場的一些高端車型以及少部分的後裝市場，車前的紅外攝像頭將捕 獲的紅外圖像直接在液晶顯示器上顯示。夜間行駛時，車輛駕駛者一邊要注視道路情況，還需不斷地觀看紅外圖像，從而綜合判斷是否有危險出現，這種方式增加了駕駛者的負擔，很容易造成誤判或者漏判，並不能有效地起到輔助駕駛的作用。對於已有的防撞預警系統，目前以色列Mobileye公司的基於單目可見光攝像頭的產品佔據大部分的市場，但其在夜間使用時，由於只能探測可見光，所以觀測距離較近，限制了其在夜間的使用。目前市場上的FPGA晶片作為數據處理晶片具有強大的數字處理能力，FPGA靈活性強，並行處理能力強大，運算性能優異，由於能夠進行編程、除錯、再編程和重複操作，因此可以方便地進行設計開發和驗證，當電路有少量改動時，更能顯示出FPGA的優勢，滿足了紅外視頻數據量大、處理實時性要求高的需求，實現了數據快速採集與處理。目前市場上的ARM晶片作為控制器，集成了很多功能，具有強大的事務處理能力，藉助於簡單的外圍就可以提供多樣化的工作，例如顯示、運行界面及應用程式等。在紅外成像系統集成上，為進一步提高紅外成像的實用性與易用性，紅外圖像處理技術已成為紅外成像領域與圖像處理領域的研究熱點，對應的運行平臺也從上位機發展到嵌入式平臺，並成為一種趨勢。已報導的紅外圖像處理嵌入式平臺結構主要有以下兩種:(I)基於ARM硬體架構的紅外圖像處理裝置，圖像數據的採集、處理以及界面運行等都在ARM上完成；(2)基於FPGA硬體架構的紅外圖像處理裝置，圖像數據的採集、處理以及界面運行等都在FPGA上完成。由於ARM數據處理能力較弱，而視頻處理算法包含大量的數據計算，若單獨使用ARM晶片來完成視頻數據處理，無法保證視頻處理的實時性。當視頻清晰度較高，數據量較大時，ARM晶片將無法完成數據的處理任務；FPGA晶片可以實現大量數據的高速處理任務，但FPGA開發難度高，算法移植複雜，很難將上位機程序移植到FPGA中實現界面顯示等功能。
發明內容
有鑑於此，有必要提供一種高效的嵌入式紅外圖像處理系統，實現目標準確檢測、跟蹤、距離精確測量和預警提示，提高駕駛的安全性，有效避免大部分的交通事故，從而降低生命財產損失，對本車輛外的其他車輛與行人進行檢測並跟蹤測距，計算與其他車輛或行人的距離，並發出預警，因而，具有對紅外圖像進行一定的算法處理，可以檢測出危險目標，並及時地發出報警提示的紅外智能防撞預警系統，則可以大大減輕駕駛者的負擔。本發明是這樣實現的，一種車輛行人檢測跟蹤預警系統，其包括安裝在車輛中的被動式單目紅外攝像機、顯示器、模數轉換模塊、電源模塊、以及處理電路，該電源模塊供電給整個系統，該處理電路通過該模數轉換模塊獲取該紅外攝像機的視頻圖像信號，並進行數據處理後傳送至該顯示器中進行顯示，其中，該處理電路採用FPGA電路模塊和ARM電路模塊結合的硬體主體構架，該紅外攝像機安裝在本車輛的頭部且隱藏于格柵後並保證該紅外攝像機的鏡頭視野不被遮擋，同時保持安裝的位置在本車輛的中心線位置，該紅外攝像機的安裝高度使得鏡頭視場能夠覆蓋本車輛前方區域，以獲得視頻中的路面鋪滿一半視場到三分之二視場之間。作為上述方案的進一步改進，該FPGA電路模塊包含FPGR處理器、紅外視頻圖像信號BNG輸入電路、視頻解碼電路、SRAM及報警電路，該ARM電路模塊包含ARM處理器、視頻壓縮編碼電路、SD卡存儲電路、調試通訊電路及視頻`顯示交互電路；其中，紅外視頻圖像信號BNG輸入電路電性連接於視頻解碼電路，視頻解碼電路、SRAM及報警電路均電性連接於FPGR處理器；SD卡存儲電路電性連接於視頻壓縮編碼電路，視頻壓縮編碼電路、調試通訊電路及視頻顯示交互電路均電性連接於ARM處理器；FPGR處理器與ARM處理器使用總線的方式進行數據的交換，整個處理電路由ARM處理器統一協調指揮。作為上述方案的進一步改進，模數轉換模塊、電源模塊以及處理電路形成的硬體構架安裝在本車輛的操縱臺下方，通過纜線將該紅外攝像機的視頻圖像信號引入該硬體構架，該電源模塊接到本車輛的點菸器上。優選地，顯示器安裝在本車輛的駕駛室內，安裝在操縱臺上方或者懸掛安裝在本車輛的前視玻璃上，通過纜線將該硬體構架處理後的紅外視頻引入該顯示器進行顯示。作為上述方案的進一步改進，該處理電路利用該視頻圖像信號對本車輛前的目標車輛與目標行人進行檢測並跟蹤測距，計算與目標車輛或目標行人的距離，並發出預警，該
d =_h_
距離滿足以下公式:'tanra+arctanro^z)^
IV f
其中，d為本車輛與目標車輛或目標行人的距離；f是該紅外攝像機的有效焦距；α是該紅外攝像機的俯仰角；h是該紅外攝像機的鏡頭到路面的高度；(X(l，y0)是該鏡頭的光軸與像平面的交點，為像平面坐標系的原點；(X，Y)為P點在像平面上的投影坐標，該P點取自經跟蹤確認的目標車輛或目標行人，作為與本車輛的距離d的參考點，該處理電路判斷該距離d是否小於一預定碰撞距離，並在該距離d小於該預定碰撞距離時，啟動聲音報警，並啟動顯示報警。優選地，根據紅外視頻的特點，即車輛與行人的溫度相對較高，該處理電路採用邊緣檢測及特徵識別的辦法，檢測出目標車輛與目標行人並進行定位。再優選地,該處理電路採用Kalman濾波法結合Mean Shift法,建立車輛、行人跟蹤模型，並在跟蹤過程中更新目標模型參數，濾除本車輛在振動過程中帶來的影響，並過濾部分虛目標。優選地，該處理電路根據目標車輛或行人在視頻中尺寸比例的變化計算出瞬時碰撞時間，該瞬時碰撞時間滿足以下公式:
權利要求
1.一種車輛行人檢測跟蹤預警系統，其包括安裝在車輛中的被動式單目紅外攝像機、顯示器、模數轉換模塊、電源模塊、以及處理電路，該電源模塊供電給整個系統，該處理電路通過該模數轉換模塊獲取該紅外攝像機的視頻圖像信號，並進行數據處理後傳送至該顯示器中進行顯示，其特徵在於，該處理電路採用FPGA電路模塊和ARM電路模塊結合的硬體主體構架，該紅外攝像機安裝在本車輛的頭部且隱藏于格柵後並保證該紅外攝像機的鏡頭視野不被遮擋，同時保持安裝的位置在本車輛的中心線位置，該紅外攝像機的安裝高度使得鏡頭視場能夠覆蓋本車輛前方區域，以獲得視頻中的路面鋪滿一半視場到三分之二視場之間。
2.如權利要求1所述的車輛行人檢測跟蹤預警系統，其特徵在於，該FPGA電路模塊包含FPGR處理器、紅外視頻圖像信號BNG輸入電路、視頻解碼電路、SRAM及報警電路，該ARM電路模塊包含ARM處理器、視頻壓縮編碼電路、SD卡存儲電路、調試通訊電路及視頻顯示交互電路；其中，紅外視頻圖像信號BNG輸入電路電性連接於視頻解碼電路，視頻解碼電路、SRAM及報警電路均電性連接於FPGR處理器；SD卡存儲電路電性連接於視頻壓縮編碼電路，視頻壓縮編碼電路、調試通訊電路及視頻顯示交互電路均電性連接於ARM處理器；FPGR處理器與ARM處理器使用總線的方式進行數據的交換，整個處理電路由ARM處理器統一協調指 車。
3.如權利要求1所述的車輛行人檢測跟蹤預警系統，其特徵在於，模數轉換模塊、電源模塊以及處理電路形成的硬體構架安裝在本車輛的操縱臺下方，通過纜線將該紅外攝像機的視頻圖像信號引入該硬體構架，該電源模塊接到本車輛的點菸器上。
4.如權利要求3所述的車輛行人檢測跟蹤預警系統，其特徵在於，顯示器安裝在本車輛的駕駛室內，安裝在操縱臺上方或者懸掛安裝在本車輛的前視玻璃上，通過纜線將該硬體構架處理後的紅外視頻引入該顯示器進行顯示。
5.如權利要求1所述的車輛行人檢測跟蹤預警系統，其特徵在於，該處理電路利用該視頻圖像信號對本車輛前的目標車輛與目標行人進行檢測並跟蹤測距，計算與目標車輛或 d =_h_目標行人的距離，並發出預警，該距離滿足以下公式:—t丄Iarctan〔(少。-少)丫.1 \ f J j 其中，d為本車輛與目標車輛或目標行人的距離；f是該紅外攝像機的有效焦距；α是該紅外攝像機的俯仰角；h是該紅外攝像機的鏡頭到路面的高度；( , y0)是該鏡頭的光軸與像平面的交點，為像平面坐標系的原點；(X，y)為P點在像平面上的投影坐標，該P點取自經跟蹤確認的目標車輛或目標行人，作為與本車輛的距離d的參考點，該處理電路判斷該距離d是否小於一預定碰撞距離，並在該距離d小於該預定碰撞距離時，啟動聲音報警，並啟動顯示報警。
6.如權利要求5所述的車輛行人檢測跟蹤預警系統，其特徵在於，根據紅外視頻的特點，即車輛與行人的溫度相對較高，該處理電路採用邊緣檢測及特徵識別的辦法，檢測出目標車輛與目標行人並進行定位。
7.如權利要求6所述的車輛行人檢測跟蹤預警系統，其特徵在於，該處理電路採用Kalman濾波法結合Mean Shift法，建立車輛、行人跟蹤模型，並在跟蹤過程中更新目標模型參數，濾除本車輛在振動過程中帶來的影響，並過濾部分虛目標。
8.如權利要求5所述的車輛行人檢測跟蹤預警系統，其特徵在於，該處理電路根據目標車輛或行人在視頻中尺寸比例的變化計算出瞬時碰撞時間，該瞬時碰撞時間滿足以下公式:
9.如權利要求8所述的車輛行人檢測跟蹤預警系統，其特徵在於，該處理電路對瞬時碰撞時間Tm進行加速度修正，獲得滿足以下公式的修正碰撞時間:
10.如權利要求9所述的車輛行人檢測跟蹤預警系統，其特徵在於，該處理電路根據不同的距離d或不同的修正碰撞時間T分區段採用不同的對應聲光報警方式，使得報警聲音的頻率及強弱以及顯示報警的圖標隨著距離d的變化或修正碰撞時間T的變化而分區段變化。
全文摘要
本發明公開了一種車輛行人檢測跟蹤預警系統，其包括安裝在車輛中的被動式單目紅外攝像機、顯示器、模數轉換模塊、電源模塊、處理電路。電源模塊供電給整個系統，處理電路通過模數轉換模塊獲取紅外攝像機的視頻圖像信號並進行數據處理後顯示於該顯示器。處理電路採用FPGA電路模塊和ARM電路模塊結合的硬體主體構架，紅外攝像機安裝在本車輛的頭部且隱藏于格柵後並保證鏡頭視野不被遮擋，同時保持安裝的位置在本車輛的中心線位置，紅外攝像機的安裝高度使得鏡頭視場能夠覆蓋本車輛前方區域，以獲得視頻中的路面鋪滿一半視場到三分之二視場之間。本發明的優點在於提高駕駛的安全性，有效避免大部分的交通事故，從而降低生命財產損失。
文檔編號H04N7/18GK103158620SQ20131009646
公開日2013年6月19日 申請日期2013年3月25日 優先權日2013年3月25日
發明者蘭欣, 胡國俊, 張加波, 谷永先, 夏登明 申請人:中國電子科技集團公司第三十八研究所, 合肥公共安全技術研究院