車輛環視及車道檢測報警系統的製作方法

2023-12-09 20:21:11 1

專利名稱：車輛環視及車道檢測報警系統的製作方法
技術領域：
本實用新型涉及多媒體信息採集與處理技術領域，尤其涉及車輛環視及車道檢測 報警系統。
背景技術：
目前，視頻圖像處理與分析技術已是一門較為成熟的二維信號處理技術，現已被 廣泛應用於通信、生物醫學、工業檢測和軍事等各個方面，當然在汽車電子中也涉及到大量 的視頻圖像處理。隨著FPGA製作工藝的發展，其應用領域也在不斷的擴展，在汽車電子領域也有它 廣泛的應用舞臺。由於FPGA具有極強的實時性，也使其對語音、圖像的實時處理成為可能。 由於它是通過面向晶片結構指令的軟體編程來實現其功能的，因而僅修改軟體而不需改硬 件平臺就可以改進系統原有設計方案或原有功能，具有極大的靈活性。又由於FPGA晶片並 非專門為某種功能設計的，因而使用範圍廣、產量大、價格可以降到很低。所以，FPGA在汽 車電子系統中大量應用，將會極大地促進汽車電子技術的發展。FPGA在汽車電子系統中大 量應用，將會極大地促進汽車電子技術的發展。目前，大多數圖像處理採用的是DSP處理器，雖然DSP處理器很強的處理能力，但 其價格十分昂貴，另一方面，國內現階段尚無車載的全景車道偏離攝像及報警系統的產品， 所以搭建適合這種應用的硬體平臺顯得尤其可貴。

實用新型內容為解決現有技術中對車輛周圍實時的圖像信息採集單一及在現有技術中採用的 DSP處理器成本高的問題，本實用新型提供一種系統集成度高、成本相對低、適合多路攝像 頭根據不同的需求進行全景圖像採集處理並且實現車道偏離報警、周邊物體測距等後端應 用的車輛環視及車道檢測報警系統。為解決上述問題，本實用新型包括若干個用於採集圖像信息的攝像頭，主控制器 FPGA和輸出設備，所述攝像頭輸出數位訊號到所述主控制器FPGA，所述車輛環視及車道檢 測報警系統還包括處理器ARM、臨時存儲器和FLASH晶片，所述處理器ARM中存儲有用於初 始化攝像頭的配置程序，所述處理器ARM通過主控制器FPGA配置所述攝像頭，所述FLASH 晶片中存儲有用於配置主控制器FPGA的執行程序，所述臨時存儲器通過主控制器FPGA接 收並存儲所述攝像頭採集的圖像信息，所述主控制器FPGA讀入所述臨時存儲器中的圖像 信息，並對圖像信息進行處理，所述輸出設備輸出所述主控制器FPGA對圖像信息的處理結 果。所述輸出設備包括顯示設備和報警器，所述主控制器FPGA對圖像信息的處理結 果包括由顯示設備輸出的車身周圍實時畫面和周圍物體距離車身的距離，以及由報警器輸 出的車道偏離警報和危險距離警報。所述報警器為一個翁鳴器，所述報警器接收主控制器FPGA發出的報警信號，並發出報警聲響。所述攝像頭包括用於完成實時畫面顯示的顯示攝像頭和用於完成車道偏離檢測 報警、車身周圍物體測距的功能攝像頭，所述顯示攝像頭的個數設置為四個，其中，一個安 裝於兩個車輛前燈的中點位置，兩個分別安裝於車身左右兩側的車窗與車頂交界處位置， 一個安裝於車身後部車窗與車頂交界處位置，所述功能攝像頭的個數設置為一個，所述功 能攝像頭安裝於車身前部的車窗與車頂的交接處中點位置。所述車輛環視及車道檢測報警系統還包括用於信號格式轉換的第一晶片組和第 二晶片組，所述第一晶片組和所述第二晶片組分別包括與所述攝像頭數目相同的晶片，所 述第一晶片組中各晶片的一端分別與各所述顯示攝像頭一一對應連接，另一端與所述第二 晶片組中各晶片對應連接，所述第二晶片組中各晶片連接於主控制器FPGA ；所述第一晶片 組將所述顯示攝像頭輸出的數位訊號轉化成低壓差分信號並輸出低壓差分信號到第二芯 片組，所述第二晶片組將接收到的低壓差分信號轉化為數位訊號並輸出數位訊號到主控制 器 FPGA。所述功能攝像頭直接與主控制器FPGA相連。所述臨時存儲器為兩個DDR2RAM，主控制器FPGA將圖像信息以幀為單位存儲至兩 個進行桌球操作的DDR2SDRAM中用以作為幀信息的緩存。所述車輛環視及車道檢測報警系統還包括一個與主控制器FPGA相連的鐵電存儲 器，所述鐵電存儲器中存儲有用於顯示在顯示設備上的車身模擬圖像。所述顯示設備採用TFT顯示模塊或VGA顯示模塊。採用了本實用新型提供的車輛環視及車道檢測報警系統後，由於系統中採用了 FPGA配合ARM處理器，可對多路攝像頭根據不同的需求進行端接並進行相應的圖像處理， FPGA的時鐘延遲可以達到納秒級，非常適合超高速和實時信號處理的汽車領域，此外，本實 用新型還可實現周圍情景顯示、車道偏離報警、周邊物體測距等功能，在車載攝像功能的基 礎上進行了很大的功能擴充。另一方面，由於FPGA價格相對便宜，還可大大降低產品成本。

圖1是本實用新型提供的車輛環視及車道檢測報警系統一種實施方式的結構框 架圖；圖2是本實用新型提供的車輛環視及車道檢測報警系統一種實施方式的硬體連 接圖；圖3是本實用新型提供的車輛環視及車道檢測報警系統一種實施方式的車道偏 離報警系統軟體流程圖；圖4是本實用新型提供的車輛環視及車道檢測報警系統一種實施方式的單目測 距軟體流程圖。
具體實施方式
為了使本實用新型所解決的技術問題、技術方案及有益效果更加清楚明白，以下 結合附圖及實施例，對本實用新型進行進一步詳細說明。應當理解，此處所描述的具體實施 例僅僅用以解釋本實用新型，並不用於限定本實用新型。[0021]如圖1、圖2所示，根據本實用新型的車輛環視及車道檢測報警系統的一種實施方 式，包括若干個用於採集圖像信息的攝像頭1，主控制器FPGA 5和輸出設備13，攝像頭1包 括用於完成實時畫面顯示的顯示攝像頭11和用於完成車道偏離檢測報警、車身周圍物體 測距的功能攝像頭12，由於功能攝像頭12採集的圖像信息直接用於軟體程序中的分析運 算，程序中對圖像的像素及解析度要求較高，因此本實施方式下，功能攝像頭採用要求較高 的VL5510，顯示攝像頭11採用0V9710，攝像頭1輸出數位訊號到所述主控制器FPGA 5，主 控制器 FPGA 5 選用 XC3SD1800A-FG676 晶片。本實用新型的此種實施方式下，上述顯示攝像頭11的個數設置為四個，其中，一 個安裝於兩個車輛前燈的中點位置，兩個分別安裝於車身左右兩側的車窗與車頂交界處位 置，一個安裝於車身後部車窗與車頂交界處位置；上述功能攝像頭12的個數設置為一個， 其安裝於車身前部的車窗與車頂的交接處中點位置。直接與XC3SD1800A-FG676晶片相連的輸出設備13包括顯示設備7和報警器10， 輸出設備13用於輸出主控制器FPGA 5對圖像信息的處理結果，處理結果包括由顯示設備 7輸出的車身周圍的實時畫面和周圍物體距離車身的距離，以及由報警器10輸出的車道偏 離警報和危險距離警報。上述顯示設備7採用TFT液晶屏顯示圖像輸出，當然，也可採用 VGA顯示模塊顯示輸出。報警器10與主控制器FPGA 5連接，報警器10在接收到主控制器 FPGA 5的報警指令後，作出報警相應，本實施方式下，該報警器10為一個嗡鳴器，其接收到 報警指令後，會發出嗡鳴聲。該車輛環視及車道檢測報警系統還包括分別與主控制器FPGA 5相連接的處理器 ARM 4、臨時存儲器8和FLASH晶片6，在攝像頭1開始正常傳輸數據前，需要對主控制器 FPGA 5進行程序下載，處理器ARM 4採用STM32F103C晶片，其中存儲有用於初始化攝像頭 1的配置程序，上述處理器ARM 4將配置程序通過串口傳輸至主控制器FPGA 5，然後由主控 制器FPGA 5將配置程序轉換成多路配置信息同時配置各攝像頭1。臨時存儲器8為若干個DDR2 SDRAM，本實用新型中為兩片MT47H32M16晶片，兩 片MT47H32M16晶片作為圖像信息的緩存通過主控制器FPGA 5進行桌球操作接收攝像頭1 採集到的圖像信息，並將圖像信息以幀為單位進行存儲。主控制器FPGA 5依次讀入兩片 MT47H32M16晶片中的圖像信息，並對圖像信息進行處理。上述FLASH晶片6選用M25P64晶片，其中存儲有主控制器FPGA 5的執行程序，主 控制器FPGA 5通過SPI方式讀取FLASH晶片6中的程序完成配置。由於上述各顯示攝像頭11分別安裝於車身的不同位置，並且各自完成圖像採集 功能，因此，圖像信息在進入主控制器FPGA 5之前，有必要將各顯示攝像頭11採集的圖像 信息轉換成適合較長距離傳輸的低壓差分信號用於傳輸並匯總。該車輛環視及車道檢測報 警系統還包括用於信號格式轉換的第一晶片組2和第二晶片組3，第一晶片組2和第二芯 片組3分別包括與上述顯示攝像頭11數目相同的晶片，本實用新型的此種實施方式下，第 一晶片組2採用MAX9257晶片，第二晶片組3採用MAX9258晶片，上述第一晶片組2中各 MAX9257晶片的一端分別與各顯示攝像頭1 一一對應連接，另一端與第二晶片組3中的各 MAX9258晶片對應連接，同時，第二晶片組3中的MAX9258晶片又與主控制器FPGA 5相連 接，上述四路顯示攝像頭11分別將採集的圖像信息經MAX9257轉換成適合較長距離傳輸的 低壓差分信號傳輸至MAX9258，MAX9258晶片將接收到的低壓差分信號轉化為數位訊號並
6將數位訊號匯總輸出到主控制器FPGA 5—同完成相應處理。由於用於將採集到的圖像信 息輸出至主控制器FPGA 5中完成車道偏離報警和車身周圍物體測距功能的功能攝像頭12 數目僅有一個，因此，該功能攝像頭12可直接與主控制器FPGA 5相連接。本實用新型的該種實施方式下，還包括一個與主控制器FPGA 5相連的鐵電存儲 器9，該鐵電存儲器9中存儲有車身模擬圖像，經主控制器FPGA 5處理後的圖像信息與鐵電 存儲器9中存儲的車身模擬圖像疊加顯示在車載TFT液晶屏上。本實用新型的工作原理為，安裝於車身前、後、左、右4個顯示攝像頭11對車身周 邊360度範圍內的實時場景進行圖像採集並輸出數位訊號的圖像，顯示攝像頭11將圖像 信息發送到MAX9257，MAX9257將接收到的數據轉換成為低壓差分信號進行長距離傳輸到 MAX9258，其中MAX9257最高支持70M的像素頻率，一般攝像頭的時鐘在27MHz以內，所以傳 輸部分的時間延遲會很短，MAX9258將低壓差分信號重新還原為數位訊號並將信號傳輸至 主控制器FPGA 5。主控制器FPGA 5讀入圖像信息後，圖像信息以幀為單位傳輸至作為臨時 存儲器8的DDR2SDRAM中作為幀信息的緩存，設計包含有兩個DDR2 SDRAM，可以採用桌球 操作以利於主控制器FPGA 5的讀取與寫入，由於DDR2 SDRAM的讀取與寫入速度很快，單沿 觸發時可達到133-400MHZ的工作頻率，並且採用並行數據傳輸的方式，所以非常適合作為 幀緩存的存儲器，如此，可以大大降低圖像信息的延遲時間；其後，主控制器FPGA 5重新讀 入存儲在DDR2 SDRAM中的圖像信息並與鐵電存儲器9中存儲的車身模擬圖像疊加顯示在 TFT液晶屏上。此功能可以給駕駛員提供實時的車身周邊的圖像信息。功能攝像頭12將採集到的圖像信息經過主控制器FPGA 5傳輸至DDR2 SDRAM中 作為緩存，主控制器FPGA 5也可讀入存儲在DDR2 SDRAM中的該圖像信息並對讀入的圖像 信息進行相應程序處理，處理完成後輸出結果至TFT液晶屏上進行顯示，用以完成車道偏 離報警及單目測距功能。由於主控制器FPGA 5採用並行處理模式，而且其工作頻率高達 125MHz，處理數據的時間延遲在納秒級，所以為高速圖像處理的實時性奠定了穩固的基礎。如圖3所示車道偏離報警系統軟體流程圖，車道偏離檢測的功能實現主要藉助於 常用的圖像處理算法。對於輸入到主控制器FPGA 5的圖像，選擇合適的掩膜進行平滑運 算，以消除或儘量減少噪聲；在此基礎上去掉完全不包含道路信息的天空部分，並對圖像進 行分窗口處理，計算各圖像的對比度，衡量該矩形窗口的複雜程度，結合道路圖像的實際情 況，預測其是否包含車道標線，即感興趣區域的提取；然後對處理後的圖像進行邊緣檢測， 選擇sobel算子，並通過非最大值抑制進行邊緣的細化處理，進一步減少後期處理的複雜 度；再選擇大津法計算合適的閾值對圖像進行二值化處理；最後是車道線的提取和偏離的 判斷選用hough變換檢測直線的方法提取出圖像中的車道線，通過前後幀直線斜率的變 化是否超出閾值判斷報警與否。本過程通過功能攝像頭實時獲取路況信息，圖像信息中檢 測的車道線作為安全提醒的依據之一，當汽車偏離正常的車道位置，或者超過其他限制因 素的閾值時，系統作出報警提示，此時，主控制器FPGA 5發出車道偏離報警指令到報警器 10，報警器10發出嗡鳴聲。圖4所示為單目測距軟體流程圖，首先對攝像頭1的標定，根據實際需要確定合適 的內外參數，主控制器FPGA 5對於獲取的圖像信息進行濾波處理和邊緣檢測，再通過ostu 法進行二值化，之後結合實際中各車體的一般特徵，選取出感興趣區域，最後通過圖像坐標 系、相機坐標系及世界坐標系三者間的關係結合前面確定的參數計算實際的距離，該距離值被輸出到TFT液晶屏上用於顯示。通過車身上的功能攝像頭獲取道路情況，同時通過相 關算法獲取需要的圖像，對圖像中出現的物體，如路標、警示牌、路障等進行單目測距，並且 實時顯示在TFT液晶屏上。當車輛與物體達到危險距離使得危機駕駛安全時，主控制器 FPGA便發出危險距離報警指令驅動報警器10報警以提醒駕駛人員。採用了本實用新型提供的車輛環視及車道檢測報警系統後，由於系統中採用了 FPGA配合ARM處理器，可對多路攝像頭根據不同的需求進行端接並進行相應的圖像處理， FPGA的時鐘延遲可以達到納秒級，非常適合超高速和實時信號處理的汽車領域，此外，本實 用新型還可實現周圍情景顯示、車道偏離報警、周邊物體測距等功能，在車載攝像功能的基 礎上進行了很大的功能擴充。另一方面，由於FPGA價格相對便宜，還可大大降低產品成本。以上內容是結合具體的優選實施方式對本實用新型所做的進一步詳細說明，不能 認定本實用新型的具體實施只局限於這些說明。對於本領域的普通技術人員而言，可以在 不脫離本實用新型的原理的情況下對此實施例進行多種變化、修改、替換和變形，但都應當 視為屬於本實用新型的保護範圍。
權利要求1.車輛環視及車道檢測報警系統，包括若干個用於採集圖像信息的攝像頭(1)，主控 制器FPGA(5)和輸出設備(7)，所述攝像頭(1)輸出數位訊號到所述主控制器FPGA(5)， 其特徵在於，所述車輛環視及車道檢測報警系統還包括處理器ARM(4)、臨時存儲器(8)和 FLASH晶片(6)，所述處理器ARM(4)中存儲有用於初始化攝像頭(1)的配置程序，所述處理 器ARM(4)通過主控制器FPGA(5)配置所述攝像頭(1)，所述FLASH晶片(6)中存儲有用於 配置主控制器FPGA(5)的執行程序，所述臨時存儲器(8)通過主控制器FPGA(5)接收並存 儲所述攝像頭(1)採集的圖像信息，所述主控制器FPGA(5)讀入所述臨時存儲器(8)中的 圖像信息，並對圖像信息進行處理，所述輸出設備(13)輸出所述主控制器FPGA (5)對圖像 信息的處理結果。
2.如權利要求1所述的車輛環視及車道檢測報警系統，其特徵在於，所述輸出設備 (13)包括顯示設備(7)和報警器(10)，所述主控制器FPGA(5)對圖像信息的處理結果包括由顯示設備(7)輸出的車身周圍實 時畫面和周圍物體距離車身的距離，以及由報警器(10)輸出的車道偏離警報和危險距離警報。
3.如權利要求2所述的車輛環視及車道檢測報警系統，其特徵在於，所述報警器(10) 為一個嗡鳴器，所述報警器(10)接收主控制器FPGA(5)發出的報警信號，並發出報警聲響。
4.如權利要求1所述的車輛環視及車道檢測報警系統，其特徵在於，所述攝像頭(1)包 括用於完成實時畫面顯示的顯示攝像頭(11)和用於完成車道偏離檢測報警、車身周圍物 體測距的功能攝像頭(12)，所述顯示攝像頭(11)的個數設置為四個，其中，一個安裝於兩個車輛前燈的中點位 置，兩個分別安裝於車身左右兩側的車窗與車頂交界處位置，一個安裝於車身後部車窗與 車頂交界處位置，所述功能攝像頭(12)的個數設置為一個，所述功能攝像頭(12)安裝於車身前部的車 窗與車頂的交接處中點位置。
5.如權利要求4所述的車輛環視及車道檢測報警系統，其特徵在於，所述車輛環視及 車道檢測報警系統還包括用於信號格式轉換的第一晶片組(2)和第二晶片組(3)，所述第 一晶片組(2)和所述第二晶片組(3)分別包括與所述攝像頭數目相同的晶片，所述第一芯 片組(2)中各晶片的一端分別與各所述顯示攝像頭(11) 一一對應連接，另一端與所述第二 晶片組(3)中各晶片對應連接，所述第二晶片組(3)中各晶片連接於主控制器FPGA (5)；所述第一晶片組(2)將所述顯示攝像頭(11)輸出的數位訊號轉化成低壓差分信號並 輸出低壓差分信號到第二晶片組(3)，所述第二晶片組(3)將接收到的低壓差分信號轉化 為數位訊號並輸出數位訊號到主控制器FPGA (5)。
6.如權利要求4所述的車輛環視及車道檢測報警系統，其特徵在於，所述功能攝像頭 (12)直接與主控制器FPGA (5)相連。
7.如權利要求1所述的車輛環視及車道檢測報警系統，其特徵在於，所述臨時存儲器 (8)為兩個DDR2 RAM，主控制器FPGA(5)將圖像信息以幀為單位存儲至兩個進行桌球操作 的DDR2 SDRAM中用以作為幀信息的緩存。
8.如權利要求1所述的車輛環視及車道檢測報警系統，其特徵在於，所述車輛環視及 車道檢測報警系統還包括一個與主控制器FPGA(5)相連的鐵電存儲器(9)，所述鐵電存儲器(9)中存儲有用於顯示在顯示設備(7)上的車身模擬圖像。
9.如權利要求1所述的車輛環視及車道檢測報警系統，其特徵在於，所述顯示設備(7) 採用TFT顯示模塊或VGA顯示模塊。
專利摘要本實用新型提供一種車輛環視及車道檢測報警系統，包括若干個攝像頭、主控制器FPGA、嵌入式處理器ARM，臨時存儲器和輸出設備，攝像頭將採集到的圖像信息輸出到主控制器FPGA，本實用新型還包括FLASH存儲晶片、鐵電存儲器和報警器，主控制器FPGA將接收到的圖像信息處理後直接輸出顯示，同時主控制器FPGA利用軟體程序完成車道偏離報警及周邊物體測距功能。本系統採用了FPGA配合ARM處理器，可通過多路攝像頭對信息進行採集和處理，FPGA的處理延遲可達到納秒級，非常適合超高速和實時信號處理的汽車領域。另外，FPGA以其靈活的開發特性可大大節約開發成本，由於其價格相對較低，所以可大大降低產品成本。
文檔編號H04N5/76GK201780482SQ20102018374
公開日2011年3月30日 申請日期2010年4月29日 優先權日2010年4月29日
發明者房璐安, 王立東, 趙一江 申請人:比亞迪股份有限公司