基於fpga的疲勞駕駛雙目檢測硬體平臺的製作方法

2023-04-27 20:21:41

專利名稱：基於fpga的疲勞駕駛雙目檢測硬體平臺的製作方法
技術領域：
本發明涉及了一種基於FPGA的疲勞駕駛雙目檢測硬體平臺。
背景技術：
根據(美國)聯邦公路局的估計，美國每年所有致命的交通事故中44%是跟車道偏離有關的。Assitffare網站的分析結果認為23%的汽車駕駛員一個月內至少在轉向盤上睡著一次；66%的卡車駕駛員自己在駕駛過程中打目盍睡；28%的卡車駕駛員在一個月內有在轉向盤上睡著的經歷。四個駕駛員中就有一個駕駛員經歷過車道偏離引起的傷亡事故。美國採用都卜勒雷達和信號處理方法，可獲取駕駛員煩躁不安的情緒活動、眨眼 頻率和持續時間等疲勞數據，用以判斷駕駛員是否打瞌睡或睡著。該系統可製成體積較小的儀器，安裝在駕駛室內駕駛員頭頂上方，完全不影響正常的駕駛活動。明尼蘇達大學計算機科學與工程系的Nikolaos P. Papanikolopoulos教授成功開發了一套駕駛員眼睛的追蹤和定位系統，通過安置在車內的一個CCD攝像頭監視駕駛員的臉部，用快速簡單的算法確定駕駛員眼睛在臉部圖像中的確切位置，追蹤多幅圖像來監控駕駛員是否駕駛疲勞。轉向盤監視系統S. A. M(Steering Attention Monitor), —種監測方向盤非正常運動的傳感器系統，適用於轉向盤正常運動時傳感器系統不報警，若轉向盤4s不運動就會發出報警聲直到轉向盤繼續正常運止。澳大利亞的頭部位置測量跟蹤系統與沃爾沃合作，通過測量頭部位置、閉眼和眨眼評估疲勞駕駛，但是它要求在司機的臉上作一些標記，給司機帶來極大的不便；西班牙的防德睡系統(Anti-Drowsiness System),測量駕駛時手對方向盤的握力，一旦檢測到疲勞發生，利用汽車的燈不停的閃爍，提醒周圍的交通車輛。日本尼桑疲勞報警系統安裝到車內駕駛員的前方，裝置中的電眼能實時的採集司機的眼部圖像，然後經過中央處理器的分析做出判斷，進行相應的報警處理。將司機的眨眼次數、頻率作為駕駛員是否疲勞的依據，如果駕駛員單位時間內眨眼過多，系統就會進行報警，並同時噴放出含有檸檬味的醒腦香氣來消除司機的困意。

發明內容
本發明的目的在於針對已有技術存在的缺陷提供一種基於FPGA的疲勞駕駛雙目檢測硬體平臺，通過雙攝像頭採集駕駛員的臉部及雙眼狀態來判斷駕駛員是否處在疲勞駕駛狀態，從而降低疲勞駕駛帶來的交通事故。採用雙攝像頭的目的在於能夠更加迅速的、準確的獲得駕駛員人臉及眼部狀態，配合PFGA內建雙核處理器分別對兩攝像頭採集到的數據進行處理，從而達到即時檢測駕駛員是否處在疲勞駕駛狀態。同時檢測系統具有低功耗、高可靠性的特點。為達到上述目的，本發明的構思是
首先，通過雙攝像頭來採集駕駛員的人臉及眼部狀態，並將採集到的數據存儲到SSRAM(同步動態隨機存取記憶體)中。其次，讀取SSRAM中的數據，通過FPGA內建雙核處理器分別處理兩個攝像頭採集到的數據，並對其作相應的算法處理，找出人臉中的人眼部分，通過判斷人眼在一分鐘內的眨眼次數來判定駕駛員是否處在疲勞狀態。最後，處理完的數據通過解碼晶片解碼後，把駕駛員的臉部狀況顯示到顯示器上，如果通過算法判斷出駕駛員處在疲勞駕駛狀態，相應的警報裝置啟動，同時通過通訊模塊與汽車的CAN總線相連，並對汽車作出相應的控制，比如減速、剎車等。根據上述發明構思，本發明採用下述技術方案
一種基於FPGA的疲勞駕駛雙目檢測硬體平臺由I塊專用的Cyclone III開發板(I)連接2個攝像頭(Π、ΠΙ)構成；通過雙攝像頭(Π、ΠΙ)採集駕駛員的臉部及雙眼狀態來 判斷駕駛員是否處在疲勞駕駛狀態，從而降低疲勞駕駛帶來的交通事故；採用雙攝像頭的目的在於能夠更加迅速的、準確的獲得駕駛員人臉及眼部狀態，配合Cyclone III開發板Cl)中FPGA (18)內建雙核處理器分別對兩攝像頭(Π、ΠΙ)採集到的數據進行處理，從而達到即時檢測駕駛員是否處在疲勞駕駛狀態，同時檢測系統具有低功耗、高可靠性的特點。所述Cyclone III開發板(I)是一個其特徵在於所述Cyclone III。開發板(I)主要是一個FPGA連接有程序配置FLASH (16)、片外存儲設備(15)、SDRAM (14)、復位管理晶片(4)、撥碼開關和按鍵輸入(2)、DVI接口(9)、串口擴展(I)、電源接口(6)、電源管理模塊(5)、JTAG接口(8)、AS接口(7)、密碼保護擴展塊(17)、LED指示(3)、SSRAM (13)和用於連接攝像頭(ΠΠΙ)和5V電源和OV地線的HDR_2X20 (12);攝像頭(H、ΠΙ)由圖像傳感器晶片(19)、外圍電路(20)和鏡頭(21)三個部分組成，並通過HDR_2X 20 (22)連接到開發板(I)。上述的開發板採用8層板設計，通過模擬仿真、計算保證系統的電源完整性及信號完整性。使用了 Altera(阿爾特拉)公司的CycloneIII中高檔FPGA-EP3C55F484，邏輯資源高達55856 LES，內嵌M9K塊存儲器260個，總的RAM存儲量2396160 bits，內嵌18X18的乘法器156個，4個PLL，20個全局時鐘網絡，327個輸入輸出(IO)口，135對差分信號，使得它在性能、邏輯資源、埠資源上都非常優秀。開發板中FPGA晶片通過AS (主動串行)模式從EPCS16中獲得配置數據。存儲系統由16MX32的mobile SDRAM和4MX 8 Nor Flash組成，32位寬的SDRAM (同步動態隨機存取記憶體)可使得處理器達到更高的性能，Flash (快閃記憶體)用於固化系統代碼。復位系統在上電後會自動硬體復位，同時通過IWire總線的安全散列算法加密(SHA-I)，增強智慧財產權安全性。JTAG (燒寫調試接口)用於調試FPGA，AS接口用於燒寫配置晶片。預留RS232串行通信接口接口，加上串口模塊後即可實現和計算機或其他電路通信。開發板上還擴展了 3路輕觸開關、4路撥碼開關。開發板上的電源管理先通過LM2596S-5. O和LM2596S-3. 3分別產生5. OV和
3.3V，再通過TPS75003產生內核1.2V、I0電壓3. 3、LVDS電源2. 5V，通過TPS71501產生輔助電壓2. 5V。此外還集成了兩塊ISSI公司的SSRAM (同步靜態隨機存取存儲器)IS61NLP102418-250B3，用於對圖像傳感器採集到的數據進行存儲，並將存儲數據傳輸到FPGA進行處理，處理完的數據由開發板上的解碼晶片CH7301C進行解碼，該解碼晶片最大傳輸可達到165M像素/秒，最大像素可達到1920*1200，同時提供DVI和RGB兩種模式輸出。攝像頭部分由圖像傳感器晶片、外圍電路和鏡頭三個部分組成，圖像傳感器晶片和鏡頭分別採用的是Micron Technology公司的SOC數字COMS圖像傳感器晶片MT9M111129STC和4mm/Fl. 2鏡頭，並通過HDR_2 X 20連接到開發板與其通信。SOC數字COMS圖像傳感器晶片MT9M111I29STC，其傳感器尺寸1/3英寸，最大支持像素為1280*1024，最大數據速率達27 MPS/54 MHz。在解析度為1280*1024時，圖像可達15幀/秒；在解析度為640*512時，圖像可達30幀/秒。這為圖像的採集效率和質量提供了充足的保證。本發明與現有技術相比較，具有如下顯而易見的突出實質性特點和顯著優點
I.兩個攝像頭用於雙目的機器視覺的視頻採集，通過雙目攝像頭可以很容易的得出駕駛員的臉部及眼部狀態。 2.採用性價比較高的FPGA內建雙核處理器來實現並行處理，大大提高了處理速度，同時具有較低的功耗。3.開發板上集成了 CH7301C解碼晶片，該解碼晶片最大傳輸可達到165M像素/秒，最大像素可達到1920*1200，同時可提供DVI和RGB兩種模式輸出。4.圖像傳感器晶片採用Micron Technology (美光科技)公司的SOC數字COMS圖像傳感器晶片MT9M111I29STC，其傳感器尺寸達1/3英寸，最大支持像素為1280*1024，最大數據速率達27 MPS/54 MHz0這為圖像的採集效率和質量提供了充足的保證。


圖I.本發明硬體平臺結構框圖
圖2.圖I中的Cyclone III開發板結構框圖 圖3.圖2存儲單元、JTAG和AS連接圖 圖4.圖像傳感器結構框圖。
具體實施例方式本結合附圖，對本發明的優先實施例說明如下
實施例一
參見圖1，本基於FPGA的的疲勞駕駛雙目檢測硬體平臺其特徵在於由I塊專用的Cyclone III開發板(I)連接2個攝像頭(Π、ΠΙ)構成；通過雙攝像頭(Π、ΠΙ)採集駕駛員的臉部及雙眼狀態來判斷駕駛員是否處在疲勞駕駛狀態，從而降低疲勞駕駛帶來的交通事故；採用雙攝像頭的目的在於能夠更加迅速的、準確的獲得駕駛員人臉及眼部狀態，配合Cyclone III開發板(I )中FPGA (18)內建雙核處理器分別對兩攝像頭(Π、ΠΙ)採集到的數據進行處理，從而達到即時檢測駕駛員是否處在疲勞駕駛狀態，同時檢測系統具有低功耗、高可靠性的特點。實施例二
參見圖I 圖4,本實施例與實施例一基本相同,特徵之處如下
所述的一種基於FPGA的疲勞駕駛雙目檢測硬體平臺，其特徵在於所述Cyclone III。開發板(I)主要是一個FPGA連接有程序配置FLASH (16)、片外存儲設備(15)、SDRAM (14)、復位管理晶片(4)、撥碼開關和按鍵輸入(2)、DVI接口(9)、串口擴展(I)、電源接口(6)、電源管理模塊(5)、1^6接口(8)43接口(7)、密碼保護擴展塊(17)、1^0指示(3)、SSRAM( 13)和用於連接攝像頭(Π、ΠΙ)和5V電源和OV地線的HDR_2X20 (12);攝像頭(Π、ΠΙ)由圖像傳感器晶片(19)、外圍電路(20)和鏡頭(21)三個部分組成，並通過HDR_2X20 (22)連接到開發板(I)。實施例三
參見圖I，本基於FPGA的疲勞駕駛雙目檢測硬體平臺。包括I塊自製的FPGA開發板和2個圖像傳感器組成。(一)開發板開發板，參見圖2。
開發板主要包括FPGA晶片(18)、程序配置FLASH (16)、片外存儲設備(15)、SDRAM
(14)、復位管理晶片(4)、撥碼開關和按鍵輸入(5)、DVI接口(11)、VGA接口(9)、串口擴展(I)、電源接口(6)、電源管理模塊(5)、JTAG接口(8)、AS接口(7)、密碼保護模塊(17)、LED指示(3)、SSRAM (13)和用於連接攝像頭和5V電源和OV地線的HDR_2 X 20 (12)。(二)開發板存儲單元、JTAG和AS接口
參見圖3，開發板的片外存儲單元是2塊16位的SDRAM (20)，2塊SDRAM以並行方式連接，這樣能提供32位的數據存儲，以滿足ALTERA自帶的NIOS處理器的32位地址數據總線。每塊SDRAM (20)的數據與地址總線分別與FPGA晶片(14)相對應的引腳相連。控制總線包括
SDR_WE :寫使能信號；
CAE :列地址信號；
RAS :行地址信號；
CS :片選信號；
BA0/BA1 =BANK (片)選擇信號；
DQMO :低8位屏蔽信號；
DQMl :聞8位屏蔽/[目號；
CKE :時鐘使能信號；
CLK :時鐘信號。同時，FPGA晶片(18)輸出的JTAG控制信號線與AS配置信號線分別連接到JTAG接口上與EPCS16快閃記憶體晶片上。JTAG控制信號包括串行輸入(TDI)，串行輸出(TD0)，時鐘信號(TCK)，控制信號(TMS)0AS信號線包括時鐘信號(DCLK)，片選信號(nCS)，ASDI與CONFIG信號。其中AS上電後發送讀信號，將快閃記憶體(15)中的內容傳送至FPGA中。(三)攝像頭
參見圖4，攝像頭由圖像傳感器晶片、外圍電路和鏡頭三個部分組成，圖像傳感器晶片和鏡頭分別採用的是由Micron Technology (美光科技)公司的SOC數字COMS圖像傳感器晶片MT9M111I29STC和4mm/Fl. 2鏡頭，並通 過HDR_2X20連接到開發板與其通信。
權利要求
1.一種基於FPGA的疲勞駕駛雙目檢測硬體平臺其特徵在於由I塊專用的CycloneIII開發板(I)連接2個攝像頭(II、ΙΠ )構成；通過雙攝像頭(Π、111)採集駕駛員的臉部及雙眼狀態來判斷駕駛員是否處在疲勞駕駛狀態，從而降低疲勞駕駛帶來的交通事故；採用雙攝像頭的目的在於能夠更加迅速的、準確的獲得駕駛員人臉及眼部狀態，配合Cyclone III開發板(I)中FPGA (18)內建雙核處理器分別對兩攝像頭(II >111)採集到的數據進行處理，從而達到即時檢測駕駛員是否處在疲勞駕駛狀態，同時檢測系統具有低功耗、高可靠性的特點。
2.根據權利要求I所述的一種基於FPGA的疲勞駕駛雙目檢測硬體平臺，其特徵在於所述Cyclone III ;開發板(I)主要是一個FPGA連接有程序配置FLASH (16)、片外存儲設備(15),SDRAMC14)、復位管理晶片(4)、撥碼開關和按鍵輸入(2)、DVI接口(9)、串口擴展(I)、電源接口(6)、電源管理模塊(5)、JTAG接口(8)、AS接口(7)、密碼保護擴展塊(17)、LED指示(3)、SSRAM (13)和用於連接攝像頭(II IiI )和5V電源和OV地線的HDR_2X 20 (12)；攝像頭(IKIII)由圖像傳感器晶片(19)、外圍電路(20)和鏡頭(21)三個部分組成，並通過HDR_2X20 (22)連接到開發板(I)。
3.根據權利要求2所述的一種基於FPGA的疲勞駕駛雙目檢測硬體平臺，其特徵在於圖像傳感器晶片(19)和鏡頭(21)分別採用的是Micron Technology公司的SOC數字COMS圖像傳感器晶片MT9M111I29STC和4mm/Fl. 2鏡頭。
4.根據權利要求2所述的一種基於FPGA的疲勞駕駛雙目檢測硬體平臺，其特徵在於所述Cyclone III開發板(I)，通過對AS接口(7)與JTAG接口(8)的選擇來實現程序的直接燒寫或將程序燒入FLASH中進行上電後燒寫。
5.根據權利要求3所述的一種基於FPGA的疲勞駕駛雙目檢測硬體平臺，其特徵在於所述圖像傳感器(19)，通過兩個專用攝像頭(21)採集人臉圖像後並將其存儲到Cyclone III開發板(I)上的SSRAM中。
全文摘要
本發明涉及了一種基於FPGA的疲勞駕駛雙目檢測硬體平臺。通過雙攝像頭採集駕駛員的臉部及雙眼狀態來判斷駕駛員是否處在疲勞駕駛狀態，從而降低疲勞駕駛帶來的交通事故。本檢測系統具有低功耗、高可靠性的特點。該硬體平臺由1塊自製的CycloneIII開發板連接2個圖像傳感器構成。開發板主要是由FPGA加上存儲系統及必要的外圍電路組成完整的處理器組，雙處理器核及存儲單元均在FPGA中實現；同時開發板上有電源管理模塊、視頻輸出接口和串口擴展。攝像頭由圖像傳感器晶片、外圍電路和鏡頭三個部分組成，並通過HDR_2×20連接到開發板。
文檔編號A61B5/18GK102860830SQ20121033448
公開日2013年1月9日 申請日期2012年9月12日 優先權日2012年9月12日
發明者徐美華, 黃舒平, 姚華城, 翁世浩, 孫夢威, 冉峰 申請人:上海大學