一種駕駛員安全駕駛狀態檢測裝置製造方法
2023-07-20 16:36:16 2
一種駕駛員安全駕駛狀態檢測裝置製造方法
【專利摘要】一種駕駛員安全駕駛狀態檢測裝置，包括：視線捕捉設備，用來實時檢測駕駛員的當前視線方向；一臺以上的車載前視攝像機，用來實時採集車輛行駛中前方道路的場景圖像信號；計算機，用來根據視覺注意力計算模型對採集到的當前道路場景圖像信號進行處理，獲得當前道路場景下駕駛員期望注意力分布，並將實時檢測到的駕駛員當前視線方向與駕駛員期望注意力分布進行融合分析，判斷當前駕駛員是否處於正常駕駛狀態以及能否對突發的道路交通事件作出及時而適當的響應。本發明具有原理簡單、易實現、可直接地反映出駕駛員真實駕駛狀態、提高駕駛安全性等優點。
【專利說明】一種駕駛員安全駕駛狀態檢測裝置
【技術領域】
[0001]本發明主要涉及到車輛主動安全設計領域，特指一種駕駛員安全駕駛狀態檢測裝置。
【背景技術】
[0002]隨著汽車工業的發展，汽車越來越成為社會生產與日常生活中的重要組成部分；與此同時，汽車安全問題也逐漸成為人們關注的焦點。據統計，道路交通事故中大約有75%是由於人為失誤導致的，也就是由於駕駛員的個人因素導致的。具體又包括駕駛員對車輛運行環境估計不準，駕駛員反應滯後等等。因此，通過技術手段來檢測駕駛員的駕駛狀態是否安全，能夠有效地提高道路交通的安全性。
[0003]目前，針對駕駛員的安全駕駛狀態的檢測技術可以分為三大類:第一類是基於駕駛員生理疲勞特徵檢測的方法，第二類是基於車輛相對於道路的運行關係判斷的方法，第三類是基於刺激-反應監測的心理反應監測方法。
[0004]第一類方法，基於駕駛員生理疲勞特徵檢測的方法工作原理基於一個基本的假設:當駕駛員的精神狀態不佳時，其駕駛狀態也會不佳，從而不能安全地完成駕駛任務。通常可以用於檢測的生理疲勞特徵包括眼睛閉合度、腦電波、方向盤握力等。有從業者公布了一種基於單目視覺的駕駛員疲勞檢測方法，就是利用檢測駕駛員眨眼的頻率來判斷駕駛員的精神狀態的。該方法通過在駕駛室儀錶盤上方安裝一個面向駕駛員臉部的攝像機，利用攝像機採集駕駛員臉部圖像，對採集得到的每幀圖像進行人臉檢測與跟蹤，在檢測得到的人臉區域中進行人眼檢測與定位，並利用左右眼睛區域進行人眼睜閉狀態識別，最後通過連續幀的檢測狀態進行疲勞檢測。另有從業者公開了一種通過連續檢測駕駛員頭部的異常晃動來進行駕駛員精神狀態 檢測的方法及系統，工作原理是利用安裝在駕駛員頭枕位置的傳感器來檢測駕駛員頭部晃動的頻率和模式，從而從異常的晃動模式中判斷駕駛員的精神狀態。綜上所述，這類方法通過駕駛員的疲勞狀態來推斷駕駛員的安全駕駛狀態，存在以下三方面的問題:一是本身是間接檢測方法，效果不可靠。僅僅以駕駛員的疲勞狀態作為駕駛員安全駕駛狀態的檢測手段，不僅很難給出疲勞狀態與駕駛員駕駛行為的安全性的直接對應關係，而且通過外在的生理特徵判斷是否疲勞本身就存在一定的不確定性。二是從疲勞狀態來推斷駕駛員的駕駛狀態是否安全，能夠檢測的不安全狀態是局限的。駕駛員的處於不安全的駕駛狀態時，未必一定是處於疲勞狀態。三是從疲勞狀態來推斷駕駛員的駕駛狀態是否安全，及時性是很難保證的。當駕駛員處於疲勞狀態時，駕駛行為本身已經非常不安全了。
[0005]第二類方法，基於車輛相對於道路的運行關係判斷的方法工作原理是直接測量當前車輛與其他車輛以及與道路的關係來對即將發生的碰撞等事故進行預測。有從業者公開了一種基於單晶片的車道偏離提醒裝置，即通過對車輛的非正常越道行駛動作來檢測駕駛員的駕駛狀態。這類方法的缺點一是通常只能在危險的交通事件即將發生了才給出判斷，二是很難對正常的交通事件和異常的交通事件之間給出明確而客觀的判別方法，比如正常的超車越道行為和異常的車道跑偏行為。
[0006]第三類方法，基於刺激-反應檢測的方法的工作原理是利用特定的刺激模式對駕駛員心理反應進行評價。有從業者近期公開了一種通過視線捕捉技術進行駕駛員精神狀態檢測的方法。該方法首先生成一個人造的視覺刺激，然後使用視線捕捉技術來檢測駕駛員是否注意到該刺激，從而評價駕駛員對當前出現的突發事件的判斷能力。這類方法雖然能夠直接判斷駕駛員是否能對突發刺激做出反應，但是這類方法同樣有以下缺點:一是這樣做本身很容易分散駕駛員的注意力。二是特定模式刺激本身對駕駛員的心理活動產生了額外的刺激，增加了駕駛員的負擔。
[0007]隨著對交通事故的成因的深入研究，人們逐漸認識到導致交通事故重要原因是駕駛員處於非安全的駕駛狀態。而不安全駕駛狀態至少包括兩個類型:一是疲勞駕駛導致的反應遲鈍；二是並非疲勞駕駛，僅僅是駕駛員的注意力未得到合理分配。比如駕駛員本身的駕駛經驗不足，駕駛習慣不好，初學者過於緊張等，而未注意到應該被注意的交通事件。又比如被其他諸如廣告牌等目標吸引，看簡訊，思想走神等等。現有的駕駛員的安全駕駛狀態的檢測技術很難對第二類不安全駕駛狀態進行檢測。
[0008]多年的研究，人們對駕駛員的視線方向(注視點相對與駕駛員自身的指向)與道路場景以及道路交通事件的關係的理解越來越深入。正常的駕駛狀態中，駕駛員應該能夠在不同的道路場景和道路交通事件中進行合理的注意力分配與轉換。如果駕駛員不能對隨時出現的重要交通事件進行迅速反應，則其就處於危險或者異常的駕駛狀態。
【發明內容】
[0009]本發明要解決的技術問`題就在於:針對現有技術存在的技術問題，本發明提供一種原理簡單、易實現、可直接地反映出駕駛員真實駕駛狀態、提高駕駛安全性的駕駛員安全駕駛狀態檢測裝置。
[0010]為解決上述技術問題，本發明採用以下技術方案:
[0011]一種駕駛員安全駕駛狀態檢測裝置，包括:
[0012]視線捕捉設備，用來實時檢測駕駛員的當前視線方向；
[0013]一臺以上的車載前視攝像機，用來實時採集車輛行駛中前方道路的場景圖像信號;
[0014]計算機，用來根據視覺注意力計算模型對採集到的當前道路場景圖像信號進行處理，獲得當前道路場景下駕駛員期望注意力分布，並將實時檢測到的駕駛員當前視線方向與駕駛員期望注意力分布進行融合分析，判斷當前駕駛員是否處於正常駕駛狀態以及能否對突發的道路交通事件作出及時而適當的響應。
[0015]作為本發明裝置的進一步改進:所述車載前視攝像機安裝在車輛前擋風玻璃板內側頂端，所述車載前視攝像機朝向前安裝。
[0016]作為本發明裝置的進一步改進:所述計算機採用定量的方式來評估駕駛員是否及時地對當前場景中的重要交通事件進行了反應；在任一時刻，定量評估具體是通過分析駕駛員的視線是否落在了場景中的重要的交通事件所在的區域，以及落入了比例和迅速程度來進行評判的。
[0017]作為本發明裝置的進一步改進:所述視線捕捉設備為眼動儀。[0018]作為本發明裝置的進一步改進:還包括車載主動安全系統模塊和綜合告警控制模塊，所述車載主動安全系統模塊用來主動分析、判斷車輛的運行安全狀況，並提示駕駛員；所述綜合告警控制模塊用來根據當前駕駛員精神狀態的檢測結果判定開啟或屏蔽車載主動安全系統模塊，或主動向駕駛員告警。
[0019]與現有技術相比，本發明的優點在於:
[0020]1、本發明的檢測結果可直接地反映出駕駛員真實的安全駕駛狀態。駕駛員的安全駕駛狀態與駕駛員當前的注意力分布及反應靈敏度直接相關，而其他一些生理指標僅僅當前精神狀態的表現，因而與安全駕駛狀態屬於間接對應關係。本發明通過檢測駕駛員的注意力分配模式和注意力轉換方式來直接判斷駕駛員能否對當前道路交通事件做出正確而迅速的反應，檢測結果直接對應當前駕駛員的駕駛狀態。
[0021]2、本發明不僅能檢測出駕駛員因為疲勞而導致的駕駛狀態異常，也能檢測出駕駛員非疲勞狀態的走神、被其他事件吸引等非安全駕駛狀態，以及檢測由於服用某些藥物、醉酒、駕駛經驗缺乏等原因導致的反應變慢等非安全狀態，進而大大提高了整體的安全性。
[0022]3、本發明的檢測結果能及時發現駕駛行為的異常，屬於「非滯後」。通常對疲勞程度的檢測需要對駕駛員過去一段時間內的駕駛特性或生理指徵進行檢測，得到的結論是對前面一段時間的若干事件的駕駛員是否適合駕駛的判斷(事實上，傳統方法發現駕駛員疲勞的之前的相當長一段時間，駕駛員已經處於不安全駕駛狀態，這些方法屬於滯後檢測)，無法對當前正在發生的突發道路交通事件進行及時的反應甚至提醒。
[0023]4、本發明的檢測結果更加準確。由於本發明沒有利用疲勞狀態或駕駛員對特定事件的反應來間接地判斷駕駛員的駕駛狀態，檢測結果能夠更加準確地反應駕駛員對當前道路交通事件的判斷和處理能力。正常駕駛狀態下，駕駛員必然會對當前道路場景中的顯著區域進行注意力分配和投放，因此通過實際注意力情況和期望注意力情況之間的比對，可以有效地估計駕駛員的駕駛狀態。同時對駕駛員的注意力實測和對場景注意力計算均具有很高的精度，因此可以精 確地判斷駕駛員的精神狀態。
[0024]5、本發明的檢測過程是非接觸式的。本發明的檢測方法和檢測過程不需要對駕駛員提供額外的刺激，不會干擾駕駛員正常的駕駛行為。另一方面，本發明的檢測過程不需要通過與駕駛員的直接接觸來測量駕駛員的生理參數，測量過程是非接觸式的。
【專利附圖】
【附圖說明】
[0025]圖1是本發明方法在應用後的原理示意圖。
[0026]圖2是本發明裝置在應用後的框架結構示意圖。
[0027]圖3是本發明在具體應用實例中具體使用狀態下的實際場景示意圖。
[0028]圖4是在實際場景中系統前視攝像機的視野以及三種注意分布區域示意圖。
[0029]圖5是本發明在具體應用實例中進行系統標定的流程示意圖。
[0030]圖6是本發明在具體應用實例中基於有意義交通事件和顯著性的駕駛員注意力計算流程示意圖。
[0031]圖7是本發明在具體應用實例中進行駕駛員安全狀態分析的流程示意圖。
[0032]圖8是本發明在具體應用實例中進行模型參數訓練的流程示意圖。
[0033]圖9是本發明在具體應用實例中進行場景不同區域的活性程度分析的對比圖。[0034]圖10是本發明裝置與傳統主動安全系統結合的應用實例的結構圖。
【具體實施方式】
[0035]以下將結合說明書附圖和具體實施例對本發明做進一步詳細說明。
[0036]如圖2所示，本發明的裝置包括:用於捕捉和記錄人眼視線的視線捕捉設備、用於捕捉前方道路場景的前視攝像機、以及嵌入式計算機(主要用於駕駛員視線分析、交通事件相關區域計算以及根據本發明實現駕駛員精神狀態評估)。視線捕捉設備應安裝固定於類似駕駛面板上的適當位置，並保證可以正常捕捉駕駛員視線(為了提高捕捉駕駛員視線性能，在其他實施例中也可以採用多攝像機的方案。車載前視攝像機安裝在車輛前擋風玻璃板內側頂端，主光軸與車體平行，攝像機朝向前安裝，用於拍攝車輛前方道路信息，前視攝像機可以安裝固定於在駕駛室上方的車頂之下。
[0037]本發明是基於駕駛員視線跟蹤與駕駛員期望注意力計算相融合的駕駛員安全駕駛狀態的檢測方法。本發明首先採用視線捕捉設備對駕駛員當前的視線進行跟蹤。然後，利用場景理解技術和注意力計算技術對車載攝像機拍攝到的實時前方場景圖像進行目標理解和顯著性計算，得出當前場景下駕駛員應該注意或者可能注意的交通相關事件的區域和引人注意的顯著區域。最後，將視線捕捉設備實時記錄的駕駛員實際注意力和利用場景理解與注意力計算模型計算獲得的基於當前場景預測的理想注意力分布進行融合分析，進而判斷駕駛員當前的注意力分配是否合理，從而對當前駕駛員的駕駛狀態以及駕駛員對突發交通事件的響應能力做出準確的判斷。
[0038]如圖1所示，本發明的駕駛員安全駕駛狀態檢測方法是基於視線跟蹤與注意力計算相匹配的檢測方法，其步 驟為:
[0039](I)、實時檢測駕駛員的當前視線方向及採集車輛行駛中前方道路的場景圖像信號。本實例中，利用一臺視線捕捉設備實時檢測駕駛員的當前視線方向，並通過一臺車載前視攝像機實時採集車輛行駛中前方道路的場景圖像信號。
[0040](2)、根據視覺注意力計算模型，對採集到的當前道路場景圖像信號進行處理，獲得當前道路場景下駕駛員期望注意力分布(例如:交通事件相關區域與顯著性區域的檢測與跟蹤)；本實例中，設置一臺用於計算當前道路場景的期望注意力分布的嵌入式計算機系統，該嵌入式計算機對車載前視攝像機採集到的當前道路場景進行處理，得到當前道路場景下駕駛員期望注意力分布。
[0041](3)、對步驟(1)中實時檢測到的駕駛員當前視線方向與步驟(2)中計算得到的駕駛員期望注意力分布進行融合分析。具體而言，採用定量的方式來評估駕駛員是否及時地對當前場景中的重要交通事件進行了反應。例如，在任一時刻，定量評估具體是通過分析駕駛員的視線是否落在了場景中的重要的交通事件所在的區域，以及落入了比例和迅速程度來評判的。此刻的這一評估結果用來判斷當前駕駛員是否處於正常駕駛狀態以及能否對突發的道路交通事件作出及時而適當的響應。
[0042]由於本發明需要對由視線捕捉設備(如眼動儀)獲得駕駛員實測注意力分布與根據車載攝像機和注意力計算模型得到的駕駛員注意力分布之間進行比對，因此需要對前視攝像機獲得的道路場景和視線捕捉設備捕捉到的駕駛員視線之間需要進行標定，從而使由視線捕捉設備捕捉得到的駕駛員視線所注視的場景目標的位置與該目標在攝像機中呈現的位置對應一致。在本發明中，初始標定過程的流程圖如圖5所示。本實例中，標定的具體步驟如下:
[0043](4.1)、在停車狀態下，在車輛(前視攝像機)前方一定距離(如:20米或者更遠)處人工擺放一些物體，這些物體應該具有顯著而便於描述的特徵(如:紅色的球形物體)，以這些物體和場景中固有的其他遠處物體作為標定基準。
[0044](4.2)、在停車狀態下，輔助人員通過指定呈現在前視攝像機拍攝內容的屏幕上的某一個物體(點)，並引導駕駛員進行注視。此時，記錄視線捕捉設備所記錄的駕駛員此刻的視線方向。
[0045](4.3)、通過改變被注意物體的位置或被注意物體本身，重複上述步驟(4.2);例如，通常需要改變五至七次不同的物體(點)。
[0046](4.4)、對標定結果進行驗證。此時，引導駕駛員注意場景中不同的物體(點)，將視線捕捉設備估計出的駕駛員視線顯示在前視攝像機拍攝的實時圖像上，觀察並記錄這些物體(點)與檢測到的視線位置是否重合或者接近。如果誤差滿足預設要求(比如:小於I~
1.5度)，則結束初始標定過程結束；否則，重複步驟(4.2)至(4.3)，開始重新標定。流程中存在一些參數以及參數k，E等，可以根據實驗確定。本方法一般採用5點進行標定或者採用9點繼續進行標定，因此，這裡的k可以取5或者9即可。當標定結果不滿足要求是，可以增加標定點的個數； 這裡的E，根據本方案中的駕駛員的視線容許誤差(Θ=1~1.5度)所對應的顯示屏上的偏差距離而確定，可根據E~D*cos( Θ )，這裡的D是駕駛員的眼睛距離調試時所用的顯示屏(放置在眼動儀處)之間的距離。
[0047]由於駕駛員眼睛高度與攝像機的安裝高度不一致，會導致前方攝像機視野與駕駛員眼睛看到的實際視野有一定誤差。具體而言，對駕駛員來說車輛前方同一視角下的不同物體(點)隨著距離的不同而導致在攝像機視野內產生不同的視角。經過計算，如果安裝高度差控制在20cm內，則車輛前方20m外的不同物體之間視角誤差可以控制在0.6度內，這已經低於視線捕捉設備能夠給出的精度(約I度)。通過以上標初始定過程，可以將駕駛員每一時刻所注視的物體在前視圖像中呈現的位置，與視線捕捉設備觀測到此刻的駕駛員的視線一一對應起來。因此，在任意時刻可以根據視線捕捉設備觀測到的駕駛員視線方向推測出駕駛員注視的前方物體在前視圖像中呈現的具體位置，由此可以知道駕駛員注意的實際場景中的位置。需要說明的是，為了保證標定的方便性和準確性，還可以進一步通過控制前視攝像機的畸變程度，或者通過算法對前視攝像機拍攝的圖像進行去畸變處理。
[0048]上述標定方法是一種直接將駕駛員視線與圖像坐標系標定在一起的方法。除此之外，在其他實施例中，還可以採用分布標定法，其步驟如下:
[0049](5.1)、首先將人眼視線與世界坐標系進行標定:(a)在車前20米外擺放多個標誌物，記錄其位置{Pi} ;(b)分別記錄人眼注視這些物體時的視線方向{Di} ;(c)根據常用的「張正友方法」，計算二者之間的標定結果。
[0050](5.2)、將圖像坐標系與世界坐標系標定，這是已有的技術，計算二者之間的標定結果;
[0051](5.3)、根據步驟(5.1)和步驟(5.2)的結果，利用常用的標定方法可以獲得最終的人眼視線與圖像坐標系之間的轉換矩陣。
[0052]在上述步驟(2)中，採用了基於有意義交通事件和顯著性的駕駛員注意力預估方法。通常引起駕駛員注意的區域包括兩大類:一類是環境中非常顯著的區域，這些區域的顯著性是有區域本身的特殊性(比如區域具有顯著的顏色、紋理、形狀等)決定的，並且可能與交通駕駛事件無關；而另一類顯著區域是與駕駛任務相關的交通事件導致的。比如前方的運動車輛、行人、交通標誌、儀錶盤等。這些區域所對應的交通事件與駕駛任務密切相關，是一個處於正常駕駛狀態的駕駛員必須密切關注的區域。第二類駕駛員的注意區域中有包含兩種:第一種是動態的駕駛員注意區域，比如前方運動的車輛、行人、交通標誌、車道等，這些區域隨著時間的變化是與車體本身發生相對運動的；第二種是靜態的駕駛員注意區域，比如觀後鏡區域，儀錶盤區域等，這些區域與車輛不發生相對運動，而且在圖像中的區域位置是固定不變的。
[0053]在本發明中，需要預估出駕駛員注意力的可能分布區域，從而可以進一步與實測的駕駛員注意力進行比對。如圖6所示，基於有意義交通事件和顯著性的駕駛員注意力計算方法，過程是基於採集的當前前視圖像進行駕駛員注意力估計和計算。此計算結果是對駕駛員注意力的可能的分布區域的預測，因此可用於與實測的駕駛員注意力進行比對，從而判斷駕駛員是否處與安全駕駛狀態。其具體步驟如下:
[0054](6.1)、啟動圖像採集，保存當前mXn大小的前視圖像；本方案中採用常用的1024X768的圖像；
[0055](6.2)、生成三個動態數組Pl，P2，P3，以及用於存放中間數據的尺寸為mXn的三個矩陣:Mapl，Map2，Map3。由圖4可以看出，前視圖像大致包含三種駕駛員注視區域。第一類是交通事件相關的注視區域R0,第二類是前視圖像中的顯著區域Rs，第三類是駕駛員經常注視的固定區域Rqf ;矩陣Mapl，Map2，Map3用於存放著上述三類區域。
[0056](6.3)、由於Rw區域是靜態的，因此根據事先確定的標定結果即可以確定Rof類型
注意區域並生成第一幅注意分布圖Mapl ； Mapl(X)=I5 ifxe (R1i^elseMapl(X)=O。 當前視攝像機在車上安裝固定後，可以很容易在前視圖像中標出這些固定注視區域。
[0057](6.4)、將Mapl中的區域按照順序將這些區域的索引存入數組Pl中，其中
Pi='iRl,在後續使用中，可以根據Pl中的任意一個元素，索引Mapl中對應的
區域；
[0058](6.5)、生成交通事件相關注意區域。使用現有的計算機視覺方法(本方法使用H0G+SVM方法對場景中的物體進行檢測)，檢測並跟蹤前方車道、車輛、行人、交通標誌等Rq
類型區域Pk〖,其中k=l，2，3，4，分別代表前方車道、車輛、行人以及交通標誌等四類區域，並生成第二幅注意分布圖:Map2(x)=ufxe {R\ else Map2(x)=0.[0059](6.6)、將Map2中的區域按照順序將這些區域的索引存入數組P2中，其中P2={R?i ,R-,，…,R；R..; ,R0.」..，Rn:丨.在後續使用中，可以根據 P2 中的任意一個元素，索引Map2中對應的區域；
[0060](6.7)、根據視覺顯著性算法，計算前視圖像I (t)的顯著區域，並生成二值化的區
域{RU 的顯著圖 Map3: Map3(x)=l,ifx€ {R；}; else Map3(x)=0 ；[0061](6.8)、將Map3中的區域所對應的索引按照順序存入數組P3中，其中數組
【權利要求】
1.一種駕駛員安全駕駛狀態檢測裝置，其特徵在於，包括: 視線捕捉設備，用來實時檢測駕駛員的當前視線方向； 一臺以上的車載前視攝像機，用來實時採集車輛行駛中前方道路的場景圖像信號； 計算機，用來根據視覺注意力計算模型對採集到的當前道路場景圖像信號進行處理，獲得當前道路場景下駕駛員期望注意力分布，並將實時檢測到的駕駛員當前視線方向與駕駛員期望注意力分布進行融合分析，判斷當前駕駛員是否處於正常駕駛狀態以及能否對突發的道路交通事件作出及時而適當的響應。
2.根據權利要求1所述的駕駛員安全駕駛狀態檢測裝置，其特徵在於，所述車載前視攝像機安裝在車輛前擋風玻璃板內側頂端，所述車載前視攝像機朝向前安裝。
3.根據權利要求1所述的駕駛員安全駕駛狀態檢測裝置，其特徵在於，所述計算機採用定量的方式來評估駕駛員是否及時地對當前場景中的重要交通事件進行了反應；在任一時刻，定量評估具體是通過分析駕駛員的視線是否落在了場景中的重要的交通事件所在的區域，以及落入了比例和迅速程度來進行評判的。
4.根據權利要求1~3中任意一項所述的駕駛員安全駕駛狀態檢測裝置，其特徵在於，所述視線捕捉設備為眼動儀。
5.根據權利要求1~3中任意一項所述的駕駛員安全駕駛狀態檢測裝置，其特徵在於，還包括車載主動安全系統模塊和綜合告警控制模塊，所述車載主動安全系統模塊用來主動分析、判斷車輛的運行安全狀況，並提示駕駛員；所述綜合告警控制模塊用來根據當前駕駛員精神狀態的檢測結果判定開`啟或屏蔽車載主動安全系統模塊，或主動向駕駛員告警。
【文檔編號】A61B5/18GK103767715SQ201410017716
【公開日】2014年5月7日 申請日期:2014年1月15日 優先權日:2014年1月15日
【發明者】安向京, 李健, 吳濤, 葉磊, 孫振平, 賀漢根 申請人:中國人民解放軍國防科學技術大學