一種基於視覺信息融合的駕駛員狀態監測方法及系統的製作方法
2023-12-02 15:56:26 3
一種基於視覺信息融合的駕駛員狀態監測方法及系統的製作方法
【專利摘要】本發明公開了一種基於視覺信息融合的駕駛員狀態監測方法及系統，包括採集駕駛員臉部圖像與汽車前方道路圖像並進行預處理；對經過預處理的駕駛員臉部圖像進行人臉定位獲取人臉區域；在人臉區域內定位人眼瞳孔質心和瞳孔區域，獲取人眼狀態參數並對人眼進行跟蹤；從經過預處理的汽車前方道路圖像進行車道線檢測並識別；根據檢測到的車道線計算汽車行駛方向與導航線夾角，判斷車輛是否偏離車道；根據駕駛員的眼部特徵和車輛偏離程度對駕駛員駕駛狀態進行判別。本發明提出了融合兩種計算機視覺方式的駕駛員狀態監測方法，提高了檢測的準確率，實現駕駛員疲勞、酒後、注意力分散等非正常駕駛狀態的實時監測和報警,從而保障汽車安全駕駛。
【專利說明】一種基於視覺信息融合的駕駛員狀態監測方法及系統
【技術領域】
[0001]本發明涉及交通工程，尤其涉及一種基於視覺信息融合的駕駛員狀態監測方法及系統。
【背景技術】
[0002]駕駛員處於非正常駕駛狀態容易導致道路交通事故，因此安全可靠的車載駕駛員狀態實時監測系統有著深遠的意義。
[0003]目前，現有的駕駛員狀態監測技術一般有以下幾種方式:一，基於駕駛員生理現象的方法；二，基於駕駛員操控行為的方法；三，基於汽車的行為的方法；其中:
[0004]基於駕駛員生理現象的方法，主要是通過測量駕駛員的生理信號如心率、脈搏、腦電波、肌電信號等參數變化或者身體動作包括面部表情、眨眼頻率等參數等來實現對駕駛員狀態的監測。該方法較為可靠，準確性高，但是作為一種接觸式測量，應用場景有限，而且操作不便，因而實用性一般。
[0005]基於駕駛員操控行為的方法，主要是通過駕駛員對方向盤、加速器等的操控來反應駕駛員的狀態。此類方法雖然也是一種接觸式測量方法，但是相比基於生理現象的方法，可操作性較強，但是考慮到實際場景複雜多變，此類方法準確性不高而且擴展性、抗幹擾性都很差，因此市場前景不容樂觀。
[0006]基於汽車行為的方法，是一種間接監測方法，通常使用基於視覺傳感器、速度傳感器等監控車輛的行駛路線、速度、加速度等信息來分析判斷駕駛員的狀態。此類方法可操作性比較強，成本比較低，但是可擴展性比較差。
【發明內容】
[0007]本發明的目的在於針對現有技術的不足，提供一種基於視覺信息融合的駕駛員狀態監測方法及系統，以解決現有的監測方法中不僅準確率不高，而且容易對正常駕駛造成幹擾的問題。
[0008]本發明是通過以下技術方案來實現的:
[0009]一種基於視覺信息融合的駕駛員狀態監測方法，包括以下步驟:
[0010]S10，採集駕駛員臉部圖像與汽車前方道路圖像並進行預處理；
[0011]S20，對經過預處理的駕駛員臉部圖像進行人臉定位，獲取人臉區域；
[0012]S30，在人臉區域內定位人眼瞳孔質心和瞳孔區域，獲取人眼狀態參數並對人眼進行跟蹤；
[0013]S40，對經過預處理的汽車前方道路圖像進行車道線檢測並識別；
[0014]S50，根據檢測到的車道線計算汽車行駛方向與導航線夾角，判斷車輛是否偏離車道;
[0015]S60，根據駕駛員的眼部特徵和車輛偏離程度對駕駛員駕駛狀態進行判別，若處於非正常駕駛狀態，則啟動報警。[0016]進一步的，步驟S30還包括:
[0017]S31，採用自適應閾值二值化的方法獲取人臉區域的二值圖像；
[0018]S32，對得到的二值圖像的上半區域進行灰度投影值的水平積分投影，獲得人眼的水平位置；
[0019]S33,在定位出的人眼區域內定位瞳孔質心,並利用Kalman濾波方法對人眼進行跟蹤；
[0020]S34，計算瞳孔面積判別眼睛的睜閉狀態，獲取人眼參數。
[0021]進一步的，所述步驟S40包括:
[0022]S41，對經過預處理的道路圖像進行canny邊緣檢測實現二值化；
[0023]S42，對所述道路圖像的二值圖像進行Hough變換直線檢測；
[0024]S43，利用水平線檢測方法分析Hough變換檢測到的多條直線，找到直線的消隱點，相交於消隱點的(條直線即分別為車道線的左右邊界。
[0025]進一步的，所述步驟S50包括:
[0026]根據步驟S40中得到的道路邊界和消隱點確定道路邊界的夾角，從而獲得車道的中線，即夾角的一半且過消隱點的直線。
[0027]如果汽車行駛方向與車道中線之間的夾角在預設閾值範圍內，則判斷為汽車屬於正常駕駛狀態，否則判斷為車輛行駛偏離車道。
[0028]本發明的另一目的還在於提供一種基於視覺信息融合的駕駛員狀態監測系統，包括:
[0029]圖像獲取及預處理單元，用於採集駕駛員臉部圖像與汽車前方道路圖像並進行預處理；
[0030]人眼定位及運動參數提取單元，用於對經過預處理的駕駛員臉部圖像進行人臉定位以獲取人臉區域，並在人臉區域內定位人眼瞳孔質心和瞳孔區域，獲取人眼狀態參數並對人眼進行跟蹤；
[0031]車道線檢測識別單元:用於從經過預處理的汽車前方道路圖像進行車道線檢測並識別；
[0032]偏離判斷單元:用於根據檢測到的車道線計算汽車行駛方向與導航線夾角，判斷車輛是否偏離車道；
[0033]駕駛員狀態分析單元:用於根據駕駛員的眼部特徵和車輛偏離程度對駕駛員駕駛狀態進行判別，若處於非正常駕駛狀態，則啟動報警。
[0034]進一步的，所述人眼定位及運動參數提取單元還用於:
[0035]採用自適應閾值二值化的方法獲取人臉區域的二值圖像；
[0036]對得到的二值圖像的上半區域進行灰度投影值的水平積分投影，獲得人眼的水平位置；
[0037]在定位出的人眼區域內定位瞳孔質心，並利用Kalman濾波方法對人眼進行跟蹤；
[0038]計算瞳孔面積判別眼睛的睜閉狀態，獲取人眼參數。
[0039]進一步的，所述車道線檢測識別單元具體用於:
[0040]對經過預處理的道路圖像進行canny邊緣檢測實現二值化；
[0041]對所述道路圖像的二值圖像進行Hough變換直線檢測；[0042]利用水平線檢測方法分析Hough變換檢測到的多條直線，找到直線的消隱點，相交於消隱點的(條直線即分別為車道線的左右邊界。
[0043]進一步的，所述偏離判斷單元具體用於:
[0044]根據車道線檢測識別單元中得到的道路邊界和消隱點確定道路邊界的夾角，從而獲得車道中線，即夾角的一半且過消隱點的直線；如果汽車行駛方向與車道中線之間的夾角在預設閾值範圍內，則判斷為汽車屬於正常駕駛狀態，否則判斷為車輛行駛偏離車道。
[0045]相較於現有技術，本發明的有益效果是:本發明融合了車內視覺與車外視覺(種信息，通過同時監測人眼運動特徵與車道偏離程度實現對駕駛員狀態的監測，車內實時檢測人眼運動特徵，車外實時監測車道偏離程度；提高了檢測準確率，從而改善)動車道路行駛的安全性；同時該方法計算速度快，佔用內存小，實現了車載嵌入式系統實時監測。
【專利附圖】
【附圖說明】
[0046]圖1為本發明實施例的基於視覺信息融合的駕駛員狀態監測方法流程圖。
[0047]圖2為本發明實施例的人眼參數提取流程圖。
[0048]圖3為本發明實施例的車道偏離檢測流程圖。
[0049]圖4為本發明實施例的車道偏離檢測模型。
[0050]圖5為本發明實施例對眼部特徵和車輛偏離信息進行融合的貝葉斯網絡結構。【具體實施方式】
[0051]如圖1所示，基於視覺信息融合的駕駛員狀態監測方法包括如下步驟:
[0052]S10，採集駕駛員臉部圖像與汽車前方道路圖像並進行預處理。
[0053]採集實時圖像，通過設置車內紅外攝像)採集駕駛員臉部實時圖像與車外攝像)實時採集汽車前方道路圖像，傳輸給圖像處理模塊進行預處理，例如根據數據格式的需要，將獲取到的圖像轉換成單通道灰度圖像，並進行濾波降噪等操作。
[0054]S20，對經過預處理的駕駛員臉部圖像進行人臉定位，獲取人臉區域。
[0055]如附圖2所示，獲取人臉區域，消除頭髮等部分對人眼檢測的影響，具體方法如下:
[0056]計算圖像的矩Mtltl, M10, M017M02, M20與質心(X，Y)從而獲取人臉區域的寬度和高度。其中圖像的各階矩定義為:
【權利要求】
1.一種基於視覺信息融合的駕駛員狀態監測方法，其特徵在於，包括以下步驟: S10，採集駕駛員臉部圖像與汽車前方道路圖像並進行預處理； S20，對經過預處理的駕駛員臉部圖像進行人臉定位，獲取人臉區域； S30，在人臉區域內定位人眼瞳孔質心和瞳孔區域，獲取人眼狀態參數並對人眼進行跟蹤; S40，對經過預處理的汽車前方道路圖像進行車道線檢測並識別； S50，根據檢測到的車道線計算汽車行駛方向與導航線夾角，判斷車輛是否偏離車道；S60，根據駕駛員的眼部特徵和車輛偏離程度對駕駛員駕駛狀態進行判別，若處於非正常駕駛狀態，則啟動報警。
2.根據權利要求1所述的駕駛員狀態監測方法，其特徵在於，步驟S30還包括: S31，採用自適應閾值二值化的方法獲取人臉區域的二值圖像； S32，對得到的二值圖像的上半區域進行灰度投影值的水平積分投影，獲得人眼的水平位置； 人眼區域內定位瞳孔質心，並利用Kalman濾波方法對人眼進行跟蹤； S34，計算瞳孔面積判別眼睛的睜閉狀態，獲取人眼參數。
3.根據權利要求1所述的基於視覺信息融合的駕駛員狀態監測方法，其特徵在於，所述步驟S40包括: S41，對經過預處理的道路圖像進行canny邊緣檢測實現二值化； S42，對所述道路圖像的二值圖像進行Hough變換直線檢測； S43，利用水平線檢測方法分析Hough變換檢測到的多條直線，找到直線的消隱點，相交於消隱點的兩條直線即分別為車道線的左右邊界。
4.根據權利要求3所述的基於視覺信息融合的駕駛員狀態監測方法，其特徵在於，所述步驟S50包括: 根據步驟S40中得到的道路邊界和消隱點確定道路邊界的夾角，從而獲得車道的中線，即夾角的一半且過消隱點的直線。 如果汽車行駛方向與車道中線之間的夾角在預設閾值範圍內，則判斷為汽車屬於正常駕駛狀態，否則判斷為車輛行駛偏離車道。
5.一種基於視覺信息融合的駕駛員狀態監測系統，其特徵在於，包括: 圖像獲取及預處理單元，用於採集駕駛員臉部圖像與汽車前方道路圖像並進行預處理； 人眼定位及運動參數提取單元，用於對經過預處理的駕駛員臉部圖像進行人臉定位以獲取人臉區域，並在人臉區域內定位人眼瞳孔質心和瞳孔區域，獲取人眼狀態參數並對人眼進行跟蹤； 車道線檢測識別單元:用於對經過預處理的汽車前方道路圖像進行車道線檢測並識別； 偏離判斷單元:用於根據檢測到的車道線計算汽車行駛方向與導航線夾角，判斷車輛是否偏離車道； 駕駛員狀態分析單元:用於根據駕駛員的眼部特徵和車輛偏離程度對駕駛員駕駛狀態進行判別，若處於非正常駕駛狀態，則啟動報警。
6.根據權利要求5所述的駕駛員狀態監測系統，其特徵在於，所述人眼定位及運動參數提取單元還用於: 採用自適應閾值二值化的方法獲取人臉區域的二值圖像； 對得到的二值圖像的上半區域進行灰度投影值的水平積分投影，獲得人眼的水平位置； 在定位出的人眼區域內定位瞳孔質心，並利用Kalman濾波方法對人眼進行跟蹤； 計算瞳孔面積判別眼睛的睜閉狀態，獲取人眼參數。
7.根據權利要求6所述的駕駛員狀態監測系統，其特徵在於，所述車道線檢測識別單元具體用於: 對經過預處理的道路圖像進行canny邊緣檢測實現二值化； 對所述道路圖像的二值圖像進行Hough變換直線檢測； 利用水平線檢測方法分析Hough變換檢測到的多條直線，找到直線的消隱點，相交於消隱點的兩條直線即分別為車道線的左右邊界。
8.根據權利要求7所述的駕駛員狀態監測系統，其特徵在於，所述偏離判斷單元具體用於: 根據車道線檢測識別單元中得到的道路邊界和消隱點確定道路邊界的夾角，從而獲得車道中線，即夾角的一半且過消隱點的直線；如果汽車行駛方向與車道中線之間的夾角在預設閾值範圍內，則判斷為汽車屬於正常駕駛狀態，否則判斷為車輛行駛偏離車道。
【文檔編號】G06K9/62GK104021370SQ201410208173
【公開日】2014年9月3日 申請日期:2014年5月16日 優先權日:2014年5月16日
【發明者】張根源, 虞勤, 楊思思, 周泓 申請人:浙江傳媒學院