基於視頻人臉分析的火車司機狀態監控方法及裝置的製作方法
2023-06-07 04:26:11
專利名稱：基於視頻人臉分析的火車司機狀態監控方法及裝置的製作方法
技術領域：
本發明涉及遠程火車司機狀態監控報警系統中的圖像處理、圖像分析、人臉檢測、眼睛圖像分類技術，特別涉及一種基於視頻人臉分析的火車司機狀態監控方法及相關裝置。
背景技術：
火車司機狀態的自動識別與遠程控制技術是鐵路安全監控系統朝著自動化智能化發展的必然趨勢。現有的機車遠程監控系統主要實現機車環境監控視頻的遠程傳輸，無法完成火車司機狀態的自動識別與報警，也無法提供實時的現場提醒。如果司機出現長時間離崗或疲勞等狀態，處於遠程管理中心的安全值班人員又沒有及時發現的話，則很容易造成重大的鐵路安全事故，將會給國家和人民的生命財產安全帶來不可挽回的巨大損失。因此，如何利用先進的視頻圖像分析技術，結合創新的火車司機狀態識別報警流程和處理手段，開發出基於視頻人臉分析的火車司機狀態識別技術對於加強火車司機狀態遠程監控，保證鐵路運行的安全，是一項非常現實而急迫的實際應用需求。
發明內容
本發明的目的在於提供一種基於視頻人臉分析的火車司機狀態監控方法及裝置，能更好地解決現有機車遠程監控系統實際應用中普遍存在自動化水平低、無法提供實時的現場提醒信號等問題。根據本發明的一個方面，提供了一種基於視頻人臉分析的火車司機狀態監控方法，包括實時採集火車司機的監控視頻圖像；對採集到的監控視頻圖像進行人臉檢測，獲取司機臉部圖像或未獲取司機臉部圖像的檢測結果；通過對所述檢測結果進行分析，獲得司機在崗狀態信息；根據所述司機在崗狀態信息，確定司機是否離崗，並在確定司機離崗時，發出司機離崗提醒及報警信息；以及通過對所獲取的司機臉部圖像進行分析，獲得司機疲勞狀態信息；根據所述司機疲勞狀態信息，確定司機是否疲勞，並在確定司機疲勞時，發出司機疲勞提醒及報警信息。優選地，所述的人臉檢測步驟包括利用由級聯在一起的判別人臉特徵的多個強分類器和配置給每個強分類器的輔助判決模塊，依次對所述監控視頻圖像中屬於人臉部分的待檢測圖像進行人臉真假判決；若最後一級強分類器的人臉真假判決結果為真，或者最後一級強分類器的輔助判決模塊的人臉真假判決結果為真，則將該待檢測圖像確定為司機臉部圖像。優選地，某個所述輔助判決模塊在其強分類器的人臉真假判決結果為假時，對所述待檢測圖像進行人臉真假輔助判決，並在人臉真假輔助判決結果為真時，將待檢測圖像送至下一級強分類器進行人臉真假判決。優選地，所述獲得司機在崗狀態信息的步驟包括在預設臉部圖像統計時間內，對所述獲取司機臉部圖像的檢測結果進行統計；將得到的統計結果與預設臉部圖像統計閾值進行比較，並根據比較結果，獲得司機在崗狀態信息。優選地，所述對所獲取的司機臉部圖像進行分析的步驟包括利用角點檢測原理，獲得司機眼睛的左眼角和右眼角的位置，並根據所述左眼角和右眼角的位置，計算司機眼睛的高度、寬度、眼睛中心位置的垂直坐標；利用所述高度、寬度、眼睛中心位置的垂直坐標，精確定位司機眼睛位置，並在所述司機臉部圖像中提取司機眼睛位置的圖像，得到司機眼睛圖像。優選地，所述對所獲取的司機臉部圖像進行分析的步驟還包括對所述司機眼睛圖像的灰度分布進行統計，得到眼睛圖像歸一化直方圖；將所述眼睛圖像歸一化直方圖分別與睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖進行相似性處理，得到眼睛圖像相對睜眼圖像集的睜眼相似度和眼睛圖像相對閉眼圖像集的閉眼相似度；比較所述睜眼相似度和所述閉眼相似度，並根據比較結果，確定所述眼睛圖像是睜眼狀態或閉眼狀態，以便獲取司機疲勞狀態信息。優選地，通過對所述睜眼圖像集和所述閉眼圖像集的灰度分布分別進行統計，得到睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖。優選地，所述對所獲取的司機臉部圖像進行分析的步驟還包括對所述司機眼睛圖像的眼睛閉合度進行分析，將得到的分析結果與預設眼睛閉合度閾值進行比較，並根據比較結果，確定所述司機眼睛圖像是睜眼狀態或閉眼狀態，以便獲取司機疲勞狀態信息。優選地,所述確定司機是否疲勞的步驟包括在預設眼睛狀態統計時間內，根據所述司機疲勞狀態信息，對眼睛圖像的閉眼狀態進行統計；當所得到的閉眼狀態統計結果大於預設閉眼狀態閾值時，或者當預設連續閉眼狀態統計時間內連續檢測到閉眼狀態時，確定司機處於疲勞狀態。根據本發明的另一方面，提供了一種基於視頻人臉分析的火車司機狀態監控裝置，包括視頻採集單元，用於實時採集火車司機的監控視頻圖像；視頻人臉智能分析單元，用於對採集到的監控視頻圖像進行人臉檢測，獲取司機臉部圖像或未獲取司機臉部圖像的檢測結果，通過對所述檢測結果進行分析，獲得司機在崗狀態信息，並根據所述司機崗狀態信息，確定司機是否離崗，以及通過對所獲取的司機臉部圖像進行分析，獲得司機疲勞狀態信息，並根據所述司機疲勞狀態信息，確定司機是否疲勞；現場語音提醒單元，用於在確定司機離崗時，發出司機離崗提醒及報警信息，以及在確定司機疲勞時，發出司機疲勞提醒及報警信息。
與現有技術相比較，本發明的有益效果在於本發明通過對機車監控視頻圖像進行人臉檢測、眼睛定位、眼睛狀態識別、司機疲勞狀態和離崗狀態等分析處理，實現了火車司機狀態的自動識別與報警提醒，從而解決了火車司機狀態的無法自動識別報警與實時現場提醒等問題。
圖1是本發明實施例提供的基於視頻人臉分析的火車司機狀態監控方法原理框圖；圖2是本發明實施例提供的基於視頻人臉分析的火車司機狀態監控裝置的結構框圖；圖3是圖2中視頻人臉智能分析單元的結構框圖；圖4是本發明實施例提供的一維簡單特徵的類型圖；圖5是本發明實施例提供的改進的AdaBoost算法的框架圖；圖6是本發明實施例提供的「三庭五眼」原則的基本原理圖；圖7是本發明實施例提供的一個典型的火車司機狀態監控場景；圖8是本發明實施例提供的採用視頻人臉分析獲得的司機疲勞狀態分析結果示意圖。
具體實施例方式以下結合附圖對本發明的優選實施例進行詳細說明，應當理解，以下所說明的優選實施例僅用於說明和解釋本發明，並不用於限定本發明。本發明公開了 一種基於視頻人臉分析的火車司機狀態監控方法及裝置，利用人臉檢測原理(例如AdaBoost人臉檢測算法)，對實時的監控視頻圖像進行人臉檢測；通過對檢測到的臉部圖像進行分析獲得眼睛圖像；利用灰度直方圖匹配算法對眼睛圖像進行分類，判斷司機眼睛狀態；通過對眼睛狀態進行統計判斷，獲得司機的疲勞狀態，並形成相應的現場提醒和遠程報警信息。此外，通過分析視頻人臉檢測結果，獲得司機的在崗狀態，並形成相應的現場提醒和遠程報警信息。本發明結合視頻人臉分析處理功能和視頻伺服器功能，利用3G無線寬帶模塊，實現了火車司機狀態的遠程自動監控報警功能。圖1是本發明實施例提供的基於視頻人臉分析的火車司機狀態監控方法原理框圖，如圖1所示，步驟包括步驟101、實時採集火車司機的監控視頻圖像。步驟102、對採集到的監控視頻圖像進行人臉檢測，獲取司機臉部圖像或未獲取司機臉部圖像的檢測結果。所述步驟102中，所述的人臉檢測步驟包括利用由級聯在一起的判別人臉特徵的多個強分類器和配置給每個強分類器的輔助判決模塊，依次對所述監控視頻圖像中屬於人臉部分的待檢測圖像進行人臉真假判決；若最後一級強分類器的人臉真假判決結果為真，或者最後一級強分類器的輔助判決模塊的人臉真假判決結果為真，則將該待檢測圖像確定為司機臉部圖像。其中，某個所述輔助判決模塊在其強分類器的人臉真假判決結果為假時，對所述待檢測圖像進行人臉真假輔助判決，並在人臉真假輔助判決結果為真時，將待檢測圖像送至下一級強分類器進行人臉真假判決。步驟103、通過對所述檢測結果進行分析，獲得司機在崗狀態信息。所述步驟103中，所述獲得司機在崗狀態信息的步驟包括在預設臉部圖像統計時間內，對所述獲取司機臉部圖像的檢測結果進行統計；將得到的統計結果與預設臉部圖像統計閾值進行比較，並根據比較結果，獲得司機在崗狀態信息。步驟104、根據所述司機在崗狀態信息，確定司機是否離崗，並在確定司機離崗時，發出司機離崗提醒及報警信息。步驟105、通過對所獲取的司機臉部圖像進行分析，獲得司機疲勞狀態信息。所述步驟105中，所述對所獲取的司機臉部圖像進行分析的步驟包括在所述司機臉部圖像中，初步定位司機眼睛位置；利用角點檢測原理，獲得司機眼睛的左眼角和右眼角的位置，並根據所述左眼角和右眼角的位置，計算司機眼睛的高度、寬度、眼睛中心位置的垂直坐標；利用所述高度、寬度、眼睛中心位置的垂直坐標，精確定位司機眼睛位置，獲取司機眼睛圖像。對所述司機眼睛圖像的灰度分布進行統計，得到眼睛圖像歸一化直方圖；將所述眼睛圖像歸一化直方圖分別與睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖進行相似性處理，得到眼睛圖像相對睜眼圖像集的睜眼相似度和眼睛圖像相對閉眼圖像集的閉眼相似度；比較所述睜眼相似度和所述閉眼相似度，並根據比較結果，確定所述眼睛圖像是睜眼狀態或閉眼狀態，以便獲取司機疲勞狀態信息。其中，所述睜眼圖像集歸一化直方圖和所述閉眼圖像集歸一化直方圖通過對所述睜眼圖像集和所述閉眼圖像集的灰度分布分別進行統計。或者，對所述司機眼睛圖像的眼睛閉合度進行分析，將得到的分析結果與預設眼睛閉合度閾值進行比較，並根據比較結果，確定所述司機眼睛圖像是睜眼狀態或閉眼狀態，以便獲取司機疲勞狀態信息。步驟106、根據所述司機疲勞狀態信息，確定司機是否疲勞，並在確定司機疲勞時，發出司機疲勞提醒及報警信息。所述步驟106中，所述確定司機是否疲勞的步驟包括在預設眼睛狀態統計時間內，根據所述司機疲勞狀態信息，對眼睛圖像的閉眼狀態進行統計；當所得到的閉眼狀態統計結果大於預設閉眼狀態閾值時，或者當預設連續閉眼狀態統計時間內連續檢測到閉眼狀態時，確定司機處於疲勞狀態。圖2顯示了本發明的基於視頻人臉分析的火車司機狀態監控裝置，包括視頻採集單元，用於實時採集火車司機的監控視頻圖像。視頻人臉智能分析單元，用於對採集到的監控視頻圖像進行人臉檢測，獲取司機臉部圖像或未獲取司機臉部圖像的檢測結果，通過對所述檢測結果進行分析，獲得司機在崗狀態信息，並根據所述司機崗狀態信息，確定司機是否離崗，以及通過對所獲取的司機臉部圖像進行分析，獲得司機疲勞狀態信息，並根據所述司機疲勞狀態信息，確定司機是否疲勞。現場語音提醒單元，用於在確定司機離崗時，發出司機離崗提醒及報警信息，以及在確定司機疲勞時，發出司機疲勞提醒及報警信息。也就是說，所述現場語音提醒單元用於根據現場處理結果進行相應的語音提醒及報警等。視頻編解碼與傳輸單元，用於將所述視頻採集單元採集的現場司機的監控視頻圖像進行H. 264編碼，並通過網絡接口進行傳輸，提供遠程視頻監控功能。報警信息遠程傳輸單元，用於將現場形成的提醒及報警信息通過網絡接口傳到監控中心。遠程控制與語音對講單元，用於遠程監控中心對裝置進行遠程控制，並用於監控中心與火車司機的語音對講。無線寬帶網絡單元，用於將現場監控視頻圖像和提醒及報警信息進行無線網絡傳輸，主要包括3G無線模塊和嵌入式驅動。圖3顯示了圖2中的視頻人臉智能分析單元的結構，所述視頻人臉智能分析單元通過對實時的監控視頻圖像進行處理，獲得司機的疲勞狀態和在崗狀態，並形成相應的現場提醒和遠程報警信息，其包括人臉檢測單元，用於對監控視頻圖像進行人臉檢測處理，獲得圖像中的司機臉部圖像。眼睛定位單元，用於對司機臉部圖像進行分析，定位和提取眼睛圖像。眼睛狀態識別單元，用於通過對眼睛圖像進行灰度直方圖匹配，獲得眼睛狀態。司機狀態分析單元，用於對設定時間內的司機眼睛狀態進行統計分析，獲得司機的疲勞狀態；通過對設定時間內監控視頻圖像中檢測到人臉的圖像幀數進行統計獲得司機的在崗狀態。下面結合附圖4至圖6對本發明進行詳細說明—、對實時採集的監控視頻圖像進行人臉檢測，獲得司機的臉部圖像。
本發明利用由級聯在一起的判別人臉特徵的多個強分類器和配置給每個強分類器的輔助判決模塊，依次對所述監控視頻圖像中屬於人臉部分的待檢測圖像進行人臉真假判決；若最後一級強分類器的人臉真假判決結果為真，或者最後一級強分類器的輔助判決模塊的人臉真假判決結果為真，則將該待檢測圖像確定為司機臉部圖像。其中，某個所述輔助判決模塊在其強分類器的人臉真假判決結果為假時，對所述待檢測圖像進行人臉真假輔助判決，並在人臉真假輔助判決結果為真時，將待檢測圖像送至下一級強分類器進行人臉真假判決。以AdaBoost人臉檢測原理為例,所述AdaBoost人臉檢測原理是一種基於積分圖、級聯檢測器和AdaBoost算法的人臉檢測原理，其基本思想是將大量的分類能力一般的弱分類器通過一定方法疊加起來，構成一個強分類器。AdaBoost人臉檢測原理用於人臉檢測時，從人臉圖像中抽取大量的不同尺度和位置的一維簡單特徵構成弱分類器。這些簡單特徵構成的分類器都有一定的人臉和非人臉區分性，最終的分類系統使用數千個這樣的一維簡單特徵分類器組合起來達到很好的分類效果，如圖4所示，給出了這些一維簡單特徵的類型。所述AdaBoost算法描述如下已知有η個訓練樣本(X1, y2)，. . .，(xn, yn)的訓練集，其中
Io 負樣本 H⑴
y^ii正樣本1=1』2一n⑴在訓練樣本中，共有I個正樣本，m個負樣本，待分類物體有k個不同尺度和位置的簡單特徵，表示為A(x)，其中I < j < k。對於第i個樣本Xi，它的特徵為{fj (X)，f2 (X)，· · ·，fj (X)，· · ·，fk (X)}(2)對應於每個輸入特徵&都有一個簡單的二值分類器。第j個特徵的弱分類器由一個閾值Θ P —個特徵A和一個指示不等式方向的偏置P」構成
權利要求
1.基於視頻人臉分析的火車司機狀態監控方法，其特徵在於，包括 實時採集火車司機的監控視頻圖像； 對採集到的監控視頻圖像進行人臉檢測，獲取司機臉部圖像或未獲取司機臉部圖像的檢測結果； 通過對所述檢測結果進行分析，獲得司機在崗狀態信息； 根據所述司機在崗狀態信息，確定司機是否離崗，並在確定司機離崗時，發出司機離崗提醒及報警信息；以及 通過對所獲取的司機臉部圖像進行分析，獲得司機疲勞狀態信息； 根據所述司機疲勞狀態信息，確定司機是否疲勞，並在確定司機疲勞時，發出司機疲勞提醒及報警信息。
2.根據權利要求1所述的方法，其特徵在於，所述的人臉檢測步驟包括 利用由級聯在一起的判別人臉特徵的多個強分類器和配置給每個強分類器的輔助判決模塊，依次對所述監控視頻圖像中屬於人臉部分的待檢測圖像進行人臉真假判決； 若最後一級強分類器的人臉真假判決結果為真，或者最後一級強分類器的輔助判決模塊的人臉真假判決結果為真，則將該待檢測圖像確定為司機臉部圖像。
3.根據權利要求2所述的方法，其特徵在於，某個所述輔助判決模塊在其強分類器的人臉真假判決結果為假時，對所述待檢測圖像進行人臉真假輔助判決，並在人臉真假輔助判決結果為真時，將待檢測圖像送至下一級強分類器進行人臉真假判決。
4.根據權利要求1所述的方法，其特徵在於，所述獲得司機在崗狀態信息的步驟包括 在預設臉部圖像統計時間內，對所述獲取司機臉部圖像的檢測結果進行統計； 將得到的統計結果與預設臉部圖像統計閾值進行比較，並根據比較結果，獲得司機在崗狀態信息。
5.根據權利要求1所述的方法，其特徵在於，所述對所獲取的司機臉部圖像進行分析的步驟包括 利用角點檢測原理，獲得司機眼睛的左眼角和右眼角的位置，並根據所述左眼角和右眼角的位置，計算司機眼睛的高度、寬度、眼睛中心位置的垂直坐標； 利用所述高度、寬度、眼睛中心位置的垂直坐標，精確定位司機眼睛位置，並在所述司機臉部圖像中提取司機眼睛位置的圖像，得到司機眼睛圖像。
6.根據權利要求5所述的方法，其特徵在於，所述對所獲取的司機臉部圖像進行分析的步驟還包括 對所述司機眼睛圖像的灰度分布進行統計，得到眼睛圖像歸一化直方圖； 將所述眼睛圖像歸一化直方圖分別與睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖進行相似性處理，得到眼睛圖像相對睜眼圖像集的睜眼相似度和眼睛圖像相對閉眼圖像集的閉眼相似度； 比較所述睜眼相似度和所述閉眼相似度，並根據比較結果，確定所述眼睛圖像是睜眼狀態或閉眼狀態，以便獲取司機疲勞狀態信息。
7.根據權利要求6所述的方法，其特徵在於，通過對所述睜眼圖像集和所述閉眼圖像集的灰度分布分別進行統計，得到睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖。
8.根據權利要求5所述的方法，其特徵在於，所述對所獲取的司機臉部圖像進行分析的步驟還包括 對所述司機眼睛圖像的眼睛閉合度進行分析，將得到的分析結果與預設眼睛閉合度閾值進行比較，並根據比較結果，確定所述司機眼睛圖像是睜眼狀態或閉眼狀態，以便獲取司機疲勞狀態信息。
9.根據權利要求6或8所述的方法，其特徵在於，所述確定司機是否疲勞的步驟包括 在預設眼睛狀態統計時間內，根據所述司機疲勞狀態信息，對眼睛圖像的閉眼狀態進行統計； 當所得到的閉眼狀態統計結果大於預設閉眼狀態閾值時，或者當預設連續閉眼狀態統計時間內連續檢測到閉眼狀態時，確定司機處於疲勞狀態。
10.基於視頻人臉分析的火車司機狀態監控裝置，其特徵在於，包括 視頻採集單元，用於實時採集火車司機的監控視頻圖像； 視頻人臉智能分析單元，用於對採集到的監控視頻圖像進行人臉檢測，獲取司機臉部圖像或未獲取司機臉部圖像的檢測結果，通過對所述檢測結果進行分析，獲得司機在崗狀態信息，並根據所述司機崗狀態信息，確定司機是否離崗，以及通過對所獲取的司機臉部圖像進行分析，獲得司機疲勞狀態信息，並根據所述司機疲勞狀態信息，確定司機是否疲勞；現場語音提醒單元，用於在確定司機離崗時，發出司機離崗提醒及報警信息，以及在確定司機疲勞時，發出司機疲勞提醒及報警信息。
全文摘要
本發明公開一種基於視頻人臉分析的火車司機狀態監控方法及裝置，方法包括實時採集火車司機的監控視頻圖像；對採集到的監控視頻圖像進行人臉檢測，得到獲取司機臉部圖像或未獲取司機臉部圖像的檢測結果；通過對所述檢測結果進行分析，獲得司機在崗狀態信息；根據所述司機在崗狀態信息，確定司機是否離崗，並在確定司機離崗時，發出司機離崗提醒及報警信息；以及通過對所獲取的司機臉部圖像進行分析，獲得司機疲勞狀態信息；根據所述司機疲勞狀態信息，確定司機是否疲勞，並在確定司機疲勞時，發出司機疲勞提醒及報警信息。本發明能夠完成火車司機狀態的自動識別與報警提醒，實現了火車司機狀態的自動識別報警與實時現場提醒。
文檔編號G06K9/00GK103065121SQ20121054048
公開日2013年4月24日 申請日期2012年12月13日 優先權日2012年12月13日
發明者李秋華, 杜鷁, 任芳 申請人:李秋華, 杜鷁, 任芳