一種基於LTE‑R網絡的列車司機監控系統及裝置的製作方法

2023-05-21 14:45:36 2

本發明屬於列車安全技術領域，特別涉及一種基於lte-r網絡的列車司機監控系統及裝置。

背景技術：

隨著通信行業的不斷發展，lte網絡已經步入到大眾的日常生活中，而lte-r網絡也是未來鐵路通信領域的發展方向。lte-r網絡在完成核心控制業務的同時，如何利用其數據功能，實現更廣闊的應用是未來的研究方向。

為保證列車行駛安全，需要對列車司機的工作狀態加以監控和識別。目前，列車上廣泛使用一種腳踏板形式的硬體設備，用以識別司機是否離開、睡覺等情況。雖然這種設備在實踐中很好地實現了預定要求，但是由於先天的缺陷，這類設備還無法實現從控制中心實時監控、控制和提醒司機的功能，而lte-r網絡在這方面可以發揮其潛力，彌補現有設備的缺陷。

lte-r技術是一種基於lte的，為鐵路通信建立的網絡。3gppr13定義了lte-r的核心技術，使用了正交頻分多址接入技術(ofdma)和多路進出技術(mimo)等技術手段，其具有高速的數據傳輸功能，業務速率超過100mb/s，能夠滿足視頻傳輸的要求。

技術實現要素：

本發明提供一種基於lte-r網絡的列車司機監控系統及裝置，以適應lte-r網絡在列車運行控制中的應用，提升列車安全運行控制技術等級。

一種基於lte-r網絡的列車司機監控系統，監控系統包括位於列車駕駛室客戶端的實時監控識別器和位於列車控制中心伺服器端的控制器，其中包括步驟：

實時監控識別器設有具備自動對焦功能的攝像頭，列車運行後該攝像頭以預設的頻率不斷獲取列車司機臉部圖像，實時監控識別器對所述列車司機臉部圖像進行處理；

當實時監控識別器認為列車司機處於離開、睡眠和走神狀態時，將實時視頻通過lte-r網絡傳輸到伺服器端的控制器，由人工判斷司機的工作狀態，並作出是否需要預警的判斷，判斷結果通過lte-r網絡傳送回客戶端的實時監控識別器；

客戶端的實時監控識別器根據服務端的控制器傳送的判斷結果，當需要預警時，對司機發出預警。

還包括步驟，實時監控識別器對所述列車司機臉部圖像進行處理後，計算列車司機眼珠與眼角在清醒狀態下的距離關係；

當連續多幀沒有檢測到所述列車司機人臉時，則認為司機處於離開狀態；

當長時間識別不到列車司機黑眼珠，但能識別到列車司機鼻子和嘴角時，則認為處於閉眼狀態，認為司機處於睡眠狀態；如果只是個別非連續的幀檢測不到黑眼珠，則認為司機只是眨眼，非睡眠狀態。

當發現列車司機左右眼珠對於眼角的相對位置長時間沒有發生變化，則認為沒有檢測到眼動，則認為司機處於走神狀態。

這裡所述的長時間是指一個時長，該時長超出了人在清醒時的一個合理時間長度。

實時監控識別器對所述列車司機臉部圖像進行的處理包括圖像預處理，圖像預處理包括步驟：

濾波去噪聲，降低噪聲帶來失真和降質；

尺度歸一化，將尺寸各不相同的人臉圖像變換為統一的標準尺寸圖像以便於人臉特徵的提取；

灰度歸一化，對於彩色的臉像,行灰度化處理；

灰度均衡化，對人臉圖像進行灰度均衡化處理，其作用是增強人臉圖像的整體對比度,並使灰度分布均勻,以消除光照變化的影響。

實時監控識別器對所述列車司機臉部圖像進行的處理還包括：人臉特徵提取，提取出人臉兩隻眼睛的左右眼角、眼珠中心位置、鼻子和嘴角位置。

實時監控識別器計算所述列車司機兩隻眼珠相對左眼角的距離。

攝像頭以固定的幀率獲取列車司機的臉部圖像。

實時監控識別器對攝像頭獲取的列車司機的臉部圖像進行膚色檢測，截取具有膚色的人臉圖像。

一種基於lte-r網絡的列車司機監控裝置，該監控裝置是一臺位於列車駕駛室的實時監控識別器，實時監控識別器設有具備自動對焦功能的攝像頭，

列車運行後實時監控識別器執行以下步驟：

控制攝像頭以預設的頻率不斷獲取列車司機臉部圖像，實時監控識別器對所述列車司機臉部圖像進行處理；預設頻率建議高於每秒5幀。

當實時監控識別器認為列車司機處於離開、睡眠和走神狀態時，將實時視頻通過lte-r網絡傳輸到位於列車控制中心伺服器端的控制器，由人工判斷司機的工作狀態，並作出是否需要預警的判斷，判斷結果通過lte-r網絡傳送回客戶端的實時監控識別器；

客戶端的實時監控識別器根據服務端的控制器傳送的判斷結果，當需要預警時，對司機發出預警。

實時監控識別器對所述列車司機臉部圖像進行處理後，計算列車司機眼珠與眼角在清醒狀態下的距離關係；

當連續多幀沒有檢測到所述列車司機人臉時，則認為司機處於離開狀態；

當長時間識別不到列車司機黑眼珠，但能識別到列車司機鼻子和嘴角時，則認為處於閉眼狀態，認為司機處於睡眠狀態；如果只是個別非連續的幀檢測不到黑眼珠，則認為司機只是眨眼，非睡眠狀態。

當發現列車司機左右眼珠對於眼角的相對位置長時間沒有發生變化，則認為沒有檢測到眼動，則認為司機處於走神狀態。

這裡所述的長時間是指一個時長，該時長超出了人在清醒時的一個合理時間長度。

實時監控識別器對所述列車司機臉部圖像進行的處理包括圖像預處理，圖像預處理包括步驟：

濾波去噪聲，降低噪聲帶來失真和降質；

尺度歸一化，將尺寸各不相同的人臉圖像變換為統一的標準尺寸圖像以便於人臉特徵的提取；

灰度歸一化，對於彩色的臉像,行灰度化處理；

灰度均衡化，對人臉圖像進行灰度均衡化處理，其作用是增強人臉圖像的整體對比度,並使灰度分布均勻,以消除光照變化的影響。

眼動判斷

眨眼判斷：

本發明技術方案是利用列車操作臺上的攝像頭，實時監控司機工作狀態，根據司機的眼動數據、異常眨眼情況識別司機是否睡覺或者走神。如果判斷顯示司機狀態異常，系統則獲取並發送司機的實時視頻到伺服器，交由控制中心人工識別。根據結果人工識別結果，確定是否發出提醒司機的信號。本發明基於lte-r的高速數據傳輸技術和人臉識別技術，由本地判斷當司機存在危險作業的風險時，提供實時數據，由控制中心進行二次確認。

本發明基於人臉識別技術，並基於如下知識：

1)監控器攝像頭能夠監控整個操作臺，當司機沒有離開操作臺時，司機的面部都能出現在監控畫面上；

2)當人睡覺時，眼瞼處於閉合狀態，且持續一定時間，該持續時間為10s以上。就是說當司機眼瞼超過10s處於閉合狀態時，則認為司機可能處於睡覺狀態。

3)人在正常狀態下看東西的時候，黑眼珠相對於眼角位置總是不停變化的，如果相對位置發生變化，則認為眼睛存在正常眼動。如果左右眼珠相對於左右眼角的位置超過一定時間保持不變時，則認為沒有檢測到眼動，可能走神。

本發明的有益技術效果包括：

1.使用人臉識別技術，判斷眼動、眨眼等動作，提高了識別的準確性；

2.由控制中心進行二次確認，提高了準確性；

3.視頻數據實時傳輸，提供了實時性；

4.不增加額外的硬體，有利於降低成本。

附圖說明

圖1是本發明實施例中系統對於列車司機人臉圖像處理流程圖。

具體實施方式

以下結合附圖1對本發明的具體實施方式做進一步說明：

本發明系統分為實時監控識別端(客戶端)和控制端(伺服器端)。客戶端具有高清攝像頭，能夠自動對焦。客戶端在列車運行時自動打開。服務端具有顯示器，鍵盤滑鼠等輸入設備。伺服器端處於常開狀態。

客戶端攝像頭以固定的幀率獲取列車員臉部數據。客戶端軟體經過人臉檢測定位，人臉圖像預處理後，提取眼角坐標，眼珠中心坐標，並計算出眼珠相對左眼角的距離關係；如果人臉檢測失敗，則可認為司機離開。如果超過一定時間識別不到眼珠，但能識別到鼻子，嘴角，則可認為司機處於睡眠狀態。

客戶端檢測人臉時，自動對焦，拍攝照片或者視頻。接著逐幀識別照相數據，進行膚色檢測，截取具有膚色的人臉部分圖像，根據幾何特徵，進行人臉檢測定位。如果人臉檢測失敗，則可認為司機離開。

客戶端對司機人臉圖像預處理包括：

濾波去噪聲，降低噪聲帶來失真和降質；

尺度歸一化，其思想是將尺寸各不相同的人臉圖像變換為統一的標準尺寸圖像以便於人臉特徵的提取；

灰度歸一化，對於彩色的臉像,對其進行灰度化處理；灰度均衡化，由於在圖像採集中光照的改變容易導致圖像呈現不同的明暗程度,因此需要對人臉圖像進行灰度均衡化處理。灰度均衡化,其作用是增強人臉圖像的整體對比度,並使灰度分布均勻,以消除光照變化的影響。

客戶端對司機人臉圖像處理包括：

人臉特徵提取：提取出兩隻眼睛的左右眼角，眼珠中心位置，鼻子，嘴角等；

記錄兩隻眼珠相對左眼角的距離關係；

如果超過一定時間識別不到眼珠，但能識別到鼻子，嘴角，則可認為司機處於睡眠狀態，不斷記錄並比較眼珠相對位置。超過一定時間，眼珠位置沒有發生變化，則可以認為司機走神；

當檢測到司機處於離開、睡眠、走神狀態時，客戶端將實時視頻通過lte-r網絡傳遞到服務端；

服務端人工判斷司機工作狀態，並作出是否需要預警的判斷。判斷結果通過lte-r網絡傳送到客戶端；

客戶端根據服務端的判斷結果，如果需要預警，則對司機發出預警。