一種轎廂式電梯內乘客行為識別方法、系統及電子設備

2023-08-10 21:03:03

1.本發明涉及行為識別技術領域，特別是涉及一種轎廂式電梯內乘客行為識別方法、系統及電子設備。


背景技術：

2.隨著轎廂式電梯的大量使用，電梯的一些安全問題越來越引起人們的關注。近年來，有關乘客在電梯轎廂內做出危險行為(比如扒電梯門)從而導致電梯發生安全事故的報導時有發生，這些行為一方面會影響電梯的安全運行，另一方面可能會威脅到乘客的人身安全。
3.雖然目前轎廂式電梯內大都配監控攝像頭，但監控攝像頭通常用於檢測電梯流量。針對電梯內乘客危險行為識別問題，只有少數電梯內安裝語音廣播模塊，安排工作人員在監控室內進行值班，根據電梯轎廂內的實時情況通過語音廣播模塊進行提醒並在事故發生後聯繫救援，但是商場和小區等客流量大的場所設置有多個轎廂式電梯且發生事故的頻率高，監控室內多個轎廂式電梯的監控視頻通常只安排一到兩個值班安保人員查看，值班安保人員無法長時間兼顧多個電梯內乘客做出的危險行為並提醒，同時對於事故也無法即使甄別並作出反應，提醒不及時使得危險行為長時間累積會加速電梯的衰老及故障率的提升，導致突發性的電梯故障頻發，影響商業經營，直接或者間接產生經濟損失。


技術實現要素：

4.本發明的目的是提供一種轎廂式電梯內乘客行為識別方法、系統及電子設備，能夠準確識別轎廂式電梯內乘客的危險行為，進而提高電梯運行的安全性。
5.為實現上述目的，本發明提供了如下方案：
6.一種轎廂式電梯內乘客行為識別方法，包括：
7.獲取轎廂式電梯內監控視頻；
8.利用目標檢測模型和目標跟蹤算法在所述監控視頻中截取乘客視頻段；所述目標檢測模型是根據多個轎廂式電梯的標註後的歷史監控視頻，對yolov5神經網絡進行訓練後得到的；
9.將所述乘客視頻段輸入到行為識別模型中，得到乘客視頻段中乘客的行為類別；所述行為識別模型是利用多個標註後的歷史乘客視頻段，對改進後的slowfast神經網絡進行訓練得到的；所述改進後的slowfast神經網絡是將slowfast神經網絡中的卷積替換為非局部卷積後得到的。
10.可選的，在所述將所述乘客視頻段輸入到行為識別模型中，得到乘客視頻段中乘客的行為類別之後，還包括：
11.根據乘客的行為類別確定是否控制對應轎廂式電梯發出警報信號。
12.可選的，所述利用目標檢測模型和目標跟蹤算法在所述監控視頻中截取乘客視頻段，包括：
13.將所述監控視頻進行分幀處理，得到監控視頻幀序列；
14.將所述監控視頻幀序列輸入到目標檢測模型中，識別監控視頻出現的乘客；
15.利用目標跟蹤算法分別跟蹤監控視頻出現的每個乘客，確定出現幀數大於幀數閾值的乘客對應的多個連續視頻幀為乘客視頻段。
16.可選的，所述目標跟蹤算法為deepsort算法。
17.可選的，在所述獲取轎廂式電梯內監控視頻之前，還包括：
18.獲取多個轎廂式電梯的歷史監控視頻；
19.對多個所述歷史監控視頻均進行分幀，得到多個歷史監控視頻幀；
20.對多個歷史監控視頻幀中的乘客分別進行標註，得到多個標註歷史監控視頻幀；
21.以多個所述標註歷史監控視頻幀為輸入，以標註歷史監控視頻幀中標註的乘客為輸出，對yolov5神經網絡進行訓練，得到所述目標檢測模型。
22.可選的，在所述獲取轎廂式電梯內監控視頻之前，還包括：
23.將slowfast神經網絡中的卷積替換為非局部卷積，得到改進後的slowfast神經網絡；
24.獲取多個歷史乘客視頻段；
25.分別對每個歷史乘客視頻段中的乘客行為類別進行標註；
26.以所述歷史乘客視頻段為輸入，以乘客行為類別為輸出，對改進後的slowfast神經網絡進行訓練，得到行為識別模型。
27.一種轎廂式電梯內乘客行為識別系統，包括：
28.監控視頻獲取模塊，用於獲取轎廂式電梯內監控視頻；
29.目標檢測模塊，用於利用目標檢測模型和目標跟蹤算法在所述監控視頻中截取乘客視頻段；所述目標檢測模型是根據多個轎廂式電梯的標註後的歷史監控視頻，對yolov5神經網絡進行訓練後得到的；
30.行為類別確定模塊，用於將所述乘客視頻段輸入到行為識別模型中，得到乘客視頻段中乘客的行為類別；所述行為識別模型是利用多個標註後的歷史乘客視頻段，對改進後的slowfast神經網絡進行訓練得到的；所述改進後的slowfast神經網絡是將slowfast神經網絡中的卷積替換為非局部卷積後得到的。
31.一種電子設備，包括存儲器及處理器，所述存儲器用於存儲電腦程式，所述處理器運行所述電腦程式以使所述電子設備執行所述的一種轎廂式電梯內乘客行為識別方法。
32.可選的，所述存儲器為可讀存儲介質。
33.根據本發明提供的具體實施例，本發明公開了以下技術效果：
34.本發明提供了一種轎廂式電梯內乘客行為識別方法、系統及電子設備，獲取轎廂式電梯內監控視頻；利用目標檢測模型和目標跟蹤算法在監控視頻中截取乘客視頻段；目標檢測模型是根據多個轎廂式電梯的標註後的歷史監控視頻，對yolov5神經網絡進行訓練後得到的；將乘客視頻段輸入到行為識別模型中，得到乘客視頻段中乘客的行為類別；行為識別模型是利用多個標註後的歷史乘客視頻段，對改進後的slowfast神經網絡進行訓練得到的；改進後的slowfast神經網絡是將slowfast神經網絡中的卷積替換為非局部卷積後得到的。本發明通過構建目標檢測模型和行為識別模型，能夠準確識別轎廂式電梯內乘客的
危險行為，進而提高電梯運行的安全性。
附圖說明
35.為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。
36.圖1為本發明實施例1中轎廂式電梯內乘客行為識別方法流程圖；
37.圖2為本發明實施例1中行為識別模型訓練流程圖；
38.圖3為本發明實施例1中行為識別模型使用方法流程圖；
39.圖4為本發明實施例1中非局部卷積計算流程圖；
40.圖5為本發明實施例1中改進後的slowfast神經網絡計算流程圖。
具體實施方式
41.下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
42.本發明的目的是提供一種轎廂式電梯內乘客行為識別方法、系統及電子設備，能夠準確識別轎廂式電梯內乘客的危險行為，進而提高電梯運行的安全性。
43.為使本發明的上述目的、特徵和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本發明作進一步詳細的說明。
44.實施例1
45.如圖1和圖3所示，本實施例提供了一種轎廂式電梯內乘客行為識別方法，包括：
46.步驟101：獲取轎廂式電梯內監控視頻。
47.步驟102：利用目標檢測模型和目標跟蹤算法在監控視頻中截取乘客視頻段；目標檢測模型是根據多個轎廂式電梯的標註後的歷史監控視頻，對yolov5神經網絡進行訓練後得到的。其中，目標跟蹤算法為deepsort算法。
48.例如，步驟102包括：
49.步驟1021：將監控視頻進行分幀處理，得到監控視頻幀序列.
50.步驟1022：將監控視頻幀序列輸入到目標檢測模型中，識別監控視頻出現的乘客。
51.步驟1023：利用目標跟蹤算法分別跟蹤監控視頻出現的每個乘客，確定出現幀數大於幀數閾值的乘客對應的多個連續視頻幀為乘客視頻段。
52.具體的，獲取位於轎廂式電梯內的監控攝像頭拍攝的含有乘客的視頻段，利用這些視頻段來生成訓練集以及驗證集。對視頻段的每一幀圖像使用yolov5網絡框選出圖中所有乘客並使用deepsort算法進行跟蹤，比如跟蹤乘客a，在視頻中的動作起始幀一直到結束幀間的視頻段截取出來，同時該視頻段的類別就標記為乘客a的行為類別。然後將所有的樣本按照9：1的比例分為原始訓練集和原始驗證集。
53.步驟103：將乘客視頻段輸入到行為識別模型中，得到乘客視頻段中乘客的行為類
別；行為識別模型是利用多個標註後的歷史乘客視頻段，對改進後的slowfast神經網絡進行訓練得到的；改進後的slowfast神經網絡是將slowfast神經網絡中的卷積替換為非局部卷積後得到的；改進後的slowfast神經網絡如圖4和圖5所示。
54.步驟104：根據乘客的行為類別確定是否控制對應轎廂式電梯發出警報信號。
55.如圖2，本實施例提供的轎廂式電梯內乘客行為識別方法，在步驟101之前還包括：步驟105-步驟108。
56.步驟105：獲取多個轎廂式電梯的歷史監控視頻；
57.步驟106：對多個歷史監控視頻均進行分幀，得到多個歷史監控視頻幀；
58.步驟107：對多個歷史監控視頻幀中的乘客分別進行標註，得到多個標註歷史監控視頻幀；
59.步驟108：以多個標註歷史監控視頻幀為輸入，以標註歷史監控視頻幀中標註的乘客為輸出，對yolov5神經網絡進行訓練，得到目標檢測模型。
60.此外，本實施例提供的轎廂式電梯內乘客行為識別方法，在步驟101之前還包括：步驟109-步驟1012。
61.步驟109：將slowfast神經網絡中的卷積替換為非局部卷積，得到改進後的slowfast神經網絡。
62.步驟1010：獲取多個歷史乘客視頻段。
63.步驟1011：分別對每個歷史乘客視頻段中的乘客行為類別進行標註。
64.步驟1012：以歷史乘客視頻段為輸入，以乘客行為類別為輸出，對改進後的slowfast神經網絡進行訓練，得到行為識別模型。
65.由於訓練集規模有限，通過在已有訓練集的基礎上進行數據擴增以模擬更多的現實場景，可以有效提高數據的豐富性以及最終訓練模型的泛化性。數據擴增方法除了slowfast網絡本身的擴充方法外本發明根據轎廂式電梯的特殊情況增加了如下的數據擴增方法：
66.(1)添加噪聲：給訓練集中視頻添加高斯噪聲，高斯噪聲是指它的概率密度函數服從高斯分布的一類噪聲。如果一個噪聲，它的幅度分布服從高斯分布，而它的功率譜密度又是均勻分布的，則稱它為高斯白噪聲。給訓練集中視頻添加椒鹽噪聲，椒鹽噪聲是指兩種噪聲，一種是鹽噪聲，另一種是胡椒噪聲。鹽＝白色(0)，胡椒＝黑色(255)。前者是高灰度噪聲，後者屬於低灰度噪聲。一般兩種噪聲同時出現，呈現在圖像上就是黑白雜點。
67.(2)直方圖均衡化：直方圖均衡化是一種簡單有效的圖像增強技術，通過改變圖像的直方圖來改變圖像中各像素的灰度，主要用於增強動態範圍偏小的圖像的對比度。原始圖像由於其灰度分布可能集中在較窄的區間，造成圖像不夠清晰。例如，過曝光圖像的灰度級集中在高亮度範圍內，而曝光不足將使圖像灰度級集中在低亮度範圍內。採用直方圖均衡化，可以把原始圖像的直方圖變換為均勻分布(均衡)的形式，這樣就增加了像素之間灰度值差別的動態範圍，從而達到增強圖像整體對比度的效果。換言之，直方圖均衡化的基本原理是：對在圖像中像素個數多的灰度值(即對畫面起主要作用的灰度值)進行展寬，而對像素個數少的灰度值(即對畫面不起主要作用的灰度值)進行歸併，從而增大對比度，使圖像清晰，達到增強的目的。
68.(3)mosaic操作：由於電梯中人體的位置變化不會很大，因此提出了mosaic操作，
其思路是利用yolov5網絡截取不同視頻中的乘客，比如截取乘客a，b,c，d，然後將視頻中的乘客的每一幀拼成一幀作為訓練數據這樣做的好處是豐富了視頻的背景，增加了訓練處的網絡的健壯性。
69.利用數據擴增後的訓練集訓練提出的改進的slowfast網絡，該網絡的具體改進如下：改進後的slowfast從整個視頻中稀疏地採樣一系列短片段，每個片段都將給出其本身對於行為類別的初步預測，從這些片段的「共識」來得到視頻級的預測結果。在學習過程中，通過迭代更新模型參數來優化視頻級預測的損失值。首先將給定的視頻等分，再進行後續處理。假設將視頻等分為k個片段，slowfast網絡慢通道的採樣幀數為t，則改進的slowfast網絡慢通道的時間長度為t/k，同時保持原slowfast網絡的其餘條件不變。不同片段的類別得分採用段共識函數進行融合來產生段共識，這是一個視頻級的預測。然後對所有模式的預測融合產生最終的預測結果。具體來說，給定一段視頻v，把它按相等間隔分為k段{s
1,s2,
...sk}。接著改進後slowfast按如下方式對一系列片段進行建模：
70.slowfast((s1,t1),(s
2,
t2),...(s
k,
tk))＝h(g(f(s
1,
t1；w),f(s
2,
t2；w),...f(s
k,
tk；w)))。
71.其中tk為從sk中隨機抽取的t幀圖像的集合。f(sk,tk；w)函數代表採用w作為參數的卷積網絡作用於(s
k,
tk)視頻組，函數返回(s
k,
tk)相對於所有類別的得分。段共識函數g結合多個短片段的類別得分輸出以獲得他們之間關於類別假設的共識。基於這個共識預測函數h預測整段視頻屬於每個行為類別的概率。其中，(s
k,
tk)組成一個視頻組輸入到slowfast網絡中。w是訓練後slowfast網絡的參數。f(sk,tk；w)函數代表採用w作為參數的卷積網絡作用於(sk,tk)視頻組，函數f返回(sk,tk)相對於所有類別的得分。g為段共識函數，其作用是段共識函數g結合多個短片段的類別得分輸出以獲得他們之間關於類別假設的共識分數。基於這個共識預測函數h預測整段視頻屬於每個行為類別的概率。
72.將普通卷積替換為非局部卷積。傳統的卷積神經網絡(cnn)和全連接神經網絡(dnn)中，卷積層的計算只是將周圍的特徵加權加和，且一般當前層的計算只依賴前一層的結果，現在網絡大多使用1
×
1或3
×
3尺寸的卷積核，對長距離相關特徵的提取不足。空洞卷積和可變形卷積都增加了感受野，但是增加的幅度都是有限的。非局部卷積最初是用來處理視頻圖像分類任務中捕捉遠距離像素之間的依賴關係的。傳統的網絡一般通過多次重複卷積操作來增加感受野，以捕捉遠距離像素之間的依賴關係，但具有計算效率低、優化困難等問題。非局部卷積將一個位置處的響應表示為輸入特徵圖中各個位置的特徵的加權平均。非局部操作根據輸入的相似性聚合輸入的信息，定義如下：
73.其中，i為待計算響應的輸出位置時間的索引，j為所有可能位置的索引。x(包括xi和xj)表示輸入信號，y為與x大小相同的輸出信號。函數f是用來計算待計算響應的輸出位置時間的索引i和所有可能關聯的位置j之間的關係。g(.)表示計算輸入信號所在位置j處的特徵值。c(.)表示歸一化參數。非局部卷積如圖3所示。
74.利用數據擴增後的訓練集訓練改進的slowfast網絡，訓練中採用adam優化方法以及0.001的初始學習率進行訓練，每10個epoch使用驗證集驗證一次當前模型的性能，並選取前100個epoch中驗證集準確率最高的模型參數作為預測模型。
75.最後，使用訓練好的改進slowfast網絡對待測視頻進行行為分類：首先獲取位於
轎廂式電梯內的監控攝像頭拍攝的含有乘客的視頻段。對視頻段的每一幀圖像使用yolov5網絡框選出圖中所有乘客並使用deepsort算法進行跟蹤，比如跟蹤乘客a，在視頻中跟蹤乘客a，但屬於乘客a的幀數到達設定閾值時，對乘客a的視頻進行下採樣後輸入訓練好的slowfast網絡進行分類。
76.本實施例將目標檢測網絡與行為識別網絡相結合，首先利用目標檢測網絡將轎廂式電梯中每個乘客識別出來，然後利用將每個乘客從視頻數據從提取出來，輸入到行為識別網絡中，利用行為識別網絡將乘客的危險行為篩選出來。對行為識別網絡slowfast網絡進行了改進，slowfast網絡本身對短期行為的建模能力較強，但是對於長期行為的建模能力較差，本來利用tsn網絡的優點，將乘客的行為視頻分段，將分段的視頻分別輸入到權重共享的slowfast網絡中，然後利用每個slowfast網絡對分段的的行為視頻輸出的分類分數，利用共識預測函數輸出整個行為視頻的分類分數。針對轎廂式電梯光線變化較大，電梯監控噪聲較大，乘客在電梯中的位置相對變化較小的特點，在slowfast網絡本身的數據擴充技術的基礎上，引入了添加高斯和椒鹽噪聲、直方圖均衡化數據擴充技術，提高了乘客行為識別的精度。
77.實施例2
78.為了執行上述實施例一對應的方法，以實現相應的功能和技術效果，下面提供了一種轎廂式電梯內乘客行為識別系統，包括：
79.監控視頻獲取模塊，用於獲取轎廂式電梯內監控視頻。
80.目標檢測模塊，用於利用目標檢測模型和目標跟蹤算法在監控視頻中截取乘客視頻段；目標檢測模型是根據多個轎廂式電梯的標註後的歷史監控視頻，對yolov5神經網絡進行訓練後得到的。
81.行為類別確定模塊，用於將乘客視頻段輸入到行為識別模型中，得到乘客視頻段中乘客的行為類別；行為識別模型是利用多個標註後的歷史乘客視頻段，對改進後的slowfast神經網絡進行訓練得到的；改進後的slowfast神經網絡是將slowfast神經網絡中的卷積替換為非局部卷積後得到的。
82.實施例3
83.本實施例提供了一種電子設備，包括存儲器及處理器，存儲器用於存儲電腦程式，處理器運行電腦程式以使電子設備執行實施例1中任一項的一種轎廂式電梯內乘客行為識別方法。其中，存儲器為可讀存儲介質。
84.本說明書中各個實施例採用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對於實施例公開的系統而言，由於其與實施例公開的方法相對應，所以描述的比較簡單，相關之處參見方法部分說明即可。
85.本文中應用了具體個例對本發明的原理及實施方式進行了闡述，以上實施例的說明只是用於幫助理解本發明的方法及其核心思想；同時，對於本領域的一般技術人員，依據本發明的思想，在具體實施方式及應用範圍上均會有改變之處。綜上所述，本說明書內容不應理解為對本發明的限制。