三維卷積神經網絡訓練方法、視頻異常事件檢測方法及裝置製造方法

2023-09-14 11:07:25

三維卷積神經網絡訓練方法、視頻異常事件檢測方法及裝置製造方法
【專利摘要】本發明實施例涉及視頻圖像【技術領域】，尤其涉及一種三維卷積神經網絡訓練方法、一種基於三維卷積神經網絡的視頻異常事件檢測方法及裝置，用以對擁擠人群場景下發生的異常事件進行檢測。本發明實施例的方法中三維卷積神經網絡正向傳遞過程中第N組卷積-採樣層中的卷積層上的每個卷積核對第N-1組卷積-採樣層中的採樣層的所有通道的所有特徵圖的數據進行卷積，由於最後一層卷積層對所有通道的所有特徵圖的數據進行卷積，從而可提取更具有表達能力的特徵，從而可通過這些特徵更好地描述擁擠人群場景下發生的異常事件，進而提高異常事件的檢測的準確率。
【專利說明】三維卷積神經網絡訓練方法、視頻異常事件檢測方法及裝

【技術領域】
[0001] 本發明涉及視頻圖像【技術領域】，尤其涉及一種三維卷積神經網絡訓練方法、一種 基於三維卷積神經網絡的視頻異常事件檢測方法及裝置。

【背景技術】
[0002] 隨著經濟的快速發展，在商場、體育場等公共場所中常常存在著人流高峰，而這些 擁擠的人群對公共安全帶來了極大的隱患。如果能夠及時檢測到監控視頻中的異常行為， 便可及時採取相應的解決方案，避免重大意外事件發生。
[0003] 現有技術中用於對監控視頻中的異常事件進行自動檢測的方法需基於運動對象 的跟蹤，即通過不斷檢測運動對象運動軌跡，進行異常行為檢測。該類方法異常行為檢測效 果在很大程度上依賴於運動對象跟蹤的結果，因此該類方法僅適用於非擁擠場景中，但對 於如商場、體育場等公共場所的擁擠場景，由於目標的互遮擋與自遮擋相當嚴重，導致有效 的運動對象跟蹤困難，因此在人群擁擠的場景下，基於運動對象跟蹤的方法並不適用。
[0004] 綜上，亟需一種視頻異常事件檢測方法，用以對擁擠人群場景下發生的異常事件 進行檢測。


【發明內容】

[0005] 本發明實施例提供一種三維卷積神經網絡的訓練方法、一種基於三維卷積神經網 絡的視頻異常事件檢測方法及裝置，用以對擁擠人群場景下發生的異常事件進行檢測。
[0006] 本發明實施例提供一種三維卷積神經網絡的訓練方法，包括：
[0007] 三維卷積神經網絡中按照正向傳遞過程依次包含第一組至第N組卷積-採樣層， 每組卷積-採樣層中按照正向傳遞過程包含一個卷積層和一個採樣層，第N-1組卷積-採 樣層中的採樣層與第N組卷積-採樣層中的卷積層全連接，N>1 ;
[0008] 三維卷積神經網絡的訓練方法包括：
[0009] 執行正向傳遞過程，根據正向傳遞過程的輸出結果，在三維卷積神經網絡中執行 反向傳遞過程，以修正三維卷積神經網絡的模型參數；
[0010] 正向傳遞過程包括：三維卷積神經網絡接收待檢測視頻序列的特徵塊，針對特徵 塊執行異常檢測過程，根據待檢測視頻序列的每個特徵塊的異常事件檢測結果確定待檢測 視頻序列是否發生異常事件；
[0011] 其中，第N組卷積-採樣層中的卷積層上的每個卷積核對第N-1組卷積-採樣層 中的採樣層的所有通道的所有特徵圖的數據進行卷積，並將通過卷積所得到的特徵圖信息 輸出給第N組卷積-採樣層中的採樣層進行採樣處理。
[0012] 三維卷積神經網絡正向傳遞過程中第N組卷積-採樣層中的卷積層上的每個卷積 核對第N-1組卷積-採樣層中的採樣層的所有通道的所有特徵圖的數據進行卷積，由於最 後一層卷積層對所有通道的所有特徵圖的數據進行卷積，從而可提取更具有表達能力的特 徵，從而可通過這些特徵更好地描述擁擠人群場景下發生的異常事件，進而提高異常事件 的檢測的準確率。
[0013] 較佳的，三維卷積神經網絡接收待檢測視頻序列的特徵塊之前，還應做一些前期 處理，如：對待檢測的第i幀至第i+Ι幀的視頻幀序列進行特徵提取，並將第i幀至第i+1 幀的視頻幀序列切割為RXCX1的多個特徵塊；其中，i、1、R、C均為大於1的整數，R和C 分別表示特徵塊的長度和寬度。
[0014] 較佳的，三維卷積神經網絡接收待檢測視頻序列的特徵塊，對特徵塊進行檢測，輸 出的異常事件檢測結果中包括異常值概率和正常值概率；由於前期可能對視頻幀序列進行 切割，因此同一個幀序列可能具有多個特徵塊，三維卷積神經網絡會對每個特徵塊輸出一 個異常事件檢測結果。根據多個待檢測視頻序列的每個特徵塊的異常事件檢測結果確定待 檢測視頻序列是否發生異常事件時，若待檢測視頻序列的特徵塊中至少有一個特徵塊滿足 以下條件，則確定待檢測視頻序列發生異常事件：異常值概率減去正常值概率得到的差值 大於設定閾值。
[0015] 如前，三維卷積神經網絡輸出的異常事件檢測結果中包括異常值概率和正常值概 率。當想要確定具體哪一幀發生了異常事件時，則需結果多個特徵塊進行計算。例如，需要 確定第k幀是否發生了異常事件，則需將所有包含第k幀的視頻幀序列中的所有特徵塊的 異常檢測結果中的異常值概率進行加權相加，將包含第k幀的所有視頻幀序列中的所有特 徵塊的異常檢測結果中的正常值概率進行加權相加；其中，所有包含第k幀的視頻幀序列 是通過具有1幀時間長度的滑動窗口每次移動單幀得到的；針對所有包含第k幀的視頻幀 序列中的所有特徵塊，若加權相加之後的異常值概率減去加權相加之後的正常值概率得到 的差值大於設定閾值，則確定第k幀發生異常事件；其中，k為正整數。
[0016] 較佳的，由於第k幀具有多個異常檢查結果，因此對第k幀的異常檢測結果進行加 權相加之前必須設定權值。針對所有包含第k幀的視頻幀序列中的所有特徵塊，將第一特 徵塊的的異常檢測結果中的異常值概率和正常值概率的權值設置為最大值；其中，第一特 徵塊滿足以下條件：

【權利要求】
1. 一種三維卷積神經網絡的訓練方法，其特徵在於，包括： 三維卷積神經網絡中按照正向傳遞過程依次包含第一組至第N組卷積-採樣層，每組 卷積-採樣層中按照正向傳遞過程包含一個卷積層和一個採樣層，第N-1組卷積-採樣層 中的採樣層與第N組卷積-採樣層中的卷積層全連接，N>1 ; 所述三維卷積神經網絡的訓練方法包括： 執行正向傳遞過程，根據所述正向傳遞過程的輸出結果，在所述三維卷積神經網絡中 執行反向傳遞過程，以修正所述三維卷積神經網絡的模型參數； 所述正向傳遞過程包括：三維卷積神經網絡接收待檢測視頻序列的特徵塊，針對所述 特徵塊執行異常檢測過程，根據待檢測視頻序列的每個特徵塊的異常事件檢測結果確定所 述待檢測視頻序列是否發生異常事件； 其中，第N組卷積-採樣層中的卷積層上的每個卷積核對第N-1組卷積-採樣層中的 採樣層的所有通道的所有特徵圖的數據進行卷積，並將通過卷積所得到的特徵圖信息輸出 給第N組卷積-採樣層中的採樣層進行採樣處理。
2. 如權利要求1所述的三維卷積神經網絡的訓練方法，其特徵在於，所述三維卷積神 經網絡接收待檢測視頻序列的特徵塊之前，還包括： 對待檢測的第i幀至第i+1幀的視頻幀序列進行特徵提取，並將所述第i幀至第i+1 幀的視頻幀序列切割為RXCX1的多個特徵塊；其中，i、1、R、C均為大於1的整數，R和C 分別表示特徵塊的長度和寬度。
3. 如權利要求1所述的三維卷積神經網絡的訓練方法，其特徵在於，所述異常事件檢 測結果中包括異常值概率和正常值概率； 所述根據待檢測視頻序列的每個特徵塊的異常事件檢測結果確定所述待檢測視頻序 列是否發生異常事件，包括： 若所述待檢測視頻序列的特徵塊中至少有一個特徵塊滿足以下條件，則確定所述待檢 測視頻序列發生異常事件：異常值概率減去正常值概率得到的差值大於設定閾值。
4. 如權利要求2所述的三維卷積神經網絡的訓練方法，其特徵在於，所述異常事件檢 測結果中包括異常值概率和正常值概率； 所述根據待檢測視頻序列的每個特徵塊的異常事件檢測結果確定所述待檢測視頻序 列是否發生異常事件，包括： 將所有包含第k幀的視頻幀序列中的所有特徵塊的異常檢測結果中的異常值概率進 行加權相加，將包含第k幀的所有視頻幀序列中的所有特徵塊的異常檢測結果中的正常值 概率進行加權相加； 其中，所述所有包含第k幀的視頻幀序列是通過具有1幀時間長度的滑動窗口每次移 動單幀得到的； 針對所有包含第k幀的視頻幀序列中的所有特徵塊，若加權相加之後的異常值概率減 去加權相加之後的正常值概率得到的差值大於設定閾值，則確定第k幀發生異常事件； 其中，k為正整數。
5. 如權利要求4所述的三維卷積神經網絡的訓練方法，其特徵在於，所述將所有包含 第k幀的視頻幀序列中的所有特徵塊的異常檢測結果中的異常值概率進行加權相加，將包 含第k幀的所有視頻幀序列中的所有特徵塊的異常檢測結果中的正常值概率進行加權相 加之前，還包括： 針對所有包含第k幀的視頻幀序列中的所有特徵塊，將第一特徵塊的的異常檢測結 果中的異常值概率和正常值概率的權值設置為最大值；其中，所述第一特徵塊滿足以下條 件：
其中， L-J 表示向下取整，表示向上取整。
6. -種基於三維卷積神經網絡的視頻異常事件檢測方法，其特徵在於，所述三維卷積 神經網絡中按照正向傳遞過程依次包含第一組至第N組卷積-採樣層，每組卷積-採樣層 中按照正向傳遞過程包含一個卷積層和一個採樣層，第N-1組卷積-採樣層中的採樣層與 第N組卷積-採樣層中的卷積層全連接，N>1 ; 所述基於三維卷積神經網絡的視頻異常事件檢測方法包括： 三維卷積神經網絡接收待檢測視頻序列的特徵塊，針對所述特徵塊執行異常檢測過 程，根據待檢測視頻序列的每個特徵塊的異常事件檢測結果確定所述待檢測視頻序列是否 發生異常事件； 其中，第N組卷積-採樣層中的卷積層上的每個卷積核對第N-1組卷積-採樣層中的 採樣層的所有通道的所有特徵圖的數據進行卷積，並將通過卷積所得到的特徵圖信息輸出 給第N組卷積-採樣層中的採樣層進行採樣處理。
7. 如權利要求6所述的基於三維卷積神經網絡的視頻異常事件檢測方法，其特徵在 於，所述三維卷積神經網絡接收待檢測視頻序列的特徵塊之前，還包括： 對待檢測的第i幀至第i+1幀的視頻幀序列進行特徵提取，並將所述第i幀至第i+1 幀的視頻幀序列切割為RXCX 1的多個特徵塊；其中，i、1、R、C均為大於1的整數，R和C 分別表示特徵塊的長度和寬度。
8. 如權利要求6所述的基於三維卷積神經網絡的視頻異常事件檢測方法，其特徵在 於，所述異常事件檢測結果中包括異常值概率和正常值概率； 所述根據待檢測視頻序列的每個特徵塊的異常事件檢測結果確定所述待檢測視頻序 列是否發生異常事件，包括： 若所述待檢測視頻序列的特徵塊中至少有一個特徵塊滿足以下條件，則確定所述待檢 測視頻序列發生異常事件：異常值概率減去正常值概率得到的差值大於設定閾值。
9. 如權利要求7所述的基於三維卷積神經網絡的視頻異常事件檢測方法，其特徵在 於，所述異常事件檢測結果中包括異常值概率和正常值概率； 所述根據待檢測視頻序列的每個特徵塊的異常事件檢測結果確定所述待檢測視頻序 列是否發生異常事件，包括： 將所有包含第k幀的視頻幀序列中的所有特徵塊的異常檢測結果中的異常值概率進 行加權相加，將包含第k幀的所有視頻幀序列中的所有特徵塊的異常檢測結果中的正常值 概率進行加權相加； 其中，所述所有包含第k幀的視頻幀序列是通過具有1幀時間長度的滑動窗口每次移 動單幀得到的； 針對所有包含第k幀的視頻幀序列中的所有特徵塊，若加權相加之後的異常值概率減 去加權相加之後的正常值概率得到的差值大於設定閾值，則確定第k幀發生異常事件； 其中，k為正整數。
10. 如權利要求9所述的基於三維卷積神經網絡的視頻異常事件檢測方法，其特徵在 於，所述將所有包含第k幀的視頻幀序列中的所有特徵塊的異常檢測結果中的異常值概率 進行加權相加，將包含第k幀的所有視頻幀序列中的所有特徵塊的異常檢測結果中的正常 值概率進行加權相加之前，還包括： 針對所有包含第k幀的視頻幀序列中的所有特徵塊，將第一特徵塊的的異常檢測結 果中的異常值概率和正常值概率的權值設置為最大值；其中，所述第一特徵塊滿足以下條 件：
11. 一種基於三維卷積神經網絡的視頻異常事件檢測裝置，其特徵在於，包括： 存儲單元，用於被配置以存儲三維卷積神經網絡的模型的描述信息，所述三維卷積神 經網絡中按照正向傳遞過程依次包含第一組至第N組卷積-採樣層，每組卷積-採樣層中 按照正向傳遞過程包含一個卷積層和一個採樣層，第N-1組卷積-採樣層中的採樣層與第 N組卷積-採樣層中的卷積層全連接，N>1 ; 接收單元，用於在正向傳遞過程中和視頻異常事件檢測過程中接收待檢測視頻序列的 特徵塊； 檢測單元，用於在正向傳遞過程中和視頻異常事件檢測過程中針對所述特徵塊執行異 常檢測過程， 異常事件確定單元，用於在正向傳遞過程中和視頻異常事件檢測過程中根據待檢測視 頻序列的每個特徵塊的異常事件檢測結果確定所述待檢測視頻序列是否發生異常事件； 其中，第N組卷積-採樣層中的卷積層上的每個卷積核對第N-1組卷積-採樣層中的 採樣層的所有通道的所有特徵圖的數據進行卷積，並將通過卷積所得到的特徵圖信息輸出 給第N組卷積-採樣層中的採樣層進行採樣處理； 輸出處理單元：在所述反向傳遞過程中：根據所述正向傳遞過程的輸出結果，在所述 三維卷積神經網絡中執行反向傳遞過程，以修正所述三維卷積神經網絡的模型參數。
12. 如權利要求11所述的裝置，其特徵在於，還包括特徵塊生成單元， 用於對待檢測的第i幀至第i+1幀的視頻幀序列進行特徵提取，並將所述第i幀至第 i+1幀的視頻幀序列切割為RXCX1的多個特徵塊；其中，i、1、R、C均為大於1的整數，R 和C分別表示特徵塊的長度和寬度。
13. 如權利要求11所述的裝置，其特徵在於，所述異常事件檢測結果中包括異常值概 率和正常值概率； 所述異常事件確定單元，具體用於： 若所述待檢測視頻序列的特徵塊中至少有一個特徵塊滿足以下條件，則確定所述待檢 測視頻序列發生異常事件：異常值概率減去正常值概率得到的差值大於設定閾值。
14. 如權利要求12所述的裝置，其特徵在於，所述異常事件檢測結果中包括異常值概 率和正常值概率； 所述異常事件確定單元，具體用於： 將所有包含第k幀的視頻幀序列中的所有特徵塊的異常檢測結果中的異常值概率進 行加權相加，將包含第k幀的所有視頻幀序列中的所有特徵塊的異常檢測結果中的正常值 概率進行加權相加； 其中，所述所有包含第k幀的視頻幀序列是通過具有1幀時間長度的滑動窗口每次移 動單幀得到的； 針對所有包含第k幀的視頻幀序列中的所有特徵塊，若加權相加之後的異常值概率減 去加權相加之後的正常值概率得到的差值大於設定閾值，則確定第k幀發生異常事件； 其中，k為正整數。
15.如權利要求14所述的裝置，其特徵在於，所述異常事件確定單元，還用於： 針對所有包含第k幀的視頻幀序列中的所有特徵塊，將第一特徵塊的的異常檢測結 果中的異常值概率和正常值概率的權值設置為最大值；其中，所述第一特徵塊滿足以下條 件：
【文檔編號】G06K9/46GK104281858SQ201410469780
【公開日】2015年1月14日 申請日期:2014年9月15日 優先權日:2014年9月15日
【發明者】田永鴻, 史業民, 王耀威, 黃鐵軍 申請人:中安消技術有限公司, 北京大學