一種基於級聯字典的人群異常檢測方法及系統的製作方法

2023-05-05 06:12:51 2

一種基於級聯字典的人群異常檢測方法及系統的製作方法
【專利摘要】本發明涉及一種基於級聯字典的人群異常檢測方法及系統，其方法包括：步驟1：對輸入的訓練視頻進行預處理，得到多個視頻梯度特徵；步驟2：將多個視頻梯度特徵輸入多個訓練字典中進行迭代訓練，得到級聯字典；步驟3：接收外部輸入的需檢測的視頻流，對視頻流進行預處理，得到視頻特徵，將視頻特徵輸入級聯字典進行檢測；步驟4：對級聯字典中多個訓練字典的檢測結果進行判斷，如果存在正常狀態，判斷視頻流為正常事件；否則，判斷視頻流為異常事件。本發明級聯架構採用的是由粗粒度到細粒度的流水線型判斷，能夠將易判斷的正常視頻段在前幾個級檢測完畢，提高了運算效率與總體處理速度。
【專利說明】-種基於級聯字典的人群異常檢測方法及系統

【技術領域】
[0001] 本發明設及一種視頻處理技術，尤其設及一種基於級聯字典的人群異常檢測方法 及系統，屬於智能視頻處理領域，適用於公共安全視頻監控中的群體異常事件檢測領域。

【背景技術】
[0002] 人群異常檢測，通常也被稱為人群異常事件檢測，是指在人群視頻序列中檢測出 不符合正常行為模式的處理過程。先前關於異常事件檢測的研究，通常將人群異常劃分為 兩種類別；局部異常和全局異常。局部異常通常指個體的行為與狀態不同於其周圍團體，即 個體目標的行為模式與全體的行為模式不一致，例如在交通場景中與大多數人車流向相逆 行駛，排隊購物或買票中的插隊等不符合正常行為模式的個體狀態。全局異常通常指整個 監控場景下的行為模式極大的異於普通狀態下的行為模式，例如鬥毆、踩踏、恐慌等各種臨 時突發群體性事件。不管是基於個體行為的異常檢測模型，還是基於整體狀態的異常檢測 模型，檢測人群異常事件的性能取決於兩方面的內容，即異常事件表示和異常事件度量。
[0003] 在異常事件表示方面，通常是通過視頻或圖像中的運動信息來表達視頻事件的狀 態，例如基於光流場的時空直方圖，其考慮了圖像鄰域與多帖的視頻信息，從而在時間和 空間兩方面描述運動物體的狀態（參見H.化ong, J.化i, M. Visontai, Detecting unusual activity in video. CVPR，2004)。除此之外，異常事件中的人群碰撞狀態近似於異常群體 運動狀態，例如踩踏、鬥毆和恐慌在具有突兀變化運動信息的同時，也出現了劇烈的人群碰 撞情況，因此可W通過個體之間的方向、速度描述人群碰撞勢能，進而度量人群異常事件的 可貪bt生。（參見 Xinyi Cui, Qingshan Liu, Mingchen Gao, Dimitris N. Metaxas. Abnormal detection using interaction energy potentials. CVPR 2011)。異常事件的表示，即視 頻中的視覺特徵，影響著人群異常檢測算法的處理速度與檢測精度，雖然目前的異常事件 表達方法能夠很好的描述人群狀態，但是未能達到實時提取和處理的效果。
[0004] 在異常事件的度量方面，是根據視覺特徵形成"視覺詞袋"，對總體特徵樣本做 分布統計，從而獲取正常模式下的場景特徵分布，一旦獲取的視頻特徵極大地偏離正常模 型，則被定義為異常事件。例如基於混合的概率主成分分析模型的異常度量方法，其利 用正常的視頻數據獲得場景視頻特徵的主成分，通過度量測試視頻序列中的主成分與常 規場景主成分的不同來度量該場景的異常狀態（參見J. Kim and K.Grauman,"化serve Locally, Infer Globally:A Space-Time MRF for Detecting Abnormal Activities with Incremental Updates, "Proc. IEEE Conf.Computer Vision and Pattern Recognition, 2009.)。社會力模型從直觀的個體間衝突該個角度來描述群體行為，通過個 體間的相對方向、相對速度來度量個體間的交叉能量信息，表明個體之間的衝突、形態變化 越劇烈，該能量值的數值越大，從而根據該能量值來判斷場景的異常狀況（參見D.化化ing and P. Molna' r, "Social Force Model for Pedestrian Dynamics, Physical Rev. E, v ol. 51，no. 5, pp. 4282-4286, 1995)。然而現有的異常事件度量算法，很少能在複雜場景中實 時地檢測人群異常。


【發明內容】

[0005] 本發明所要解決的技術問題是，針對現有的異常事件檢測方法在現實場景上未達 到實時檢測的效果，且由於監控的現實場景存在著環境變化、目標形變W及噪聲的影響，使 得傳統的異常事件檢測方法很難在複雜的環境中實時檢測人群異常事件。本發明的目的是 提出一種複雜環境下實時準確的基於級聯字典的人群異常檢測方法及系統。
[0006] 本發明解決上述技術問題的技術方案如下：一種基於級聯字典的人群異常檢測方 法，具體包括W下步驟：
[0007] 步驟1 ;對輸入的訓練視頻進行預處理，得到多個視頻梯度特徵；
[000引步驟2 ;將多個視頻梯度特徵輸入多個訓練字典中進行迭代訓練，得到級聯字典；
[0009] 步驟3 ;接收外部輸入的需檢測的視頻流，對視頻流進行預處理，得到視頻特徵， 將視頻特徵輸入級聯字典進行檢測；
[0010] 步驟4;對級聯字典中多個訓練字典的檢測結果進行判斷，如果存在正常狀態，判 斷視頻流為正常事件，結束；否則，判斷視頻流為異常事件，結束。
[0011] 本發明的有益效果是：本發明與傳統的異常事件檢測方法相比，採用基於級聯字 典的檢測方法對人群異常事件有更好的區分性，方法利用字典之間的差異性更好的適應復 雜場景與多樣的人群移動模式，在一定程度上提升了檢測精度。而且，級聯架構採用的是由 粗粒度到細粒度的流水線型判斷，能夠將易判斷的正常視頻段在前幾個級檢測完畢，提高 了運算效率與總體處理速度。
[0012] 在上述技術方案的基礎上，本發明還可W做如下改進。
[0013] 進一步，所述步驟2具體包括W下步驟：
[0014] 步驟2. 1 ;將多個視頻梯度特徵輸入一個訓練字典；
[0015] 步驟2. 2 ;對多個視頻梯度特徵針對當前訓練字典進行訓練，得到當前最優檢測 字典；
[0016] 步驟2. 3 ;對於當前最優檢測字典，判斷所有視頻梯度特徵訓練後是否達到收斂 條件；如果是，執行步驟2. 6 ;否則，執行步驟2. 4 ;
[0017] 步驟2. 4 ;判斷是否還存在未訓練的訓練字典，如果是，執行步驟2. 5 ;否則，執行 步驟2. 6 ;
[001引步驟2. 5 ;將未達到收斂條件的視頻梯度特徵發送到下一個訓練字典中進行訓 練，下一個訓練字典成為當前訓練字典，執行步驟2. 2 ;
[0019] 步驟2. 6 ;完成訓練的多個訓練字典的集合構成級聯字典。
[0020] 進一步，所述步驟2. 2具體包括W下步驟：
[0021] 步驟2. 2. 1 ;將多個視頻梯度特徵預處理為視頻特徵樣本，候選字典數量設定為 k ;
[0022] 步驟2. 2. 2 ;根據當前的視頻特徵樣本，通過塊梯度下降法優化函數，獲取視頻特 徵樣本在k個維度下訓練的候選字典；
[0023] 步驟2. 2. 3 ;選取誤差最小的候選字典作為的最優檢測字典。
[0024] 進一步，所述步驟1中所述預處理包括高斯平滑濾波、視頻分帖、運動噪聲去除和 視頻梯度特徵提取。
[0025] 進一步，所述步驟4具體包括W下步驟：
[0026] 步驟4. 1 ;根據級聯字典中一個訓練字典進行字典重構，得到字典重構誤差，判斷 字典重構誤差是否大於預設闊值，如果是，判斷為異常狀態，執行步驟4. 2 ;否則，為正常狀 態，判斷視頻流為正常事件，結束；
[0027] 步驟4.2 ;判斷當前級聯字典中是否存在未訓練的訓練字典，如果是，執行步驟 4. 3 ;否則，判斷視頻流為異常事件，結束；
[002引步驟4. 3 ;將視頻特徵輸入到級聯字典的下一個訓練字典中，執行步驟4. 1。
[0029] 本發明解決上述技術問題的技術方案如下：一種基於級聯字典的人群異常檢測系 統，包括預處理模塊、迭代訓練模塊、檢測模塊和結果判斷模塊；
[0030] 所述預處理模塊用於對輸入的訓練視頻進行預處理，得到多個視頻梯度特徵；
[0031] 所述迭代訓練模塊用於將多個視頻梯度特徵輸入多個訓練字典中進行迭代訓練， 得到級聯字典；
[0032] 所述檢測模塊用於接收外部輸入的需檢測的視頻流，對視頻流進行預處理，得到 視頻特徵，將視頻特徵輸入級聯字典進行檢測；
[0033] 所述結果判斷模塊用於對級聯字典中多個訓練字典的檢測結果進行判斷，如果存 在正常狀態，判斷視頻流為正常事件；否則，判斷視頻流為異常事件。
[0034] 本發明的有益效果是：本發明與傳統的異常事件檢測方法相比，採用基於級聯字 典的檢測方法對人群異常事件有更好的區分性，方法利用字典之間的差異性更好的適應復 雜場景與多樣的人群移動模式，在一定程度上提升了檢測精度。而且，級聯架構採用的是由 粗粒度到細粒度的流水線型判斷，能夠將易判斷的正常視頻段在前幾個級檢測完畢，提高 了運算效率與總體處理速度。
[0035] 在上述技術方案的基礎上，本發明還可W做如下改進。
[0036] 進一步，所述迭代訓練模塊包括輸入模塊、訓練模塊和收斂判斷模塊；
[0037] 所述輸入模塊用於將多個視頻梯度特徵輸入一個訓練字典；
[003引所述訓練模塊用於對多個視頻梯度特徵針對當前訓練字典進行訓練，得到當前最 優檢測字典；
[0039] 所述收斂判斷模塊用於對於當前最優檢測字典，判斷所有視頻梯度特徵訓練後是 否達到收斂條件；如果是，完成訓練的多個訓練字典的集合構成級聯字典；否則，將未達到 收斂條件的視頻梯度特徵發送到下一個訓練字典中進行訓練，下一個訓練字典成為當前訓 練字典，轉至訓練模塊；直至所有訓練字典完成訓練。
[0040] 進一步，所述訓練模塊包括設定模塊、優化模塊和最優選取模塊；
[0041] 所述設定模塊用於將多個視頻梯度特徵預處理為視頻特徵樣本，候選字典數量設 定為k ;
[0042] 所述優化模塊用於根據當前的視頻特徵樣本，通過塊梯度下降法優化函數，獲取 視頻特徵樣本在k個維度下訓練的候選字典；
[0043] 所述最優選取模塊用於選取誤差最小的候選字典作為的最優檢測字典。
[0044] 進一步，所述預處理包括高斯平滑濾波、視頻分帖、運動噪聲去除和視頻梯度特徵 提取。
[0045] 進一步，所述結果判斷模塊將級聯字典中所有訓練字典依次進行字典重構，得到 多個字典重構誤差，分別判斷字典重構誤差是否大於預設闊值，如果所有字典重構誤差都 大於預設闊值，則判斷判斷視頻流為異常事件；否則，判斷視頻流為正常事件。

【專利附圖】

【附圖說明】
[0046] 圖1為本發明所述的一種基於級聯字典的人群異常檢測方法流程圖；
[0047] 圖2為本發明所述的一種基於級聯字典的人群異常檢測系統結構框圖；
[0048] 圖3為本發明實施例所述的一種基於級聯字典的人群異常檢測方法流程圖。
[0049] 附圖中，各標號所代表的部件列表如下：
[0050] 1、預處理模塊，2、迭代訓練模塊，3、檢測模塊，4、結果判斷模塊，21、輸入模塊，22、 訓練模塊，23、收斂判斷模塊。

【具體實施方式】
[0化1] W下結合附圖對本發明的原理和特徵進行描述，所舉實例只用於解釋本發明，並 非用於限定本發明的範圍。
[0化2] 如圖1所示，為本發明所述的一種基於級聯字典的人群異常檢測方法，具體包括 W下步驟：
[0化3] 步驟1 ;對輸入的訓練視頻進行預處理，得到多個視頻梯度特徵；
[0化4] 步驟2 ;將多個視頻梯度特徵輸入一個訓練字典；
[0化5] 步驟3 ;對多個視頻梯度特徵針對當前訓練字典進行訓練，得到當前最優檢測字 化.
[0化6] 步驟4;對於當前最優檢測字典，判斷所有視頻梯度特徵訓練後是否達到收斂條 件；如果是，執行步驟7 ;否則，執行步驟5 ;
[0化7] 步驟5 ;判斷是否還存在未訓練的訓練字典，如果是，執行步驟6 ;否則，執行步驟 7 ；
[0化引步驟6 ;將未達到收斂條件的視頻梯度特徵發送到下一個訓練字典中進行訓練， 下一個訓練字典成為當前訓練字典，執行步驟3 ;
[0059] 步驟7 ;完成訓練的多個訓練字典的集合構成級聯字典；
[0060] 步驟8 ;接收外部輸入的需檢測的視頻流，對視頻流進行預處理，得到視頻特徵， 將視頻特徵輸入級聯字典進行檢測；
[0061] 步驟9;根據級聯字典中一個訓練字典進行字典重構，得到字典重構誤差，判斷字 典重構誤差是否大於預設闊值，如果是，判斷為異常狀態，執行步驟10 ;否則，為正常狀態， 判斷視頻流為正常事件，結束；
[0062] 步驟10 ;判斷當前級聯字典中是否存在未訓練的訓練字典，如果是，執行步驟11 ; 否則，判斷視頻流為異常事件，結束；
[0063] 步驟11 ;將視頻特徵輸入到級聯字典的下一個訓練字典中，執行步驟9。
[0064] 所述步驟3具體包括W下步驟：
[00化]步驟3. 1 ;將多個視頻梯度特徵預處理為視頻特徵樣本，候選字典數量設定為k ; [0066] 步驟3. 2 ;根據當前的視頻特徵樣本，通過塊梯度下降法優化函數，獲取視頻特徵 樣本在k個維度下訓練的候選字典；
[0067] 步驟3. 3 ;選取誤差最小的候選字典作為的最優檢測字典。
[0068] 所述步驟1中所述預處理包括高斯平滑濾波、視頻分帖、運動噪聲去除和視頻梯 度特徵提取。
[0069] 如圖2所示，為本發明所述的一種基於級聯字典的人群異常檢測系統，包括預處 理模塊1、迭代訓練模塊2、檢測模塊3和結果判斷模塊4 ;
[0070] 所述預處理模塊1用於對輸入的訓練視頻進行預處理，得到多個視頻梯度特徵；
[0071] 所述迭代訓練模塊2用於將多個視頻梯度特徵輸入多個訓練字典中進行迭代訓 練，得到級聯字典；
[0072] 所述檢測模塊2用於接收外部輸入的需檢測的視頻流，對視頻流進行預處理，得 到視頻特徵，將視頻特徵輸入級聯字典進行檢測；
[0073] 所述結果判斷模塊4用於對級聯字典中多個訓練字典的檢測結果進行判斷，如果 存在正常狀態，判斷視頻流為正常事件；否則，判斷視頻流為異常事件。
[0074] 所述迭代訓練模塊2包括輸入模塊21、訓練模塊22和收斂判斷模塊23 ;
[0075] 所述輸入模塊21用於將多個視頻梯度特徵輸入一個訓練字典；
[0076] 所述訓練模塊22用於對多個視頻梯度特徵針對當前訓練字典進行訓練，得到當 前最優檢測字典；
[0077] 所述收斂判斷模塊23用於對於當前最優檢測字典，判斷所有視頻梯度特徵訓練 後是否達到收斂條件；如果是，完成訓練的多個訓練字典的集合構成級聯字典；否則，將未 達到收斂條件的視頻梯度特徵發送到下一個訓練字典中進行訓練，下一個訓練字典成為當 前訓練字典，轉至訓練模塊22 ;直至所有訓練字典完成訓練。
[0078] 所述訓練模塊包括設定模塊、優化模塊和最優選取模塊；
[0079] 所述設定模塊用於將多個視頻梯度特徵預處理為視頻特徵樣本，候選字典數量設 定為k ;
[0080] 所述優化模塊用於根據當前的視頻特徵樣本，通過塊梯度下降法優化函數，獲取 視頻特徵樣本在k個維度下訓練的候選字典；
[0081] 所述最優選取模塊用於選取誤差最小的候選字典作為的最優檢測字典。
[0082] 所述預處理包括高斯平滑濾波、視頻分帖、運動噪聲去除和視頻梯度特徵提取。
[0083] 所述結果判斷模塊將級聯字典中所有訓練字典依次進行字典重構，得到多個字典 重構誤差，分別判斷字典重構誤差是否大於預設闊值，如果所有字典重構誤差都大於預設 闊值，則判斷判斷視頻流為異常事件；否則，判斷視頻流為正常事件。
[0084] 本發明針對傳統人群異常檢測方法未能實時處理複雜場景該一問題，發明了一種 基於級聯字典進行異常事件檢測的方法和裝置，利用訓練得到的級聯字典，對監控視頻進 行逐級檢測，當多個字典輸出結果為異常則判決為異常事件，否則判決為正常事件，從而實 現快速精確的人群異常檢測。
[0085] 本發明所採用的人群異常事件檢測方法分為離線訓練和在線檢測兩大步驟，訓練 階段利用現有的視頻訓練生成符合場景要求的級聯字典，檢測階段則利用該級聯字典對視 頻場景進行人群異常事件檢測，其具體過程如圖3所示。
[0086] 在訓練階段，先對輸入視頻進行預處理，用W提取視頻特徵。預處理過程包括高斯 平滑濾波、視頻分帖、運動噪聲去除W及視頻梯度特徵提取。對於獲取的視頻梯度特徵，根 據字典學習的誤差重構函數建立對應的最優級聯字典，其函數定義為：
[0087]

【權利要求】
1. 一種基於級聯字典的人群異常檢測方法，其特徵在於，具體包括以下步驟： 步驟1:對輸入的訓練視頻進行預處理，得到多個視頻梯度特徵； 步驟2 :將多個視頻梯度特徵輸入多個訓練字典中進行迭代訓練，得到級聯字典； 步驟3 :接收外部輸入的需檢測的視頻流，對視頻流進行預處理，得到視頻特徵，將視 頻特徵輸入級聯字典進行檢測； 步驟4 :對級聯字典中多個訓練字典的檢測結果進行判斷，如果存在正常狀態，判斷視 頻流為正常事件，結束；否則，判斷視頻流為異常事件，結束。
2. 根據權利要求1所述的一種基於級聯字典的人群異常檢測方法，其特徵在於，所述 步驟2具體包括以下步驟： 步驟2. 1 :將多個視頻梯度特徵輸入一個訓練字典； 步驟2. 2 :對多個視頻梯度特徵針對當前訓練字典進行訓練，得到當前最優檢測字典； 步驟2. 3 :對於當前最優檢測字典，判斷所有視頻梯度特徵訓練後是否達到收斂條件； 如果是，執行步驟2. 6 ;否則，執行步驟2. 4 ; 步驟2. 4 :判斷是否還存在未訓練的訓練字典，如果是，執行步驟2. 5 ;否則，執行步驟 2. 6 ； 步驟2. 5 :將未達到收斂條件的視頻梯度特徵發送到下一個訓練字典中進行訓練，下 一個訓練字典成為當前訓練字典，執行步驟2. 2 ; 步驟2. 6 :完成訓練的多個訓練字典的集合構成級聯字典。
3. 根據權利要求2所述的一種基於級聯字典的人群異常檢測方法，其特徵在於，所述 步驟2. 2具體包括以下步驟： 步驟2. 2. 1 :將多個視頻梯度特徵預處理為視頻特徵樣本，候選字典數量設定為k ; 步驟2. 2. 2 :根據當前的視頻特徵樣本，通過塊梯度下降法優化函數，獲取視頻特徵樣 本在k個維度下訓練的候選字典； 步驟2. 2. 3 :選取誤差最小的候選字典作為的最優檢測字典。
4. 根據權利要求1-3任一項所述的一種基於級聯字典的人群異常檢測方法，其特徵在 於，所述步驟1中所述預處理包括高斯平滑濾波、視頻分幀、運動噪聲去除和視頻梯度特徵 提取。
5. 根據權利要求4所述的一種基於級聯字典的人群異常檢測方法，其特徵在於，所述 步驟4具體包括以下步驟： 步驟4. 1 :根據級聯字典中一個訓練字典進行字典重構，得到字典重構誤差，判斷字典 重構誤差是否大於預設閾值，如果是，判斷為異常狀態，執行步驟4. 2 ;否則，為正常狀態， 判斷視頻流為正常事件，結束； 步驟4. 2 :判斷當前級聯字典中是否存在未訓練的訓練字典，如果是，執行步驟4. 3 ;否 貝1J，判斷視頻流為異常事件，結束； 步驟4. 3 :將視頻特徵輸入到級聯字典的下一個訓練字典中，執行步驟4. 1。
6. -種基於級聯字典的人群異常檢測系統，其特徵在於，包括預處理模塊、迭代訓練模 塊、檢測模塊和結果判斷模塊； 所述預處理模塊用於對輸入的訓練視頻進行預處理，得到多個視頻梯度特徵； 所述迭代訓練模塊用於將多個視頻梯度特徵輸入多個訓練字典中進行迭代訓練，得到 級聯字典； 所述檢測模塊用於接收外部輸入的需檢測的視頻流，對視頻流進行預處理，得到視頻 特徵，將視頻特徵輸入級聯字典進行檢測； 所述結果判斷模塊用於對級聯字典中多個訓練字典的檢測結果進行判斷，如果存在正 常狀態，判斷視頻流為正常事件；否則，判斷視頻流為異常事件。
7. 根據權利要求6所述的一種基於級聯字典的人群異常檢測系統，其特徵在於，所述 迭代訓練模塊包括輸入模塊、訓練模塊和收斂判斷模塊； 所述輸入模塊用於將多個視頻梯度特徵輸入一個訓練字典； 所述訓練模塊用於對多個視頻梯度特徵針對當前訓練字典進行訓練，得到當前最優檢 測字典； 所述收斂判斷模塊用於對於當前最優檢測字典，判斷所有視頻梯度特徵訓練後是否達 到收斂條件；如果是，完成訓練的多個訓練字典的集合構成級聯字典；否則，將未達到收斂 條件的視頻梯度特徵發送到下一個訓練字典中進行訓練，下一個訓練字典成為當前訓練字 典，轉至訓練模塊；直至所有訓練字典完成訓練。
8. 根據權利要求7所述的一種基於級聯字典的人群異常檢測系統，其特徵在於，所述 訓練模塊包括設定模塊、優化模塊和最優選取模塊； 所述設定模塊用於將多個視頻梯度特徵預處理為視頻特徵樣本，候選字典數量設定為 k ； 所述優化模塊用於根據當前的視頻特徵樣本，通過塊梯度下降法優化函數，獲取視頻 特徵樣本在k個維度下訓練的候選字典； 所述最優選取模塊用於選取誤差最小的候選字典作為的最優檢測字典。
9. 根據權利要求6-8任一項所述的一種基於級聯字典的人群異常檢測系統，其特徵在 於，所述預處理包括高斯平滑濾波、視頻分幀、運動噪聲去除和視頻梯度特徵提取。
10. 根據權利要求9所述的一種基於級聯字典的人群異常檢測系統，其特徵在於，所述 結果判斷模塊將級聯字典中所有訓練字典依次進行字典重構，得到多個字典重構誤差，分 別判斷字典重構誤差是否大於預設閾值，如果所有字典重構誤差都大於預設閾值，則判斷 判斷視頻流為異常事件；否則，判斷視頻流為正常事件。
【文檔編號】G06K9/00GK104504367SQ201410720230
【公開日】2015年4月8日 申請日期:2014年12月1日 優先權日:2014年12月1日
【發明者】孫利民, 文輝, 葛仕明, 陳水仙 申請人:中國科學院信息工程研究所