視頻中劇烈運動的檢測方法及其裝置的製作方法

2023-07-26 23:30:06

專利名稱：視頻中劇烈運動的檢測方法及其裝置的製作方法
技術領域：
本發明涉及視頻處理領域，特別涉及視頻監控中對劇烈運動的檢測技術。
背景技術：
運動目標的檢測和跟蹤，即是在一段序列圖像的每幅圖像中找到所感興趣的運動目標所處的位置，從而達到檢測、跟蹤、行為分析和識別的目的。目標檢測跟蹤的理論及其實現已經進行了大量、深入的研究工作，並取得了令人矚目的成果。但是，已有的目標檢測跟蹤系統大多受限於特定的應用背景，行為分析和識別算法還有待於進一步研究和深化。中國專利CN 101751678A提供了一種劇烈運動檢測方法，主要包括以下步驟獲取視頻巾貞圖像，並對圖像做灰度化處理；利用B. k. PHorn> B. G. Schunk提出的光流計算方法計算全局圖像的光流矢量；根據光流獲取運動矢量，計算能量變化歷史圖；根據各個像素點方向變化，從能力變化歷史圖中提取出劇烈運動歷史圖；將劇烈運動歷史圖二值圖，進行連通域分析，獲取各個團塊；標示劇烈運動的區域並輸出。本發明的發明人發現，該方法在一定程度上可以檢測出劇烈運動，但存在以下幾個問題I光流算法運算量很大，目前在一般的硬體平臺上基本不能實現實時；該方法全局計算光流，運算量很大，不容易推廣；2該方法根據單個像素點方向變化生成劇烈運動歷史圖，很容易存在大噪聲幹擾，造成誤檢；3很多實際監控場景，都會存在景深，即目標近大遠小的現象，在這種場景中，在遠處和近處應用一樣的運動熵計算方式，顯然不適應，會導致目標在近處很容易誤報和遠處漏報。所以亟待需要研究出一種魯棒性好、精確度高、性能穩定和適用性強的運動目標檢測跟蹤方法。

發明內容
本發明的目的在於提供一種視頻中劇烈運動的檢測方法及其裝置，可以有效地捕捉運動，減少背景和噪聲引起的幹擾，還大大節省了計算量。為解決上述技術問題，本發明的實施方式提供了一種視頻中劇烈運動的檢測方法，包括以下步驟在視頻幀中檢測運動角點；計算運動角點的光流，得到運動角點光流； 根據運動角點光流計算運動熵；根據運動熵判斷是否存在劇烈運動。本發明的實施方式還提供了一種視頻中劇烈運動的檢測裝置，包括角點檢測單元，用於在視頻幀中檢測運動角點；光流計算單元,用於計算角點檢測單元所得的運動角點的光流，得到運動角點光流；、
熵計算單元，用於根據光流計算單元所得的運動角點光流計算運動熵；運動判斷單元，用於根據熵計算單元所得的運動熵判斷是否存在劇烈運動。本發明實施方式與現有技術相比，主要區別及其效果在於檢測和計算視頻幀中的運動角點光流，根據運動角點光流計算運動熵，來判斷是否存在劇烈運動。採用運動角點可以有效地捕捉運動，不會被背景上的角點幹擾，也可以減少噪聲的幹擾，另外只需要計算運動角點的光流，不必為一些非運動像素計算光流，大大節省了計算量。進一步地，統計每個運動連通區域中的運動角點光流得到運動熵，可以避免運動連通區域之外的運動角點光流的幹擾，使運動熵更為準確。進一步地，檢測運動角點時使用幀差法得到前景圖，檢測運動連通區域時使用背景差法得到前景圖，既將背景變化所導致的影響降到最小，又能夠防止運動連通區域被不 當地分割，從而使運動熵的計算更為準確。進一步地，在計算運動熵時，將一個運動連通區域中所有的運動角點光流之和除以方向直方圖的標準差度量，使得對打架鬥毆類運動方向雜亂無章的劇烈運動的檢測更為準確。進一步地，在計算運動熵時將每一個運動角點光流與代表其景深的權重相乘，可以使運動熵更準確，防止目標在近處被誤報，在遠處被漏報。進一步地，根據全局的運動角點光流求方向直方圖標準差度量f( e )，如果f ( 0 )超過上門限或低於下門限，則認為是規律運動，結束對當前幀的進一步檢測，可以防止將規律運動誤認為劇烈運動。進一步地，在排除全局性規律運動之後，如果視頻幀中最大運動連通區域的運動熵持續超過預定門限，則判定為存在劇烈運動。這種判定方法有較高的準確性。進一步地，預先對場景進行景深的標定，根據標定結果對運動熵閾值進行修正，可以防止因為不同場景中景深的不同而導致判斷的標準差異很大。標準場景下經優化的運動熵閾值可以方便地應用到各種不同的場景。


圖I是本發明第一實施方式中視頻中劇烈運動的檢測方法流程示意圖；圖2是本發明第二實施方式中視頻中劇烈運動的檢測方法中的Harris運動角點求取流程示意圖；圖3是本發明第二實施方式中基於角點光流的劇烈運動並行檢測流程示意圖；圖4是本發明第三實施方式中視頻中劇烈運動的檢測方法並行檢測流程示意圖；圖5是本發明第五實施方式中視頻中劇烈運動的檢測裝置的系統結構示意圖。
具體實施例方式在以下的敘述中，為了使讀者更好地理解本申請而提出了許多技術細節。但是，本領域的普通技術人員可以理解，即使沒有這些技術細節和基於以下各實施方式的種種變化和修改，也可以實現本申請各權利要求所要求保護的技術方案。為使本發明的目的、技術方案和優點更加清楚，下面將結合附圖對本發明的實施方式作進一步地詳細描述。本發明第一實施方式涉及一種視頻中劇烈運動的檢測方法。圖I是該視頻運動的檢測方法的流程示意圖，包括以下步驟在步驟101中，視頻中劇烈運動的檢測裝置在視頻幀中檢測運動角點。其中可以通過視頻中劇烈運動的檢測裝置中的角點檢測單元在視頻幀中進行運動角點檢測。視頻中劇烈運動的檢測裝置獲取視頻圖像並處理，可利用背景差法或幀差法檢測運動區域生成前景圖，對前景圖做運動連 通區域分割，其中，可使用背景差法以便較容易地求出運動連通區域，可使用幀差法在幀差圖上提取運動角點，即確定物體在視頻圖像上所顯示的邊緣拐點的位置點。視頻劇烈運動檢測方法採用運動角點可以有效且準確地捕捉運動，不會被背景上的角點(或特徵點)幹擾，也可以減少外部大噪聲的幹擾，避免誤檢；另外，不必為視頻中所有運動的和一些非運動像素進行全局性運算量大的光流計算，只需要計算視頻中運動角點的光流，這樣大大節省了計算量，提高了視頻現場的響應實時性，且在應用領域裡面容易推廣。此後進入步驟102，對在步驟101中所檢測到的運動角點，視頻中劇烈運動的檢測裝置中的光流計算單元利用相應算法計算光流。角點光流(或角點矢量)即是空間運動物體在觀測成像面上的像素運動的量化的瞬時速度。此後進入步驟103，視頻中劇烈運動的檢測裝置中的熵計算單元根據在步驟102中所得到的運動角點的光流統計並計算運動熵。此後進入步驟104，視頻中劇烈運動的檢測裝置中的運動判斷單元根據在步驟103中所得到的運動熵判斷視頻現場是否存在劇烈運動。此外，可以理解，該裝置還可增加方向統計單元和排除單元，其中，方向統計單元對每一幀的運動熵進行統計，排除單元利用方向信息剔除規律運動。若持續有無規律的強運動熵輸出，則很有可能發生劇烈運動，如打架、鬥毆，輸出報警信息。若是，則進入步驟105 ;否則，返回步驟101。在步驟105中，視頻中劇烈運動的檢測裝置進行劇烈運動提示，此後結束本流程。優選地，在步驟101檢測運動角點時，將相鄰視頻幀相減得到前景圖(可稱為「幀差法」)，再從該前景圖上提取運動角點。在檢測運動連通區域的步驟中，將視頻幀與背景相減得到前景圖(可稱為「背景差法」或「減背景法」)，再對該前景圖做運動連通區域分割得到運動連通區域。幀差法的基本原理是在圖像序列相鄰的兩幀或者三幀採用基於像素的時間差分通過閾值化來提取圖像中的運動區域。首先，將相鄰幀圖像對應像素值相減，然後對差分圖像二值化。在環境亮度變化不大的情況下，如果對應像素值變化小於事先確定的閾值時，可以認為(主觀經驗)此處為背景像素；如果對應像素值變化很大，可以認為這是有運動物體引起的，將這些區域標記為前景像素，利用標記的像素區域可以確定運動目標在圖像中的位置。優點相鄰兩幀的時間間隔很短，用前一幀圖像作為後一幀圖像的背景模型具備較好的實時性，其背景不積累，更新速度快，算法計算量小。缺點閾值選擇相當關鍵，閾值過低，則不足以抑制背景噪聲，容易將其誤檢測為運動目標；閾值過高，則容易漏檢，將有用的運動信息忽略掉了。另外，當運動目標面積較大，顏色一致時，容易在目標內部產生空洞，無法完整地提取運動目標。減背景法是一種有效的運動目標檢測算法，其基本思想是背景的參數模型來近似背景圖像的像素值，將當前幀與背景模型進行差分比較實現對運動目標區域的檢測，其中區別較大的像素區域被認為是運動區域，而區別較小的像素區域則被認為是背景區域。背景減除法必須要有背景圖像，並且背景圖像要隨著光照和外部環境的變化而實時更新，因此背景減除法關鍵是背景建模及其更新。針對如何建立對於不同場景的動態變化均具有自適應性的背景模型，研究人員已經提出許多背景建模算法，總的來講可以概括為非回歸遞推和回歸背景算法兩類。非回歸遞推背景建模算法是動態的利用從某一時刻開始到當前時刻的一段時間內存儲的新近觀測數據作為樣本來進行背景建模。非回歸背景建模方法有最簡單的幀間差分、中值濾波方法、Toyama等利用緩存的樣本像素來估計背景模型的線性濾波器、Elgammal等提出的利用一段時間的歷史數據來計算背景像素密度的非參數模型等。回歸算法無需維持保存背景估計幀的緩衝區，它們是通過回歸的方式基於輸入的每一幀圖像來更新某個時刻的背景模型。這類方法包括廣泛應用的線性卡爾曼濾波法、Stauffer與Grimson提出的混合高斯模型。 本具體實施方式
中所涉及的視頻中劇烈運動的檢測方法，是通過檢測和計算視頻幀中的運動角點光流，根據運動角點光流計算運動熵，來判斷是否存在劇烈運動，當存在劇烈運動，必要時，可通過其裝置進行劇烈運動的提示。本發明第二實施方式涉及一種視頻中劇烈運動的檢測方法。第二實施方式在第一實施方式的基礎上進行了改進，主要改進之處在於根據運動角點光流計算運動熵的步驟之前還包括以下步驟在視頻幀中檢測運動連通區域。其中，在視頻幀中檢測運動連通區域和運動角點提取可通過視頻中劇烈運動的檢測裝置獲取視頻圖像並處理來實現，具體步驟如下第一步，運動檢測。這一步現有技術方案較多，研究較成熟，主要有背景差、幀差以及光流法等三類方法。本文以背景差法為例來闡述本方法，但不限於僅背景差法。假設視頻第一幀中無運動目標，作為背景幀，用B(t)表示t時刻的背景；當前幀視頻用I(t)表示，則t時刻的運動區域可以表示為F ⑴=I (t) -B (t)(I)在獲得運動圖像F(t)後，對F(t)進行二值化，得到運動二值圖，然後在二值圖上做連通域分析，得到運動連通區域，運動連通區域記為Blob。第二步，運動角點提取。首先，由兩幀圖像獲取幀差圖像，然後對幀差圖像做二值化處理，在幀差二值圖上求取角點。幀差圖像D(t)表示為D(t) =I (t)-I (t-1)(2)角點是指物體在圖像上所顯示的邊緣拐點的位置點。常用的角點提取算子有Harris 等提出的 Harris 算子，David G. Lowe 提出的 SIFT (Scale Invariant FeatureTransform,尺度不變特徵變換)算子，Smith提出的SUSAN算子。在劇烈運動檢測算法中，希望角點提取算子計算簡單、計算速度快，而C. Harris和M. J. Stephens於1988年提出的一種特徵點提取算子-Harris算子具有這樣的特性，且提取出來的角點在圖像上具有大的梯度數值和梯度方向變化率。harris算子提取得到的角點稱為Harris角點。Harris角點定義從局部互相關函數E (u，V)開始，SP
權利要求
1.一種視頻中劇烈運動的檢測方法，其特徵在於，包括以下步驟 在視頻巾貞中檢測運動角點； 計算所述運動角點的光流，得到運動角點光流； 根據所述運動角點光流計算運動熵； 根據所述運動熵判斷是否存在劇烈運動。
2.根據權利要求I所述的視頻中劇烈運動的檢測方法，其特徵在於，所述根據運動角點光流計算運動熵的步驟之前還包括以下步驟 在所述視頻幀中檢測運動連通區域； 在所述根據運動角點光流計算運動熵的步驟中， 對於每一個運動連通區域，統計該運動連通區域中的所有運動角點光流，求得該運動連通區域的運動熵。
3.根據權利要求2所述的視頻中劇烈運動的檢測方法，其特徵在於，在所述檢測運動角點中步驟中，將相鄰視頻幀相減得到前景圖，再從該前景圖上提取運動角點； 在所述檢測運動連通區域的步驟中，將視頻幀與背景相減得到前景圖，再對該前景圖做運動連通區域分割得到運動連通區域。
4.根據權利要求2所述的視頻中劇烈運動的檢測方法，其特徵在於，所述統計運動連通區域中的所有運動角點光流，求得該運動連通區域的運動熵的步驟通過以下方式統計
5.根據權利要求4所述的視頻中劇烈運動的檢測方法，其特徵在於，所述統計運動連通區域中的所有運動角點光流，求得該運動連通區域的運動熵的步驟通過以下方式統計
6.根據權利要求4或5所述的視頻中劇烈運動的檢測方法，其特徵在於，在所述根據運動角點光流計算運動熵的步驟之前，還包括以下步驟 根據視頻幀中所有運動角點光流計算方向直方圖的標準差度量f( Θ )，並判斷f ( Θ )是否在預先設定的上門限和下門限之間，如果是，則執行所述根據運動角點光流計算運動熵的步驟，否則將該視頻幀判定為沒有劇烈運動； 其中上門限大於下門限。
7.根據權利要求6所述的視頻中劇烈運動的檢測方法，其特徵在於，所述根據視頻幀中所有運動角點光流計算f ( Θ )的步驟包括以下子步驟根據各所述運動角點光流計算每個運動角點的運動方向； 對所述運動方向根據預先設定的多個角度區間進行量化，得到方向直方圖； 根據方向直方圖中各個角度區間的量化值求標準差，得到方向直方圖的標準差度量f(0)o
8.根據權利要求6所述的視頻中劇烈運動的檢測方法，其特徵在於，所述根據運動熵判斷是否存在劇烈運動的步驟包括以下子步驟 將每一個視頻幀中最大的運動連通區域的運動熵與預先設定的運動熵閾值相比較，並對大於該運動熵閾值的視頻幀進行統計； 如果在連續的X個視頻幀中，大於所述運動熵閾值的視頻幀的數目大於Y，則判定為存在劇烈運動，其中Y是預先設定的門限，X大於或等於Y。
9.根據權利要求8所述的視頻中劇烈運動的檢測方法，其特徵在於，還包括在劇烈運動的檢測之前預先執行的以下步驟 對當前場景的景深進行標定，得到當前場景中指定位置景深相對於標準場景中相應位置景深的比例係數，再將該比例係數乘以標準場景的運動熵閾值，作為當前場景的運動熵閾值。
10.一種視頻中劇烈運動的檢測裝置，其特徵在於，包括 角點檢測單元，用於在視頻幀中檢測運動角點； 光流計算單元，用於計算所述角點檢測單元所得的運動角點的光流，得到運動角點光流； 熵計算單元，用於根據所述光流計算單元所得的運動角點光流計算運動熵； 運動判斷單元，用於根據所述熵計算單元所得的運動熵判斷是否存在劇烈運動。
11.根據權利要求10所述的視頻中劇烈運動的檢測裝置，其特徵在於，區域檢測單元，用於在所述視頻幀中檢測運動連通區域； 所述熵計算單元計算運動熵時，對於所述區域檢測單元檢測到的每一個運動連通區域，統計該運動連通區域中的所有運動角點光流，求得該運動連通區域的運動熵。
12.根據權利要求11所述的視頻中劇烈運動的檢測裝置，其特徵在於，所述熵計算單元通過以下方式統計運動連通區域中的所有運動角點光流，f \ s: S ^ /m ^ p(i)eBlob j 其中S為運動熵，Blob為運動連通區域，p(i)為視頻幀中的運動角點，ViS p(i)對應的運動角點光流，f(9)為方向直方圖的標準差度量，表示Blob內所有運動角點的方向直方圖的方向一致性度量。
13.根據權利要求11所述的視頻中劇烈運動的檢測裝置，其特徵在於，所述熵計算單元通過以下方式統計運動連通區域中的所有運動角點光流，f \ S= E /則 其中S為運動熵，Blob為運動連通區域，p(i)為視頻巾貞中的運動角點，COi為p(i)的景深權重，ViSp(I)對應的運動角點光流，f(9)為方向直方圖的標準差度量，表示Blob內所有運動角點的方向直方圖的方向一致性度量。
14.根據權利要求12或13所述的視頻中劇烈運動的檢測裝置，其特徵在於，還包括， 方向統計單元，用於根據視頻幀中所有運動角點光流計算方向直方圖的標準差度量f ( 0 ); 排除單元，用於判斷所述方向統計單元所得的f ( 6 )是否在預先設定的上門限和下門限之間，如果是，則允許所述熵計算單元計算運動熵，否則禁止所述熵計算單元計算運動熵並將該視頻幀判定為沒有劇烈運動； 其中上門限大於下門限。
15.根據權利要求14所述的視頻中劇烈運動的檢測裝置，其特徵在於，所述運動判斷單元通過以下方式進行判斷 將每一個視頻幀中最大的運動連通區域的運動熵與預先設定的運動熵閾值相比較，並對大於該運動熵閾值的視頻幀進行統計； 如果在連續的X個視頻幀中，大於所述運動熵閾值的視頻幀的數目大於Y，則輸出表示存在劇烈運動的信號，其中Y是預先設定的門限，X大於或等於Y。
全文摘要
本發明涉及視頻處理領域，公開了一種視頻中劇烈運動的檢測方法及其裝置。本發明中，檢測和計算視頻幀中的運動角點光流，根據運動角點光流計算運動熵，來判斷是否存在劇烈運動。採用運動角點可以有效地捕捉運動，不會被背景上的角點幹擾，也可以減少噪聲的幹擾，另外只需要計算運動角點的光流，不必為一些非運動像素計算光流，大大節省了計算量。對於每一個運動連通區域，統計該運動連通區域中的所有運動角點光流，求得該運動連通區域的運動熵，據此進行是否劇烈運動的判斷。
文檔編號G06K9/00GK102708571SQ201110173948
公開日2012年10月3日 申請日期2011年6月24日 優先權日2011年6月24日
發明者任燁, 童俊豔, 車軍 申請人:杭州海康威視軟體有限公司