一種視頻監測方法、系統及視頻監測報警系統的製作方法
2023-06-30 13:53:01 2
專利名稱：一種視頻監測方法、系統及視頻監測報警系統的製作方法
技術領域：
本發明涉及一種視頻監測方法、系統及視頻報警系統，尤其涉及一種針對暴力行 為進行視頻監測的方法、系統及視頻監測報警系統。
背景技術：
隨著社會的發展，視頻監測越來越廣泛應用，特別是在公共場所。而打鬥、搶奪等 暴力行為是嚴重影響公共安全的行為，這些事件會危害人民的生命財產安全，引起財產損 失和身體傷害。例如，近年來銀行自助廳內發生了大量的打鬥、搶奪和殺人案件，其中比較 典型的案件為搶奪取款者現金和在銀行自助廳內打鬥或者兩類行為同時發生。現有技術 中，視頻監測主要通過人來實時監測來進行，不能自動通過機器進行實時監測。
發明內容
本發明解決的技術問題是提供一種視頻監測方法、系統及視頻報警系統，克服現 有技術中不能自動進行視頻安全監測的技術問題。本發明的技術方案是提供一種視頻監測方法，包括匯集運動區域運動特徵樣本 的訓練集，所述視頻監測方法包括如下步驟獲取視頻區域從視頻中獲取需要監測的運動區域；提取運動區域中的運動特徵包括確定運動區域的範圍、獲取運動區域的能量及 獲取運動區域的運動方向的方差值；獲取視頻監測結果所述訓練集包括發生搶劫或打鬥區域的正樣本以及沒有發生 搶劫或打鬥區域的負樣本，將提取的運動區域中的運動特徵與所述訓練集中的正樣本和負 樣本進行比較，通過與訓練集中相近正樣本數和負樣本數的多少判斷運動區域是否為發生 搶劫或打鬥的區域。本發明的進一步技術方案是在提取運動區域中的運動特徵的步驟中，以運動區 域的最小外接矩形的寬與高確定運動區域的範圍。本發明的進一步技術方案是在提取運動區域中的運動特徵的步驟中，計算運動 區域中每個像素點在X方向和Y方向的光流值，根據運動區域中每個像素點的光流值計算 出運動區域內的能量。本發明的進一步技術方案是在提取運動區域中的運動特徵的步驟中，獲取運動 區域的平均運動方向及連續兩幀內運動區域的運動方向，根據運動區域的平均運動方向及 連續兩幀內運動區域的運動方向計算運動區域的運動方向的方差值。本發明的技術方案是構建一種視頻監測系統，所述視頻報警系統包括生成視頻 的視頻監測單元、從視頻中獲取需要監測的運動區域分割單元、提取運動區域中的運動特 徵的特徵提取單元、匯集運動區域運動特徵樣本的訓練集以及與訓練集中的樣本進行比較 判斷的比較判斷單元，所述視頻監測單元通過視頻監測生成視頻，所述運動區域分割單元 根據監測的視頻分割出需要監測視頻中的運動區域，所述特徵提取單元提取運動區域中的運動特徵，所述運動特徵包括確定運動區域的範圍、獲取運動區域的能量及獲取運動區域 的運動方向的方差值，所述訓練集包括發生搶劫或打鬥區域的正樣本以及沒有發生搶劫或 打鬥區域的負樣本，所述比較判斷單元將所述特徵提取單元提取的運動區域中的運動特徵 與所述訓練集中的正樣本和負樣本進行比較，通過與訓練集中相近正樣本數和負樣本數的 多少判斷運動區域是否為發生搶劫或打鬥的區域。本發明的進一步技術方案是所述特徵提取單元包括確定運動區域的範圍的運動 區域提取模塊，所述運動區域提取模塊提取運動區域的最小外接矩形的寬與高。本發明的進一步技術方案是所述特徵提取單元包括獲取運動區域的能量的能量 獲取模塊，所述能量獲取模塊計算運動區域中每個像素點在X方向和Y方向的光流值，再根 據運動區域中每個像素點的光流值計算出運動區域內的能量。本發明的進一步技術方案是所述特徵提取單元包括獲取運動區域的運動方向的 方差值的方差獲取模塊，所述方差獲取模塊獲取獲取運動區域的平均運動方向及連續兩幀 內運動區域的運動方向，根據運動區域的平均運動方向及連續兩幀內運動區域的運動方向 計算運動區域的運動方向的方差值。本發明的進一步技術方案是所述視頻監測系統還包括對運動特徵與樣本進行相 近性判斷並分類的近鄰分類單元，所述近鄰分類單元將提取的運動區域中的運動特徵與所 述訓練集中的正樣本和負樣本進行相似比較並分類，確定出與其相似的正樣本和負樣本的數量。本發明的技術方案是構建一種視頻監測報警系統，所述視頻報警系統包括生成 視頻的視頻監測單元、從視頻中獲取需要監測的運動區域分割單元、提取運動區域中的運 動特徵的特徵提取單元、匯集運動區域運動特徵樣本的訓練集、與訓練集中的樣本進行比 較判斷的比較判斷單元以及根據比較判斷單元確定運動區域為發生搶劫或打鬥的區域的 報警單元，所述視頻監測單元通過視頻監測生成視頻，所述運動區域分割單元根據監測的 視頻分割出需要監測視頻中的運動區域，所述特徵提取單元提取運動區域中的運動特徵， 所述運動特徵包括確定運動區域的範圍、獲取運動區域的能量及獲取運動區域的運動方向 的方差值，所述訓練集包括發生搶劫或打鬥區域的正樣本以及沒有發生搶劫或打鬥區域的 負樣本，所述比較判斷單元將所述特徵提取單元提取的運動區域中的運動特徵與所述訓練 集中的正樣本和負樣本進行比較，通過與訓練集中相近正樣本數和負樣本數的多少判斷運 動區域是否為發生搶劫或打鬥的區域，所述報警單元根據所述比較判斷單元確定確定運動 區域為發生搶劫或打鬥的區域時進行報警。本發明的技術效果是本發明視頻監測方法、系統及視頻監測報警系統，通過提取 運動區域中的運動特徵，將運動區域的運動特徵與訓練集中的正樣本和負樣本進行比較， 通過與訓練集中相近正樣本數和負樣本數的多少判斷運動區域是否為發生搶劫或打鬥的 區域，這樣能自動地實時進行暴力行為的智能視頻監控，促進安防設備的發展。
圖1為本發明的流程圖。圖2為本發明視頻監測系統的結構示意圖。圖3為本發明的視頻監測報警系統的結構示意圖。
具體實施例方式
下面結合具體實施例，對本發明技術方案進一步說明。如圖1所示，本發明的具體實施方式
是提供一種視頻監測方法，包括匯集運動區 域運動特徵樣本的訓練集，所述視頻監測方法包括如下步驟步驟100 獲取視頻區域，即，從視頻中獲取需要監測的運動區域。對於視頻區域 的獲取，通常通過攝像探頭攝像獲取。在公共場所或者室內，攝像探頭通常安裝在較高的位 置，攝像時大多以向下傾斜，即與垂直方向成45-60度傾角實時對監控區域進行視頻拍攝。 當實時拍攝到有人運動的區域時，將該視頻拍攝的有人運動的區域作為監測區域進行分析 判斷。這裡的有人運動區域包括人的正常移動、人的快速移動以及打鬥、搶劫等暴力行為導 致的動作。步驟200 提取運動區域中的運動特徵，即，包括確定運動區域的範圍、獲取運動 區域的能量及獲取運動區域的運動方向的方差值。對運動區域運動特徵的提取具體過程如 下確定運動區域的範圍本發明的具體實施例中，以運動區域的最小外接矩形的寬 與高為範圍來確定運動區域的範圍。運動區域能量的獲取，包括獲取運動區域中每個像素點的光流值，然後根據運動 區域中每個像素點的光流量獲取運動區域的總能量。具體過程如下首先將彩色圖像轉換 為灰度圖像。然後計算每個像素點的光流值。我們的算法採用Lucas & Kanade算法計算 出運動區域的最小外接矩形內每個像素點在X方向和Y方向的光流值。通過計算出的像素 點的光流值，利用如下公式計算每個像素點的運動方向θ if X < 0, y ^ Q Aj = ^ - atan(| ^ |), if χ < O, y < O, O1, = ^+ fltan(| ^ |)
χχif X > O, y O, y ^ O,O1J =atan(|之|)
χχif χ = O, y = O, θ = Oif χ = O, y OAj =昏上述公式中，χ與y分別表示像素點在X方向和Y方向的光流值，π為取值3. 14159 的常數，θ u為視頻幀中第i行第j列的像素點的運動方向，atan為三角函數中的反正切 函數。算法將運動區域內每個像素點的權值設置為，
θ』, , max(6' ),wu = (^)2 + (^)2
TT71算法利用下式計算運動區域內的總能量+ 兄))此處的累加對每個運動區域的最小外接矩形內的每個像素進行。運動區域的運動方向的方差值獲取，首先計算出所有運動區域運動方向的平均運 動方向。然後計算連續兩幀內的所有運動區域的運動方向。由於運動方向大小在0-360 度之間，而O度與360度方向相同，其差則為360，平均運動方向avg的計算需要進行換算。Q ^m QQ
令 avg = (leftavg+rightavg)/2, . left ~~~- (270 彡 θ j ^ 90, i = 1,...,
τη
m), right avs ^θι+θ2+-· + θη (90 > θ ' i 彡 0 或 360 彡 θ 『 , > 270，i = 1，. . .，η)。當 η
rightavg> 270時，令rightavg = rightavg-360。上述公式中，θ i表示運動方向在90度與 270度之間的第i個運動區域的運動方向，Θ' 1表示運動方向在0度與90度之間和270 度與360度之間的第i個運動區域的運動方向，Ieftavg表示運動方向在90度與270度之間 的所有運動區域的運動方向平均值，rightavg表示運動方向在0度與90度之間和270度與 360度之間的所有運動區域的運動方向平均值，avg表示所有運動區域的運動方向平均值。通過上述公式計算出平均運動方向後，利用下式計算運動方向的方差首先對每 個運動區域，若其運動方向9丨或θ 『 i滿足I ei-avgl > ISO或I θ 『 i-avgl > ISO，則 令 I θ i-avgl = 360-1 θ i-avgl 或 | θ 『 ^avg = 360- θ 『 ^avg |，而其他情況下不改變 91與θ 『 i之值。故所有運動區域的運動方差為Var = ^w1+Σ\(Θ' 「aV8)2 >var即為
m + nm + n
運動方向的方差值。步驟300 獲取視頻監測結果，即，所述訓練集包括發生搶劫或打鬥區域的正樣本 以及沒有發生搶劫或打鬥區域的負樣本，將從實時視頻中提取的運動區域中的運動特徵與 所述訓練集中的正樣本和負樣本進行比較，通過與訓練集中相近正樣本數和負樣本數的多 少判斷運動區域是否為發生搶劫或打鬥的區域。本發明中，對於訓練集的生成具體過程如下訓練集包含兩類樣本，正樣本與負樣 本。正樣本產生自發生搶劫或打鬥的區域，而負樣本產生自沒自發生搶劫或打鬥的區域。每 個樣本的數據由上述檢測出的運動區域的最小外接矩形的高與寬、運動區域內的總能量、 視頻幀內運動方向的方差值這四個特徵組成的矢量。利用一些發生搶奪和打鬥行為的視頻 來生成訓練集中的正樣本，利用沒有搶奪和打鬥行為的視頻來生成訓練集中的負樣本。利 用不同的視頻，可產生不同的訓練集。使用不同訓練集得到的檢測結果將不同，算法將對應 最高正確率的訓練集選做最終的訓練集。結合訓練集與N近鄰分類器(N取為奇數)，就可認定視頻幀中的運動區域是否為 發生打鬥或者搶劫的區域。具體方案如下計算正被檢測運動區域的運動特徵(即四維矢 量)與所有訓練樣本間特徵的歐幾裡德距離，然後找出距離正被檢測的運動區域的特徵最 近的N個訓練樣本。只有在這N個訓練樣本中正樣本個數多於負樣本時，才將被測試區域 認定為發生打鬥或者搶劫的區域。如圖2所示，本發明的具體實施方式
是構建一種視頻監測系統，包括生成視頻的 視頻監測單元1、從視頻中獲取需要監測的運動區域分割單元2、提取運動區域中的運動特 徵的特徵提取單元3、匯集運動區域運動特徵樣本的訓練集5以及與訓練集5中的樣本進行 比較判斷的比較判斷單元4，所述視頻監測單元1通過視頻監測生成視頻，所述運動區域分 割單元2根據監測的視頻分割出需要監測視頻中的運動區域，所述特徵提取單元3提取運 動區域中的運動特徵，所述運動特徵包括確定運動區域的範圍、獲取運動區域的能量及獲 取運動區域的運動方向的方差值，所述訓練集5包括發生搶劫或打鬥區域的正樣本51以及沒有發生搶劫或打鬥區域的負樣本52，所述比較判斷單元4將所述特徵提取單元3提取的 運動區域中的運動特徵與所述訓練集中的正樣本和負樣本進行比較，通過與訓練集中相近 正樣本數和負樣本數的多少判斷運動區域是否為發生搶劫或打鬥的區域。本發明的具體實施過程如下首先，視頻監測單元1生成監測視頻，所述運動區域 分割單元2再從監測視頻中獲取需要監測的運動區域。對於視頻區域的獲取，通常通過攝 像探頭攝像獲取。在公共場所或者室內，攝像探頭通常安裝在較高的位置，攝像時大多以向 下傾斜，即與垂直方向成45-60度傾角實時對監控區域進行視頻拍攝。當實時拍攝到有人 運動的區域時，將該視頻拍攝的有人運動的區域作為監測區域進行分析判斷。這裡的有人 運動區域包括人的正常移動、人的快速移動以及打鬥、搶劫等暴力行為導致的動作。其次， 所述特徵提取單元3提取運動區域中的運動特徵，即，包括確定運動區域的範圍、獲取運動 區域的能量及獲取運動區域的運動方向的方差值。具體工作過程如視頻監測方法中步驟2 提取運動區域中的運動特徵的過程。最後，所述比較判斷單元4將所述特徵提取單元3提 取的運動區域中的運動特徵與所述訓練集中的正樣本和負樣本進行比較，通過與訓練集中 相近正樣本數和負樣本數的多少判斷運動區域是否為發生搶劫或打鬥的區域。本發明的優選實施方式是所述視頻監測系統還包括對運動特徵與樣本進行相近 性判斷並分類的近鄰分類單元6，所述近鄰分類單元6將提取的運動區域中的運動特徵與 所述訓練集5中的正樣本和負樣本進行相似比較並分類，確定出與其相似的正樣本和負樣 本的數量。具體過程如下結合訓練集與N近鄰分類器(N取為奇數)，就可認定視頻幀中的 運動區域是否為發生打鬥或者搶劫的區域。具體方案如下計算正被檢測運動區域的運動 特徵(即四維矢量)與所有訓練樣本間特徵的歐幾裡德距離，然後找出距離正被檢測的運 動區域的特徵最近的N個訓練樣本。只有在這N個訓練樣本中正樣本個數多於負樣本時， 才將被測試區域認定為發生打鬥或者搶劫的區域。如圖3所示，本發明的具體實施方式
是構建一種視頻監測報警系統，包括生成視 頻的視頻監測單元1、從視頻中獲取需要監測的運動區域分割單元2、提取運動區域中的運 動特徵的特徵提取單元3、匯集運動區域運動特徵樣本的訓練集5、與訓練集5中的樣本進 行比較判斷的比較判斷單元4以及根據比較判斷單元確定運動區域為發生搶劫或打鬥的 區域的報警單元8，所述視頻監測單元1通過視頻監測生成視頻，所述運動區域分割單元2 根據監測的視頻分割出需要監測視頻中的運動區域，所述特徵提取單元3提取運動區域中 的運動特徵，所述運動特徵包括確定運動區域的範圍、獲取運動區域的能量及獲取運動區 域的運動方向的方差值，所述訓練集5包括發生搶劫或打鬥區域的正樣本51以及沒有發生 搶劫或打鬥區域的負樣本52，所述比較判斷單元4將所述特徵提取單元3提取的運動區域 中的運動特徵與所述訓練集中的正樣本和負樣本進行比較，通過與訓練集中相近正樣本數 和負樣本數的多少判斷運動區域是否為發生搶劫或打鬥的區域，所述報警單元8根據所述 比較判斷單元4確定確定運動區域為發生搶劫或打鬥的區域時進行報警。本發明的具體實施過程如下首先，視頻監測單元1生成監測視頻，所述運動區域 分割單元2再從監測視頻中獲取需要監測的運動區域。對於視頻區域的獲取，通常通過攝 像探頭攝像獲取。在公共場所或者室內，攝像探頭通常安裝在較高的位置，攝像時大多以向 下傾斜，即與垂直方向成45-60度傾角實時對監控區域進行視頻拍攝。當實時拍攝到有人 運動的區域時，將該視頻拍攝的有人運動的區域作為監測區域進行分析判斷。這裡的有人運動區域包括人的正常移動、人的快速移動以及打鬥、搶劫等暴力行為導致的動作。其次， 所述特徵提取單元3提取運動區域中的運動特徵，即，包括確定運動區域的範圍、獲取運動 區域的能量及獲取運動區域的運動方向的方差值。具體工作過程如視頻監測方法中步驟2 提取運動區域中的運動特徵的過程。最後，所述比較判斷單元4將所述特徵提取單元3提 取的運動區域中的運動特徵與所述訓練集中的正樣本和負樣本進行比較，通過與訓練集中 相近正樣本數和負樣本數的多少判斷運動區域是否為發生搶劫或打鬥的區域。所述報警單 元8根據所述比較判斷單元4確定確定運動區域為發生搶劫或打鬥的區域時進行報警。
以上內容是結合具體的優選實施方式對本發明所作的進一步詳細說明，不能認定 本發明的具體實施只局限於這些說明。對於本發明所屬技術領域的普通技術人員來說，在 不脫離本發明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬於本發明的 保護範圍。
權利要求
一種視頻監測方法，包括匯集運動區域運動特徵樣本的訓練集，所述視頻監測方法包括如下步驟獲取視頻區域從視頻中獲取需要監測的運動區域；提取運動區域中的運動特徵包括確定運動區域的範圍、獲取運動區域的能量及獲取運動區域的運動方向的方差值；獲取視頻監測結果所述訓練集包括發生搶劫或打鬥區域的正樣本以及沒有發生搶劫或打鬥區域的負樣本，將提取的運動區域中的運動特徵與所述訓練集中的正樣本和負樣本進行比較，通過與訓練集中相近正樣本數和負樣本數的多少判斷運動區域是否為發生搶劫或打鬥的區域。
2.根據權利要求1所述的視頻監測方法，其特徵在於，在提取運動區域中的運動特徵 的步驟中，以運動區域的最小外接矩形的寬與高確定運動區域的範圍。
3.根據權利要求1所述的視頻監測方法，其特徵在於，在提取運動區域中的運動特徵 的步驟中，計算運動區域中每個像素點在X方向和Y方向的光流值，根據運動區域中每個像 素點的光流值計算出運動區域內的能量。
4.根據權利要求1所述的視頻監測方法，其特徵在於，在提取運動區域中的運動特徵 的步驟中，獲取運動區域的平均運動方向及連續兩幀內運動區域的運動方向，根據運動區 域的平均運動方向及連續兩幀內運動區域的運動方向計算運動區域的運動方向的方差值。
5.一種視頻監測系統，其特徵在於，所述視頻報警系統包括生成視頻的視頻監測單元、 從視頻中獲取需要監測的運動區域分割單元、提取運動區域中的運動特徵的特徵提取單 元、匯集運動區域運動特徵樣本的訓練集以及與訓練集中的樣本進行比較判斷的比較判斷 單元，所述視頻監測單元通過視頻監測生成視頻，所述運動區域分割單元根據監測的視頻 分割出需要監測視頻中的運動區域，所述特徵提取單元提取運動區域中的運動特徵，所述 運動特徵包括確定運動區域的範圍、獲取運動區域的能量及獲取運動區域的運動方向的方 差值，所述訓練集包括發生搶劫或打鬥區域的正樣本以及沒有發生搶劫或打鬥區域的負樣 本，所述比較判斷單元將所述特徵提取單元提取的運動區域中的運動特徵與所述訓練集中 的正樣本和負樣本進行比較，通過與訓練集中相近正樣本數和負樣本數的多少判斷運動區 域是否為發生搶劫或打鬥的區域。
6.根據權利要求5所述的視頻監測系統，其特徵在於，所述特徵提取單元包括確定運 動區域的範圍的運動區域提取模塊，所述運動區域提取模塊提取運動區域的最小外接矩形 的寬與高。
7.根據權利要求5所述的視頻監測系統，其特徵在於，所述特徵提取單元包括獲取運 動區域的能量的能量獲取模塊，所述能量獲取模塊計算運動區域中每個像素點在X方向和 Y方向的光流值，再根據運動區域中每個像素點的光流值計算出運動區域內的能量。
8.根據權利要求5所述的視頻監測系統，其特徵在於，所述特徵提取單元包括獲取運 動區域的運動方向的方差值的方差獲取模塊，所述方差獲取模塊獲取獲取運動區域的平均 運動方向及連續兩幀內運動區域的運動方向，根據運動區域的平均運動方向及連續兩幀內 運動區域的運動方向計算運動區域的運動方向的方差值。
9.根據權利要求5所述的視頻監測系統，其特徵在於，所述視頻監測系統還包括對運 動特徵與樣本進行相近性判斷並分類的近鄰分類單元，所述近鄰分類單元將提取的運動區域中的運動特徵與所述訓練集中的正樣本和負樣本進行相似比較並分類，確定出與其相似 的正樣本和負樣本的數量。
10. 一種應用權利要求5至9中任一權利要求所述視頻監測系統的視頻監測報警系統， 所述視頻報警系統包括生成視頻的視頻監測單元、從視頻中獲取需要監測的運動區域分割 單元、提取運動區域中的運動特徵的特徵提取單元、匯集運動區域運動特徵樣本的訓練集、 與訓練集中的樣本進行比較判斷的比較判斷單元以及根據比較判斷單元確定運動區域為 發生搶劫或打鬥的區域的報警單元，所述視頻監測單元通過視頻監測生成視頻，所述運動 區域分割單元根據監測的視頻分割出需要監測視頻中的運動區域，所述特徵提取單元提取 運動區域中的運動特徵，所述運動特徵包括確定運動區域的範圍、獲取運動區域的能量及 獲取運動區域的運動方向的方差值，所述訓練集包括發生搶劫或打鬥區域的正樣本以及沒 有發生搶劫或打鬥區域的負樣本，所述比較判斷單元將所述特徵提取單元提取的運動區域 中的運動特徵與所述訓練集中的正樣本和負樣本進行比較，通過與訓練集中相近正樣本數 和負樣本數的多少判斷運動區域是否為發生搶劫或打鬥的區域，所述報警單元根據所述比 較判斷單元確定確定運動區域為發生搶劫或打鬥的區域時進行報警。
全文摘要
本發明涉及一種視頻監測方法、系統及視頻報警系統，所述視頻監測方法包括匯集運動區域運動特徵樣本的訓練集，所述視頻監測方法包括如下步驟獲取視頻區域從視頻中獲取需要監測的運動區域；提取運動區域中的運動特徵包括確定運動區域的範圍、獲取運動區域的能量及獲取運動區域的運動方向的方差值；獲取視頻監測結果將提取的運動區域中的運動特徵與所述訓練集中的正樣本和負樣本進行比較，通過與訓練集中相近正樣本數和負樣本數的多少判斷運動區域是否為發生搶劫或打鬥的區域。本發明視頻監測方法、系統及視頻監測報警系統，實現了自動實時進行視頻監控暴力行為，促進了安防設備的發展。
文檔編號G06K9/62GK101968848SQ201010294119
公開日2011年2月9日 申請日期2010年9月27日 優先權日2010年9月27日
發明者徐勇 申請人:哈爾濱工業大學深圳研究生院