一種基於光流信息的行為識別方法

2023-05-16 04:26:31

一種基於光流信息的行為識別方法
【專利摘要】本發明公開了一種基於光流信息的行為識別方法，屬於計算機圖像處理【技術領域】。本發明包括：獲取單行為視頻序列光流圖；將光流圖的每個光流矢量通過鄰域中的所有光流矢量的方向信息確定其運動方向模式；並利用中值濾波確定幅度值，再按幅度值劃分為不同的運動幅度模式，由光流矢量運動方向模式和運動幅度模式確定每個光流矢量運動模式；按行、列將每幅光流圖劃分為多個矩形塊，統計每個矩形塊中所有光流矢量的運動模式形成運動模式直方圖，級聯每幅光流圖的所有矩形塊的直方圖形成光流圖的特徵向量，再級聯所有光流圖的特徵向量得到當前行為特徵向量，基於SVM對獲取的不同行為特徵向量進行訓練和識別。本發明在行為識別時，對複雜背景的抑制能力強。
【專利說明】一種基於光流信息的行為識別方法
【技術領域】
[0001]本發明屬於計算機圖像處理【技術領域】，主要涉及對視頻圖像中的行為識別。
【背景技術】
[0002]人體行為(動作行為)識別在計算機視覺中是一個具有吸引力及挑戰性的問題。人體行為識別是指對人體的運動模式、姿態進行分析、理解與識別，是視頻中人體運動分析與理解的高級視覺研究，屬於人工智慧的範疇。人體運動的視覺分析理解、動作行為識別可以應用於很多領域，比如:運動捕捉，視頻監控，人機互動，環境控制與監視，體育運動與娛樂等等。特別是在視頻監控方面，隨著攝像機等安防監控設備成本的日益降低，視頻監控系統可以廣泛地應用於銀行、郵電、教育、交通、公安、監獄、法庭、大型公共設施、公共場所(銀行、醫院、停車場、商店、等公共場所甚至家庭庭院內)、大型倉庫等場所，在公共安全領域起著日益重要的作用。由於巨大的應用需求，基於計算機視覺的行為識別成為學術界和工業界研究的熱點。
[0003]人體行為識別是計算機視覺中極富挑戰的工作。這主要是由於視頻拍攝時不斷變化的視角，視頻中運動人體外觀的大小和顏色差異，個體運動時的幅度差異，複雜的背景等等因素都給識別帶來了較大困難。行為識別發展多年，按用作識別的特徵信息分類大體可分為兩類:(I)基於高層次的形狀信息；(2)基於低層次的外觀和運動細節信息。第(I)種利用高層信息進行識別，它包括利用人體運動模式的標準模板、運動人體的輪廓信息、和3D時空卷。第⑵種利用低層信息，這也是近年來研究比較多的方向。
[0004]當前，基於底層信息的行為識別方法主要有:
[0005](I)局部描述符。這類方法是在視頻序列中找到時空興趣點(STIP)，然後用適當的描述子將包圍時空興趣點一定大小的立方體的局部信息描述出來。然後將這些描述符進行聚類，構建詞袋。進而用詞袋中的元素去描述一個視頻，形成特徵向量。該方法能夠高效的提取運動信息，但是在相機抖動和背景複雜的情況下，人體的運動信息容易被淹沒在背景運動的信息中。
[0006](2)基於光流的方法。該方法先要估計視屏序列中連續幀之間的光流信息。光流法提供了一種高效的提起畫面中局部動態的方法。但是光流信息提取存在較大誤差，不可靠或者錯誤的估計都將誤導後續的識別。現有的HOF特徵是對一定大小的網格在幾個方向上對運動幅度進行加權，形成直方圖，但該直方圖對運動幅度沒有量化，導致其識別魯棒性較差。

【發明內容】

[0007]本發明的發明目的在於:針對上述存在的問題，提供一種對背景複雜具有抑制作用的行為識別技術。
[0008]本發明的基於光流信息的行為識別方法，包括下列步驟:
[0009]步驟1:提取單行為視頻序列的光流信息，得到兩幅以上的光流圖；[0010]步驟2:確定各光流圖的每個光流矢量m的運動模式:
[0011]步驟2-1:在光流矢量m的鄰域取kXk網格，將所述kXk網格所在的平面劃分為等間隔度數的a個方向區間，所述方向區間的取值範圍為(0°，360° ]，並設定0°表示靜止狀態模式，基於所述a個方向區間，得到a+Ι種運動方向模式，其中k為大於I的奇數，a為大於I的整數；
[0012]對kXk網格中的各個光流矢量按方向在所述a+Ι種運動方向模式上進行投票，取得票最多的運動方向模式為光流矢量m的運動方向，取得票最多的運動方向模式所對應的方向區間或取值為kXk網格的主運動方向；
[0013]步驟2-2:基於kXk網格中落在所述主運動方向的光流矢量，按幅度值進行中值濾波，並將濾波結果作為光流矢量m的幅度值；
[0014]步驟2-3:基於光流矢量m的幅度值，根據預設運動幅度模式聚類類別，對各光流矢量m進行聚類處理，確定光流矢量m的運動幅度模式；
[0015]步驟2-4:基於光流矢量m的運動方向模式和運動幅度模式，確定各個光流矢量m的運動模式；
[0016]步驟3:確定步驟I所述單行為視頻序列的行為特徵向量:
[0017]步驟3-1:分別將每幅光流圖按行、列劃分為hX I個矩形塊，統計每個矩形塊中的各光流矢量m的運動模式，形成各個矩形塊的運動模式直方圖；將得到的hX I個運動模式直方圖級聯構成各光流圖的特徵向量；
[0018]步驟3-2:將各光流圖的特徵向量級聯後得到當前行為特徵向量；
[0019]步驟4:基於支持向量機SVM對步驟3獲取的不同的行為特徵向量進行訓練和識別。
[0020]由於採用了上述技術方案，本發明的有益效果是:
[0021](I)對已提取的光流圖的每個光流矢量m通過鄰域中的所有光流矢量m的方向信息確定中心光流矢量m的運動方向模式，並利用中值濾波確定其幅度值，從而能夠很好的抑制由於光流計算時帶來的誤差和錯誤；
[0022](2)基於光流矢量m中值濾波確定的幅度值，對光流矢量m的幅度進行聚類，按幅度值劃分為不同的運動幅度模式，由光流矢量m運動方向模式和運動幅度模式確定每個光流矢量m運動模式，對因視頻採集設備抖動造成的運動幹擾信息有一定的抑制作用；
[0023](3)對光流矢量m幅度量化(幅度聚類)使得運動模式更加完備，表徵運動信息更精細化，量化後用不同等級來表徵運動幅度模式，而不是用運動的絕對幅度值，從而消除不同形體大小的人(如小孩和成年人)在做相同運動模式時因運動幅度尺度不同而帶來的差異，使系統對不同形體大小，不同運動尺度的人體行為識別具有更好的魯棒性。
【具體實施方式】
[0024]為使本發明的目的、技術方案和優點更加清楚，下面結合實施方式，對本發明作進一步地詳細描述。
[0025]本發明的基於光流信息的行為識別方法的主要流程包括:
[0026]步驟SlOO:提取單行為視頻序列的光流圖；
[0027]步驟S200:以網格為單位對光流圖中的各光流矢量m進行運動模式編碼；[0028]步驟S300:運動模式直方圖統計，獲取行為特徵向量；
[0029]步驟S400:基於支持向量機SVM(Support Vector Machine)分類器對行為特徵向量進行分類訓練和識別。
[0030]各步驟具體執行過程如下:
[0031]步驟SlOO可採取與現有的行為識別中關於光流圖的獲取相同的方式獲取，在本【具體實施方式】中，可通過下述步驟獲取:
[0032]步驟SlOl:調整單行為視頻序列(所謂單行為視頻，即對待處理的視頻進行相應的裁剪，使得當前輸入的視頻序列中只包含一種行為。或者是在輸入的視頻序列中，標識出單個行為在視頻序列的起始和結束幀)圖片的大小，以降低後續計算的計算量，即對視頻圖像進行下採樣處理，將圖像大小為mXn矩陣的原始圖像調整為cXd矩陣(c ^ m, d ^ η)；
[0033]步驟S102:計算連續幀之間的光流信息:
[0034]從單行為的視頻序列中等距離抽取s個切片，所述切片表示單行為視頻序列中一段連續視頻幀，其中s為自然數，s的大小根據動作或視頻持續的時間長度自行選取，一般取 2-4 ；
[0035]在每個切片中選取3幀等間隔視頻圖像:前一幀I (t-Λ t)，當前幀I⑴，後一幀I(t+At), At為每兩幀之間的間隔，其中At可根據需要取值，其取區間為[1，5]中的整數值； [0036]用光流算法(例如LK (Lucas-Kanade)算法)分別對每個切片中I (t_ Δ t)與I (t),I(t)與I(t+At)求取光流矢量，得到2幅光流圖，s個切片共2s幅光流圖。
[0037]步驟S200:以網格為單位確定每幅光流圖中的各光流矢量m的行運動模式:
[0038]步驟S201:對給定的光流失量m，在其領域取kXk網格(k取大於I的奇數)，將所述kXk網格所在的平面劃分為等間隔度數的a(a為大於I的整數，a值越大則表示對運動方向的量化越精細)個方向區間，每個方向區間間隔為360/a°，每個區間代表一種運動方向模式，並設定0°表示靜止狀態模式(無運動方向)得到a+Ι種運動方向模式。例如，將平面分為8個方向區間，每個方向區間的取值範圍可表示為(0°，45° ], (45° ,90° ]，(90° ,135° ], (135° ,180° ], (180° ,225° ],(225°，270° ],(270° ,315° ],(315°，360° ]，再加上I個靜止狀態模式共9種運動方向模式。
[0039]對kX k網格中的各個光流矢量按方向在所述a+Ι種運動方向模式上進行投票，取得票最多的運動方向模式為光流矢量m的運動方向，取得票最多的運動方向模式所對應的方向區間或取值為kXk網格的主運動方向；
[0040]步驟S202:基於kXk網格中落在其主運動方向的各光流矢量，按幅度值進行中值濾波，並將濾波結果作為光流矢量m的幅度值；
[0041]步驟S203:將一幅光流圖上全部光流矢量按上述操作得到的對應的幅度值後，進行聚類處理，根據預設運動幅度模式聚類類別數C (C為整數，C > I)，對各光流矢量m進行聚類處理，確定光流矢量m的運動幅度模式，即光流矢量m所落在的聚類類別則表示該光流矢量m的運動幅度模式；例如:若C = 2時，則得到的2類分別代表靜止、運動兩種運動模式；若C = 3，則得到3類分別代表靜止、小幅運動、大幅運動三種幅度模式。C越大，則表明對運動幅度的量化越精細，各類別所對應的幅度取值範圍基於應用場景進行設定。[0042]步驟S204:將光流矢量m的運動方向模式和運動幅度模式進行聯合編碼，例如基於局部三值模式LTP進行聯合編碼。由於運動方向模式有a+Ι種情況，運動幅度模式有C種模式，聯合編碼後得到光流矢量m的運動模式一共有C (a+Ι)種模式，則每一個光流矢量m對應C(a+1)種運動模式中的一種。
[0043]步驟S300:對每幅光流圖進行運動模式統計，形成運動模式直方圖，從而獲取當前單行為視頻序列所對應的動作行為的行為特徵向量:
[0044]步驟S301:將每幅光流圖按行、列劃分為hXl(h、l的取值基於實際應用需求進行設置，一般取1-5中的整數值)個矩形塊，分別統計所劃分的各矩形塊中所包含的光流矢量的運動模式，形成每個矩形塊的運動模式直方圖，每個矩形塊所形成的運動直方圖的柱狀個數和光流矢量m的運動模式的種類數相同，為C(a+1)；
[0045]步驟S302:再將hX I個運動直方圖級聯形成一個代表一副光流圖的特徵向量，該特徵向量為hlC(a+l)維；
[0046]步驟S303:將2s幅光流圖所對應的特徵向量進行級聯，得到當前單行為視頻序列的行為特徵向量，則代表一個動作行為的特徵向量維度為2shlC(a+l)。在實際操作中各參數可基於處理需求選取適當的值(例如設定s = 3，h = 2，I = 2，C = 3，a = 4，一個動作行為的特徵向量維度為360維)，從而使得到的樣本維度比用原始的HOF特徵去表徵整個行為時的維度低，有利於後期的訓練和分類。
[0047]步驟S400:基於支持向量機SVM對步驟S300獲取的不同動作行為的行為特徵向量進行訓練和識別，具體的訓練和識別為現有技術，此處不再詳述。
[0048]採用上述方法，在Matlab平臺上進行本發明處理方法的仿真，通過大量的實驗證明，本發明提出的基於光流塊的人體動作行為特徵的表示方法是一種高效、簡單的特徵描述方法，基於其的行為識別方法，能夠滿足實時性的要求，對相機抖動和背景複雜有較強的抑制能力。
[0049]以上所述，僅為本發明的【具體實施方式】，本說明書中所公開的任一特徵，除非特別敘述，均可被其他等效或具有類似目的的替代特徵加以替換；所公開的所有特徵、或所有方法或過程中的步驟，除了互相排斥的特徵和/或步驟以外，均可以任何方式組合。
【權利要求】
1.一種基於光流信息的行為識別方法，其特徵在於，包括下列步驟: 步驟1:提取單行為視頻序列的光流信息，得到兩幅以上的光流圖； 步驟2:確定各光流圖的每個光流矢量m的運動模式: 步驟2-1:在光流矢量m的鄰域取kXk網格，將所述kXk網格所在的平面劃分為等間隔度數的a個方向區間，所述方向區間的取值範圍為(0°，360° ]，並設定0°表示靜止狀態模式，基於所述a個方向區間,得到a+Ι種運動方向模式,其中k為大於I的奇數，a為大於I的整數； 對kX k網格中的各個光流矢量按方向在所述a+Ι種運動方向模式上進行投票，取得票最多的運動方向模式為光流矢量m的運動方向，取得票最多的運動方向模式所對應的方向區間或取值為kXk網格的主運動方向； 步驟2-2:基於kXk網格中落在所述主運動方向的光流矢量，按幅度值進行中值濾波，並將濾波結果作為光流矢量m的幅度值； 步驟2-3:基於光流矢量m的幅度值，根據預設運動幅度模式聚類類別，對各光流矢量m進行聚類處理，確定光流矢量m的運動幅度模式； 步驟2-4:基於光流矢量m的運動方向模式和運動幅度模式,確定各個光流矢量m的運動模式； 步驟3:確定步驟I所述單行為視頻序列的行為特徵向量: 步驟3-1:分別將每幅光流圖按行、列劃分為hX I個矩形塊，統計每個矩形塊中的各光流矢量m的運動模式，形成各個矩形塊的運動模式直方圖；將得到的hX I個運動模式直方圖級聯構成各光流圖的特徵向量； 步驟3-2:將各光流圖的特徵向量級聯後得到當前行為特徵向量； 步驟4:基於支持向量機SVM對步驟3獲取的不同的行為特徵向量進行訓練和識別。
2.如權利要求1所述的方法，其特徵在於，所述步驟2-4中，基於局部三值模式LTP對光流矢量m的運動方向模式和運動幅度模式進行聯合編碼，確定各光流矢量m的運動模式。
3.如權利要求1或2所述的方法，其特徵在於，所述步驟I為: 從單行為視頻序列中等距離抽取s個切片，所述切片表示單行為視頻序列中一段連續視頻幀，S為自然數； 分別在每個切片中選取3幀等間隔視頻圖像:前一幀I α- Λ t)、當前幀I (t)、後一幀I(t+ △ t)，其中△ t表示相鄰兩幀之間的時間間隔； 分別計算各切片中前一幀I (t-At)與當前幀I (t)的光流矢量，當前幀I (t)與後一幀Kt+At)的光流矢量，得到各切片的光流圖。
4.如權利要求3所述的方法,其特徵在於,設定參數s= 3，h = 2，I = 2，a = 4,運動幅度模式聚類類別為3。
【文檔編號】G06T7/20GK104036243SQ201410249469
【公開日】2014年9月10日 申請日期:2014年6月6日 優先權日:2014年6月6日
【發明者】解梅, 董純鏗, 蔡家柱 申請人:電子科技大學