基於相對梯度的isa模型的行為識別方法

2023-08-09 00:12:11 1

專利名稱：基於相對梯度的isa模型的行為識別方法
技術領域：
本發明涉及基於相對梯度的ISA模型的行為識別方法。
背景技術：
行為識別是在計算機視覺和模式識別領域備受關注並具挑戰性的一個研究方向。行為識別任務不只是實現對人或者虛擬實境中機器人行為的識別，還有比如說對車輛、坦克等的加速、停止、左轉、右轉等行為的識別等等，在安全監控，戰場演習、人機互動，基於行為的視頻檢索等方面有廣泛的應用背景。行為識別是在成功實現視頻圖像序列中的跟蹤，完成特徵提取的基礎上進行的，屬於更高一層的視覺任務。獨立子空間分析(independent subspace analysis, ISA)是一種可以用於特徵提取的無監督學習模型。獨立子空間分析模型是獨立分量分析(independent component analysis, ICA)模型的一個擴展模型。它是一種能夠有效地模擬人類視覺系統中Vl區簡單細胞與複雜細胞感受野的響應模式的層次化結構模型，並利用ISA對大量的視頻數據樣本進行無監督學習，獲取具有統計獨立性與稀疏特性的視頻基元，被認為是一種有效的視頻圖像統計分析方法，對於提取視頻中的局部特徵也是一種很有效的方法。公開號為CN 101334845 A的專利公開了一種基於軌跡序列分析和規則歸納的視頻行為識別方法，該專利主要是解決了固定攝像機場景中利用計算機自動學習頻繁發生的運動事件規則，並對感興趣的行為進行自動識別的問題，主要用於智能監控。但是如果要檢測的視頻中不是固定攝像機拍攝的，場景信息比較多，對場景進行分割，需要花費一定的時間；或者如果要檢測的視頻中行為模式比較複雜，採用隱馬爾科夫模型(HMM)進行建模，高效性可能就會降低。公開號為CN 102306301 A的專利申請文件雖然解決了現有的仿生模型目標識別速度低的問題。但它仍然存在許多不足的地方，比如只考慮了視覺皮層Vi中複雜細胞的基本屬性，而其他特性如環繞抑制等沒有考慮。對基於視覺的行為識別而言，從視頻圖像序列中抽取出能夠合理表示視頻中實體的行為數據至關重要。目前人的行為表示方法根據特徵提取方法不同分為基於表觀的表示方法和基於人體模型的表示方法。基於表觀的表示方法不是對人體物理結構直接建模，而是直接計算感興趣區域的簡單2D表觀表示，如從視頻圖像序列中提取人的運動軌跡信息、人的輪廓特徵或者直接利用圖像信息進行分析。如前述現有技術一(公開號CN 101334845A)、技術二(公開號CN 102306301 A)就是基於表觀的表不方法,這類表不方法容易計算，易於實時。人體模型主要有三種線圖模型、2D模型和3D模型，其中3D模型由於複雜度較高，很少用於人的行為識別中。雖然基於人體模型的表示方法可以提高行為識別的準確度，但是它的計算量大、複雜度很高和算法魯棒性差
發明內容
鑑於上述不足之處，本發明的目的在於提供一種基於相對梯度的ISA模型的行為識別方法，該方法採用改進的獨立子空間分析算法來提取視頻的局部特徵；接著對所提取的局部特徵進行聚類，得到聚類中心(即視覺關鍵詞)，對每個視頻，建立視覺關鍵詞直方圖，則每個視頻表示為基於視覺關鍵詞直方圖的特徵向量；最後就是採用多類別支持向量機SVM對其進行分類，完成對行為的識別。本發明可以用於個體行為識別，也可以用於群體行為識別。本發明為一種基於相對梯度的算法，不需要求逆過程，收斂速度更快。為了達到上述目的，本發明採用了以下技術方案
一種基於相對梯度的ISA模型的行為識別方法，其特徵在於該行為識別方法包括以下步驟
步驟1:樣本數據的預處理；
步驟2 :特徵提取；
步驟3 :特徵聚類；
步驟4:分類/識別。具體為
步驟1:樣本數據的預處理。步驟1.1首先，採集大量具有視覺行為模式的視頻集合，假設選取N個視頻樣本進行採樣。步驟1. 2然後,把每個視頻樣本隨機地分割為num_patches個視頻塊,每個視頻塊的大小為sp_siz eXsp_sizeXtp_size,將分割的所有視頻塊組成一個樣本矩陣X,表示成=X=U1, X2,…，Xwj^heJ，其中N是視頻樣本的個數，num_patches表示對每個視頻分割的視頻塊的數量，每一列向量表示一個視頻塊數據，維數為sp_size2xtp_size。步驟1. 3最後，對步驟1. 2得到的樣本矩陣X進行特徵中心化、數據白化的處理。步驟1. 3.1 特徵中心化X=X-ones (size (X，I)，I) Xmean (X)；
其中，size(X, I)表示矩陣X行數的大小dim, ones (size (X, 1)，1)表示構建一個dim維且元素都為I的列向量，mean(X)表示一個維數等於和矩陣X列數的行向量，每一元素表示矩陣X對應列向量的均值；
步驟1. 3. 2 數據白化數據白化是採用主成分分析PCA (principal componentanalysis PCA)來完成的；
主成分分析的具體分析步驟如下
(1)計算樣本矩陣X的協方差矩陣C ；
(2)計算協方差矩陣C的特徵向量的特徵值，並把特徵值按從大到小排序；
(3)提取最大的m個特徵值，其對應的特徵向量構成一個矩陣H ；
(4)用特徵矩陣Ht與樣本矩陣X相乘，即可得預處理後的樣本矩陣Z。步驟2:特徵提取；
步驟2.1構造ISA網絡，把經過預處理之後的樣本矩陣Z，作為ISA網絡的輸入；
ISA網絡是一種具有兩層網絡的生成模型，可以有效地模擬人類視覺系統Vl區簡單細胞與複雜細胞感受野的響應模式。步驟2.1.1 ISA網絡的基元響應
對應於ISA網絡的第一層，輸入樣本矩陣Z與第一層響應S之間滿足Z=BS(I)
式中，B=Od1, b2,…，bm}表示視頻基元，每一列為一個基元向量，視頻基元個數m是由PCA主成分個數直接決定，m的大小可根據需要進行設置，它是一個標準正交矩陣，S= (S1, S2,…sm}τ表示特徵係數；
自然場景視頻中含有各種類別的視頻基元(video primitives),它們構成了整個高維視頻塊空間，具有不同的結構維度及複雜度，由空間表觀與運動共同描述。從數學角度來看，視頻塊位於高維(如15X15X5維)空間不同的聚類子空間中，這些聚類子空間就稱為視頻基元(video primitive)。一段視頻中不同的視頻塊可能會映射到不同子空間(視頻基
元)Jlo為了便於求第一層的視頻基元響應，我們將公式(I)變形為 S=WZ (2)
式中，W=B'即W是視頻基元矩陣B的逆，由於W被視作對視皮層簡單細胞感受野的模擬，故W被稱作基元逆向濾波器，此時S表示感受野W對視頻數據樣本X產生的響應，在ISA雙層網絡中，W可以更直觀的看作是第一層網絡的組合權值，第一層輸出響應S可以看作是由樣本矩陣Z的各分量通過W加權的線性組合得到；
對應於第一層的基元響應，第二層的輸出的激活值為
權利要求
1.一種基於相對梯度的ISA模型的行為識別方法，其特徵在於該行為識別方法包括以下步驟 步驟1:樣本數據的預處理； 步驟2 :特徵提取； 步驟3 :特徵聚類； 步驟4:分類/識別。
2.根據權利要求1所述的基於相對梯度的ISA模型的行為識別方法，其特徵在於所述樣本數據的預處理包括以下步驟 步驟1.1首先，採集大量具有視覺行為模式的視頻集合，假設選取N個視頻樣本進行採樣； 步驟1. 2然後,把每個視頻樣本隨機地分割為num_patches個視頻塊,每個視頻塊的大小為8口_8126\8口_8126\丨口_8126,將分割的所有視頻塊組成一個樣本矩陣乂,表示成X= {Xi, X2,…，Xj^num—p—teJ，其中N是視頻樣本的個數，num_patches表示對每個視頻分割的視頻塊的數量，每一列向量表示一個視頻塊數據，維數為sp_size2Xtp_size ； 步驟1. 3最後，對步驟1. 2得到的樣本矩陣X進行特徵中心化、數據白化的處理； 步驟1. 3.1 特徵中心化X=X-ones (size (X，I), I) Xmean (X)； 其中，size(X, I)表示矩陣X行數的大小dim, ones (size (X, 1)，1)表示構建一個dim維且元素都為I的列向量，mean(X)表示一個維數等於和矩陣X列數的行向量，每一元素表示矩陣X對應列向量的均值； 步驟1. 3. 2數據白化數據白化是採用主成分分析PCA來完成的； 主成分分析的具體分析步驟如下 計算樣本矩陣X的協方差矩陣C ； 計算協方差矩陣C的特徵向量的特徵值，並把特徵值按從大到小排序； 提取最大的m個特徵值，其對應的特徵向量構成一個矩陣H ； 用特徵矩陣Ht與樣本矩陣X相乘，即可得預處理後的樣本矩陣Z。
3.根據權利要求1所述的基於相對梯度的ISA模型的行為識別方法，其特徵在於所述特徵提取包括以下步驟 步驟2.1構造ISA網絡，把經過預處理之後的樣本矩陣Z，作為ISA網絡的輸入； 步驟2.1.1 ISA網絡的基元響應 對應於ISA網絡的第一層，輸入樣本矩陣Z與第一層響應S之間滿足 Z=BS(I) 式中，B=Od1, b2,…，bm}表示視頻基元，每一列為一個基元向量，視頻基元個數m是由PCA主成分個數直接決定，m的大小可根據需要進行設置，它是一個標準正交矩陣，S= (S1, S2,…sm}τ表示特徵係數； 為了便於求第一層的視頻基元響應，我們將公式(I)變形為 S=WZ(2) 式中，W=B'即W是視頻基元矩陣B的逆，由於W被視作對視皮層簡單細胞感受野的模擬，故W被稱作基元逆向濾波器，此時S表示感受野W對視頻數據樣本X產生的響應，在ISA雙層網絡中，W可以更直觀的看作是第一層網絡的組合權值，第一層輸出響應S可以看作是由樣本矩陣Z的各分量通過W加權的線性組合得到； 對應於第一層的基元響應，第二層輸出的激活值為
4.根據權利要求1所述的基於相對梯度的ISA模型的行為識別方法，其特徵在於所述特徵聚類包括以下步驟 步驟3.1將ISA算法提取的視頻基元響應特徵進行k-均值聚類，形成k個聚類中心即視覺關鍵詞； k_均值聚類的具體步驟 步驟3.1.1從所有的基元響應特徵中隨機取k個特徵，作為這k個聚類各自的中心；步驟3.1. 2 分別計算剩下的所有特徵到這k個聚類中心的歐式距離，將這些特徵分別劃歸到距離最小的聚類中； 步驟3.1. 3根據得到的聚類結果，重新計算這k個聚類各自的中心； 步驟3.1. 4 將所有的特徵按照新的聚類中心重新進行聚類即重複步驟3.1. 2和步驟3.1. 3，直到聚類結果收斂； 步驟3. 2構造基於視覺關鍵詞直方圖的特徵向量； 計算每個視頻中各局部特徵即各視頻塊的基元響應特徵與聚類中心的歐式距離，距離最小的聚類中心即為此局部特徵對應的視覺關鍵詞，統計每個視頻中包含各視覺關鍵詞的數目，形成視覺關鍵詞直方圖，可表示為視頻基於視覺關鍵詞直方圖的特徵向量。
5.根據權利要求1所述的基於相對梯度的ISA模型的行為識別方法，其特徵在於所述分類/識別包括以下步驟 將步驟3. 2所得的特徵向量輸入到支持向量機，並利用SVM多類別分類器進行分類，SP對視頻中的行為模式進行識別；具體為 步驟4.1歸一化處理對視頻基於視覺關鍵詞直方圖的特徵向量進行歸一化處理； 步驟4. 2構造訓練集 構造訓練集
全文摘要
本發明公開了一種基於相對梯度的ISA模型的行為識別方法，該方法採用改進的獨立子空間分析算法來提取視頻的局部特徵；接著對所提取的局部特徵進行聚類，得到聚類中心(即視覺關鍵詞)，對每個視頻，建立視覺關鍵詞直方圖，則每個視頻表示為基於視覺關鍵詞直方圖的特徵向量；最後就是採用多類別支持向量機SVM對其進行分類，完成對行為的識別。本發明可以用於個體行為識別，也可以用於群體行為識別。本發明為一種基於相對梯度的算法，不需要求逆過程，收斂速度更快。
文檔編號G06K9/62GK103065158SQ201210578578
公開日2013年4月24日 申請日期2012年12月28日 優先權日2012年12月28日
發明者劉啟和, 陳雷霆, 蔡洪斌, 邱航, 肖燕霞, 周川 申請人:電子科技大學