一種基於光流定位和滑動窗口檢測的多人姿態識別方法與流程

2023-05-09 04:46:12

本發明屬於動作識別技術領域，尤其涉及一種基於光流定位和滑動窗口檢測的多人姿態識別方法。

背景技術：

近年來，人體動作識別已經成為計算機視覺領域的研究熱點，引起了眾多學者的關注。隨著大數據的興趣，引用大數據的治理體系包括對大數據的採集、存儲、管理、應用的全生命周期的管理，人們希望計算機能夠自主的識別並且理解人類的日常動作，使計算機能夠和人們更加自然的交流。目前動作識別主要應用於人機互動、醫療保健、智能安防、家居智能等領域。基於視頻圖像的運動人體目標識別與跟蹤的重大意義不僅體現在科學研究中，同樣在生活、工業和國防方面也有所體現，實用的產品也已由軍用延伸到了民用行業，如超市、商場、車站、銀行、道路交通、長途客車、市內公交車等安裝的有監控系統的場所。在人體行為識別研究方面，按照視頻描述方式的不同，現有的識別方法可以分為兩類：基於整體視頻描述符法和基於局部視頻描述符法。在基於特徵或區域的非模型跟蹤算法研究方面，提出了基於統計混合顏色和模型的方法、綜合利用多幀圖像結構信息的過渡穩定丟失跟蹤框架算法、基於圖像信息的視覺特徵和跟蹤目標的形狀 輪廓等方法，該類方法，有效降低了算法的計算複雜度的同時，多目標跟蹤效果良好。但是，此類方法主要的缺點是前期需要大量的預處理，例如標定身上的跟蹤點、建立模型等，以及較高的設備要求、大量的時間和人力，不利於實時人體運動姿態的跟蹤。在基於模型跟蹤算法研究方面，提出了隱形馬爾科夫模型、穿戴式傳感器特徵提取、時空特徵提取等技術。該類算法其算法準確率較高和計算複雜度較低，但其有兩個主要的缺點：(1)實時監控視頻的準確性較低；(2)只利用了骨骼點信息，忽略了深度圖和目標外觀特徵在某些條件下對提高識別準確性的影響。人體目標的識別與跟蹤技術可以有效的對需要進行安全監控的特殊區域中的異常事件進行自動報警，例如海上作業平臺遠離陸地、作業環境複雜，人體目標和跟蹤技術的應用可以有效地保障作業人員的安全和平臺的安全作業。

綜上所述，現有的人體行為識別方法存在前期需要大量的預處理，需要大量的時間和人力，不利於實時人體運動姿態的跟蹤；實時監控視頻的準確性較低；忽略了深度圖和目標外觀特徵在某些條件下對提高識別準確性的影響。

技術實現要素：

本發明的目的在於提供一種基於光流定位和滑動窗口檢測的多人姿態識別方法，旨在解決現有的人體行為識別方法存在前期需要大量的預處理，需要大量的時間和人力，不利於實時人體運動姿態的跟蹤；實時監控視頻的準確性較低；忽略了深度圖和目標外觀特徵在某 些條件下對提高識別準確性的影響的問題。

本發明是這樣實現的，一種基於光流定位和滑動窗口檢測的多人姿態識別方法，所述基於光流定位和滑動窗口檢測的多人姿態識別方法獲取視頻中圖像光流向量，得到圖像中運動物體的區域，利用基於身體部分的方法對運動物體區域進行人體姿態識別；以獲取圖像序列中光流向量為基礎，利用數據和空間約束檢測出圖像序列之間的光流向量變化，利用魯棒性對參數進行優化，進行迭代和矯正獲得光流信息，對提取的運動區域進行滑動窗口檢測，比對圖像與身體部分外形模板的相似度；

利用樹形結構對人體建模，將圖像對人體各個部分的響應以信息傳遞的方式綜合計算，實現人體在圖像中的定位；通過回傳進行人體部分的定位，使用滑動窗口的方法獲取運動目標的動作時序，通過連接各個局部動作片段的特徵老描述整個動作序列；使用直方圖相交操作來完成特徵匹配識別工作；計算運動區域的對應關係，進行多人姿態識別、人數統計和人員跟蹤。

進一步，魯棒性的光流算法流程包括：

首先對算法所需參數賦初值進行初始化；然後根據數據約束和空間一致性約束列出目標函數，判斷目標函數是否連續，若連續則直接進行魯棒性估計，若不連續則先添加線程使之變為連續再進行魯棒性估計，根據魯棒性估計對參數進行優化；

最後根據超鬆弛參數對求得的流場進行迭代和矯正得到最終的光流估計。

進一步，局部窗口匹配的動作識別通過對視頻流中的運動目標進行光流檢測定位以及局部模型匹配等過程，對運動目標進行3D骨架提取，通過特徵重構編碼，使用特徵直方圖的方式對特徵進行表示，通過對直方圖的識別連結，進行對人體姿態的識別。

進一步，獲取數據約束的子函數，I(x,y,t)＝I(x+uδt,y+vδt,t+δt)，(u,v)表示點(x,y)在時間t時的狀態，(u,v)是一個點的水平和豎直方向的速度，δt很小；數據約束的目標函數為：Ix表示I對x求偏導，為目標區域；

當目標區域很小時，u＝(u,v)的解通過增加空間相干性，空間相干性的目標函數為：ux表示u對x求偏導；結合數據約束和空間一致性約束，總目標函數為：E(u)＝ED(u)+λEs(u)。

進一步，判斷目標函數是否連續，若連續，則直接進行魯棒性估計，否則，對目標函數加入線程使之變為連續函數之後再進行魯棒性估計；魯棒性統計量的作用是查找參數和優化擬合模型；對於一幅m×m的圖像，定義一個網格：

(i(s)，j(s))代表點s的像素坐標；在一個擬合模型中，對於一個測試集d＝{d0,d1,…,ds}s∈S，目標是找到一個參數值使得殘差最小：

σs是尺度參數，ρ是魯棒性估計量；正則化後的目標函數E(u)： 代表s在 網格上的東南西北的點，σ1和σ2是尺度參數，ρ1和ρ2可能是不同的值；ρ1是魯棒性估計；

在空間約束函數中加入線程，使目標函數變為連續函數；添加一個二元線性進程ls,n之後，新的目標函數E(u,l)： αs和βs分別是控制平滑項和懲罰項的常量；繼續添加新的進程ds得到新的目標函數E(u,l,d)：

從進程到魯棒性的轉換就是將函數ρ添加到目標函數中；新的目標函數變為：

從魯棒性到進程的轉換加入一個異常進程函數z(x)；目標函數E(u,d,l)：

P(x)是懲罰項，d,l≥0；異常進程z(x)為：

進一步，對目標函數進行迭代優化；利用超鬆弛參數來對結果進行矯正；迭代公式為：其中

T(us)是E的二階偏導數的上界：

利用訓練好的人體身體部分外形和身體部分間相對位置關係模 型，對圖像進行卷積操作，計算圖像中每個滑動窗口位置對身體部分外形的響應S(pi)：

利用身體部分混合模型，將每個身體部分的響應通過消息傳遞的方式傳遞到人體樹形模型的根節點，得到圖像各個位置對整個人體模型的響應值S(t)：

將利用滑動窗口得到的每個動作片段用特徵直方圖表達；使用一個長向量把所有片段的特徵直方圖表達串聯起來，使用局部訓練法，通過單獨對每個動作樣本集訓練特徵詞彙從而得到覆蓋整個動作訓練集的特徵詞彙表；特徵碼本得到後，對每一個姿態描述子進行量化編碼；令P為從動作序列中獲得的姿態特徵描述子，每個特徵描述

子的維度為D，總共有N個特徵，p＝[p1,p2,…,pN]∈RD×N；

令訓練得到的碼本有M個碼字，即F＝[f1,f2,…,fM]∈RD×M；通過改進局部坐標編碼方式進行編碼：

其中Δ表示元素間相乘，di是局部適配因子，它是根據輸入姿態pi與碼本中各碼字間的相似性來賦值，看作特徵基的權值；di的選取首先要滿足相似距離越近權值越大；選取di為非線性的表達式，同時引入了最近相似距離DM作為比較對象：

其中D(pi,F)＝[D(pi,f1),D(pi,f2),…,D(pi,fM)]，D(pi,fj)表示pi和fj的歐氏距離；Dm＝min{D(pi,fj),D(pi,f2),…,D(pi,fM)}。

本發明的另一目的在於提供一種應用所述基於光流定位和滑動窗口檢測的多人姿態識別方法的人機互動系統。

本發明的另一目的在於提供一種應用所述基於光流定位和滑動窗口檢測的多人姿態識別方法的醫療保健系統。

本發明的另一目的在於提供一種應用所述基於光流定位和滑動窗口檢測的多人姿態識別方法的智能安防系統。

本發明的另一目的在於提供一種應用所述基於光流定位和滑動窗口檢測的多人姿態識別方法的家居智能控制系統。

本發明提供的基於光流定位和滑動窗口檢測的多人姿態識別方法，多人體姿態識別和跟蹤系統是在獲取待檢測視頻每一張幀圖像信息的基礎上，通過對比連續圖像幀中光流向量的變化，根據數據約束和空間一致性約束列出目標函數，然後進行魯棒性估計優化參數，再利用迭代公式進行迭代和超鬆弛參數進行矯正，最後利用迭代獲得的光流信息提取運動區域，對提取的運動區域進行滑動窗口檢測，比對圖像與身體部分外形模板的相似度，利用樹形結構對人體建模，將圖像對人體各個部分的響應通過信息傳遞的方式綜合計算，實現人體在圖像中的定位；通過回傳進行人體部分的定位，使用滑動窗口的方法獲取運動目標的動作時序，通過連接各個局部動作片段的特徵老描述整個動作序列。使用直方圖相交操作來完成特徵匹配識別工作；計算運動區域的對應關係，進行多人姿態識別、人員數量統計和人員跟蹤。 利用大數據的治理體系，利用視頻數據在問題發現、預測預警、監控度量等方面做出了貢獻。本發明的目的是通過攝像頭獲取視頻信息，自動識別視頻中的人體目標，從而獲得人員流量統計，人員追蹤、人員區域分布等信息。在監控系統智能化管理中具有十分重要的意義。現有的大多數視頻監控系統僅能滿足人們「眼見為實」，但是針對各種交通環境的視頻監控，如在高速公路、車站、地鐵、事故多發地段等，需要人工不停的監視屏幕，進行人為分析和判斷才能得到結果。而且由於人工也難免會有疏漏，不能對異常情況做及時的處理。因此，對交通視頻監控系統的智能化需求更加迫切。智能化視頻監控是採用攝像機作為眼睛，計算機強大的數據系統作為大腦，來對視頻序列中的海量數據進行高速分析，對監控場景中的運動目標的自動檢測、識別和跟蹤，並對其行為進行分析和理解，同時更新和維護信息資料庫，當出現異常情況時，發出警告，並將存儲在資料庫的異常信息包括圖像序列反饋給監控中心。利用智能化監控系統能識別不同的目標，過濾掉監控者不關心的信息，並對關鍵信息以最快的速度讓監控人員獲悉並處理。這種方式既節省人力物力，又能最大限度的降低誤報、漏報，為交通管理提供了一種更加先進、可行的監控方案。

附圖說明

圖1是本發明實施例提供的基於光流定位和滑動窗口檢測的多人姿態識別方法流程圖。

圖2是本發明實施例提供的人體姿態識別方法總體流程圖。

圖3是本發明實施例提供的多人姿態識別方法原理圖。

圖4是本發明實施例提供的基於魯棒性的光流算法流程圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，並不用於限定本發明。

本發明以監控視頻為數據源，藉助魯棒性梯度算法，通過計算光流場，獲得圖像光流信息，對運動目標進行定位，對提取的各個運動區域進行模板響應的計算，分別將人體局部模型進行匹配，通過滑動窗口的方法將整個動作序列劃分成多個局部動作片段，進而通過連接各個局部動作片段的特徵來描述整個動作序列。最後使用直方圖相交操作來完成特徵匹配工作。

下面結合附圖對本發明的應用原理作詳細的描述。

如圖1所示，本發明實施例提供的基於光流定位和滑動窗口檢測的多人姿態識別方法包括以下步驟：

S101：獲取視頻中圖像光流向量，得到圖像中運動物體的區域，利用基於身體部分的方法對運動物體區域進行人體姿態識別；

S102：以獲取圖像序列中光流向量為基礎，利用數據和空間約束 檢測出圖像序列之間的光流向量變化，利用魯棒性對參數進行優化，進行迭代和矯正獲得光流信息，對提取的運動區域進行滑動窗口檢測，比對圖像與身體部分外形模板的相似度；

S103：利用樹形結構對人體建模，將圖像對人體各個部分的響應以信息傳遞的方式綜合計算，實現人體在圖像中的定位；通過回傳進行人體部分的定位，使用滑動窗口的方法獲取運動目標的動作時序，通過連接各個局部動作片段的特徵老描述整個動作序列；

S104：使用直方圖相交操作來完成特徵匹配識別工作；計算運動區域的對應關係，進行多人姿態識別、人數統計和人員跟蹤。

下面結合附圖對本發明的應用原理作進一步的描述。

如圖4所示，本發明中基於魯棒性的光流算法流程主要包含以下步驟：首先對算法所需參數賦初值進行初始化，然後根據數據約束和空間一致性約束列出目標函數，然後判斷目標函數是否連續，若連續則直接進行魯棒性估計，若不連續則先添加線程使之變為連續再進行魯棒性估計，然後根據魯棒性估計對參數進行優化，最後根據超鬆弛參數對求得的流場進行迭代和矯正得到最終的光流估計。

本發明中基於局部窗口匹配的動作識別流程圖，通過對視頻流中的運動目標進行光流檢測定位以及局部模型匹配等過程，對運動目標進行3D骨架提取，通過特徵重構編碼，使用特徵直方圖的方式對特徵進行表示，通過對直方圖的識別連結，進行對人體姿態的識別。

本發明中滑動窗口的動作識別方法，假設學習得到的特徵碼本個 數為M，每個動作序列經處理後包含n幀深度圖像。同時假定滑動窗口的尺寸為w，每次移動步長為l，則表示整個動作的特徵向量的維度為

本發明中石油勘探海上平臺人體姿態識別效果圖主要包括原圖、光流向量圖、彩色光流圖、光流圖、人體包圍盒、矯正前人體識別標示圖、矯正處理後的人體識別標示圖、人體識別區域放大圖、人體各部分檢測標示圖。

本發明中石油勘探海上平臺多人人體識別效果圖主要包括原圖、光流向量圖、彩色光流圖、光流圖、多人體識別標示圖。

下面結合具體實施例對本發明的應用原理作進一步的描述。

本發明實施例提供的基於光流定位和滑動窗口檢測的多人姿態識別方法包括以下步驟：步驟1，獲取待檢測視頻信息；步驟2，對所需參數進行初始化並賦給相應的值；步驟3，獲取數據約束和空間一致性約束的子函數，得到總目標函數；步驟4，判斷目標函數是否連續，若連續，則直接進行魯棒性估計，否則，對目標函數加入線程使之變為連續函數之後再進行魯棒性估計；步驟5，對目標函數進行迭代優化；步驟6，設定光流閾值，截取有效的運動區域；步驟7，對每個運動區域進行滑動窗口檢測，計算人體部分模型的響應；步驟8，通過消息傳遞計算圖像中各個位置對人體模型的響應值；步驟9，通過回傳對檢測到的人體進行身體部分定位；步驟10，使用滑動窗口的方法獲取運動目標的動作時序，通過連接各個局部動作片段的特 徵老描述整個動作序列。步驟11，使用直方圖相交操作來完成特徵匹配識別工作。步驟12，計算各個運動區域之間的對應關係，實現多人姿態識別、人員數量統計和人員跟蹤。

本發明的具體技術方案實現如下：

在步驟1中，通過監控設備獲取待檢測的視頻信息，視頻信息包括視頻的時間長度、拍攝時間以及當前圖像幀的色彩類型、圖片大小等一系列基本信息，然後將該視頻信息通過人機互動界面或者自動化輸入到本發明中進行下一步的處理。

在步驟2中，根據輸入的視頻信息獲取算法中所需求的相應參數，如模型選擇、誤差大小、濾波算子、金字塔水平的確定等。

在步驟3中，獲取數據約束的子函數。I(x,y,t)＝I(x+uδt,y+vδt,t+δt)，(u,v)表示點(x,y)在時間t時的狀態，(u,v)是一個點的水平和豎直方向的速度，δt很小。數據約束的目標函數為： Ix表示I對x求偏導，為目標區域。

獲取空間一致性約束的子函數。當目標區域很小時，u＝(u,v)的解需要通過增加空間相干性來進一步限制，空間相干性的目標函數為：ux表示u對x求偏導。結合數據約束和空間一致性約束，總目標函數為：E(u)＝ED(u)+λEr(u)。

在步驟4中，判斷目標函數是否連續，若連續，則直接進行魯棒性估計，否則，對目標函數加入線程使之變為連續函數之後再進行魯棒性估計。其中魯棒性統計量的作用是查找參數和優化擬合模型。對於一幅m×m的圖像，定義一個網格：

(i(s)，j(s))代表點s的像素坐標。在一個擬合模型中，對於一個測試集d＝{d0,d1,…,ds}s∈S，目標是找到一個參數值使得殘差最小：

σs是尺度參數，ρ是魯棒性估計量。當這個測量誤差是正態分布的，尋找最優估計量就變為二次方程 的最小二乘估計問題。

求出魯棒性估計ρ之後，就可以進行再次完善光流的目標函數。正則化後的目標函數E(u)： 代表s在網格上的東南西北的點，σ1和σ2是尺度參數，ρ1和ρ2可能是不同的值。ρ1是魯棒性估計。

在空間約束函數中加入線程，線性進程可以應用到數據項和空間項來剔除異常值，使目標函數變為連續函數。添加一個二元線性進程ls,n之後，新的目標函數E(u,l)： αs和βs分別是控制平滑項和懲罰項的常量。繼續添加新的進程ds得到新的目標函數E(u,l,d)：

從進程到魯棒性的轉換就是將函數ρ添加到目標函數中。新的目標函數變為：

從魯棒性到進程的轉換就是加入一個異常進程函數z(x)。目標函數E(u,d,l)：

P(x)是懲罰項，d,l≥0。異常進程z(x)為：

在步驟5中，對目標函數進行迭代優化。步驟4中的目標函數E(u,v)也許是非凸的。利用SOR(Simultaneous Over-Relaxation)算法可以求得局部最小值，然後通過迭代求得最終值，在迭代過程中，需要利用超鬆弛參數來對結果進行矯正。迭代公式為： 其中

T(us)是E的二階偏導數的上界：

在步驟6中，通過上述步驟計算得到的光流場描述的是圖像幀中的運動屬性。根據具體的運動場景特點，設定光流閾值，將各個有效的運動區域進行提取，提取各個區域的像素列表、包圍盒等特徵。

在步驟7中，利用訓練好的人體身體部分外形和身體部分間相對位置關係模型，對圖像進行卷積操作，計算圖像中每個滑動窗口位置對身體部分外形的響應S(pi)：

在步驟8中，將人體的主要關節，例如頭部、頸部、肩部、胳膊肘、手、軀幹、胯部、膝蓋、腳作為樹形結構的節點，人體的肢體 作為樹形結構中節點間的連接，其中頭部作為樹形結構的根節點，手和腳作為樹形結構的葉節點，這樣建立的樹形結構可以表示人體的鉸鏈模型。

身體部分混合模型利用5到6個模板學習各個身體部分外形和相對位置信息。每個模板學習身體部分外形的形狀特徵和身體部分相對位置特徵。利用身體部分混合模型，將每個身體部分的響應通過消息傳遞的方式傳遞到人體樹形模型的根節點(即頭部對應的節點)，得到圖像各個位置對整個人體模型的響應值S(t)：

在步驟9中，基於人體定位的結果，在人體模型的樹形結構中，從根節點到葉節點進行回傳，依次確定每個身體部分採用的混合模型中的具體模板編號，對每個身體部分進行定位。

在步驟10中，運動目標基於局部匹配模型後，提取出人體姿態骨架，並按照時序進行排列，把整幅圖像作為一個單元，在時間維度上運用滑動窗口技術。這樣既避免增加大量的計算量，又增加了時間上的約束。

在步驟11中，將利用滑動窗口技術得到的每個動作片段用特徵直方圖表達。使用一個長向量把所有片段的特徵直方圖表達串聯起來，這就是整個動作的特徵表達。本發明使用局部訓練法，通過單獨對每個動作樣本集訓練特徵詞彙從而得到覆蓋整個動作訓練集的特徵詞彙表。

特徵碼本得到後，本發明將對每一個姿態描述子進行量化編碼。令P為從動作序列中獲得的姿態特徵描述子，每個特徵描述子的維度為D，總共有N個特徵，則p＝[p1,p2,…,pN]∈RD×N。

令訓練得到的碼本有M個碼字，即F＝[f1,f2,…,fM]∈RD×M。通過改進局部坐標編碼方式進行編碼：

其中Δ表示元素間相乘，di是局部適配因子，它是根據輸入姿態pi與碼本中各碼字間的相似性來賦值，可以看作特徵基的權值。di的選取首先要滿足相似距離越近權值越大。本發明選取di為非線性的表達式，同時引入了最近相似距離DM作為比較對象。

其中D(pi,F)＝[D(pi,f1),D(pi,f2),…,D(pi,fM)]，D(pi,fj)表示pi和fj的歐氏距離。Dm＝min{D(pi,fj),D(pi,f2),…,D(pi,fM)}。

在步驟12中，根據相鄰兩幀圖像中同一運動物體的運動連續性原則，計算運動物體的對應關係：首先計算連續圖像幀中運動區域的重疊區域大小ratio及其距離D，綜合考慮這兩個因素，計算相鄰兩幀圖像中運動物體的關聯D1-ratio，其中D表示的是運動物體的移動特徵，ratio表示的是運動物體的連續性特徵。當相鄰圖像幀的某一物體運動比較快，沒有重疊區域時，即ratio為0，Corr依然有效，其值為D。

計算相鄰兩幅圖像中，所有運動區域對之間的關聯值並進行排序， 依次得到有效的對應關係，實現多人姿態識別和人員跟蹤。

本發明多人體姿態識別和跟蹤系統是在獲取待檢測視頻每一張幀圖像信息的基礎上，通過對比連續圖像幀中光流向量的變化，根據數據約束和空間一致性約束列出目標函數，然後進行魯棒性估計優化參數，再利用迭代公式進行迭代和超鬆弛參數進行矯正，最後利用迭代獲得的光流信息提取運動區域，對提取的運動區域進行滑動窗口檢測，比對圖像與身體部分外形模板的相似度，利用樹形結構對人體建模，將圖像對人體各個部分的響應通過信息傳遞的方式綜合計算，實現人體在圖像中的定位；通過回傳進行人體部分的定位，使用滑動窗口的方法獲取運動目標的動作時序，通過連接各個局部動作片段的特徵老描述整個動作序列。

使用直方圖相交操作來完成特徵匹配識別工作；計算運動區域的對應關係，進行多人姿態識別、人員數量統計和人員跟蹤。

以上所述僅為本發明的較佳實施例而已，並不用以限制本發明，凡在本發明的精神和原則之內所作的任何修改、等同替換和改進等，均應包含在本發明的保護範圍之內。