基於深度圖像序列的實時人體動作識別方法及裝置的製作方法
2023-05-31 07:52:41 2
專利名稱：基於深度圖像序列的實時人體動作識別方法及裝置的製作方法
技術領域：
本發明涉及模式識別技術領域，具體涉及一種基於深度圖像序列的實時人體動作識別方法及裝置。
背景技術：
隨著現代信息技術向智能化、人性化的方向發展，各種人機互動、虛擬實境、智能監控系統相繼出現。基於計算機視覺的人體姿勢估計、動作識別、行為理解等技術在其中扮演了重要的角色。近年來，微軟公司Kinect深度攝像機的發布，使得實時獲取場景三維信息的成本大幅度降低，也為動作識別相關領域提供了更多可能性。然而，由於人體的非剛性、運動方式的多樣性、位移的隨意性，實時、魯棒地識別人體動作仍面臨著很多挑戰。現有技術中，對於深度圖像的動作識別主要有兩大類方法:一類是借用已有工具，例如Microsoft Kinect SDK等直接獲取人體關節點或骨架信息,再使用傳統的模式識別算法進行識別；另一·類是從原始深度圖像數據中提取圖像特徵。前者雖然實施方便，但難以在自主研發的產品中使用，而且識別性能主要受制於骨架提取工具的準確性。後者按照分類算法可分為運動模板匹配(Action template)和狀態空間方法(Temporal state-spacemodels)。運動模板匹配也稱為直接分類，是將一組圖像序列看成一個靜態的形狀模式，其存在難以準確描述動作的動態過程的缺陷；狀態空間方法是將動作視為一系列姿勢或狀態之間的動態轉移過程，以此建立概率模型，如隱馬爾可夫模型(Hidden MarkovModels, HMM)、條件隨機場模型(Conditional Random Fields, CRF)、最大摘馬爾可夫模型(Maximum Entropy Markov Models, MEMM)等。目前，對於深度圖像動作識別的研究還非常有限，現有技術存在一個共同的缺點:由於提取的特徵與人體區域的絕對坐標相關，因此在識別前必須進行歸一化，需準確地檢測目標人體在圖像中的位置和大小。然而在實際應用場合中，用戶的運動具有很大的隨意性，尤其是複雜的動作可能伴隨著身體的平移、傾斜或者高度的變化等等，經常導致歸一化的偏差，進而影響識別準確率；而且，現有技術中深度圖像動作識別方法的識別效率仍有待提聞。
發明內容
(一)要解決的技術問題本發明的目的在於提供一種基於深度圖像序列的實時人體動作識別方法，用於提升動作識別的效率以及動作識別的準確性和魯棒性；進一步的，本發明還提供了一種基於深度圖像序列的實時人體動作識別裝置。(二)技術方案本發明技術方案如下:一種基於深度圖像序列的實時人體動作識別方法，包括步驟:S1.從目標深度圖像序列中提取目標動作剪影，從訓練深度圖像集中提取訓練動作剪影；S2.對訓練動作剪影進行姿勢聚類，並對聚類結果進行動作標定；S3.計算目標動作剪影以及訓練動作剪影的姿勢特徵；S4.結合訓練動作剪影的姿勢特徵進行基於高斯混合模型的姿勢訓練並構建姿勢模型；S5.計算聚類結果的每個動作中各姿勢間的轉移概率並構建動作圖模型；S6.根據所述目標動作剪影的姿勢特徵、姿勢模型以及動作圖模型對目標深度圖像序列進行動作識別。優選的，所述步驟S3包括:S31.將動作剪影在 直角坐標系的三個坐標平面分別投影；S32.在第c個坐標平而的投影輪廓上選取ηε個採樣點；S33.對於每個採樣盧/ 計算其多維姿勢特徵向量S34.每個坐標平面上所有採樣點的多維姿勢特徵向量^的集合Xc組成姿勢特徵
{xc}。優選的，所述步驟S33包括:以#為中心的a條輻線和以夕力圓心的b個同心圓形成k個網格；多維姿勢特徵向量<表示第c個坐標平面上的其他採樣點qe相對於P:的坐標分布:
權利要求
1.一種基於深度圖像序列的實時人體動作識別方法，其特徵在於，包括步驟: 51.從目標深度圖像序列中提取目標動作剪影，從訓練深度圖像集中提取訓練動作剪影; 52.對訓練動作剪影進行姿勢聚類，並對聚類結果進行動作標定； 53.計算目標動作剪影以及訓練動作剪影的姿勢特徵； 54.結合訓練動作剪影的姿勢特徵進行基於高斯混合模型的姿勢訓練並構建姿勢模型； 55.計算聚類結果的每個動作中各姿勢間的轉移概率並構建動作圖模型； 56.根據所述目標動作剪影的姿勢特徵、姿勢模型以及動作圖模型對目標深度圖像序列進行動作識別。
2.根據權利要求1所述的實時人體動作識別方法，其特徵在於，所述步驟S3包括: 531.將動作剪影在直角坐標系的三個坐標平面分別投影； 532.在第c個坐標平面的投影輪廓上選取ηε個採樣點； 533.對於每個採樣點，計算其多維姿勢特徵向量冗； 534.每個坐標平面上所有採樣點的多維姿勢特徵向量A的集合f組成姿勢特徵{xc}。`
3.根據權利要求2所述的實時人體動作識別方法，其特徵在於，所述步驟S33包括: 以P,為中心的a條福線和以為圓心的b個同心圓形成k個網格； 多維姿勢特徵向量片表示第c個坐標平面上的其他採樣點f相對於的坐標分布:Kik) = HcIc t P : e Γ: (qc - P-)e bin(k)}，c e {1,2,3}; 其中，fc表示第C個坐標平面上所有採樣點的集合。
4.根據權利要求3所述的實時人體動作識別方法，其特徵在於，所述同心圓的直徑根據fe中各採樣點距離的平均值I設置。
5.根據權利要求4所述的實時人體動作識別方法，其特徵在於，a=12,b=5, k=60 ;所述同心圓的直徑分別為0.1251,0.251,0.51、1、21。
6.根據權利要求3-5任意一項所述的實時人體動作識別方法，其特徵在於，所述步驟S4包括: 將訓練動作剪影在第c個坐標平面上投影的姿勢模型分量P (xc I ω》用K個高斯分布的混合表示: P^c I 政)=nfx聲(d-』Σ w); 其中，Ν(.)為高斯函數，、Σ 、疋分別是第t個高斯核的均值、協方差矩陣及權重； 構建姿勢模型:⑷歷)= p(xc IV)。 c~l
7.根據權利要求6所述的實時人體動作識別方法，其特徵在於，所述動作圖模型包括若干帶權有向圖；每個帶權有向圖對應一種動作；帶權有向圖中的一個節點表示一種姿勢，帶權邊線表示兩種姿勢間的轉移概率。
8.根據權利要求7所述的實時人體動作識別方法，其特徵在於，所述步驟S6包括: 561.計算每一幀目標深度圖像當前最有可能的姿勢序列:
9.根據權利要求8所述的實時人體動作識別方法，其特徵在於，所述步驟S65包括: 計算動作Ψi中產生S*的概率
10.一種實現權利要求1-9任意一項所述的基於深度圖像序列的實時人體動作識別方法的裝置，其特徵在於，包括: 動作剪影提取模塊，用於從目標深度圖像序列中提取目標動作剪影，從訓練深度圖像集中提取訓練動作剪影； 特徵提取模塊，用於計算目標動作剪影以及訓練動作剪影的多維姿勢特徵； 姿勢模型構建模塊，用於結合訓練動作剪影的多維姿勢特徵進行基於高斯混合模型的姿勢訓練並構建姿勢模型； 動作圖模型構建模塊，用於對訓練動作剪影進行姿勢聚類，並對聚類結果進行動作標定，計算聚類結果的每個動作中各姿勢間的轉移概率並構建動作圖模型； 動作識別模塊，根據所述目標動作剪影的多維姿勢特徵、姿勢模型以及動作圖模型對目標深度圖像序列進行動作識別。
全文摘要
本發明涉及模式識別技術領域，具體涉及一種基於深度圖像序列的實時人體動作識別方法及裝置。該方法包括步驟S1.從目標深度圖像序列中提取目標動作剪影，從訓練深度圖像集中提取訓練動作剪影；S2.對訓練動作剪影進行姿勢聚類，並對聚類結果進行動作標定；S3.計算目標動作剪影以及訓練動作剪影的姿勢特徵；S4.結合訓練動作剪影的姿勢特徵進行基於高斯混合模型的姿勢訓練並構建姿勢模型；S5.計算聚類結果的每個動作中各姿勢間的轉移概率並構建動作圖模型；S6.根據所述目標動作剪影的姿勢特徵、姿勢模型以及動作圖模型對目標深度圖像序列進行動作識別。本發明的方法提升了動作識別的效率及動作識別的準確性和魯棒性。
文檔編號G06K9/00GK103246884SQ20131019296
公開日2013年8月14日 申請日期2013年5月22日 優先權日2013年5月22日
發明者王貴錦, 李豔麗, 何禮, 林行剛 申請人:清華大學