基於圖像深度信息的3d高斯空間人體行為識別方法

2023-06-04 10:56:01

基於圖像深度信息的3d高斯空間人體行為識別方法
【專利摘要】本發明公開了一種基於圖像深度信息的3D高斯空間人體行為識別方法。基於圖像深度信息的3D高斯空間人體行為識別方法包括以下步驟：提取深度信息中的人體骨骼3D坐標並對其進行歸一化操作，過濾對人體行為識別率低的關節及冗餘關節；針對各個行為構建興趣關節群，基於高斯距離核對人體動作空間特徵進行AP聚類，獲得行為特徵單詞表並對其進行數據清理；構建人體行為條件隨機場識別模型，據此實現對人體行為的分類。本發明對人體具體方向、骨骼尺寸、空間位置都具有較強的抗幹擾性，對不同實驗個體引入的動作差異有很強的泛化能力，對不同類的相似行為也有很好的識別能力。
【專利說明】基於圖像深度信息的3D高斯空間人體行為識別方法
【技術領域】:
[0001]本發明涉及機器視覺領域，特別涉及一種基於圖像深度信息的3D高斯空間人體行為識別方法。
【背景技術】:
[0002]視頻中的人體行為識別在很多視頻監控、人機互動、視頻恢復等領域中都有重要的應用。儘管在近十年內，各國專家學者提出了很多方法，在該領域內取得了很多激動人心的進展，但是高精度的人體行為識別依然是一項極具挑戰的工作。原因之一就是人體行為是一種動態的動作時間序列，各種動作分界模糊，即使是同一人其動作亦會變形，甚至各種動作相互組合，同時在動作進行中可能發生被遮擋的情況的發生。人體本身從背景中的分割就是一項艱巨的任務，進一步加劇了行為識別的難度。
[0003]近幾年推出的深度攝像機提供了毫米級的3D深度信息。這在很大程度上降低了人體分割的難度。針對深度信息，Shotton提出了一種基於隨機決策森林分類器的單像素物體識別方法(Shotton, J., et al.Real-Time Human Pose Recognition in Parts fromSingle Depth Images, in Computer Vision and Pattern Recognition (CVPR),2011 IEEEConference on.2011.),該方法借鑑了物體識別理論,採用一種人體部位中間表達方法將比較困難的動作估計映射為簡單的面向像素的分類問題，並採用基於均值漂移的局部最優的方法找到各關節最優估計。基於該方法，可以直接獲得人體3D骨架關節坐標。人體動作是一種鉸鏈結構，給定如圖1所示的骨架，左圖為深度圖像，右圖為Shotton提出的基於隨機決策森林分類器的單像素物體識別方法獲取的對應的骨骼圖像，人眼視覺系統可以輕鬆判定其動作，即使部分關節被遮擋。
[0004]但是，基於單目深度信息估計的3D關節帶有很多噪聲，甚至有明顯的錯誤，尤其是在遮擋的情況下，如雙手交叉、多個人體相互觸碰等。基於此3D關節推理，依然不能保證人體行為識別精度。

【發明內容】
:
[0005]本發明是為了克服上述現有技術中缺陷，提供了一種魯棒的基於圖像深度信息的3D高斯空間人體行為識別方法。
[0006]為了實現上述目的，本發明提供如下技術方案:
[0007]基於圖像深度信息的3D高斯空間人體行為識別方法，其步驟為:
[0008]步驟一,針對每巾貞圖像的深度信息,採用Shotton提出的基於隨機決策森林分類器的單像素物體識別方法確認人體部位並進一步獲取人體3D關節坐標；
[0009]步驟二，將所述人體3D關節坐標數據歸一化；
[0010]步驟三，篩選人體關節，過濾對人體行為識別貢獻低的關節或冗餘關節；
[0011]步驟四，分析每類行為，基於AP聚類算法，統計每類行為中，關節空間運動行程突出的關節點，構建興趣關節群；[0012]步驟五，針對每類行為，基於興趣關節群，計算每個動作的3D高斯空間特徵；
[0013]步驟六，採用AP聚類算法，構建高斯距離核，將投影到人體動作空間的3D高斯空間特徵聚為η組動作分類，並獲取代表每組動作的聚類中心；
[0014]步驟七，針對每組動作，採用每個動作所屬聚類中心構建行為特徵單詞表，並對每組動作進行數據清理準備；
[0015]步驟八，構建人體行為條件隨機場模型，訓練樣本，得到人體行為識別模型；
[0016]步驟九，對新樣本進行識別。
[0017]上述技術方案中，步驟二中將所述人體3D關節坐標數據歸一化包括骨架肢體矢量尺寸歸一、骨架參考零點歸一和骨架方向歸一。
[0018]其中所述骨架肢體矢量尺寸歸一的步驟包括:
[0019]a)選擇一個人體3D關節坐標為標準模型；
[0020]b)保持各樣本肢體段矢量方向不變，將各矢量縮放至標準模型長度；
[0021]c)以臀部中心為參考點，構造關節樹，根據縮放長度移動各關節，移動矢量為:
M = MZ這裡Adfi是當前節點的第fi個祖先的移動矢量，η為當前節點的祖先個數。
[0022]其中所述骨架參考零點歸一的步驟包括:以臀部中心為新坐標參考空間零點O'，移動骨架。
[0023]其中所述骨架方向歸一的步驟包括:
[0024]a)選擇原坐標系X軸，使其與左臀到右臀的矢量平行，以新坐標參考空間
零點O'為臀部中心構建直線垂直於新的地面參考平面，得到新坐標參考空間Z軸；
[0025]b)旋轉骨架，將骨架映射到新的坐標參考空間。
[0026]上述技術方案中，步驟三通過篩選保留對人體行為識別貢獻大的關節組，保留的關節組包括12個關節:頭、左/右手肘、左/右手腕、左/右膝蓋、左/右腳腕、左/右臀、臀部中心。
[0027]上述技術方案中，步驟四通過AP算法構建興趣關節群的步驟為:
[0028]a)計算相鄰幀各個關節的運動距離，設在相鄰幀(i幀，i+Ι幀)中某關節的坐標分力丨」為:(xik，Yik，Zik)，(Xi+1, k，Yi+1, k，Zi+1, k)，則?動距尚為:
【權利要求】
1.基於圖像深度信息的3D高斯空間人體行為識別方法，其特徵在於，包括下列步驟: 步驟一，針對每幀圖像的深度信息，採用Shotton提出的基於隨機決策森林分類器的單像素物體識別方法確認人體部位並進一步獲取人體3D關節坐標；步驟二，將所述人體3D關節坐標數據歸一化；步驟三，篩選人體關節，過濾對人體行為識別貢獻低的關節或冗餘關節； 步驟四，分析每類行為，基於AP聚類算法，統計每一類行為中，關節空間運動行程突出的關節點，構建興趣關節群；步驟五，針對每類行為，基於興趣關節群，計算每個動作的3D高斯空間特徵； 步驟六，採用AP聚類算法，構建高斯距離核，將投影到人體動作空間的3D高斯空間特徵聚為η組動作分類，並獲取代表每組動作的聚類中心； 步驟七，針對每組動作，採用每個動作所屬聚類中心構建行為特徵單詞表，並對每組動作進行數據清理準備；步驟八，構建人體行為條件隨機場模型，訓練樣本，得到人體行為識別模型；步驟九，對新樣本進行識別。
2.根據權利要求1所述的基於圖像深度信息的3D高斯空間人體行為識別方法，其特徵在於:所述步驟二中將所述人體3D關節坐標數據歸一化包括骨架肢體矢量尺寸歸一、骨架參考零點歸一和骨架方向歸一；其中所述骨架肢體矢量尺寸歸一的步驟包括:a)選擇一個人體3D關節坐標為標準模型；b)保持各樣本肢體段矢量方向不變，將各矢量縮放至標準模型長度；c)以臀部中心為參考點，構造關節樹，根據縮放長度移動各關節，移動矢量為:
3.根據權利要求1所述的基於圖像深度信息的3D高斯空間人體行為識別方法，其特徵在於:所述步驟三通過篩選保留對人體行為識別貢獻大的關節組，保留的關節組包括12個關節:頭、左/右手肘、左/右手腕、左/右膝蓋、左/右腳腕、左/右臀、臀部中心。
4.根據權利要求1所述的基於圖像深度信息的3D高斯空間人體行為識別方法，其特徵在於:所述步驟四通過AP算法構建興趣關節群的步驟為: a)計算相鄰幀各個關節的運動距離，設在相鄰幀(i幀，i+Ι幀)中某關節的坐標分別為
5.根據權利要求1所述的基於圖像深度信息的3D高斯空間人體行為識別方法，其特徵在於:所述步驟五中每個動作的3D高斯空間特徵的計算過程為:a)將3D空間劃分為mXnXl(m，n，Ie Z)個子空間，每個關節必在一個子空間內； b)計算除臀部中心外的其餘11個關節的子空間高斯密度: (1)對每個關節，計算其子空間高斯密度，
6.根據權利要求1所述的基於圖像深度信息的3D高斯空間人體行為識別方法，其特徵在於:所述步驟六中高斯距離核的構造方法為
7.根據權利要求1所述的基於圖像深度信息的3D高斯空間人體行為識別方法，其特徵在於:所述步驟六中人體動作空間的3D高斯空間特徵聚類方法為: a)採用上述高斯距離核，計算各組動作高斯密度特徵相似度s(X, y)；b)針對大數量矩陣,令
8.根據權利要求1所述的基於圖像深度信息的3D高斯空間人體行為識別方法，其特徵在於:所述步驟七中行為特徵單詞表的構造方法為: a)替換原動作序列所有樣本為其所屬樣本中心動作，得到一組視覺單詞串； b)清理每個行為樣本視覺單詞串，刪除連續重複的單詞，以減少不同樣本間時間偏移造成的影響，得到行為特徵單詞表。
9.根據權利要求1所述的基於圖像深度信息的3D高斯空間人體行為識別方法，其特徵在於:所述步驟八得到的人體行為識別模型採用PSS進行優化:minef ( θ) = -1ogpθ (Y|X)+r(θ),這裡
【文檔編號】G06K9/62GK103810496SQ201410009445
【公開日】2014年5月21日 申請日期:2014年1月9日 優先權日:2014年1月9日
【發明者】蔣敏, 孔軍, 唐曉微, 姜克, 鄭憲成 申請人:江南大學