基於近紅外tof相機深度信息的姿勢識別方法和裝置製造方法
2023-10-08 18:13:39
基於近紅外tof相機深度信息的姿勢識別方法和裝置製造方法
【專利摘要】本發明公開了一種基於近紅外TOF相機深度信息的姿勢識別方法，該方法通過SR4000獲取深度圖像進行前期運處理得到人體目標併骨骼化後，提取人體目標的頭、手、腳、質心的端點坐標，並計算各端點距離地面的高度和距離質心的骨架線距離，根據骨架線距離和離地高度識別各端點的屬性，然後結合動作的特徵和深度信息實現姿勢的識別；從而降低了目標追蹤的難度和算法的複雜性，提高了識別有效率和目標分割的準確性，方便了實時嵌入式移植。本發明還公開了一種用於實現上述方法的裝置。
【專利說明】基於近紅外TOF相機深度信息的姿勢識別方法和裝置
【技術領域】
[0001] 本發明涉及圖像處理【技術領域】，特別是涉及一種應用於無人駕駛汽車領域的基於 近紅外TOF相機深度信息的姿勢識別方法和裝置。
【背景技術】
[0002] 目前，交互式人體識別已經在遊戲、零售體驗、人機互動、安全工程、遠程控制以及 衛生保健等行業中得到廣泛的應用。然而，由於現有的姿勢識別系統一般採用傳統的彩色 攝像機來捕獲彩色圖像，而彩色圖像容易受到光照變化和複雜背景的影響，導致目標追蹤 困難和目標分割不精確。同時，現有姿勢識別系統通過對彩色圖像進行處理獲得目標的方 法存在著算法複雜度較高、實時嵌入式移植不方便等問題。
【發明內容】
[0003] 本發明的目的在於克服現有技術的缺點與不足，提供一種基於近紅外TOF相機深 度信息的姿勢識別方法，通過SR4000獲取深度圖像進行前期運處理得到人體目標併骨骼 化後，提取人體目標的頭、手、腳、質心的端點坐標，並計算各端點距離地面的高度和距離質 心的骨架線距離，根據骨架線距離和離地高度識別各端點的屬性，然後結合動作的特徵和 深度信息實現姿勢的識別；從而降低了目標追蹤的難度和算法的複雜性，提高了識別有效 率和目標分割的準確性，方便了實時嵌入式移植。本發明還提供了一種用於實現上述方法 的裝置。
[0004] 本發明是通過以下技術方案實現的：一種基於近紅外TOF相機深度信息的姿勢識 別方法，包括以下步驟：
[0005] 步驟1 :獲取深度圖像；
[0006] 步驟2 :根據深度圖像提取人體目標，以及人體目標的質心和骨架；
[0007] 步驟3 :根據人體目標的質心和骨架標記並提取人體頭部端點、左手端點、右手端 點、左腳端點和右腳端點的坐標；
[0008] 步驟4 :識別人體目標各端點屬性；
[0009] 步驟5 :根據姿勢動作特徵和各端點屬性提取人體目標姿勢運動軌跡；
[0010] 步驟6 :判斷人體目標姿勢，實現姿勢識別。
[0011] 進一步，所述步驟1中，通過近紅外TOF相機獲取深度圖像。通過近紅外TOF相機 獲取深度圖像減少了拍攝環境的影響，其具有優於傳統彩色圖像的環境適應性，能夠用於 夜間和惡劣氣候，能夠穿透霧霾對目標進行成像，提供全天候和抗幹擾的圖像信息，有效地 提高了圖像的識別有效率和保證了圖像的穩定性。
[0012] 進一步，所述步驟2中實現人體目標及其質心和骨架的提取包括以下步驟：
[0013] 步驟21 :對深度圖像依次進行背景差分處理和圖像二值化運算處理，得到目標二 值圖像；
[0014] 步驟22 :對目標二值圖像依次進行孔洞填充、開運算處理以及連通域標記，得到 連通域的質心；
[0015] 步驟23 :通過對目標二值圖像進行zhang快速並行細化運算，實現人體目標骨架 及其坐標的提取。
[0016] 利用背景差分法處理深度圖像，採用圖像序列中的當前幀和背景參考模型比較來 檢測運動物體，具有檢測速度快、檢測準確和易於實現等優點。然後通過圖像二值化運算繼 續對深度圖像進行處理，有利於簡化圖像、減少數據量和凸顯目標的輪廓。繼續通過對目 標二值圖像進行孔洞填充和開運算操作，分離圖像中連接在一起的物體和消除圖像中的小 物體，並解決了由於噪聲帶來的圖像邊緣不平滑、物體內部有孤立小孔、孤立白噪聲點等問 題；通過連通域標記處理和Zhang快速並行細化運算有利於快速地提取一個單像素寬的目 標骨架。
[0017] 進一步，所述步驟3中，實現人體頭部端點、左手端點、右手端點、左腳端點和右腳 端點的提取和標記包括以下步驟：
[0018] 步驟31 :在骨架中標記距離質心最近的骨架點，生成骨架質心；
[0019] 步驟32 :通過森林樹遍歷的方法以骨架質心為父節點遍歷骨架，獲取多個骨架分 支節點；
[0020] 步驟33 :根據骨架坐標中骨架分支端點坐標數組的分支節點信息判斷骨架分支 節點是否存在；若存在，執行步驟34 ;若不存在，將骨架分支節點存入骨架分支端點坐標數 組，執行步驟34;
[0021] 步驟34 :以每個骨架分支節點為子節點遍歷骨架，尋找骨架結束端點；
[0022] 步驟35 :根據骨架坐標中骨架結束端點坐標數組的結束端點信息判斷骨架結束 端點是否存在；若存在，執行步驟36 ;若不存在，將骨架結束端點存入骨架結束端點坐標數 組中，執行步驟36 ;
[0023] 步驟36 :完成人體頭部端點、左手端點、右手端點、左腳端點和右腳端點的提取和 記D
[0024] 進一步，所述步驟4中，實現人體目標各端點屬性的識別包括以下步驟：
[0025] 步驟41 :計算人體頭部端點、左手端點、右手端點、左腳端點和右腳端點等各端點 距離地面的高度、以及各端點沿骨架線到質心的距離；
[0026] 步驟42 :根據骨架線距離和離地高度識別各端點的屬性。
[0027] 所述步驟41中，實現各端點距離地面的高度和距離質心的骨架線距離的計算包 括以下步驟：
[0028] 步驟411 :測量相機離地高度H、像素端點橫傾斜度Θ、像素端點豎傾斜度β、像素 端點距離相機的距離值D ;則像素端點的離地高度h = H-D .cose ^sin β ;實現質心和各 端點距離地面的高度的計算；
[0029] 步驟412 :在深度圖像中，求任意兩點P# P 2的三維距離和d ;三維距離和d根據 下述公式求得：
【權利要求】
1. 一種基於近紅外TOF相機深度信息的姿勢識別方法，其特徵在於：包括以下步驟： 步驟1 :獲取深度圖像； 步驟2 :根據深度圖像提取人體目標，以及人體目標的質心和骨架； 步驟3 :根據人體目標的質心和骨架標記並提取人體頭部端點、左手端點、右手端點、 左 腳端點和右腳端點的坐標； 步驟4 :識別人體目標各端點屬性； 步驟5 :根據姿勢動作特徵和各端點屬性提取人體目標姿勢運動軌跡； 步驟6 :判斷人體目標姿勢，實現姿勢識別。
2.根據權利要求1所述的基於近紅外TOF相機深度信息的姿勢識別方法，其特徵在於： 所述步驟1中，通過近紅外TOF相機獲取深度圖像。
3.根據權利要求2所述的基於近紅外TOF相機深度信息的姿勢識別方法，其特徵在於： 所述步驟2中實現人體目標及其質心和骨架的提取包括以下步驟： 步驟21 :對深度圖像依次進行背景差分處理和圖像二值化運算處理，得到目標二值圖 像； 步驟22 :對目標二值圖像依次進行孔洞填充、開運算處理以及連通域標記，得到連通 域的質心； 步驟23 :通過對目標二值圖像進行zhang快速並行細化運算，實現人體目標骨架及其 坐標的提取。
4.根據權利要求3所述的基於近紅外TOF相機深度信息的姿勢識別方法，其特徵在於： 所述步驟3中，實現人體頭部端點、左手端點、右手端點、左腳端點和右腳端點的提取和標 記包括以下步驟： 步驟31 :在骨架中標記距離質心最近的骨架點，生成骨架質心； 步驟32 :通過森林樹遍歷的方法以骨架質心為父節點遍歷骨架，獲取多個骨架分支節 佔. 步驟33 :根據骨架坐標中骨架分支端點坐標數組的分支節點信息判斷骨架分支節點 是否存在；若存在，執行步驟34 ;若不存在，將骨架分支節點存入骨架分支端點坐標數組， 執行步驟34 ; 步驟34 :以每個骨架分支節點為子節點遍歷骨架，尋找骨架結束端點； 步驟35 :根據骨架坐標中骨架結束端點坐標數組的結束端點信息判斷骨架結束端點 是否存在；若存在，執行步驟36 ;若不存在，將骨架結束端點存入骨架結束端點坐標數組 中，執行步驟36 ; 步驟3 6 :完成人體頭部端點、左手端點、右手端點、左腳端點和右腳端點的提取和標 記。
5.根據權利要求4所述的基於近紅外TOF相機深度信息的姿勢識別方法，其特徵在於： 所述步驟4中，實現人體目標各端點屬性的識別包括以下步驟： 步驟41 :計算人體頭部端點、左手端點、右手端點、左腳端點和右腳端點等各端點距離 地面的高度、以及各端點沿骨架線到質心的距離； 步驟42 :根據骨架線距離和離地高度識別各端點的屬性。
6. 根據權利要求5所述的基於近紅外TOF相機深度信息的姿勢識別方法，其特徵在於： 所述步驟41中，實現各端點距離地面的高度和距離質心的骨架線距離的計算包括以下步 驟：步驟411 :測量相機離地高度H、像素端點橫傾斜度Θ、像素端點豎傾斜度β、像素端點 距離相機的距離值D;則像素端點的離地高度h=H-D?cose^sinβ;實現質心和各端點 距離地面的高度的計算； 步驟412:在深度圖像中，求任意兩點PJP P2的三維距離和d;三維距離和d根據下述 公式求得：Cl=^jiPlPu：x/)2+(p/pIV2x/)2+(P2P2V,其中P1Ply^xz為點P在Y軸方向的高度 差，P2Ply_2xz為點p2在γ軸方向的高度差，ply_2x^pi點在p2點所處XZ平面的映射點；P，2 為己在Z軸方向的深度差； 步驟413 :所述三維距離和d為骨架線距離，根據三維距離和的計算公式得到人體頭部 端點、左手端點、右手端點、左腳端點和右腳端點分別距離質心的骨架線距離。
7.根據權利要求6所述的基於近紅外TOF相機深度信息的姿勢識別方法，其特徵在於： 所述步驟42中，實現各端點屬性的識別包括以下步驟： 步驟421 :骨架線距離最大的兩點為腳部端點，骨架線距離最小的一點為頭部端點，骨 架線距離大於最小骨架線距離且小於最大骨架線距離為手部端點； 步驟422:完成人體頭部端點、左手端點、右手端點、左腳端點和右腳端點共5個端點的 屬性識別。
8.根據權利要求7所述的基於近紅外TOF相機深度信息的姿勢識別方法，其特徵在 於： 所述步驟5中，實現人體目標姿勢運動軌跡的提取包括以下步驟： 步驟51 :設置姿勢動作特徵為手部姿勢特徵； 步驟52 :利用質心與頭部端點的平均深度距離信息作為閾值分割人體身軀前的手勢； 步驟53 :通過計算骨架線距離識別出人體目標的頭部端點和手部端點；通過手部端點 的橫向坐標識別左手端點和右手端點； 步驟54 :根據最近鄰分類原則，獲取手勢運動軌跡圖，實現人體目標姿勢運動軌跡的 提取。
9.根據權利要求8所述的基於近紅外TOF相機深度信息的姿勢識別方法，其特徵在於： 所述步驟6中，根據人體骨架端點屬性和數量、身軀前手勢數量、手勢軌跡及其方差結合判 斷人體目標姿勢和實現姿勢識別。
10. -種基於近紅外TOF相機深度信息的姿勢識別裝置，其特徵在於：包括近紅外TOF 相機、圖像預處理模塊、骨架端點標誌模塊、端點屬性識別模塊、運動軌跡提取模塊和姿勢 識別模塊；所述近紅外TOF相機用於獲取深度圖像，並傳送至圖像預處理模塊；所述圖像 預處理模塊用於根據深度圖像提取人體目標、人體目標的質心和骨架，並傳送至骨架端點 標誌模塊；所述骨架端點標誌模塊用於根據人體目標的質心和骨架標記並提取人體頭部端 點、左手端點、右手端點、左腳端點和右腳端點的坐標，並傳送至端點屬性識別模塊；所述端 點屬性識別模塊用於識別骨架各端點的屬性，並傳送至運動軌跡提取模塊；所述運動軌跡 提取模塊根據姿勢動作特徵和骨架各端點的運動提取人體目標姿勢運動軌跡，並傳送至所 述姿勢識別模塊；所述姿勢識別模塊用於判斷人體目標姿勢以實現姿勢識別。
【文檔編號】G06T7/20GK104463146SQ201410840006
【公開日】2015年3月25日 申請日期:2014年12月30日 優先權日:2014年12月30日
【發明者】李榕, 馬曉陽, 張金權 申請人:華南師範大學