一種人體姿勢識別方法和裝置製造方法
2023-09-16 08:30:45
一種人體姿勢識別方法和裝置製造方法
【專利摘要】本發明實施例公開了一種人體姿勢識別方法，包括：獲取當前輸入的視頻幀的深度圖像，所述深度圖像由多種分別對應於不同深度值的顏色顯示；獲取所述深度圖像中的人臉圖，和至少一個封閉的輪廓圖，所述封閉的輪廓圖由一種對應於任一深度值的顏色顯示；將所述人臉圖所屬的所述封閉的輪廓圖確定為人形輪廓圖；通過將所述人形輪廓圖和預設的姿勢模板圖進行對比，識別所述當前輸入的視頻幀所對應的人體姿勢。相應地，本發明實施例還公開了一種人體姿勢識別裝置。採用本發明，可以實現快速識別視頻中的人體姿勢，具有運算簡單和識別成功率高的特點。
【專利說明】一種人體姿勢識別方法和裝置
【技術領域】
[0001]本發明涉及計算機【技術領域】，尤其涉及一種人體姿勢識別方法和裝置。
【背景技術】
[0002]隨著計算機技術和圖像處理技術的結合，基於圖像或影像的人體姿勢識別已成為一個備受關注的研究方向，人體姿勢識別可使帶有攝像頭的計算機能夠像人一樣通過觀察來分析和理解人的動作行為。人體姿勢識別具有廣闊的應用前景，例如在駕駛過程中識別交警的手勢和在監控中識別可疑動作行為等。目前，人體姿勢識別的方法是:採用2D攝像頭採集RGB (Red Green Blue)彩色圖像，利用光流捕捉人的運動信息，並使用HMM隱馬爾科夫模型識別人體姿勢。
[0003]但是，目前的人體姿勢識別方法中，計算光流和建立模型的運算量大，導致識別速度慢，難以達到實時識別的效果，並且識別成功率不高。
【發明內容】
[0004]本發明實施例所要解決的技術問題在於，提供一種人體姿勢識別方法和裝置，可以實現快速識別視頻中的人體姿勢，具有運算簡單和識別成功率高的特點。。
[0005]為了解決上述技術問題，本發明實施例提供了一種人體姿勢識別方法，包括:
[0006]獲取當前輸入的視頻幀的深度圖像，所述深度圖像由多種分別對應於不同深度值的顏色顯示；
[0007]獲取所述深度圖像中的人臉圖，和至少一個封閉的輪廓圖，所述封閉的輪廓圖由一種對應於任一深度值的顏色顯示；
[0008]將所述人臉圖所屬的所述封閉的輪廓圖確定為人形輪廓圖；
[0009]通過將所述人形輪廓圖和預設的姿勢模板圖進行對比，識別所述當前輸入的視頻幀所對應的人體姿勢。
[0010]相應地，本發明實施例還提供了一種人體姿勢識別裝置，包括:
[0011]圖像獲取模塊，用於獲取當前輸入的視頻幀的深度圖像，所述深度圖像由多種分別對應於不同深度值的顏色顯示；
[0012]圖塊獲取模塊，用於獲取所述深度圖像中的人臉圖，和至少一個封閉的輪廓圖，所述封閉的輪廓圖由一種對應於任一深度值的顏色顯示；
[0013]人形輪廓圖確定模塊，用於將所述人臉圖所屬的所述封閉的輪廓圖確定為人形輪廓圖；
[0014]人體姿勢識別模塊，用於通過將所述人形輪廓圖和預設的姿勢模板圖進行對比，識別所述當前輸入的視頻幀所對應的人體姿勢。
[0015]實施本發明實施例，具有如下有益效果:本發明實施例先獲取當前輸入的視頻幀的深度圖像中的人臉圖和至少一個封閉的輪廓圖，所述深度圖像由多種分別對應於不同深度值的顏色顯示，所述封閉的輪廓圖由一種對應於任一深度值的顏色顯示，再將人臉圖所屬的封閉的輪廓圖確定為人形輪廓圖，進而將人形輪廓圖和預設的姿勢模板圖進行對比，可以實現快速識別當前輸入的視頻幀所對應的人體姿勢，具有運算簡單和識別成功率高的特點。
【專利附圖】
【附圖說明】
[0016]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0017]圖1是本發明實施例提供的一種人體姿勢識別方法的流程示意圖；
[0018]圖2是本發明實施例提供的一種人臉圖獲取方法的流程示意圖；
[0019]圖3是本發明實施例提供的一種人形輪廓圖與姿勢模板圖對比方法的流程示意圖；
[0020]圖4是本發明實施例提供的一種人體姿勢識別裝置的結構示意圖；
[0021]圖5是本發明實施例提供的一種圖塊獲取模塊的結構示意圖；
[0022]圖6是本發明實施例提供的一種人體姿勢識別模塊的結構示意圖；
[0023]圖7是本發明實施例提供的一種彩色圖像的示意圖；
[0024]圖8是本發明實施例提供的一種深度圖像的示意圖；
[0025]圖9是本發明實施例提供的一種封閉的輪廓圖的示意圖；
[0026]圖10是本發明實施例提供的一種人形輪廓圖與姿勢模板圖對比的示意圖；
[0027]圖11是本發明實施例提供的一種區分軀幹和四肢的示意圖。
【具體實施方式】
[0028]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0029]本發明實施例中提供的人體姿勢識別裝置，以下簡稱為「本發明裝置」，可應用於攝像終端，所述攝像終端可包括攝影機、智能攝像頭、筆記本電腦、桌上型電腦、智慧型手機和平板電腦等帶有2D攝像頭或3D攝像頭的設備。可選的，在本發明實施例中攝像終端使用的是3D攝像頭,可以攝取RGB (Red Green Blue)彩色圖像,也可以攝取深度圖像。
[0030]應理解的，本發明實施例中的彩色圖像是計算機領域的一種常見格式的圖像，由紅、綠、藍三種顏色的搭配構成，彩色圖像幾乎包括了人眼視覺的所能感知的所有顏色。例如，請參閱圖7所示的一種彩色圖像的示意圖。
[0031]還應理解的，本發明實施例中的深度圖像是一種用於表示3D空間中的成像點與成像平面距離的灰度圖，深度圖像由多種分別對應於不同深度值的顏色顯示，例如，請參閱圖8所示的一種深度圖像的示意圖，其中圖7和圖8是同一影像的不同格式的圖像。深度圖像具有以下特點:1、顏色越深則深度值越大；2、深度圖像的深度值取值範圍(如O?255或O?1024)越大，其顏色種類越多。
[0032]圖1是本發明實施例中一種人體姿勢識別方法的流程示意圖。如圖所示本實施例中的人體姿勢識別方法的流程可以包括:
[0033]S101，獲取當前輸入的視頻幀的深度圖像，所述深度圖像由多種分別對應於不同深度值的顏色顯示。
[0034]視頻是由一張張連續的圖片構成的，其中，每張圖片就是一個視頻幀。具體的，本發明裝置從當前輸入的視頻幀中提取該視頻幀的深度圖像。
[0035]S102，獲取所述深度圖像中的人臉圖，和至少一個封閉的輪廓圖，所述封閉的輪廓圖由一種對應於任一深度值的顏色顯示。
[0036]所述人臉圖是深度圖像中人像的臉部圖。所述封閉的輪廓圖是由同一種顏色所顯示的圖塊，其顏色由該輪廓圖的深度值確定，例如，請參閱圖9，圖中A、B、C和D分別為一個封閉的輪廓圖，同理圖中還有其它的封閉的輪廓圖，這裡不再窮舉。具體的，本發明裝置獲取深度圖像中的人臉圖和至少一個封閉的輪廓圖。
[0037]S103，將所述人臉圖所屬的所述封閉的輪廓圖確定為人形輪廓圖。
[0038]深度圖像是一種用於表示3D空間中的成像點與成像平面距離的灰度圖，如果設置的深度圖像的深度值的取值範圍不太大，可認為人像都是處於同一平面(即與成像平面的距離相等)，進而可認為人像的所有像點的深度值相同。又已知封閉的輪廓圖是由一種顏色顯示的，且深度圖像中同一深度值對應於同一顏色，那麼人像在深度圖像中便可體現為一個封閉的輪廓圖，即人形輪廓圖。深度圖像一般包括多個封閉的輪廓圖，為了找出人形輪廓圖，本發明裝置可以將人臉圖「落在」的封閉的輪廓圖確定為人形輪廓圖。例如，請參閱圖9，人臉圖如圖9中S所示，人形輪廓圖如圖9中A所示，可見人臉圖「落在」人形輪廓圖上。
[0039]S104，通過將所述人形輪廓圖和預設的姿勢模板圖進行對比，識別所述當前輸入的視頻幀所對應的人體姿勢。
[0040]所述姿勢模板圖是預先存儲在模板庫的，可以有多個，每個姿勢模板圖均對應了一種人體姿勢，例如:舉手姿勢、踢腿姿勢和跳躍姿勢等。具體的，本發明裝置將獲取的人形輪廓圖和至少一個姿勢模板圖進行相似度比較，若發現該人形輪廓圖和某個姿勢模板圖的相似度達到匹配標準，則確定當前輸入的視頻幀所對應的人體姿勢是該姿勢模板圖所對應的人體姿勢。
[0041]作為一個可選的示例，請參閱圖10，圖10(1)是某個姿勢模板圖，圖10(2)是一個人形輪廓圖與該姿勢模板圖的重合比對結果，相似度為92%，圖10(3)是另一個人形輪廓圖與該姿勢模板圖的重合比對結果，相似度為80%，假設相識度超過90%就達到匹配標準，則可確定圖10(2)中的人形輪廓圖的人體姿勢是圖10(1)所對應的人體姿勢。
[0042]進一步的，請參閱圖2，圖2是本發明實施例中一種人臉圖獲取方法的流程示意圖，本發明實施例針對圖1中步驟S102的「獲取所述深度圖像中的人臉圖」進行詳細說明。如圖所示本實施例中的人體姿勢識別方法的流程可以包括:
[0043]S201，獲取當前輸入的視頻幀的彩色圖像。
[0044]具體的，本發明裝置在獲取當前輸入的視頻幀的深度圖像時，還獲取其彩色圖像。
[0045]S202，判斷是否已獲取上一視頻幀的深度圖像中的人臉圖。
[0046]具體的，若當前輸入的視頻幀是視頻的首幀，則本發明裝置進入步驟S203以首次獲取深度圖像中的人臉圖，若判斷得知本發明裝置已獲取上一視頻幀的深度圖像的人臉圖，則進入步驟S209以跟蹤獲取人臉圖。
[0047]S203,提取所述彩色圖像的Haar特徵；通過Adaboost分類器分類所述Haar特徵以得到分類結果。
[0048]其中Haar特徵和Adaboost分類器分類原理是本領域技術人員能夠理解的,這裡不再贅述。
[0049]S204，根據所述分類結果，獲取所述彩色圖像中的人臉的中心點。
[0050]S205，根據所述彩色圖像中的人臉的中心點，確定所述深度圖像中的人臉的中心點，並獲取所述人臉的中心點的深度值。
[0051]應理解的，同一視頻幀的彩色圖像和深度圖像中的同一成像點的位置是相同的，例如，請對比參閱圖7和圖8中的成像點，因此本發明裝置可根據彩色圖像中的人臉的中心點確定深度圖像中的人臉的中心點。
[0052]S206,獲取所述人臉的中心點周圍指定範圍內的像點,和所述像點的深度值。
[0053]所述指定範圍可預先設定，也可根據預設的算法得到，只要指定範圍能夠圈出人臉的大致範圍即可。
[0054]S207，篩選出所述像點中深度值與所述人臉的中心點的深度值的絕對值小於預設值的目標像點。
[0055]可選的，本發明裝置可篩選出在指定範圍內滿足公式(I)的像點作為目標像點，其中，depthFace表示所述人臉的中心的深度值，depthDot表示像點的深度值，thresholdValue表示預設的參數值。
[0056](depthFace-thresholdValue/8) < depthDot < (depthFace+thresholdValue/8)
(I)
[0057]S208，將由所述人臉的中心點和所述目標像點組成的圖塊作為所述人臉圖。
[0058]由上可知，由於目標像點和人臉的中心點的深度值差別不大，獲取到的目標像點可粗略認為是深度圖像中人臉的像點。那麼，本發明裝置可將由人臉的中心點和目標像點組成的圖塊作為人臉圖。
[0059]S209，根據上一視頻幀的深度圖像中的人臉圖獲取上一視頻幀的彩色圖像中的人臉圖。
[0060]同理可知，同一視頻幀的彩色圖像和深度圖像中的同一人臉圖的位置是相同的，因此本發明裝置可根據上一視頻幀的深度圖像中的人臉圖獲取上一視頻幀的彩色圖像中的人臉圖。
[0061 ] S210，獲取上一視頻幀的彩色圖像中的人臉圖的顏色直方圖。
[0062]所述顏色直方圖反映了圖像的顏色特徵，其描述了不同色彩在整幅圖像中所佔的比例，常用於圖像檢索以獲取圖像中的分割的圖塊。
[0063]為了提高跟蹤的準確性，可選的，本發明裝置先將人臉圖由彩色圖像轉換為HSV(Hue Saturat1n Value,色度飽和度明度)或HSL(Hue Saturat1n Light,色度飽和度亮度)格式的圖像，再利用其Hue (色度)分量統計出彩色圖像的人臉圖的顏色直方圖。
[0064]S211，根據上一視頻幀的彩色圖像中的人臉圖的顏色直方圖，跟蹤獲取當前視頻幀的彩色圖像中的人臉圖。
[0065]由於人像運動是連續的，視頻的幀與幀之間存在關聯性，上一幀的人臉圖的顏色直方圖與當前幀的人臉圖的顏色直方圖一般不會產生突變。因此，本發明裝置根據彩色圖像中的人臉圖的顏色直方圖，使用Camshift (連續自適應)算法跟蹤獲取當前視頻幀的彩色圖像中的人臉圖。其中，上述Camshift是本領域技術人員理解的一種基於OpenCV的人臉跟蹤算法，這裡不再贅述。
[0066]S212，根據當前視頻幀的彩色圖像中的人臉圖獲取當前視頻幀的深度圖像中的人臉圖。
[0067]S213，判斷獲取的深度圖像中的人臉圖是否正確。
[0068]具體的，本發明裝置計算跟蹤獲取的人臉圖佔人像的頭部的比例，若比例大於預設閾值，如0.4，則判定獲取的深度圖像中的人臉圖不正確，進而返回步驟S209重新跟蹤。
[0069]進一步的，請參閱圖3，圖3是本發明實施例中一種人形輪廓圖與姿勢模板圖對比方法的流程示意圖，本發明實施例針對圖1中步驟S104進行詳細說明。如圖所示本實施例中的人體姿勢識別方法的流程可以包括:
[0070]S301，將所述人形輪廓圖和所述姿勢模板圖進行縮放匹配。
[0071]可選的，本發明裝置保持姿勢模板圖的大小不變，縮放人形輪廓圖直至人形輪廓圖的人像頭部直徑(假設頭部為一個粗略的圓形)等於姿勢模板圖的人像頭部直徑。
[0072]S302，將縮放匹配後的所述人形輪廓圖和所述姿勢模板圖重合，並獲取兩者的重合區域。
[0073]人像分為軀幹和肢幹，且肢幹的形態更能體現人體姿勢。為了增強識別的準確性，本發明實施例將獲取人形輪廓圖中的肢幹部分與姿勢模板圖中的肢幹部分的重合區域，以及獲取人形輪廓圖中的軀幹部分與姿勢模板圖中的軀幹部分的重合區域。可選的，本發明裝置可通過以下步驟實現上述操作:
[0074]步驟1，識別人形輪廓圖中的肢幹部分和軀幹部分，以及識別姿勢模板圖中的肢幹部分和軀幹部分。
[0075]具體實現過程中，識別人形輪廓圖和姿勢模板圖中的肢幹部分和軀幹部分的方法相同，以人形輪廓圖為例:本發明裝置先將人形輪廓圖粗略地分解為多塊，然後如圖11所示遍歷人形輪廓圖的所有像點，以每個像點為圓心，判斷指定半徑的圈內的像點是否都為人形輪廓圖上的像點，若是則篩選出該圓心的像點，最後，將包括上述篩選出的像點或包括上述篩選出的像點最多的那一個分解塊作為軀幹,將不包括上述篩選出的像點或包括上述篩選出的像點較少的分解塊作為肢幹。需要指出的是，上述指定半徑的取值，可通過預設的方法計算出，例如遍歷深度圖像內的所有像點，得到最大距離maxDist,以radius =maxDist/3+5作為半徑。
[0076]步驟2，將人形輪廓圖和姿勢模板圖重合。
[0077]具體實現過程中，人形輪廓圖和姿勢模板圖上均預設有校準點，本發明裝置通過重合兩者的校準點的方式將人形輪廓圖和姿勢模板圖重合。需要指出的是，上述校準點，可通過預設的方法確定，例如:在深度圖像內以從左到右、從上到下的順序搜索第一個距離大於maxDist/3的點作為校準點。
[0078]步驟3，獲取肢乾重合區域，以及軀幹重合區域。
[0079]S303，判斷所述重合區域佔所述姿勢模板圖的比例是否超過預設的比例閾值，若是，則確定所述當前輸入的視頻幀所對應的人體姿勢是所述姿勢模板圖所對應的人體姿勢。
[0080]具體實現過程中，本發明裝置可通過以下步驟實現人體姿勢的識別:
[0081]步驟1，獲取人形輪廓圖中的肢幹部分與姿勢模板圖中的肢幹部分的重合區域的像點數，以及獲取人形輪廓圖中的軀幹部分與姿勢模板圖中的軀幹部分的重合區域的像點數。
[0082]步驟2，根據公式Ic = P2ZiP1計算出肢幹權值，其中，k表示肢幹權值，匕表示人形輪廓圖中的軀幹部分的像點數，P1表示人形輪廓圖中的肢幹部分的像點數。
[0083]步驟3，根據公式Sml = (S1Xk+S2)/2S2獲取人形輪廓圖與姿勢模板圖的相似比，其中，Sml表示相似比，S1表示人形輪廓圖中的肢幹部分與姿勢模板圖中的肢幹部分的重合區域的像點數，S2表示人形輪廓圖中的軀幹部分與姿勢模板圖中的軀幹部分的重合區域的像點數。
[0084]步驟4，判斷人形輪廓圖與姿勢模板圖的相似比是否超過預設的比例閾值，如90 %，若是，則確定當前輸入的視頻幀所對應的人體姿勢是姿勢模板圖所對應的人體姿勢。
[0085]圖4是本發明實施例中一種人體姿勢識別裝置的結構示意圖。如圖所示本發明實施例中的人體姿勢識別裝置至少可以包括圖像獲取模塊410、圖塊獲取模塊420、人形輪廓圖確定模塊430以及人體姿勢識別模塊440，其中:
[0086]圖像獲取模塊410，用於獲取當前輸入的視頻幀的深度圖像，所述深度圖像由多種分別對應於不同深度值的顏色顯示。
[0087]視頻是由一張張連續的圖片構成的，其中，每張圖片就是一個視頻幀。具體的，圖像獲取模塊410從當前輸入的視頻幀中提取該視頻幀的深度圖像。
[0088]可選的，圖像獲取模塊410還從當前輸入的視頻幀中提取該視頻幀的彩色圖像。
[0089]圖塊獲取模塊420，用於獲取所述深度圖像中的人臉圖，和至少一個封閉的輪廓圖，所述封閉的輪廓圖由一種對應於任一深度值的顏色顯示。
[0090]所述人臉圖是深度圖像中人像的臉部圖。所述封閉的輪廓圖是由同一種顏色所顯示的圖塊，其顏色由該輪廓圖的深度值確定，例如，請參閱圖9，圖中A、B、C和D分別為一個封閉的輪廓圖，同理圖中還有其它的封閉的輪廓圖，這裡不再窮舉。具體的，圖塊獲取模塊420獲取深度圖像中的人臉圖和至少一個封閉的輪廓圖。具體實現中，所述圖塊獲取模塊420可以如圖5所示進一步包括:中心點採集單元421、像點採集單元422、目標像點篩選單元423以及圖塊獲取單元424，其中:
[0091]中心點採集單元421，用於獲取所述深度圖像中的人臉的中心點，和所述人臉的中心點的深度值。
[0092]具體實現過程中，中心點採集單元421先提取所述彩色圖像的Haar特徵；通過Adaboost分類器分類所述Haar特徵以得到分類結果。其中Haar特徵和Adaboost分類器分類原理是本領域技術人員能夠理解的，這裡不再贅述。中心點採集單元421再根據所述分類結果，獲取所述彩色圖像中的人臉的中心點，並根據所述彩色圖像中的人臉的中心點，確定所述深度圖像中的人臉的中心點，並獲取所述人臉的中心點的深度值。應理解的，同一視頻幀的彩色圖像和深度圖像中的同一成像點的位置是相同的，例如，請對比參閱圖7和圖8中的成像點，因此中心點採集單元421可根據彩色圖像中的人臉的中心點確定深度圖像中的人臉的中心點。
[0093]像點採集單元422,用於獲取所述人臉的中心點周圍指定範圍內的像點,和所述像點的深度值。
[0094]所述指定範圍可預先設定，也可根據預設的算法得到，只要指定範圍能夠圈出人臉的大致範圍即可。
[0095]目標像點篩選單元423，用於篩選出所述像點中深度值與所述人臉的中心點的深度值的絕對值小於預設值的目標像點。
[0096]可選的，目標像點篩選單元423可篩選出在指定範圍內滿足公式⑴的像點作為目標像點，其中，depthFace表示所述人臉的中心的深度值，depthDot表示像點的深度值，thresholdValue表示預設的參數值。
[0097](depthFace-thresholdValue/8) < depthDot < (depthFace+thresholdValue/8)
(I)
[0098]圖塊獲取單元424，用於將由所述人臉的中心點和所述目標像點組成的圖塊作為所述人臉圖。
[0099]由上可知，由於目標像點和人臉的中心點的深度值差別不大，獲取到的目標像點可粗略認為是深度圖像中人臉的像點。那麼，圖塊獲取單元424可將由人臉的中心點和目標像點組成的圖塊作為人臉圖。
[0100]可選的，圖塊獲取模塊420，還可用於根據在上一視頻幀獲取的深度圖像中的人臉圖，跟蹤獲取所述當前輸入的視頻幀的深度圖像中的人臉圖。
[0101]具體實現過程中，圖塊獲取模塊420先根據上一視頻幀的深度圖像中的人臉圖獲取上一視頻幀的彩色圖像中的人臉圖。然後獲取上一視頻幀的彩色圖像中的人臉圖的顏色直方圖，所述顏色直方圖反映了圖像的顏色特徵，其描述了不同色彩在整幅圖像中所佔的比例，常用於圖像檢索以獲取圖像中的分割的圖塊。為了提高跟蹤的準確性，可選的，圖塊獲取模塊420先將人臉圖由彩色圖像轉換為HSV(Hue Saturat1n Value，色度飽和度明度)或HSL(Hue Saturat1n Light，色度飽和度亮度)格式的圖像，再利用其Hue (色度)分量統計出彩色圖像的人臉圖的顏色直方圖。最後，圖塊獲取模塊420根據上一視頻幀的彩色圖像中的人臉圖的顏色直方圖，跟蹤獲取當前視頻幀的彩色圖像中的人臉圖，由於人像運動是連續的，視頻的幀與幀之間存在關聯性，上一幀的人臉圖的顏色直方圖與當前幀的人臉圖的顏色直方圖一般不會產生突變，因此，圖塊獲取模塊420可根據彩色圖像中的人臉圖的顏色直方圖，使用Camshift(連續自適應)算法跟蹤獲取當前視頻幀的彩色圖像中的人臉圖。
[0102]人形輪廓圖確定模塊430，用於將所述人臉圖所屬的所述封閉的輪廓圖確定為人形輪廓圖。
[0103]深度圖像是一種用於表示3D空間中的成像點與成像平面距離的灰度圖，如果設置的深度圖像的深度值的取值範圍不太大，可認為人像都是處於同一平面(即與成像平面的距離相等)，進而可認為人像的所有像點的深度值相同。又已知封閉的輪廓圖是由一種顏色顯示的，且深度圖像中同一深度值對應於同一顏色，那麼人像在深度圖像中便可體現為一個封閉的輪廓圖，即人形輪廓圖。深度圖像一般包括多個封閉的輪廓圖，為了找出人形輪廓圖，人形輪廓圖確定模塊430可以將人臉圖「落在」的封閉的輪廓圖確定為人形輪廓圖。例如，請參閱圖9,人臉圖如圖9中S所示,人形輪廓圖如圖9中A所示,可見人臉圖「落在」人形輪廓圖上。
[0104]人體姿勢識別模塊440，用於通過將所述人形輪廓圖和預設的姿勢模板圖進行對t匕，識別所述當前輸入的視頻幀所對應的人體姿勢。
[0105]所述姿勢模板圖是預先存儲在模板庫的，可以有多個，每個姿勢模板圖均對應了一種人體姿勢，例如:舉手姿勢、踢腿姿勢和跳躍姿勢等。具體的，人體姿勢識別模塊440將獲取的人形輪廓圖和至少一個姿勢模板圖進行相似度比較，若發現該人形輪廓圖和某個姿勢模板圖的相似度達到匹配標準，則確定當前輸入的視頻幀所對應的人體姿勢是該姿勢模板圖所對應的人體姿勢。
[0106]作為一個可選的示例，請參閱圖10，圖10(1)是某個姿勢模板圖，圖10(2)是一個人形輪廓圖與該姿勢模板圖的重合比對結果，相似度為92%，圖10(3)是另一個人形輪廓圖與該姿勢模板圖的重合比對結果，相似度為80%，假設相識度超過90%就達到匹配標準，則可確定圖10(2)中的人形輪廓圖的人體姿勢是圖10(1)所對應的人體姿勢。
[0107]進一步的，所述人體姿勢識別模塊440可以如圖6所示進一步包括:縮放匹配單元441、重合區域獲取單元442以及人體姿勢確定單元443，其中:
[0108]縮放匹配單元441，用於將所述人形輪廓圖和所述姿勢模板圖進行縮放匹配。
[0109]可選的，縮放匹配單元441保持姿勢模板圖的大小不變，縮放人形輪廓圖直至人形輪廓圖的人像頭部直徑(假設頭部為一個粗略的圓形)等於姿勢模板圖的人像頭部直徑。
[0110]重合區域獲取單元442，用於將縮放匹配後的所述人形輪廓圖和所述姿勢模板圖重合，並獲取兩者的重合區域。
[0111]人像分為軀幹和肢幹，且肢幹的形態更能體現人體姿勢。為了增強識別的準確性，本發明實施例將獲取人形輪廓圖中的肢幹部分與姿勢模板圖中的肢幹部分的重合區域，以及獲取人形輪廓圖中的軀幹部分與姿勢模板圖中的軀幹部分的重合區域。可選的，重合區域獲取單元442可通過以下步驟實現上述操作:
[0112]步驟1，識別人形輪廓圖中的肢幹部分和軀幹部分，以及識別姿勢模板圖中的肢幹部分和軀幹部分。
[0113]具體實現過程中，識別人形輪廓圖和姿勢模板圖中的肢幹部分和軀幹部分的方法相同，以人形輪廓圖為例:重合區域獲取單元442先將人形輪廓圖粗略地分解為多塊，然後如圖11所示遍歷人形輪廓圖的所有像點，以每個像點為圓心，判斷指定半徑的圈內的像點是否都為人形輪廓圖上的像點，若是則篩選出該圓心的像點，最後，將包括上述篩選出的像點或包括上述篩選出的像點最多的那一個分解塊作為軀幹，將不包括上述篩選出的像點或包括上述篩選出的像點較少的分解塊作為肢幹。需要指出的是，上述指定半徑的取值，可通過預設的方法計算出，例如遍歷深度圖像內的所有像點，得到最大距離maxDist,以radius=maxDist/3+5 作為半徑。
[0114]步驟2，將人形輪廓圖和姿勢模板圖重合。
[0115]具體實現過程中，人形輪廓圖和姿勢模板圖上均預設有校準點，重合區域獲取單元442通過重合兩者的校準點的方式將人形輪廓圖和姿勢模板圖重合。需要指出的是，上述校準點，可通過預設的方法確定，例如:在深度圖像內以從左到右、從上到下的順序搜索第一個距離大於maxDist/3的點作為校準點。
[0116]步驟3，獲取肢乾重合區域，以及軀幹重合區域。
[0117]人體姿勢確定單元443，用於判斷所述重合區域佔所述姿勢模板圖的比例是否超過預設的比例閾值，若是，則確定所述當前輸入的視頻幀所對應的人體姿勢是所述姿勢模板圖所對應的人體姿勢。
[0118]具體實現過程中，人體姿勢確定單元443可通過以下步驟實現人體姿勢的識別:
[0119]步驟1，獲取人形輪廓圖中的肢幹部分與姿勢模板圖中的肢幹部分的重合區域的像點數，以及獲取人形輪廓圖中的軀幹部分與姿勢模板圖中的軀幹部分的重合區域的像點數。
[0120]步驟2，根據公式Ic = P2ZiP1計算出肢幹權值，其中，k表示肢幹權值，匕表示人形輪廓圖中的軀幹部分的像點數，P1表示人形輪廓圖中的肢幹部分的像點數。
[0121]步驟3，根據公式Sml = (S1Xk+S2)/2S2獲取人形輪廓圖與姿勢模板圖的相似比，其中，Sml表示相似比，S1表示人形輪廓圖中的肢幹部分與姿勢模板圖中的肢幹部分的重合區域的像點數，S2表示人形輪廓圖中的軀幹部分與姿勢模板圖中的軀幹部分的重合區域的像點數。
[0122]步驟4，判斷人形輪廓圖與姿勢模板圖的相似比是否超過預設的比例閾值，如90 %，若是，則確定當前輸入的視頻幀所對應的人體姿勢是姿勢模板圖所對應的人體姿勢。
[0123]本發明實施例先獲取當前輸入的視頻幀的深度圖像中的人臉圖和至少一個封閉的輪廓圖，所述深度圖像由多種分別對應於不同深度值的顏色顯示，所述封閉的輪廓圖由一種對應於任一深度值的顏色顯示，再將人臉圖所屬的封閉的輪廓圖確定為人形輪廓圖，進而將人形輪廓圖和預設的姿勢模板圖進行對比，可以實現快速識別當前輸入的視頻幀所對應的人體姿勢，具有運算簡單和識別成功率高的特點。
[0124]本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過電腦程式來指令相關的硬體來完成，所述的程序可存儲於一計算機可讀取存儲介質中，該程序在執行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質可為磁碟、光碟、只讀存儲記憶體(Read-Only Memory, ROM)或隨機存儲記憶體(Random AccessMemory, RAM)等。
[0125]以上所揭露的僅為本發明較佳實施例而已，當然不能以此來限定本發明之權利範圍，因此依本發明權利要求所作的等同變化，仍屬本發明所涵蓋的範圍。
【權利要求】
1.一種人體姿勢識別方法，其特徵在於，所述方法包括: 獲取當前輸入的視頻幀的深度圖像，所述深度圖像由多種分別對應於不同深度值的顏色顯示； 獲取所述深度圖像中的人臉圖，和至少一個封閉的輪廓圖，所述封閉的輪廓圖由一種對應於任一深度值的顏色顯示； 將所述人臉圖所屬的所述封閉的輪廓圖確定為人形輪廓圖； 通過將所述人形輪廓圖和預設的姿勢模板圖進行對比，識別所述當前輸入的視頻幀所對應的人體姿勢。
2.如權利要求1所述的方法，其特徵在於，所述獲取所述深度圖像中的人臉圖，包括: 獲取所述深度圖像中的人臉的中心點，和所述人臉的中心點的深度值； 獲取所述人臉的中心點周圍指定範圍內的像點，和所述像點的深度值； 篩選出所述像點中深度值與所述人臉的中心點的深度值的絕對值小於預設值的目標像點； 將由所述人臉的中心點和所述目標像點組成的圖塊作為所述人臉圖。
3.如權利要求2所述的方法，其特徵在於，所述獲取當前輸入的視頻幀的深度圖像，包括: 獲取當前輸入的視頻幀的彩色圖像和深度圖像； 所述獲取所述深度圖像中的人臉的中心點，包括: 提取所述彩色圖像的Haar特徵； 通過Adaboost分類器分類所述Haar特徵以得到分類結果； 根據所述分類結果，獲取所述彩色圖像中的人臉的中心點； 根據所述彩色圖像中的人臉的中心點，確定所述深度圖像中的人臉的中心點。
4.如權利要求1所述的方法，其特徵在於，所述獲取所述深度圖像中的人臉圖，包括: 根據在上一視頻幀獲取的深度圖像中的人臉圖，跟蹤獲取所述當前輸入的視頻幀的深度圖像中的人臉圖。
5.如權利要求1所述的方法，其特徵在於，所述通過將所述人形輪廓圖和預設的姿勢模板圖進行對比，識別所述當前輸入的視頻幀所對應的人體姿勢，包括: 將所述人形輪廓圖和所述姿勢模板圖進行縮放匹配； 將縮放匹配後的所述人形輪廓圖和所述姿勢模板圖重合，並獲取兩者的重合區域；判斷所述重合區域佔所述姿勢模板圖的比例是否超過預設的比例閾值，若是，則確定所述當前輸入的視頻幀所對應的人體姿勢是所述姿勢模板圖所對應的人體姿勢。
6.如權利要求5所述的方法，其特徵在於，所述將縮放匹配後的所述人形輪廓圖和所述姿勢模板圖重合，並獲取兩者的重合區域，包括: 識別所述人形輪廓圖中的肢幹部分和軀幹部分，以及識別所述姿勢模板圖中的肢幹部分和軀幹部分； 將所述人形輪廓圖和所述姿勢模板圖重合； 獲取所述人形輪廓圖中的肢幹部分與所述姿勢模板圖中的肢幹部分的重合區域，以及獲取所述人形輪廓圖中的軀幹部分與所述姿勢模板圖中的軀幹部分的重合區域； 所述判斷所述重合區域佔所述姿勢模板圖的比例是否超過預設的比例閾值，若是，則確定所述當前輸入的視頻幀所對應的人體姿勢是所述姿勢模板圖所對應的人體姿勢，包括: 獲取所述人形輪廓圖中的肢幹部分與所述姿勢模板圖中的肢幹部分的重合區域的像點數，以及獲取所述人形輪廓圖中的軀幹部分與所述姿勢模板圖中的軀幹部分的重合區域的像點數； 根據公式k = P2ZiP1計算出肢幹權值，其中，所述k表示所述肢幹權值，所述P2表示所述人形輪廓圖中的軀幹部分的像點數，所述P1表示所述人形輪廓圖中的肢幹部分的像點數；根據公式Sml = (S1Xl^S2)/2S2獲取所述人形輪廓圖與所述姿勢模板圖的相似比，其中，所述Sml表示所述相似比，所述S1表示所述人形輪廓圖中的肢幹部分與所述姿勢模板圖中的肢幹部分的重合區域的像點數，所述S2表示所述人形輪廓圖中的軀幹部分與所述姿勢模板圖中的軀幹部分的重合區域的像點數； 判斷所述人形輪廓圖與所述姿勢模板圖的相似比是否超過所述預設的比例閾值，若是，則確定所述當前輸入的視頻幀所對應的人體姿勢是所述姿勢模板圖所對應的人體姿勢。
7.如權利要求5或6所述的方法，其特徵在於，所述比例閾值是90%。
8.一種人體姿勢識別裝置，其特徵在於，所述裝置包括: 圖像獲取模塊，用於獲取當前輸入的視頻幀的深度圖像，所述深度圖像由多種分別對應於不同深度值的顏色顯示； 圖塊獲取模塊，用於獲取所述深度圖像中的人臉圖，和至少一個封閉的輪廓圖，所述封閉的輪廓圖由一種對應於任一深度值的顏色顯示； 人形輪廓圖確定模塊，用於將所述人臉圖所屬的所述封閉的輪廓圖確定為人形輪廓圖； 人體姿勢識別模塊，用於通過將所述人形輪廓圖和預設的姿勢模板圖進行對比，識別所述當前輸入的視頻幀所對應的人體姿勢。
9.如權利要求8所述的裝置，其特徵在於，所述圖塊獲取模塊，包括: 中心點採集單元，用於獲取所述深度圖像中的人臉的中心點，和所述人臉的中心點的深度值； 像點採集單元，用於獲取所述人臉的中心點周圍指定範圍內的像點，和所述像點的深度值； 目標像點篩選單元，用於篩選出所述像點中深度值與所述人臉的中心點的深度值的絕對值小於預設值的目標像點； 圖塊獲取單元，用於將由所述人臉的中心點和所述目標像點組成的圖塊作為所述人臉圖。
10.如權利要求9所述的裝置，其特徵在於，所述圖像獲取模塊具體用於獲取當前輸入的視頻幀的彩色圖像和深度圖像； 所述中心點採集單元，具體用於: 提取所述彩色圖像的Haar特徵； 通過Adaboost分類器分類所述Haar特徵以得到分類結果； 根據所述分類結果，獲取所述彩色圖像中的人臉的中心點； 根據所述彩色圖像中的人臉的中心點，確定所述深度圖像中的人臉的中心點。
11.如權利要求8所述的裝置，其特徵在於，所述圖塊獲取模塊，具體用於根據在上一視頻幀獲取的深度圖像中的人臉圖，跟蹤獲取所述當前輸入的視頻幀的深度圖像中的人臉圖。
12.如權利要求8所述的裝置，其特徵在於，所述人體姿勢識別模塊，包括: 縮放匹配單元，用於將所述人形輪廓圖和所述姿勢模板圖進行縮放匹配； 重合區域獲取單元，用於將縮放匹配後的所述人形輪廓圖和所述姿勢模板圖重合，並獲取兩者的重合區域； 人體姿勢確定單元，用於判斷所述重合區域佔所述姿勢模板圖的比例是否超過預設的比例閾值，若是，則確定所述當前輸入的視頻幀所對應的人體姿勢是所述姿勢模板圖所對應的人體姿勢。
13.如權利要求12所述的裝置，其特徵在於，所述重合區域獲取單元，具體用於: 識別所述人形輪廓圖中的肢幹部分和軀幹部分，以及識別所述姿勢模板圖中的肢幹部分和軀幹部分； 將所述人形輪廓圖和所述姿勢模板圖重合； 獲取所述人形輪廓圖中的肢幹部分與所述姿勢模板圖中的肢幹部分的重合區域，以及獲取所述人形輪廓圖中的軀幹部分與所述姿勢模板圖中的軀幹部分的重合區域； 所述人體姿勢確定單元，具體用於: 獲取所述人形輪廓圖中的肢幹部分與所述姿勢模板圖中的肢幹部分的重合區域的像點數，以及獲取所述人形輪廓圖中的軀幹部分與所述姿勢模板圖中的軀幹部分的重合區域的像點數； 根據公式k = P2ZiP1計算出肢幹權值，其中，所述k表示所述肢幹權值，所述P2表示所述人形輪廓圖中的軀幹部分的像點數，所述P1表示所述人形輪廓圖中的肢幹部分的像點數；根據公式Sml = (S1Xl^S2)/2S2獲取所述人形輪廓圖與所述姿勢模板圖的相似比，其中，所述Sml表示所述相似比，所述S1表示所述人形輪廓圖中的肢幹部分與所述姿勢模板圖中的肢幹部分的重合區域的像點數，所述S2表示所述人形輪廓圖中的軀幹部分與所述姿勢模板圖中的軀幹部分的重合區域的像點數； 判斷所述人形輪廓圖與所述姿勢模板圖的相似比是否超過所述預設的比例閾值，若是，則確定所述當前輸入的視頻幀所對應的人體姿勢是所述姿勢模板圖所對應的人體姿勢。
14.如權利要求12或13所述的裝置，其特徵在於，所述比例閾值是90%。
【文檔編號】G06K9/62GK104281839SQ201410505930
【公開日】2015年1月14日 申請日期:2014年9月26日 優先權日:2014年9月26日
【發明者】崔希鵬 申請人:深圳市同洲電子股份有限公司