一種基於分類特徵的手部動作識別信息處理方法
2023-08-11 17:10:21 1
專利名稱：一種基於分類特徵的手部動作識別信息處理方法
技術領域：
本發明涉及一種計算機的動作識別信息處理方法，尤其是涉及一種基於分類特徵的手部動作識別信息處理方法。
背景技術：
人體手部動作識別很有前景的潛在應用之一是高級人機互動。在智能化的環境中，用戶不需要鍵盤和滑鼠，就可以進行用戶和機器人之間的交互，這就要求機器人能夠理解人的意圖，達到擬人交流的效果。手勢識別目前有很多方式，大部分方法是基於對手勢的建模，主要的建模方式有基於人手表示的三維人手跟蹤建模和基於先驗模型的三維人手跟蹤建模。基於表示的方法要求預先定義一組手勢集，從每個手勢中提取唯一的手勢描述子，通過從圖像特徵空間到手勢空間的映射直接得到手勢的估計。而基於模型的方法則根據靜止的三維手模型來識別手勢，把被投影的3D模型與被觀察到的圖像特徵進行匹配而恢復手的狀態，最後得到手的 3D形狀。
發明內容
本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種簡單、實用，對於動作過程非相似的動作識別率較高的基於分類特徵的手部動作識別信息處理方法。本發明的目的可以通過以下技術方案來實現一種基於分類特徵的手部動作識別信息處理方法，其特徵在於，包括以下步驟1)對手部區域進行檢測及分割處理；2)根據步驟1)處理後的數據建立人體上肢關節模型；3)根據步驟2、的人體上肢關節模型，對手部的角度參數和直線參數進行特徵提取，組成特徵向量並利用HMM模型對其進行訓練，利用訓練好的HMM模型對新的特徵向量進行識別；4)判斷識別結果是否正確，若為是，將識別結果輸出，若為否，返回步驟1)。所述的步驟1)對手部區域進行檢測及分割處理的步驟如下1)攝像頭開啟，獲取圖像；2)判斷是否獲取成功，若為是，執行步驟3)，若為否，返回步驟1)；3)對獲取的圖像進行預處理；4)採用基於自適應混合高斯模型來建立背景，並採用背景減除法獲得人體手部運動目標，同時對當前幀圖像進行膚色分割，提取出手部膚色區域以及人臉區域並對這些區域進行標記；5)將手部運動目標和手部膚色區域融合後，並通過背景減除法分割出手部運動目標與膚色區的圖像。所述的步驟2~)中的建立人體上肢關節模型步驟如下
對獲得的手部運動目標與膚色區的圖像進行二值化，然後利用人體膚色模型得到人體的手掌、手臂、臉部區域；獲得的手掌、手臂、臉部區域以後，由於頭部區域僅僅是起到輔助的作用，不需要得到非常精確的頭部邊緣，假設人體的臉部為圓形，計算其質心所在位置，利用人體頭部質心位置近似估計人體肩部位置，如果用戶臉部朝向攝像頭，操作者的肩部位置離頭部質心
處是一個固定值，假設人體頭部半徑為R，則R的值近似為λ/^，如果頭部的質心位置為
V π
(x，y)，則左肩部位置為(x-r · Φ，y+r)，其中0 = (l + VJ)/2，左肩部的χ坐標即為x+r · Φ ； 同理根據對稱性可知右肩部坐標位置；使用曲率的峰值來決定手指的位置，而肘部位置則源自於指尖和肩部最大距離的連線，由於人類的骨骼的長度有比較一致的比例關係，所以前臂與後臂的長度的比例關係是恆定的，肘關節在以肩為圓心，以後臂的長度為半徑在一定的區域內運動，對應關係如下x2+y2+z2 = r2(1)ζ2 = r2-(x2+y2)(2)在二維平面坐標系中x2+y2長度即為前臂的長度L，則上式可寫成z2 = r2_L2，假定用戶正面面向攝像頭，在實際的空間坐標系中，空間上的一個點(X，1, ζ)在圖像平面坐標為(x』，y』)，其中x』 = (f/z)x,y' = (f/z)y，而f的長度是固定的，利用以上獲得的參數以及端點固定的關節模型及其對應的方程組，以估計各個關節點的3D坐標，建立人體上肢關節模型。所述的步驟3)中的對獲取的圖像進行預處理過程如下首先將RGB空間的圖像變換到YCbCr空間，利用YCbCr色彩空間亮度和色度分離的性質在一定程度上克服光照幹擾， 再使用中值濾波和線性平滑濾波對手區域二值圖進行去噪，其中YCbCr是DVD、攝像機、數位電視等消費類視頻產品中，常用的色彩編碼方案，YCbCr其中Y是指亮度分量，Cb指藍色色度分量，而Cr指紅色色度分量。所述的3)中的利用HMM模型對其進行訓練過程如下每個手部動作採集N組樣本，而每組樣本包括M張圖像使用HMM模型進行訓練，訓練過程如下首先要對左右結構的離散HMM模型λ = (Α, B, π )初始化，並設定狀態i只能返回到本身或轉移到i+Ι狀態，狀態轉移矩陣初始化為
權利要求
1.一種基於分類特徵的手部動作識別信息處理方法，其特徵在於，包括以下步驟1)對手部區域進行檢測及分割處理；2)根據步驟1)處理後的數據建立人體上肢關節模型；3)根據步驟幻的人體上肢關節模型，對手部的角度參數和直線參數進行特徵提取，組成特徵向量並利用HMM模型對其進行訓練，利用訓練好的HMM模型對新的特徵向量進行識別；4)判斷識別結果是否正確，若為是，將識別結果輸出，若為否，返回步驟1)。
2.根據權利要求1所述的一種基於分類特徵的手部動作識別信息處理方法，其特徵在於，所述的步驟1)對手部區域進行檢測及分割處理的步驟如下1)攝像頭開啟，獲取圖像；2)判斷是否獲取成功，若為是，執行步驟3)，若為否，返回步驟1)；3)對獲取的圖像進行預處理；4)採用基於自適應混合高斯模型來建立背景，並採用背景減除法獲得人體手部運動目標，同時對當前幀圖像進行膚色分割，提取出手部膚色區域以及人臉區域並對這些區域進行標記；5)將手部運動目標和手部膚色區域融合後，並通過背景減除法分割出手部運動目標與膚色區的圖像。
3.根據權利要求1所述的一種基於分類特徵的手部動作識別信息處理方法，其特徵在於，所述的步驟幻中的建立人體上肢關節模型步驟如下對獲得的手部運動目標與膚色區的圖像進行二值化，然後利用人體膚色模型得到人體的手掌、手臂、臉部區域；獲得的手掌、手臂、臉部區域以後，由於頭部區域僅僅是起到輔助的作用，不需要得到非常精確的頭部邊緣，假設人體的臉部為圓形，計算其質心所在位置，利用人體頭部質心位置近似估計人體肩部位置，如果用戶臉部朝向攝像頭，操作者的肩部位置離頭部質心處是一個固定值，假設人體頭部半徑為R，則R的值近似為如果頭部的質心位置為(χ，y)，則左肩部位置為(x_r · (Ky+r)，其由0 = (l + VJ)/2，左肩部的χ坐標即為x+r· Φ ；同理根據對稱性可知右肩部坐標位置；使用曲率的峰值來決定手指的位置，而肘部位置則源自於指尖和肩部最大距離的連線，由於人類的骨骼的長度有比較一致的比例關係，所以前臂與後臂的長度的比例關係是恆定的，肘關節在以肩為圓心，以後臂的長度為半徑在一定的區域內運動，對應關係如下 x2+y2+z2 = r2(1)ζ2 = r2-(x2+y2)(2)在二維平面坐標系中x2+y2長度即為前臂的長度L，則上式可寫成ζ2 = r2-L2，假定用戶正面面向攝像頭，在實際的空間坐標系中，空間上的一個點(X，1, ζ)在圖像平面坐標為 0^』，7』)，其中3』 = (f/z)x，y』 = (f/z)y，而f的長度是固定的，利用以上獲得的參數以及端點固定的關節模型及其對應的方程組，以估計各個關節點的3D坐標，建立人體上肢關節模型。
4.根據權利要求2所述的一種基於分類特徵的手部動作識別信息處理方法，其特徵在於，所述的步驟3)中的對獲取的圖像進行預處理過程如下首先將RGB空間的圖像變換到 YCbCr空間，利用YCbCr色彩空間亮度和色度分離的性質在一定程度上克服光照幹擾，再使用中值濾波和線性平滑濾波對手區域二值圖進行去噪。
5.根據權利要求1所述的一種基於分類特徵的手部動作識別信息處理方法，其特徵在於，所述的3)中的利用HMM模型對其進行訓練過程如下每個手部動作採集N組樣本，而每組樣本包括M張圖像使用HMM模型進行訓練，訓練過程如下首先要對左右結構的離散HMM模型λ = (Α，Β，π)初始化，並設定狀態i只能返回到本身或轉移到i+Ι狀態，狀態轉移矩陣初始化為
6.根據權利要求1所述的一種基於分類特徵的手部動作識別信息處理方法，其特徵在於，所述的角度參數包括關節角度。
7.根據權利要求1所述的一種基於分類特徵的手部動作識別信息處理方法，其特徵在於，所述的直線參數包括骨長度、手掌尺度、臂長。
全文摘要
本發明涉及一種基於分類特徵的手部動作識別信息處理方法，包括以下步驟1)對手部區域進行檢測及分割處理；2)根據步驟1)處理後的數據建立人體上肢關節模型；3)根據步驟2)的人體上肢關節模型，對手部的角度參數和直線參數進行特徵提取，組成特徵向量並利用HMM模型對其進行訓練，利用訓練好的HMM模型對新的特徵向量進行識別；4)判斷識別結果是否正確，若為是，將識別結果輸出，若為否，返回步驟1)。與現有技術相比，本發明具有簡單、實用，對於動作過程非相似的動作識別率較高等優點。
文檔編號G06K9/66GK102567703SQ201010583370
公開日2012年7月11日 申請日期2010年12月10日 優先權日2010年12月10日
發明者曾龍海, 許以君, 許華虎, 陽誠海, 陳開 申請人:上海上大海潤信息系統有限公司