基於隱馬爾科夫模型判斷手勢運動方向的方法

2023-05-05 20:24:31

專利名稱：基於隱馬爾科夫模型判斷手勢運動方向的方法
技術領域：
本發明涉及視頻圖像處理領域，具體的講是基於隱馬爾科夫模型(HMM)判斷手勢運動方向的方法。
背景技術：
近年來，隨著計算機在現代社會影響的迅速擴大，多模式人機互動在現實生活中的應用越來越廣泛。基於視覺的手勢識別已成為新一代人機互動不可或缺的技術。手勢是一種自然、直觀、易於學習的人機互動手段，以人手直接作為計算機的輸入設備，人機間的通訊將不再需要媒介。基於計算機的手勢識別是具有發展趨勢的一種識別技術，但技術上存在很多困難。如手勢來源於複雜背景(人自身幹擾、光照、場景等)條件下的視頻流、手具有彈性的特點、手具有大量冗餘特徵信息(如掌紋等)、手勢在三維空間如何識別等，這些問題目前還未完善解決，具體實現需要增加限制條件。如何克服手勢識別中的技術問題，使其改變未來人機互動模式，目前有許多研究者致力於此項目。目前，手勢識別視頻流的獲取分為2D攝像頭與3D攝像頭。3D攝像頭獲得的是手勢的三維信息，其成本昂貴不利於普及。因此現階段大多致力於廉價的USB 2D攝像機手勢識別技術，具有積極意義。現有的手勢運動方向判定主要是單一的基於手勢運動跟蹤，通過計算手位移距離從而判定其運動方向的方法。但是由於手是非剛體物體，且手勢跟蹤一般基於膚色進行， 導致這種基於跟蹤的方法不穩定，易受環境光照、及背景色的幹擾，無法形成正確的跟蹤軌跡。

發明內容
針對以上出現的問題，本發明提供了一種基於隱馬爾科夫模型判斷手勢運動方向的方法，通過多種判斷條件對隱馬爾科夫模型的手勢運動方向進行判斷，提高判斷的準確性，降低各種因素對判斷結果的幹擾。本發明基於隱馬爾科夫模型判斷手勢運動方向的方法，包括a.通過攝像頭進行人臉檢測，以確定用戶進入系統識別範圍，可以採用常規的 Adaboost檢測器進行人臉檢測；b.從視頻流中獲取當前運動圖像，建立膚色概率模型，作為手勢運動過程中膚色分割的依據，將膚色概率圖與幀差結果相乘後的數據經中值濾波器進行濾波，得到手勢區域灰度圖；c.根據當前手勢區域灰度圖，更新手勢運動歷史圖，並獲得運動能量圖；d.對有效的手勢運動歷史圖進行圖像梯度向量計算，得到手勢運動向量和向量水平夾角，再將向量水平夾角規劃到360度平面區域劃分的相應區域對應的編碼中；e.通過運動能量圖獲得手勢運動的開始時刻和結束時刻，分割出手勢運動；f.通過步驟a 步驟e對一段視頻的分析，獲得該視頻中一個運動方向的編碼序列，通過所述的編碼序列得到隱馬爾科夫模型的可見狀態序列，對隱馬爾科夫模型參數進行訓練，利用隱馬爾科夫模型的前向、後向算法推定手勢運動方向。本發明的方法不依賴於手勢的跟蹤效果，而是將手的膚色信息與手勢的運動信息 (幀差)相融合，這樣能較準確的分割出手勢。在此基礎上構建出手勢運動歷史圖和運動能量圖，並根據手的運動特徵自適應切分手勢運動間隔，計算並獲得該時間間隔內一系列手勢運動的方向角度特徵，使用該角度特徵序列構建隱馬爾科夫模型，並利用該模型的前、後向算法推斷最有可能的手勢運動方向，從而實現手勢運動的判定。具體的一種方案為，步驟c所述的更新手勢運動歷史圖的方法為
叉=，其中Ητ(χ，y, t)為當前的手勢運動歷史圖，
為當前的手勢區域灰度圖，τ為描述運動的時間範圍的參數，δ為手勢運動歷史圖的衰減參數，I為手勢區域二值分割的閾值。通過大量的仿真試驗和測試，為取得較好的運動判斷，優選的衰減參數δ =0.5， 閾值ξ = 10。另一種具體的方案為，步驟c所述的獲得運動能量圖的方法為
( 、「I H Ax,y,t) > I ET{x,y,t) = \，其中E,(x，y，t)為運動能量圖，τ為描述運動的時間範圍的
參數，X，I分別為運動能量圖的橫縱坐標，t為時刻。進一步的，步驟e所述的通過運動能量圖獲得手勢運動的開始時刻和結束時刻的方法為計算兩個不同時刻的運動能量圖累加的差，如果所述的差值> 400為手勢運動開始，如果所述的差值< 20為手勢運動結束。其中400和20的取值是經過大量實驗的統計數據。具體的，步驟f中所述利用隱馬爾科夫模型的前向、後向算法推定手勢運動方向為根據所述的隱馬爾科夫模型的可見狀態序列，通過隱馬爾科夫模型參數的狀態轉移概率和觀測值概率，計算運動模型概率，根據最大的運動模型概率對應的運動模型對整個系統的手勢運動方向進行判斷。具體的，步驟f中對隱馬爾科夫模型參數進行訓練包括Π.初始化待訓練模型參數，根據動作編碼設定待訓練模型參數的各個狀態轉移矩陣；f2.根據待訓練模型參數和隱馬爾科夫模型可見狀態的觀察值序列，訓練新模型參數如果新模型下獲得所述觀察值序列的概率的對數一待模型下獲得所述觀察值序列的概率的對數< delta，則訓練結束；否則將重複步驟f2。優選的，步驟d中對手勢在上、下、左、右四個方向的運動進行計算。優選的，為克服運動噪聲，步驟f中截取所獲得的編碼序列的中間6 8個編碼為隱馬爾科夫模型的可見狀態序列，進一步優選為截取8個編碼。測試得知，本發明基於隱馬爾科夫模型判斷手勢運動方向的方法，通過多種判斷條件對隱馬爾科夫模型的手勢運動方向進行判斷，能夠提高手勢運動判斷的準確性，能夠明顯降低各種因素對判斷結果的幹擾。以下結合由附圖所示實施例的具體實施方式
，對本發明的上述內容再作進一步的詳細說明。但不應將此理解為本發明上述主題的範圍僅限於以下的實例。在不脫離本發明上述技術思想情況下，根據本領域普通技術知識和慣用手段做出的各種替換或變更，均應包括在本發明的範圍內。


圖I是本發明基於隱馬爾科夫模型判斷手勢運動方向的方法的流程圖。
具體實施例方式如圖I所示本發明基於隱馬爾科夫模型判斷手勢運動方向的方法，包括a.通過攝像頭進行人臉檢測，以確定用戶進入系統識別範圍，採用常規的 Adaboost檢測器檢測當前巾貞f (x, y, t)中人臉個數numf,如果在某個位置附近出現持續人臉個數numf > O且在2秒以上，則認為有用戶進入場景；b.從視頻流中獲取當前運動圖像，建立膚色概率模型，作為手勢運動過程中膚色分割的依據，在HSV(色調、飽和度、亮度)顏色空間，統計大量膚色與非膚色信息， 建立歸一化的H-S(色調、飽和度)膚色直方圖，用於後續視頻幀圖像的膚色分割，膚色
分割的閾值概率設定為O. 85，當前幀的的膚色概率圖
權利要求
1.基於隱馬爾科夫模型判斷手勢運動方向的方法，其特徵為包括a.通過攝像頭進行人臉檢測，以確定用戶進入系統識別範圍；b.從視頻流中獲取當前運動圖像，建立膚色概率模型，作為手勢運動過程中膚色分割的依據，將膚色概率圖與視頻幀差結果相乘後的數據經中值濾波器進行濾波，得到手勢區域灰度圖；c.根據當前手勢區域灰度圖，更新手勢運動歷史圖，並獲得運動能量圖；d.對有效的手勢運動歷史圖進行圖像梯度向量計算，得到手勢運動向量和向量水平夾角，再將向量水平夾角規劃到360度平面區域劃分的相應區域對應的編碼中；e.通過運動能量圖獲得手勢運動的開始時刻和結束時刻，分割出手勢運動；f.通過步驟a 步驟e對一段視頻的分析，獲得該視頻的一個運動方向的編碼序列， 通過所述的編碼序列得到隱馬爾科夫模型的可見狀態序列，對隱馬爾科夫模型參數進行訓練，利用隱馬爾科夫模型的前向、後向算法推定手勢運動方向。
2.如權利要求I所述的基於隱馬爾科夫模型判斷手勢運動方向的方法，其特徵為步驟c所述的更新手勢運動歷史圖的方法為=，其中Ητ (x,y,t)為當前的手勢運動歷史圖，爐0，>^)為當前的手勢區域灰度圖，τ為描述運動的時間範圍的參數，δ為手勢運動歷史圖的衰減參數，ξ為手勢區域二值分割的閾值。
3.如權利要求2所述的基於隱馬爾科夫模型判斷手勢運動方向的方法，其特徵為所述的衰減參數δ =0.5,閾值ξ = 10s。
4.如權利要求I所述的基於隱馬爾科夫模型判斷手勢運動方向的方法，其特徵為步驟( 、「I H Ax,y,t) > I C所述的獲得運動能量圖的法為4(Χ，>^)=。『糹「，其中E,(x，y，t)為運動能量圖，τ為描述運動的時間範圍的參數，x，y分別為運動能量圖的橫縱坐標，t為時刻。
5.如權利要求I所述的基於隱馬爾科夫模型判斷手勢運動方向的方法，其特徵為步驟 e所述的通過運動能量圖獲得手勢運動的開始時刻和結束時刻的方法為計算兩個不同時刻的運動能量圖累加的差，如果所述的差值> 400為手勢運動開始，如果所述的差值< 20 為手勢運動結束。
6.如權利要求I所述的基於隱馬爾科夫模型判斷手勢運動方向的方法，其特徵為步驟 f中所述利用隱馬爾科夫模型的前向、後向算法推定手勢運動方向為根據所述的隱馬爾科夫模型的可見狀態序列，通過隱馬爾科夫模型參數的狀態轉移概率和觀測值概率，計算運動模型概率，根據最大的運動模型概率對應的運動模型對整個系統的手勢運動方向進行判斷。
7.如權利要求I所述的基於隱馬爾科夫模型判斷手勢運動方向的方法，其特徵為步驟 f中對隱馬爾科夫模型參數進行訓練包括fl.初始化待訓練模型參數，根據動作編碼設定待訓練模型參數的各個狀態轉移矩陣；f2.根據待訓練模型參數和隱馬爾科夫模型可見狀態的觀察值序列，訓練新模型參數 如果新模型下獲得所述觀察值序列的概率的對數一待模型下獲得所述觀察值序列的概率的對數< delta，則訓練結束；否則將重複步驟f2。
8.如權利要求I至7之一所述的基於隱馬爾科夫模型判斷手勢運動方向的方法，其特徵為步驟d中對手勢在上、下、左、右四個方向的運動進行計算。
9.如權利要求I至7之一所述的基於隱馬爾科夫模型判斷手勢運動方向的方法，其特徵為步驟f中截取所獲得的編碼序列的中間6 8個編碼為隱馬爾科夫模型的可見狀態序列。
全文摘要
本發明涉及基於隱馬爾科夫模型判斷手勢運動方向的方法，包括a.人臉識別；b.多線索融合得到手勢區域灰度圖；c.根據手勢區域灰度圖，更新手勢運動歷史圖，並獲得運動能量圖；d.劃分向量水平夾角；e.通過運動能量圖獲得手勢運動的開始時刻和結束時刻，分割出手勢運動；f.對隱馬爾科夫模型參數進行訓練，利用隱馬爾科夫模型的前向、後向算法推定手勢運動方向。本發明基於隱馬爾科夫模型判斷手勢運動方向的方法，通過多種判斷條件對隱馬爾科夫模型的手勢運動方向進行判斷，能夠提高手勢運動判斷的準確性，能夠明顯降低各種因素對判斷結果的幹擾。
文檔編號G06K9/00GK102592112SQ201110429580
公開日2012年7月18日 申請日期2011年12月20日 優先權日2011年12月20日
發明者劉恆, 呂金鋼, 張彩虹, 趙仕才 申請人:四川長虹電器股份有限公司