基於CamShift算法與手形遮罩的手識別裝置及其方法
2023-09-22 12:37:45
專利名稱：基於CamShift算法與手形遮罩的手識別裝置及其方法
技術領域：
本發明涉及虛擬實境與計算機圖像學領域，特別涉及一種對視頻中的人手部位進行連續 識別與跟蹤定位的基於CamShift算法與手形遮罩的手識別裝置及其方法。
背景技術：
手識別是人機互動、機器人、計算機視覺以及數字圖像處理等領域一個重要內容。對手 的位置進行準確測定與跟蹤，在人機互動，手勢識別等方面具有重要意義。
手識別與跟蹤的方法很多，現有的方法包括基於膚色信息、基於運動信息、基於運動模 型等。目前，中科大的顧理、莊鎮泉等人利用光照補償和基於分類搜索的局部閾值手形提取 方法對手形進行提取，提取效果較好，但未能實現在連續視頻中的追蹤。哈工大的張良國等 提出了基於hausdorff距離的手識別系統並利用其進行手勢識別，但對光照與複雜背景等因 素較敏感。哈工大的孫超、姜立利用FSR傳感器檢測加支持向量機的方式進行檢測，效果較 好但對硬體要求較高。
現有的手識別技術或是技術較複雜，在實時性上有一定缺陷，或是主要運用於單幀的靜 態圖像，不能對連續視頻進行準確性較高的跟蹤與識別。本系統提出一種利用Camshift算法 與手形遮罩相結合的手識別方法。該方法針對連續視頻，以基於CamShift的顏色分析為主， 結合手形模板的形狀分析技術，並利用Haar算法等對視頻的幹擾成分進行處理與去除，能對 視頻中手所在部位進行連續與準確性較高的識別與跟蹤。
其中的CamShift是"Continuously Adaptive Mean-SHIFT"的縮寫，即連續自適應 Mean-SHIFT算法，是一種基於Mean-SHIFT算法，應用於連續視頻的跟蹤算法。CamShift基 於隨機顏色概率模型，與被跟蹤對象的具體形狀模型無關。CamShift算法採用了 HSV色彩空 間，受光照等環境因素影響較小，且人手膚色在HSV空間色度值分布鮮明。CamShift分為反 向投影(Back Projection) ， MeanShift算法與CamShift算法三部分。
參考文獻[1 ]和[2]公開了 Haar算法。 Paul Viola, Michael J. Jones. Robust Real-Time Face Detection[J]. International Journal of Computer Vision, May 2004， 57: 137-154. Friedman, J. H.， Hastie， T. and Tibshirani， R. Additive Logistic Regression:
4a Statistical View of Boosting. Technical Report[R], Dept. of Statistics, Stanford University, 1998.
有鑑於此，本領域發明人針對上述問題，研發了一種對視頻中的人手部位進行連續識別 與跟蹤定位的基於CamShift算法與手形遮罩的手識別裝置及其方法。
發明內容
本發明的目的在於，提供一種基於C柳Shift算法與手形遮罩的手識別裝置及其方法，克 服了現有技術的困難，達到對視頻中的人手部位進行連續識別與跟蹤定位的目的。
本發明採用如下技術方案
本發明的一種基於CamShift算法與手形遮罩的手識別裝置，包括幹擾區域去除模塊、手
部區域初步追蹤模塊、圖像處理模塊以及基於手形模板的識別模塊；
所述幹擾區域去除模塊通過Haar算法識別並去除人臉等包含膚色的幹擾部位； 所述手部區域初步追蹤模塊通過CamShift算法對視頻中的手區域進行初步的識別與連續
追蹤；
所述圖像處理模塊對經CamShift處理得到的每一幀，進行圖像的二值化、腐蝕、膨脹、 劃分出各個連通區域等操作，去除圖像噪點；
所述基於手形模板的識別模塊利用手形模板對圖像進行處理，判斷每個連通區域是否為 手區域，確定最終的識別與跟蹤區域。
進一步地，所述幹擾區域去除模塊至少包括Haar算法訓練模塊以及Haar算法識別模塊。
進一步地，所述手部區域初步追蹤模塊至少包括基於CamShift算法的處理模塊和識別模塊。
進一步地，所述基於手形模板的識別模塊中手形遮罩分為左張開，左合併，右張開，右 合併四種。
進一步地，四種所述手形遮罩再分為旋轉O度，正負45度，正負90度五種，共20種遮罩。
本發明的一種基於CamShift算法與手形遮罩的手識別方法，採用上述基於CamShift算 法與手形遮罩的手識別裝置，包括以下步驟
1) 採用Haar算法識別臉部區域並加於去除；
2) 採用CamShift算法對圖像的手部區域進行初步的識別；
3) 對CamShift算法生成的顏色概率分布圖進行二值化、腐蝕、膨脹處理；4) 將處理後的圖中滿足一定大小的連通區域分割出來，分別與每一個手形遮罩進行相似 度對比，式(1)為計算針對某一手形遮罩的相似度值的公式
A =05/&+S/S2)/2 (1)
其中，/v為相似度值，Si為某連通區域面積，S2為手遮罩面積，S為兩者重疊面積， 對每一個手形遮罩計算相應的A值，取所有A中最大值^皿為最終相似度值；
5) 判斷所述最終相似度值P-是否大於閾值，若是，則判定為手，標出該連通區域；若
否，則輸入下一幀，執行步驟l)。
進一步地，所述步驟l)之前還包括預設閾值。
進一步地，所述步驟4)中的手形遮罩分為左張開，左合併，右張開，右合併四種。 進一步地，四種所述手形遮罩再分為旋轉O度，正負45度，正負90度五種，共20種遮罩。
進一步地，所述歩驟5)中當判定為手時，將所述連通區域用方框標出，完成手部位的追
相對於己有的其他方法，本發明創造性地將Haar算法，CamShift算法，手形遮罩處理方 法等計算機視覺與數字圖像處理算法結合在一起，集中幾種算法的優勢，先對圖像進行幹擾 區域去除，再將基於色彩的識別跟蹤與基於形狀的識別跟蹤算法結合起來，可以對視頻中的 手所在區域進行連續跟蹤，試驗證明，該方法執行效率較高，跟蹤準確性較高。相比現有技 術還具有能對連續視頻進行準確性較高的跟蹤與識別，對光照與複雜背景等因素敏感度低， 降低硬體要求的優點。
以下結合附圖及實施例進一步說明本發明。
圖1為本發明中基於CamShift算法與手形遮罩的手識別裝置的結構示意圖； 圖2為本發明中基於CamShift算法與手形遮罩的手識別方法的流程圖； 圖3為實施例1中所用到部分手形模板圖。
具體實施例方式
下面通過圖1至3，來介紹本發明的一種具體實施例。形遮罩的手識別裝置，包括通過數據 線相連並交換數據的幹擾區域去除模塊、手部區域初步追蹤模塊、圖像處理模塊以及基於手 形模板的識別模塊。
其中，所述幹擾區域去除模塊通過Haar算法識別並去除人臉等包含膚色的幹擾部位，所 述幹擾區域去除模塊至少包括Haar算法訓練模塊以及Haar算法識別模塊。
所述手部區域初步追蹤模塊通過CamShift算法對視頻中的手區域進行初步的識別與連續 追蹤，所述手部區域初步追蹤模塊至少包括基於CamShift算法的處理模塊和識別模塊。
所述圖像處理模塊對經CamShift處理得到的每一幀，進行圖像的二值化、腐蝕、膨脹、 劃分出各個連通區域等操作，去除圖像噪點；
所述基於手形模板的識別模塊利用手形模板對圖像進行處理，判斷每個連通區域是否為 手區域，確定最終的識別與跟蹤區域。所述基於手形模板的識別模塊中手形遮罩分為左張開， 左合併，右張開，右合併四種，這四種所述手形遮罩再分為旋轉0度，正負45度，正負90 度五種，共20種遮罩。
參見圖3，列舉了其中的8種 (左合併，0度)、(右合併，0度)； (左張開，0度)、(右張開，0度)； (左合併，90度)、(右合併，90度)； (左合併，45度)、(右合併，45度)。 如圖2所示，本發明的一種基於CamShift算法與手形遮罩的手識別方法，採用上述基於 CamShift算法與手形遮罩的手識別裝置，包括以下步驟 預設閾值。
1) 採用Haar算法識別臉部區域並加於去除；
2) 採用CamShift算法對圖像的手部區域進行初步的識別；
3) 對CamShift算法生成的顏色概率分布圖進行二值化、腐蝕、膨脹處理；
4) 將處理後的圖中滿足一定大小的連通區域分割出來，分別與每一個手形遮罩進行相似 度對比，式(1)為計算針對某一手形遮罩的相似度值的公式
+S/S2)/2 (1)
其中，A為相似度值，Si為某連通區域面積，S2為手遮罩面積，S為兩者重疊面積， 對每一個手形遮罩計算相應的A值，取所有A中最大值An^為最終相似度值；手形遮罩分為左張開，左合併，右張開，右合併四種，這四種所述手形遮罩再分為旋轉0 度，正負45度，正負90度五種，共20種遮罩。 參見圖3，列舉了其中的8種 (左合併，0度)、(右合併，0度)；
(左張開，0度)、(右張開，0度)；
(左合併，90度)、(右合併，90度)； (左合併，45度)、(右合併，45度)。
5)判斷所述最終相似度值^皿是否大於閾值，若是，則判定為手，將所述連通區域用方
框標出，完成手部位的追蹤；若否，則輸入下一幀，執行步驟l)。
綜上可知，本發明創造性地將Haar算法，CamShift算法，手形遮罩處理方法等計算機視 覺與數字圖像處理算法結合在一起，集中幾種算法的優勢，先對圖像進行幹擾區域去除，再 將基於色彩的識別跟蹤與基於形狀的識別跟蹤算法結合起來，可以對視頻中的手所在區域進 行連續跟蹤，試驗證明，該方法執行效率較高，跟蹤準確性較高。
以上所述的實施例僅用於說明本發明的技術思想及特點，其目的在於使本領域內的技術 人員能夠了解本發明的內容並據以實施，不能僅以本實施例來限定本發明的專利範圍，即凡 依本發明所揭示的精祌所作的同等變化或修飾，仍落在本發明的專利範圍內。
權利要求
1、一種基於CamShift算法與手形遮罩的手識別裝置，其特徵在於包括幹擾區域去除模塊、手部區域初步追蹤模塊、圖像處理模塊以及基於手形模板的識別模塊；所述幹擾區域去除模塊通過Haar算法識別並去除人臉等包含膚色的幹擾部位；所述手部區域初步追蹤模塊通過CamShift算法對視頻中的手區域進行初步的識別與連續追蹤；所述圖像處理模塊對經CamShift處理得到的每一幀，進行圖像的二值化、腐蝕、膨脹、劃分出各個連通區域等操作，去除圖像噪點；所述基於手形模板的識別模塊利用手形模板對圖像進行處理，判斷每個連通區域是否為手區域，確定最終的識別與跟蹤區域。
2、 根據權利要求1所述的基於CamShift算法與手形遮罩的手識別裝置，其特徵在於所述幹擾區域去除模塊至少包括Haar算法訓練模塊以及Haar算法識別模塊。
3、 根據權利要求1所述的基於CamShift算法與手形遮罩的手識別裝置，其特徵在於-所述手部區域初步追蹤模塊至少包括基於CamShift算法的處理模塊和識別模塊。
4、 根據權利要求1所述的基於CamShift算法與手形遮罩的手識別裝置，其特徵在於所述基於手形模板的識別模塊中手形遮罩分為左張開，左合併，右張開，右合併四種。
5、 根據權利要求4所述的基於CamShift算法與手形遮罩的手識別裝置，其特徵在於四種所述手形遮罩再分為旋轉O度，正負45度，正負90度五種，共20種遮罩。
6、 一種基於CamShift算法與手形遮罩的手識別方法，採用如所述權利要求1至5中的任意一項基於CamShift算法與手形遮罩的手識別裝置，其特徵在於包括以下步驟1) 採用Haar算法識別臉部區域並加於去除；2) 採用CamShift算法對圖像的手部區域進行初步的識別；3) 對CamShift算法生成的顏色概率分布圖進行二值化、腐蝕、膨脹處理；4) 將處理後的圖中滿足一定大小的連通區域分割出來，分別與每一個手形遮罩進行相似度對比，式(1)為計算針對某一手形遮罩的相似度值的公式formula see original document page 2(1)其中，^為相似度值，Si為某連通區域面積，S2為手遮罩面積，S為兩者重疊面積，對每一個手形遮罩計算相應的^值，取所有A中最大值^皿為最終相似度值；5) 判斷所述最終相似度值A皿是否大於閾值，若是，則判定為手，標出該連通區域；若否，則輸入下一幀，執行步驟l)。
7、 根據權利要求6所述的基於CamShift算法與手形遮罩的手識別方法，其特徵在於: 所述步驟l)之前還包括預設閾值。
8、 根據權利要求6所述的基於CamShift算法與手形遮罩的手識別方法，其特徵在於: 所述步驟4)中的手形遮罩分為左張開，左合併，右張開，右合併四種。
9、 根據權利要求8所述的基於CamShift算法與手形遮罩的手識別方法，其特徵在於: 四種所述手形遮罩再分為旋轉O度，正負45度，正負90度五種，共20種遮罩。
10、 根據權利要求6所述的基於CamShift算法與手形遮罩的手識別方法，其特徵在於.-所述歩驟5)中當判定為手時，將所述連通區域用方框標出，完成手部位的追蹤。
全文摘要
本發明揭示了一種基於CamShift算法與手形遮罩的手識別裝置及其方法，包括幹擾區域去除模塊、手部區域初步追蹤模塊、圖像處理模塊以及基於手形模板的識別模塊；其方法為1)採用Haar算法識別臉部區域並加於去除；2)採用CamShift算法對圖像的手部區域進行初步的識別；3)對CamShift算法生成的顏色概率分布圖進行二值化、腐蝕、膨脹處理；4)將處理後的圖中滿足一定大小的連通區域分割出來，分別與每一個手形遮罩進行相似度對比；5)判斷所述相似度值中的最大值是否大於閾值，若是，則判定為手，標出該連通區域；若否，則輸入下一幀，執行步驟1)；本發明集中幾種算法的優勢，對視頻中的手所在區域進行連續跟蹤，方法執行效率較高，跟蹤準確性較高。
文檔編號G06K9/00GK101667250SQ20091019698
公開日2010年3月10日 申請日期2009年10月10日 優先權日2009年10月10日
發明者周暖雲, 季斐翀, 晉 潘, 濤 陸 申請人:上海水晶石信息技術有限公司