一種基於紅外圖像的手勢識別系統及方法
2023-06-18 18:40:06 1
專利名稱：一種基於紅外圖像的手勢識別系統及方法
技術領域：
本發明涉及手勢識別系統及方法，特別涉及一種基於紅外圖像的手勢識別系統及方法。
背景技術：
隨著人機互動技術的飛速發展，各種新型的人機互動方式不斷湧現，基於手勢識別的人機互動方式作為其中一個分支，隨著各種新算法的提出及改進，其重要性日益凸顯，並將在不遠的將來走進千家萬戶，成為家庭中人機互動的主要方式。然而，手勢識別這類基於數字圖像處理的人機互動方式，一直面臨著一個難以解決的問題，即攝像頭場景中各種光照環境對於數字圖像質量的影響，其中包括低照度情況下圖像細節的呈現，各種色光照明對圖像中特定物體色彩的幹擾，圖像傳感器對於光照強度變化不適應導致的圖像整體過亮或過暗現象等。針對這樣的一些問題，學術界提出了許多的解決方法，其中包括各種顏色恆常性算法、自適應顏色分類器等。顏色恆常性是這一預處理領域運用得較為廣泛的理論，其基本定義是，當照射在物體表面的顏色光發生變化時，人們對該物體表面顏色的直覺仍然保持不變，物體的顏色不是由入射光決定的，而是由物體本身的反射屬性決定的。基於這樣一個定義，人們提出了許多方法，其中包括Retinex算法、灰色世界理論算法、色譜映射算法、顏色相關性算法、Bayesian決策算法、神經網絡顏色恆常性算法、基於參考色的顏色恆常性算法等。而自適應的顏色分類器則是在原有特定顏色訓練的基礎上，實時的根據場景狀況調節分類器的相關參數，保證分類器對於色彩的分類能夠完全適應場景光照的變化，做到各種光照環境下特定物體色彩的提取。然而這樣的一些方法都是基於數字圖像處理的，且其較好的處理效果都只針對特定的操作環境。而本方法從前端入手，在視頻獲取電路上做改進，保證了後端手勢提取及跟蹤算法輸入圖像的質量，減小了後端算法的負擔，同時針對紅外照明環境下成像的特點，選用相應的處理算法進行人手分割，降低了其計算複雜度，使其在工程上的實現成為可能。
發明內容
為了克服現有技術的上述不足，本發明的目的在於提供一種基於紅外圖像的手勢識別系統，本發明的另一目的在於提供上述系統的手勢識別方法。本發明的目的通過以下技術方案實現—種基於紅外圖像的手勢識別系統，包括紅外照明模塊、前端圖像處理模塊和數字圖像手勢分割及跟蹤模塊，其特徵在於，所述前端圖像處理模塊包括相互連接的紅外視頻採集單元、FPGA控制及輸出單元，所述紅外視頻採集單元包括可調節參考電壓的CMOS光學傳感晶片和鏡頭組件，所述CMOS光學傳感晶片集成有DSP (數位訊號處理器)晶片；所述鏡頭組件安裝在CMOS光學傳感晶片的前方；
所述FPGA(現場可編程門陣列)控制及輸出單元包括依次連接的圖像質量評估模塊、參考電壓調節模塊和輸出模塊，所述圖像質量評估模塊用於判斷手部區域與手部周圍區域是否在數字圖像中呈現相同或相近的像素值，若是，則控制參考電壓調節模塊調節CMOS光學傳感晶片中A/D轉換器的參考電壓VREFl和VREF2 ;若否，則通過輸出單元直接輸出數字圖像。所述紅外照明模塊由4個紅外LED燈管組成，所述4個紅外LED燈管均勻分布在鏡頭組件的鏡頭周圍，與鏡頭中心的距離小於或等於3cm，各LED燈管與鏡頭中心的連線之間夾角為90。。所述LED燈管的直徑參數為8mm，發射角大於45°。 所述鏡頭的前方安裝有濾波片，所述濾波片的透光波段與紅外LED燈管的發光波段對應。上述的基於紅外圖像的手勢識別系統的手勢識別方法，包括以下步驟(I)紅外照明模塊照亮手勢操作區域；(2)紅外視頻採集單元採集紅外圖像，具體包括以下步驟(2-1) CMOS光學傳感晶片獲得像素點的模擬電壓V。；(2-2)根據CMOS光學傳感晶片的參考電壓VREFl和VREF2，通過A/D轉換器和DSP晶片處理，對CMOS光學傳感晶片獲取的數字圖像各像素點模擬電壓Vtl進行量化，將每一幀圖像像素點的電壓量化為8bit數據VREF1 ^ V0^ VREF2，得到數字圖像；(2-3)圖像質量評估模塊判斷能否手勢能否被識別手部區域與手部周圍區域是否在數字圖像中呈現相同或相近的像素值，若是，則控制參考電壓調節模塊調節A/D轉換器的參考電壓VREFl和VREF2，重複步驟(2_2) (2_3);若否，則通過輸出單元直接輸出數字圖像；(3)對數字圖像進行手勢分割及跟蹤。步驟(3)所述對數字圖像進行手勢分割及跟蹤，具體包括以下步驟(3-1)對紅外視頻採集單元採集到的紅外圖像Itl，提取其RGB中任一色層或將其灰度化得到圖像I1 ;(3-2)使用預先訓練好的分類器對I1圖像進行處理，找到圖像中人手區域，並確定人手在圖像中出現的位置P及範圍S ；(3-3)依據範圍S內數字圖像數據，統計區域內出現概率最高的灰度值，以此灰度值作為閾值T ;(3-4)用閾值T估計人手區域的灰度值範圍，確定全局二值化閾值，獲得二值化圖像Ib ；(3-5)對I1灰度圖像使用巾貞差法，確定人手運動巾貞差圖像If ；(3-6)在Ib圖像能夠正常分割出人手的情況下，確定人手質心位置坐標，更新P並重新確定範圍S位置，對人手進行跟蹤；在Ib圖像不能正常分割出人手的情況下，使用幀差圖像If，確定人手質心坐標，更新P並重新確定範圍S位置，對人手進行跟蹤。與現有技術相比，本發明具有以下優點和有益效果本發明通過利用紅外照明，保證場景照明的唯一性和穩定性，能夠有效解決低照度或光照變化環境下識別算法不穩定的問題。同時，通過介入前端視頻數據的獲取，自適應的對視頻數據進行量化，使得紅外圖像中感興趣區域(人手位置)的細節更加清晰和突出，進一步提高了紅外數字視頻數據的質量，保證了後端識別算法的識別率。另一方面，針對本發明現有紅外成像的特點，對現有的手勢識別方法進行了改進，使得算法能夠跟整個系統更好地協同合作，保證系統的穩定性。
圖I為本發明基於紅外圖像的手勢識別系統的構成示意圖。圖2為紅外照明模塊的示意圖，其中I為紅外LED，2為含濾光片鏡頭。圖3為圖像質量評估模塊判斷手勢能否被識別的流程圖。圖4為對數字圖像進行手勢分割及跟蹤的流程圖。
具體實施例方式下面結合實施例及附圖，對本發明作進一步地詳細說明，但本發明的實施方式不限於此。實施例如圖I所示，基於紅外圖像的手勢識別系統，包括紅外照明模塊、前端圖像處理模塊、數字圖像手勢分割及跟蹤模塊，所述前端圖像處理模塊包括相互連接的紅外視頻採集單元和FPGA控制及輸出單元。所述紅外視頻採集單元包括可調節參考電壓的CMOS光學傳感晶片和鏡頭組件，所述CMOS光學傳感晶片集成有DSP晶片；所述鏡頭組件安裝在CMOS光學傳感晶片的前方。如圖2所示，所述紅外照明模塊由4個紅外LED燈管I組成，所述4個紅外LED燈管均勻分布在鏡頭組件的鏡頭2周圍，與鏡頭中心的距離小於或等於3cm，各LED燈管與鏡頭中心的連線之間夾角為90° ;LED燈管的直徑參數為為8mm，發射角大於45°。所述FPGA控制及輸出單元包括依次連接的圖像質量評估模塊、參考電壓調節模塊和輸出模塊，所述圖像質量評估模塊用於判斷手部區域與手部周圍區域是否在數字圖像中呈現相同或相近的像素值，若是，則控制參考電壓調節模塊調節CMOS光學傳感晶片中A/D轉換器的參考電壓VREFl和VREF2 ;若否，則通過輸出單元直接輸出數字圖像。上述基於紅外圖像的手勢識別系統的手勢識別方法，包括以下步驟(I)紅外照明模塊照亮手勢操作區域；(2)紅外視頻採集單元採集紅外圖像，具體包括以下步驟(2-1) CMOS光學傳感晶片獲得像素點的模擬電壓Vtl,依CMOS半導體器件光電效應，理論上，像素點獲得的光子能量越高，模擬電壓Vtl值越大；(2-2)根據CMOS光學傳感晶片的參考電壓VREFl和VREF2，通過A/D轉換器和DSP晶片處理，對CMOS光學傳感晶片獲取的數字圖像各像素點模擬電壓Vtl進行量化，將每一幀圖像像素點的電壓量化為8bit數據VREF1 ^ V0^ VREF2，得到數字圖像；(2-3)圖像質量評估模塊判斷手勢能否被識別，如圖3所示，具體為手部區域與手部周圍區域是否在數字圖像中呈現相同或相近的像素值，若是，則認為不能被識別，控制參考電壓調節模塊調節A/D轉換器的參考電壓VREFl和VREF2 :分析原因，若人手區域像素灰度值較高，可以認為其對應模擬電壓值較高，則調高參考電壓VREFl和VREF2，使人手區域模擬電壓在VREFl VREF2數值範圍內；同理，若人手區域像素灰度值較低，可以認為其對應模擬電壓值較低，則調低參考電壓VREFl和VREF2，使人手區域模擬電壓在VREFl VREF2數值範圍內；得到校正的參考電壓VREFl和VREF2後，重複步驟(2_2) (2_3);若不相同，則認為能被識別，通過輸出單元直接輸出數字圖像；例如，假定CMOS是在默認參考電壓VREFl = OV和VREF2 = 5V情況下工作的，手和其周圍區域物體在紅外燈的照射下亮度雖然有區別，如手對應像素的模擬電壓為5V，人手周邊區域物體對應像素的模擬電壓為4. 99V，則它們像素值經A/D轉換後十進位數值均為255，數字量化後兩 者無差別。通過圖像質量評估模塊分析，在上述情況下硬體動態調整參考電壓VREFl和VREF2分別為4V和5V，反饋作用於CMOS，此時由於A/D轉換結果十進位數值分別為255及252，因此上次得到的衣服和手的相等的像素經過反饋調節參考電壓得到了不同的像素值。同樣的道理，當圖像中手部及周邊區域物體數字像素值相同而實際兩者亮度有區別時，通過FPGA的反饋，動態調整CMOS參考電壓VREFl和VREF2，都可以將手部和周圍環境亮度的細微差別在數字圖像中顯現出來，從而使得後端算法能夠輕鬆地提取人手並實現手勢識別，輸出的數字圖像仍然是8bit數據，同時質量不符合算法要求的圖像將進行丟棄。(3)對數字圖像進行手勢分割及跟蹤，如圖4所示，具體包括以下步驟(3-1)對紅外視頻採集單元採集到的紅外圖像Itl,提取其RGB中任一色層或將其灰度化得到圖像I1 ;(3-2)使用預先訓練好的分類器對I1圖像進行處理，找到圖像中人手區域，並確定人手在圖像中出現的位置P及範圍S ；(3-3)依據範圍S內數字圖像數據，統計區域內出現概率最高的灰度值，以此灰度值作為閾值T ;(3-4)用閾值T估計人手區域的灰度值範圍，確定全局二值化閾值，獲得二值化圖像Ib ；(3-5)對I1灰度圖像使用巾貞差法，確定人手運動巾貞差圖像If ；(3-6)在Ib圖像能夠正常分割出人手的情況下，確定人手質心位置坐標，更新P並重新確定範圍S位置，對人手進行跟蹤；在Ib圖像不能正常分割出人手的情況下，使用幀差圖像If，確定人手質心坐標，更新P並重新確定範圍S位置，對人手進行跟蹤。上述實施例為本發明較佳的實施方式，但本發明的實施方式並不受所述實施例的限制，其他的任何未背離本發明的精神實質與原理下所作的改變、修飾、替代、組合、簡化，均應為等效的置換方式，都包含在本發明的保護範圍之內。
權利要求
1.一種基於紅外圖像的手勢識別系統，包括紅外照明模塊、前端圖像處理模塊和數字圖像手勢分割及跟蹤模塊，其特徵在於，所述前端圖像處理模塊包括相互連接的紅外視頻採集單元、FPGA控制及輸出單元， 所述紅外視頻採集單元包括可調節參考電壓的CMOS光學傳感晶片和鏡頭組件，所述CMOS光學傳感晶片集成有DSP晶片；所述鏡頭組件安裝在CMOS光學傳感晶片的前方； 所述FPGA控制及輸出單元包括依次連接的圖像質量評估模塊、參考電壓調節模塊和輸出模塊，所述圖像質量評估模塊用於判斷手部區域與手部周圍區域是否在數字圖像中呈現相同或相近的像素值，若是，則控制參考電壓調節模塊調節CMOS光學傳感晶片中A/D轉換器的參考電壓VREFl和VREF2 ;若否，則通過輸出單元直接輸出數字圖像。
2.根據權利要求I所述的基於紅外圖像的手勢識別系統，其特徵在於，所述紅外照明模塊由4個紅外LED燈管組成，所述4個紅外LED燈管均勻分布在鏡頭組件的鏡頭周圍，與鏡頭中心的距離小於或等於3cm，各LED燈管與鏡頭中心的連線之間夾角為90°。
3.根據權利要求2所述的基於紅外圖像的手勢識別系統，其特徵在於，所述LED燈管的直徑參數為8mm，發射角大於45°。
4.根據權利要求2所述的基於紅外圖像的手勢識別系統，其特徵在於，所述鏡頭的前方安裝有濾波片，所述濾波片的透光波段與紅外LED燈管的發光波段對應。
5.如權利要求I 4任一項所述的基於紅外圖像的手勢識別系統的手勢識別方法，其特徵在於，包括以下步驟 (1)紅外照明模塊照亮手勢操作區域； (2)紅外視頻採集單元採集紅外圖像，具體包括以下步驟 (2-1)CMOS光學傳感晶片獲得像素點的模擬電壓V。； (2-2)根據CMOS光學傳感晶片的參考電壓VREFl和VREF2，通過A/D轉換器和DSP晶片處理，對CMOS光學傳感晶片獲取的數字圖像各像素點模擬電壓Vtl進行量化，將每一幀圖像像素點的電壓量化為8bit數據VREF1 ^ V0^ VREF2，得到數字圖像； (2-3)圖像質量評估模塊判斷能否手勢能否被識別手部區域與手部周圍區域是否在數字圖像中呈現相同或相近的像素值，若是，則控制參考電壓調節模塊調節A/D轉換器的參考電壓VREFl和VREF2，重複步驟(2_2) (2_3);若否，則通過輸出單元直接輸出數字圖像； (3)對數字圖像進行手勢分割及跟蹤。
6.根據權利要求5所述的基於紅外圖像的手勢識別系統的手勢識別方法，其特徵在於，步驟(3)所述對數字圖像進行手勢分割及跟蹤，具體包括以下步驟 (3-1)對紅外視頻採集單元採集到的紅外圖像Itl，提取其RGB中任一色層或將其灰度化得到圖像I1; (3-2)使用預先訓練好的分類器對I1圖像進行處理，找到圖像中人手區域，並確定人手在圖像中出現的位置P及範圍S ； (3-3)依據範圍S內數字圖像數據，統計區域內出現概率最高的灰度值，以此灰度值作為閾值T ； (3-4)用閾值T估計人手區域的灰度值範圍，確定全局二值化閾值，獲得二值化圖像Ib ；(3-5)對I1灰度圖像使用幀差法，確定人手運動幀差圖像If ； (3-6)在Ib圖像能夠正常分割出人手的情況下，確定人手質心位置坐標，更新P並重新確定範圍S位置，對人手進行跟蹤；在Ib圖像不能正常分割出人手的情況下，使用幀差圖像If，確定人手質心坐標，更新P並重新確定範圍S位置，對人手進行跟蹤。
全文摘要
本發明公開了一種基於紅外圖像的手勢識別系統，包括紅外照明模塊、前端圖像處理模塊和數字圖像手勢分割及跟蹤模塊，紅外視頻採集單元包括CMOS光學傳感晶片和鏡頭組件；前端圖像處理模塊包括紅外視頻採集單元和FPGA控制及輸出單元，FPGA控制及輸出單元包括圖像質量評估模塊、參考電壓調節模塊和輸出模塊，圖像質量評估模塊用於判斷手部區域與手部周圍區域是否在數字圖像中呈現相同或相近的像素值，若是，調節CMOS光學傳感晶片的參考電壓；若否，直接輸出數字圖像。本發明還公開了上述系統的手勢識別方法。與現有技術相比，本發明有效解決了低照度或光照變化環境下識別不穩定的問題，提高了紅外數字視頻數據的質量及系統的穩定性。
文檔編號G06K9/00GK102629314SQ20121003684
公開日2012年8月8日 申請日期2012年2月17日 優先權日2012年2月17日
發明者崔東順, 徐向民, 翁俊武, 苗捷 申請人:華南理工大學