一種人臉識別匹配方法及半自動化人臉匹配系統與流程

2023-06-04 22:04:16

本發明涉及圖像處理領域，具體涉及圖像中人臉區域的分割與定位及圖像中人臉的識別與匹配方法及系統的實現。

背景技術：

現有技術採用相應的matlab軟體實現人臉數據的建模，本文構建人臉圖像的特徵臉，將人臉圖像數據化，對收集的離散數據合理的進行三維建模，為人臉圖像數據的採集方法提供新的思路。現有技術人臉識別算法在lwf資料庫中數據對比結果準確度為99.7％，準確度較高，但實際應用過程中的人臉識別效果受外界因素的影響較大，難以實現較高的準確度，該作品通過多種算法實現人臉識別功能，同時對準確度進行對比，同時應用於實際選擇準確度最高的進行實際開發。因此，此技術還有待於改進和發展。

技術實現要素：

針對現有技術的不足，本專利提供人臉定位檢測方法和人臉識別匹配方法同時提供一種基於上述方法實現的半自動化人臉識別系統。

為了實現上述目的，本發明解決其技術問題所採用的技術方案是：人臉定位檢測方法和人臉識別匹配方法，包括以下步驟:(1)獲取一個或多個清晰人臉區域的彩色圖像；(2)檢測到的圖像生成YCrCb顏色分割圖像，其中生成圖像基於檢測到的圖像；(3)判斷圖像中人臉區域是否包含較為明顯的人眼區域和嘴巴區域，並且人眼區域為兩個，嘴巴區域水平位置介於兩個人眼區域之間；(4)匹配識別的訓練和測試圖像包含多組每組同一個人的多幅正面圖像，訓練圖像生成的特徵臉圖像基於同一個人的多幅正面圖像。

步驟(1)進一步包括，使用matlab軟體啟動攝像頭設備，設置幀數間隔為5，採用背景差分的方式獲取攝像頭前的移動的人臉圖像並進行存儲。

進一步，背景差分方式包括原始圖像數據和轉化灰度圖像做差、中值、圖像增強、求全局閾值、二值化處理、填充空洞、標記二值化圖、連通域處理、面積比較、獲取圖像。

步驟(2)進一步包括，獲取RGB格式圖像採用YCrCb顏色空間分割算法轉換至YCrCb顏色空間，Y表示明亮度，Cr與Cb表示色度，Cr反映輸入信號紅色部分與RGB信號亮度值之間的差異，Cb反映輸入信號藍色部分與RGB信號亮度值之間的差異。原始圖像中的人臉區域的膚色影響YCrCb圖像中Cr、Cb值的範圍，Cr∈(105,127)，Cb∈(137,162)為正常的人臉區域。

步驟(2)進一步包括，RGB轉換為YCrCb的具體公式為：

y1＝65.481*r+128.553*g+24.966*b+16；y＝y1/256；cr1＝-37.797*r-74.203*g+112*b+128；cr＝cr1/256；cb1＝112*r-93.786*g-18.214*b+128；cb＝cb1/256。

步驟(3)進一步包括，通過步驟(2)將圖像轉換為YCrCb格式的圖像，判斷人臉的區域後轉換為二值化圖像，Cr∈(105,127)，Cb∈(137,162)的範圍二值化圖像的值為1，其餘部分為0。

步驟(3)進一步包括，對二值化圖像值為1的連通域進行標記，並取能完整包含連通域的且長寬和原始圖像平行的最小矩形，並記錄矩形的長寬值與位置，計算矩形的長寬的比值，如果比值r∈(0.6,2)，判斷該矩形區域為粗定位的人臉區域。

步驟(3)進一步包括，分別對粗定位的人臉區域進行判斷，選取其中一個區域，記錄並標記二值化圖像值為0的連通域，同樣取最小矩形記錄矩形的位置，設置條件：高度在粗定位人臉區域上部的矩形數目為2，判斷為該區域存在人眼；高度在粗定位人臉區域下部的矩形數目為1且寬度介於人眼矩形之間，判斷為該區域存在嘴巴。條件同時滿足則該區域為細定位的人臉區域。

步驟(3)進一步包括，根據細定位人臉區域的最小矩形的長寬和位置坐標在原始圖像中做紅色矩形框記錄，並提取圖像生成新圖像，排除原始圖像中的非人臉區域，提高人臉匹配識別的準確率。

步驟(4)進一步包括，將步驟(3)細識別的後圖像進行提取與分類，分類具體包括人臉識別匹配的訓練圖像和測試圖像，訓練圖像同一個人臉提取表情不同的圖像個數至少為5且不同圖像人臉區域的亮度影響圖像特徵值提取等因素無明顯差異，將訓練圖像數據存儲在資料庫中。

進一步，測試圖像經過步驟(2)(3)的提取後排除背景區域，並經過圖像的壓縮變換將待識別匹配圖像的像素壓縮為112×92。

步驟(4)進一步包括，訓練圖像輸入的數據作為待識別的人臉數據在計算機中進行保存，訓練圖像應該滿足儘量要求數目較多、亮度變化範圍較小、相同人臉不同表情數目多等條件。

步驟(4)進一步包括，訓練集中大小為m×n圖像記為Ii，每個圖像的列相連構成d＝m×n維的列向量。得到{Xi}為第i圖像形成的人臉向量，

特徵向量對應的圖像稱為特徵臉。

步驟(4)進一步包括，得到特徵臉和相應數據後，較大的特徵值對應圖像的主要人臉結構，而較小的特徵值對應噪聲等不確定因素，選取前k個最大特徵值對應的特徵向量計算訓練樣本集在前k個軸上的能量佔整個能量的比例記為α，通常取90％，同時求出訓練圖像的特徵集。

步驟(4)進一步包括，訓練樣本集在前k個軸上的能量佔整個能量的比例α通常計算方法為：

步驟(4)進一步包括，把待識別的人臉圖像Γ投影到特徵臉空間，得到特徵向量，同時定義距離閾值與每個人臉的距離，計算原始圖像和特徵重建圖像的距離。

步驟(4)進一步包括，在滿足原始圖像和特徵重建圖像的距離小於距離閾值時，輸入圖像為訓練集中對應的其中一個人臉。

本發明還提供了一種半自動化的人臉識別系統，包括如下模塊：原始圖像輸入模塊，通過相關按鈕設置或其他方法確認輸入原始圖像後輸入相關的初始密碼開始輸入原始圖像，調用攝像頭功能採用背景差分法對圖像確定圖像中包含人臉後獲取圖像，經過定位檢測後提取人臉區域，獲取光照條件相似的多幅不同表情的人臉圖像；原始圖像數據保存模塊，同一人的多幅圖像和計算特徵臉向量並構建的特徵重建圖像分類存儲在計算機中；待識別人臉圖像輸入模塊，通過相關按鈕設置或其他方法確定進行人臉圖像的匹配識別，調用攝像頭功能同理獲取圖像並檢測定位，細定位後將人臉區域壓縮；待識別人臉圖像匹配識別模塊，校正後投影在特徵臉空間，計算其與原始圖像庫中特徵重建圖像的距離，小於相關的閾值後匹配成功；深入識別匹配模塊，計算待識別圖像與匹配成功的特徵重建圖像的原始圖像的距離，小於相關的閾值後深入匹配成功；閾值設定模塊，人為設定或採用多幅圖像訓練的方式計算閾值進行設定；預備模塊，人為設定密碼避免出現閾值設定不合理或者光照條件較差等情況下系統的正常使用。

本發明的優點在於：人臉檢測方法可以有效的排除圖像中非人臉的背景區域，保證之後步驟的特徵值的有效提取。人臉匹配識別方法較準確的對不同人臉圖像進行匹配識別，進而判斷待識別圖像是否為原始輸入人臉圖像。提供的半自動化系統僅需人工操作輸入圖像的步驟，其餘步驟通過計算機實現，方便用戶的日常生活，給用戶提供良好的體驗。

附圖說明

圖1為本發明人臉定位檢測和人臉匹配識別的流程圖。

圖2位本發明人臉匹配識別系統的模塊結構示意圖。

具體實施方式

下面附圖對本發明提供的人臉定位檢測與匹配識別方法及系統做詳細說明。

圖1為人臉定位檢測與匹配識別方法，本發明提供方法具體包括如下步驟：步驟S11、調用計算機設備獲取：matlab軟體啟動攝像頭設備，設置幀數間隔，採用背景差分的方式獲取攝像頭前的移動的人臉圖像並進行存儲。步驟S12、將待處理的圖像由RGB顏色空間轉化到YCrCb顏色空間，通過判斷Cr與Cb值的範圍來確定人臉區域並轉化為二值化圖像進行人臉粗定位。步驟S13、對粗定位人臉圖像人眼區域和嘴巴區域進行檢測實現圖像人臉區域細定位並提取圖像。步驟S14細定位成功的訓練與測試圖像採用特徵臉識別算法進行匹配識別。

步驟S11、採用matlab軟體啟動攝像頭設備，設置幀數間隔，採用背景差分的方式獲取攝像頭前的移動的人臉圖像並進行存儲。

背景差分法作為目前運動檢測中最常用的一種方法，利用當前圖像與背景差分來檢測出來運動區域的一種模式，該算法首先選取背景中的一幅或幾幅圖像的平均作為背景圖像，然後把序列圖像當前幀和背景圖像相減，進行背景小區，若得到的像素數大於某一閾值，則判定當前場景中有物體。具體程序設計時包括原始圖像數據和轉化灰度圖像做差、中值、圖像增強、求全局閾值、二值化處理、填充空洞、標記二值化圖、連通域處理、面積比較、獲取圖像。

步驟S12、將待處理的圖像由RGB顏色空間轉化到YCrCb顏色空間，通過判斷Cr與Cb值的範圍來確定人臉區域並轉化為二值化圖像進行人臉粗定位。

YCrCb顏色空間中Y表示明亮度，Cr與Cb表示色度，Cr反映輸入信號紅色部分與RGB信號亮度值之間的差異，Cb反映輸入信號藍色部分與RGB信號亮度值之間的差異。原始圖像中的人臉區域的膚色影響YCrCb圖像中Cr、Cb值的範圍，Cr∈(105,127)，Cb∈(137,162)為正常的人臉膚色範圍，該區域為人臉區域。

通過將圖像轉化至YCrCb顏色空間中判斷人臉區域後將圖像二值化，人臉區域的值為1，非人臉區域的值為0。

對二值化圖像值為1的連通域進行標記，並取能完整包含連通域的且長寬和原始圖像平行的最小矩形，並記錄矩形的長寬值與位置，計算矩形的長寬的比值，如果比值r∈(0.6,2)，判斷該矩形區域為粗定位的人臉區域。

步驟S13、對粗定位人臉圖像人眼區域和嘴巴區域進行檢測實現圖像人臉區域細定位並提取圖像。

根據細定位人臉區域的最小矩形的長寬和位置坐標在原始圖像中做紅色矩形框記錄，並提取圖像生成新圖像，排除原始圖像中的非人臉區域，提高人臉匹配識別的準確率。同時將二值化圖像定位出的人眼和嘴巴的位置記錄在提取的圖像中，作為人臉識別匹配特徵臉中特徵值較大的區域。

步驟S14、細定位成功的訓練與測試圖像採用特徵臉識別算法進行匹配識別。

細識別的後圖像進行提取與分類，分類具體包括人臉識別匹配的訓練圖像和測試圖像，其中測試圖像與訓練圖像進行匹配實現人臉識別匹配。

訓練圖像輸入的數據作為待識別的人臉數據在計算機中進行保存，訓練圖像應該滿足儘量要求數目較多、亮度變化範圍較小、相同人臉不同表情數目多等條件。

訓練集中大小為m×n圖像記為Ii，每個圖像的列相連構成d＝m×n維的列向量。得到{Xi}為第i圖像形成的人臉向量，特徵向量對應的圖像稱為特徵臉。

得到特徵臉和相應數據後，較大的特徵值對應圖像的主要人臉結構，包括人臉結構中的人眼和嘴巴區域，而較小的特徵值對應噪聲等不確定因素，選取前k個最大特徵值對應的特徵向量計算訓練樣本集在前k個軸上的能量佔整個能量的比例記為α，通常取90％，同時求出訓練圖像的特徵集。訓練圖像在特徵臉空間投影係數為Ωi。

訓練樣本集在前k個軸上的能量佔整個能量的比例α通常計算方法為：

計算訓練樣本的均值向量：

待識別的人臉圖像Γ投影到特徵臉空間，得到特徵向量

定義距離閾值與每個人臉的距離。

距離閾值為：

每個人臉的距離為：

εi2＝||Γ-Xi||

計算原始圖像和特徵重建圖像的距離

在滿足原始圖像和特徵重建圖像的距離小於距離閾值時，輸入圖像為訓練集中對應的其中一個人臉。

圖2為人臉定位檢測與匹配識別系統，本發明提供方法具體包括如下步驟：原始圖像輸入模塊S21；原始圖像數據保存模塊S22；待識別人臉圖像輸入模塊S23；待識別人臉圖像匹配識別模塊S24；深入識別匹配模塊S25；閾值設定模塊S26；預備模塊S27。

原始圖像輸入模塊S21，通過相關按鈕設置或其他方法確認輸入原始圖像後輸入相關的初始密碼開始輸入原始圖像，調用攝像頭功能採用步驟11的背景差分法對圖像確定圖像中包含人臉後獲取圖像，經過定位檢測後提取人臉區域，獲取光照條件相似的多幅不同表情的人臉圖像。

原始圖像數據保存模塊S22，同一人的多幅圖像和計算特徵臉向量並構建的特徵重建圖像分類存儲在計算機中。

待識別人臉圖像輸入模塊S23通過相關按鈕設置或其他方法確定進行人臉圖像的匹配識別，調用攝像頭功能同理獲取圖像並檢測定位，細定位後將人臉區域壓縮。

待識別人臉圖像匹配識別模塊S24，校正後投影在特徵臉空間，計算其與原始圖像庫中特徵重建圖像的距離，小於相關的閾值後匹配成功。

深入識別匹配模塊S25，計算待識別圖像與匹配成功的特徵重建圖像的原始圖像的距離，小於相關的閾值後深入匹配成功。

閾值設定模塊S26，人為設定或採用多幅圖像訓練的方式計算閾值進行設定。

預備模塊S27，人為設定密碼避免出現閾值設定不合理或者光照條件較差等情況下系統的正常使用。

上述各模塊中操作方法與提供的方法中各步驟相呼應。

對於本領域技術人員而言，本發明不限於上述示範性實施例的細節，而且在不背離本發明的精神或基本特徵的情況下，能夠以其他的具體形式實現本發明。因此，均應將實施例看作是示範性的，而且是非限制性的，本發明的範圍由所附權利要求而不是上述說明限定，因此旨在將落在權利要求的等同要件的含義和範圍內的所有變化包括在本發明內。

此外，應當理解，雖然本說明書按照實施方式加以描述，但並非每個實施方式僅包含一個獨立的技術方案，說明書的這種敘述方式僅僅是為清楚起見，本領域技術人員應當將說明書作為一個整體，各實施例中的技術方案也可以經適當組合，形成本領域技術人員可以理解的其他實施方式。