基於多部件多特徵融合的人臉識別方法
2023-05-02 07:17:46
專利名稱：基於多部件多特徵融合的人臉識別方法
技術領域：
本發明屬於圖像處理、計算機視覺、模式識別技術領域，特別涉及人臉識別方法。
背景技術：
生物特徵識別技術是身份識別的有效技術，近來發展最快的是人臉識別技術以及與人臉識別技術相融合的生物特徵識別技術。因此，本發明涉及人臉圖像採集和識別算法，具有重要的應用價值。
目前已有的人臉識別方法主要是對整個人臉進行識別的，而在諸多的識別方法中，主要採用主分量分析(PCA-Principal Component Analysis)、彈性匹配、神經網絡、幾何特徵等方法。
同時，人臉識別的難點還在於 (1)表情引起的人臉塑性變形 (2)姿態引起的人臉多樣性 (3)年齡引起的人臉變化 (4)髮型、鬍鬚、眼鏡、化裝等因素引起的人臉模式的多重性 (5)光照的角度、強度以及傳感器特性等因素引起的人臉圖像的差異性 諸多的因素使得人臉識別成為一項棘手而富挑戰性的課題，也因此在近年成為科研的熱點。
與本發明相關的已有技術說明如下 基於人臉部件主分量分析的多模式人臉識別方法其主要特點是對人臉進行部件提取，再對人臉部件進行主分量分析及多模式識別，以達到高的識別率。該方法包括 1)首先採用模板匹配和投影直方圖的方法對人臉圖像定位，確定出人臉粗定位區、左右眼球、鼻尖、嘴、下頜頂點的基本位置，然後從整個人臉中提取出裸臉、眉毛+眼睛、眼睛、鼻尖、嘴五種人臉部件； 2)對從訓練集人臉中提取出來的裸臉、眉毛+眼睛、眼睛、鼻尖、嘴五種人臉部件，利用主分量分析方法中的特徵臉方法，分別形成特徵裸臉、特徵(眼睛+眉毛)、特徵眼睛、特徵鼻子、特徵嘴巴； 3)對已知人的人臉圖像提取出的裸臉、眉毛+眼睛、眼睛、鼻尖、嘴五種人臉部件，利用主分量分析方法中的投影特徵值分析方法，提取已知人臉的裸臉、眼睛+眉毛、眼睛、鼻子、嘴五種人臉部件的投影特徵值； 4)對待識別人的人臉圖像提取出的裸臉、眉毛+眼睛、眼睛、鼻尖、嘴五種人臉部件，利用主分量分析方法中的特徵投影值分析方法，提取待識別人臉的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴的投影特徵值； 5)分別計算已知人臉部件圖像的投影特徵值和待識別人臉對應部件圖像的投影特徵值之間的相似度；對裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴的相似度融合得到多模式的全局人臉識別方法，單個裸臉、眼睛+眉毛、眼睛、鼻子、嘴的相似度識別，或裸臉、眼睛+眉毛、眼睛、鼻子、嘴相互之間的組合識別就是多模式的局部人臉識別方法。
Gabor方法其主要特點是將Gabor基函數經過移位、旋轉和比例變換以後得到的一組相似的Gabor函數，能夠在保持空間關係的同時描述出圖像中的頻率結構，並能在空間域給出結果。在人臉識別的應用中，由於Gabor小波多解析度、多方向地反映圖像局部特性，所以對於光照的反應不敏感，和使用全局灰度特徵進行識別相比較，對光照具有更好的適應性。
二維Gabor函數相當於一個被復正弦函數調製的二維高斯函數，在頻域上則是二維高斯函數在兩個頻率軸上都發生了平移後的結果，是一個二維帶通濾波器。由於每個Gabor濾波器相當於一個帶通濾波器，為了提取人臉圖像在多個方向多個尺度上的特徵，通常會採用多個在不同尺度不同方向上的Gabor濾波器組成濾波器組。進行濾波時，將輸入圖像依次與濾波器組的各個濾波器卷積，並取其幅值作為輸出，即輸入圖像的Gabor圖像。
加權和規則對於不同的特徵，識別性別都不盡相同，加權和規則就是對不同的特徵採用不同的權值進行融合。每個特徵的權值是由該特徵本身的特性(可分性，識別率等)所決定的，不同的融合特徵對應不同的融合權值。對識別性能好的特徵賦予較大的權值，而識別性能差的特徵賦予較小的權值。
發明內容
本發明的目的是為了提高人臉識別算法的適應性，提出一種基於多部件多特徵融合的人臉識別方法，該方法具有更高的人臉識別率。
本發明提出的基於多部件多特徵融合的人臉識別方法，其特徵在於，包括以下步驟 1)對人臉圖像進行五尺度八方向Gabor濾波，得到對應的人臉Gabor圖像； 2)從人臉Gabor圖像中提取出裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像五種部件Gabor圖像； 3)分別對所述裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像均勻分塊，取每塊中所有象素點的平均值作為該塊的特徵象素點，所有特徵象素點組合成五種部件的Gabor特徵圖像，實現五種部件Gabor圖像的降維； 4)對訓練集中所有圖像採用所述步驟1)-3)得到的五種部件的Gabor特徵圖像，利用基於主分量分析方法中的特徵臉方法，形成Gabor特徵裸臉、Gabor特徵眉毛+眼睛、Gabor特徵眼睛、Gabor特徵鼻尖、Gabor特徵嘴巴； 5)對已知人的人臉圖像採用所述步驟1)-3)得到五種部件的Gabor特徵圖像，利用基於主分量分析方法中的投影特徵向量分析方法，分別提取所述已知人臉的裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像的投影特徵向量； 6)利用基於部件主分量分析的多模式人臉識別方法，提取已知人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件灰度圖像的投影特徵值； 7)將已知人臉圖像的同一部件的灰度圖像投影特徵值和對應的Gabor圖像投影特徵值按照加權和規則融合，得到已知人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件的混合投影特徵值； 8)對待識別人的人臉圖像採用步驟1)-3)得到五種部件的Gabor特徵圖像，利用基於主分量分析方法中的投影特徵向量分析方法，分別提取所述待識別人臉的裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像的投影特徵向量； 9)利用基於部件主分量分析的多模式人臉識別方法，提取待識別人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件灰度圖像的投影特徵值； 10)將待識別人臉圖像的同一部件的灰度圖像投影特徵值和對應的Gabor圖像投影特徵值按照加權和規則融合，得到待識別人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件的混合投影特徵值； 11)分別計算待識別人臉各個部件的混合投影特徵值和已知人臉各個部件的混合投影特徵值之間的歐式距離作為待識別的人臉和已知人臉的部件圖像的相似度R，各部件圖像相似度分別為裸臉圖像R1、眼睛+眉毛圖像R2、眼睛圖像R3、鼻子圖像R4、嘴巴圖像R5； 12)將相似度R1、R2、R3、R4、R5按照加權和規則進行融合，得到待識別的人臉和已知人臉的綜合相似度R0，該R0作為人臉識別的人臉相似度； 13)比較步驟12)得到的相似度R0與預先設定的閾值T的大小，T為選取錯誤接收率為0.1％時對應的相似度值，如果R0≥T，則判斷待識別人和已知人是同一個人；如果R0＜T，則判斷待識別人和已知人不是同一個人。
本發明的特點及效果 本發明對灰度圖像和Gabor圖像進行部件分割，再對部件的灰度圖像和Gabor圖像進行主分量分析以及融合，具有更高的人臉識別率。
具體實施例方式 本發明提出的基於多部件多特徵融合的人臉識別方法結合附圖
及實施例詳細說明如下，包括以下步驟 1)對人臉圖像進行五尺度八方向Gabor濾波，得到對應的人臉Gabor圖像； Gabor濾波器的定義如式(1) 其中，z＝(x，y)為對應點坐標，波矢量定義為其中kv＝kmax/λv並且θμ＝πμ/n。v和μ分別定義了Gabor濾波器的尺度和方向。取n＝8，v∈{0，1，2，3，4}，μ∈{0，1，…，7}，σ＝2π，kmax＝π/2以及得到五尺度八方向的Gabor濾波器組。
將人臉圖像I(z)與Gabor濾波器進行卷積，取卷積結果的幅值部分，得到對應的人臉Gabor圖像Aμ，v(z)。
Oμ，v(z)＝I(z)*ψμ，v(z)(2) 2)從人臉Gabor圖像Aμ，v(z)中提取出裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像五種部件Gabor圖像，裸臉Gabor圖像的尺寸為90×120，眉毛+眼睛Gabor圖像的尺寸為45×35，眼睛Gabor圖像的尺寸為40×20，鼻尖Gabor圖像的尺寸為20×30，嘴巴Gabor圖像的尺寸為24×32。
3)分別對裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像均勻分塊，每塊大小為3×3，取每塊中所有象素點的平均值作為該塊的特徵象素點，所有特徵象素點組合成Gabor特徵圖像，實現五種部件Gabor圖像的降維，降維後五部件的Gabor特徵圖像尺寸大小分別為30×40、15×11、13×6、6×10、8×10； 4)對訓練集中所有圖像採用所述步驟1)-3)得到的五種部件的Gabor特徵圖像，利用基於主分量分析方法中的特徵臉方法，形成Gabor特徵裸臉、Gabor特徵眉毛+眼睛、Gabor特徵眼睛、Gabor特徵鼻尖、Gabor特徵嘴巴； 具體的做法是 用n×N矩陣X分別表示訓練集中所有人臉Gabor特徵裸臉或Gabor特徵眉毛+眼睛或Gabor特徵眼睛或Gabor特徵鼻尖或Gabor特徵嘴巴的矢量集，n為人臉Gabor特徵裸臉或Gabor特徵眉毛+眼睛或Gabor特徵眼睛或Gabor特徵鼻尖或Gabor特徵嘴巴的像素數，N(N＞1000)為訓練集人臉總數，則 (4)式中Xk＝(x1k，x2k，…，xnk)T，k＝(1，2，…，N)可以表示一個人臉Gabor特徵裸臉矢量、Gabor特徵眉毛+眼睛矢量、Gabor特徵眼睛矢量、Gabor特徵鼻尖矢量、Gabor特徵嘴巴矢量，XT表示矩陣X的轉置。
在計算矩陣C的特徵向量和特徵值時，由於計算XXT的維數很大(n2維)，而採用奇異值分解，改為計算XTX，這樣可以間接獲得C的特徵向量和特徵值，而XTX的維數降為N2維，XXT與XTX的特徵值是一樣的，而它們之間的特徵向量的關係滿足下式 (5)式中uk為XXT的特徵向量，φk為XTX的特徵向量；λk既是XTX的特徵值，同時也是XXT的特徵值。通過計算XTX的特徵值λk和特徵向量φk，而得到XXT的特徵向量uk。按照λk數值按從大到小進行排序，取出前D(D＜＜N)個最大的特徵值並保留與之相對應的D個特徵向量uk就形成Gabor特徵裸臉、Gabor特徵眉毛+眼睛、Gabor特徵眼睛、Gabor特徵鼻尖、Gabor特徵嘴巴，對於所述五種部件，D的取值分別為120、60、80、50、40。
5)對已知人的人臉圖像採用所述步驟1)-3)得到五種部件的Gabor特徵圖像，採用下面(6)式的運算即基於主分量分析方法中的投影特徵向量分析方法，分別提取所述已知人臉的裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像的投影特徵向量； (6)式中q分別為已知人臉的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴的Gabor特徵圖像矢量，uk分別為從訓練集人臉中得到的Gabor特徵臉、Gabor特徵眼睛+眉毛、Gabor特徵眼睛、Gabor特徵鼻子、Gabor特徵嘴巴。
6)利用基於部件主分量分析的多模式人臉識別方法，提取已知人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件灰度圖像的投影特徵值； 7)將已知人臉圖像的同一部件的灰度圖像投影特徵值和對應的Gabor圖像投影特徵值按照加權和規則融合，融合比例為1∶0.75，得到已知人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件的混合投影特徵值； 8)對待識別人的人臉圖像採用步驟1)-3)得到五種部件的Gabor特徵圖像，採用下面(7)式的運算即基於主分量分析方法中的投影特徵向量分析方法，分別提取所述待識別人臉的裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像的投影特徵向量； (7)式中p分別為待識別人臉的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴的Gabor特徵圖像矢量，uk分別為從訓練集人臉中得到的Gabor特徵臉、Gabor特徵眼睛+眉毛、Gabor特徵眼睛、Gabor特徵鼻子、Gabor特徵嘴巴。
9)利用基於部件主分量分析的多模式人臉識別方法，提取待識別人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件灰度圖像的投影特徵值； 10)將待識別人臉圖像的同一部件的灰度圖像投影特徵值和對應的Gabor圖像投影特徵值按照加權和規則融合，融合比例為1∶0.75，得到待識別人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件的混合投影特徵值； 11)按照(8)式分別計算出待識別的人臉和已知人臉的部件圖像的相似度R，各部件圖像相似度分別為裸臉圖像R1、眼睛+眉毛圖像R2、眼睛圖像R3、鼻子圖像R4、嘴巴圖像R5； 其中，B分別為7)中的已知人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件的混合投影特徵值，A分別為10)中的待識別人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件的混合投影特徵值。
12)將相似度R1、R2、R3、R4、R5按照加權和規則進行融合，其融合係數分別取作16∶1.5∶2.5∶2∶3，得到待識別的人臉和已知人臉的綜合相似度R0，以R0作為人臉識別的人臉相似度； 13)選取錯誤接收率為0.1％時對應的相似度值為預設閾值T，T＝87，比較步驟12)得到的相似度R0與預先設定的閾值T的大小，如果R0≥T，則判斷待識別人和已知人是同一個人；如果R0＜T，則判斷待識別人和已知人不是同一個人。
基於人臉識別的二代證實名身份認證系統用VC++語言編程。所達到的識別率為當錯誤接受率為0.1％時，正確識別率為78.96％。
權利要求
1、一種基於多部件多特徵融合的人臉識別方法，其特徵在於，該方法包括以下步驟
1)對人臉圖像進行五尺度八方向Gabor濾波，得到對應的人臉Gabor圖像；
2)從人臉Gabor圖像中提取出裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像五種部件Gabor圖像；
3)分別對所述裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像均勻分塊，取每塊中所有象素點的平均值作為該塊的特徵象素點，所有特徵象素點組合成五種部件的Gabor特徵圖像，實現五種部件Gabor圖像的降維；
4)對訓練集中所有圖像採用所述步驟1)-3)得到的五種部件的Gabor特徵圖像，利用基於主分量分析方法中的特徵臉方法，形成Gabor特徵裸臉、Gabor特徵眉毛+眼睛、Gabor特徵眼睛、Gabor特徵鼻尖、Gabor特徵嘴巴；
5)對已知人的人臉圖像採用所述步驟1)-3)得到五種部件的Gabor特徵圖像，利用基於主分量分析方法中的投影特徵向量分析方法，分別提取所述已知人臉的裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像的投影特徵向量；
6)利用基於部件主分量分析的多模式人臉識別方法，提取已知人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件灰度圖像的投影特徵值；
7)將已知人臉圖像的同一部件的灰度圖像投影特徵值和對應的Gabor圖像投影特徵值按照加權和規則融合，得到已知人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件的混合投影特徵值；
8)對待識別人的人臉圖像採用步驟1)-3)得到五種部件的Gabor特徵圖像，利用基於主分量分析方法中的投影特徵向量分析方法，分別提取所述待識別人臉的裸臉Gabor圖像、眉毛+眼睛Gabor圖像、眼睛Gabor圖像、鼻尖Gabor圖像、嘴巴Gabor圖像的投影特徵向量；
9)利用基於部件主分量分析的多模式人臉識別方法，提取待識別人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件灰度圖像的投影特徵值；
10)將待識別人臉圖像的同一部件的灰度圖像投影特徵值和對應的Gabor圖像投影特徵值按照加權和規則融合，得到待識別人臉圖像的裸臉、眼睛+眉毛、眼睛、鼻子、嘴巴五種人臉部件的混合投影特徵值；
11)分別計算待識別人臉各個部件的混合投影特徵值和已知人臉各個部件的混合投影特徵值之間的歐式距離作為待識別的人臉和已知人臉的部件圖像的相似度R，各部件圖像相似度分別為裸臉圖像R1、眼睛+眉毛圖像R2、眼睛圖像R3、鼻子圖像R4、嘴巴圖像R5；
12)將相似度R1、R2、R3、R4、R5按照加權和規則進行融合，得到待識別的人臉和已知人臉的綜合相似度R0，該R0作為人臉識別的人臉相似度；
13)比較步驟12)得到的相似度R0與預先設定的閾值T的大小，T為選取錯誤接收率為0.1％時對應的相似度值，如果R0≥T，則判斷待識別人和已知人是同一個人；如果R0＜T，則判斷待識別人和已知人不是同一個人。
全文摘要
本發明涉及基於多部件多特徵融合的人臉識別方法，屬於圖像處理、計算機視覺、模式識別技術領域。該方法包括以下步驟對訓練集中所有人臉圖像進行Gabor濾波，得到五種部件的Gabor特徵圖像，對已知人和待識別人的人臉圖像採用同樣方法對得到的五種部件的Gabor特徵圖像，分別提取五種人臉部件灰度圖像的投影特徵值；得到五種人臉部件的混合投影特徵值；分別計算待識別人臉和已知人臉各個部件的混合投影特徵值之間的歐式距離作為待識別的人臉和已知人臉的部件圖像的相似度R，得到待識別的人臉和已知人臉的綜合相似度R0，如果R0≥T，則判斷待識別人和已知人是同一個人；如果R0＜T，則判斷待識別人和已知人不是同一個人。本發明具有更高的人臉識別率。
文檔編號G06K9/00GK101281598SQ20081011262
公開日2008年10月8日 申請日期2008年5月23日 優先權日2008年5月23日
發明者蘇光大, 燕 相 申請人:清華大學