基於約束採樣與形狀特徵的稀疏表示人臉識別方法
2023-05-27 04:20:21
專利名稱：基於約束採樣與形狀特徵的稀疏表示人臉識別方法
技術領域：
本發明屬於圖像處理、計算機視覺、模式識別技術領域，特別涉及人臉識別方法。
背景技術：
生物特徵識別技術是身份識別的有效技術，近來發展最快的是人臉識別技術以及 與人臉識別技術相融合的生物特徵識別技術。目前已有的人臉識別方法主要是對整個人臉進行識別的，而在諸多的識別方法 中，主要採用主分量分析(PCA-Principal Component Analysis)、彈性匹配、神經網絡、幾 何特徵等方法。同時，人臉識別的難點還在於(1)表情引起的人臉塑性變形(2)姿態引起的人臉多樣性(3)年齡引起的人臉變化(4)髮型、鬍鬚、眼鏡、化裝等因素引起的人臉模式的多重性(5)光照的角度、強度以及傳感器特性等因素引起的人臉圖像的差異性諸多的因素使得人臉識別成為一項棘手而富挑戰性的課題，也因此在近年成為科 研的熱點。目前已有的一種基於稀疏表示的人臉識別方法其主要特點是將稀疏信號表示這 一新理論應用於人臉識別。該方法首先假設待識別的人臉可以由訓練集中該類別的人臉線 性表示，利用這一假設，通過計算Ll範數最小值求得稀疏表達。該方法具體包括以下步驟1)對於訓練集中每一幅人臉圖像進行處理，提取特徵向量，將訓練集的所有特徵 向量排列形成特徵矩陣A，將特徵矩陣中的一行或多行作為訓練集的一個類別，一個類別對 應訓練集的一個人的多幅人臉圖像；2)對於待識別的人臉圖像按照同樣的方法提取特徵向量y ；3)將待識別人臉圖像的特徵向量用訓練集圖像的特徵向量線性表示，求出線性表 示的係數；(由於這種線性表示的係數具有多樣性)計算如下Ll範數最小值問題，選擇其 中Ll範數最小的係數作為線性表示的係數 ;^argminIIxIIi 』滿足 | y-Ax |2 ^ ε (1)其中ε為預設的誤差，I Iy-Axl |2為向量y-Ax的L2範數；4)對於訓練集的每一類別i = 1，…，k(k為訓練集的類別數)，根據步驟3)得到的係數夂按照公式⑵計算對應於該類別的殘差A (y)；φ) = \γ-Αδ,{χ)\2(2)其中，《⑴e9T，對於第i類，Si(X) = χ ；對於其他類，δ , (χ) = 0 ；5)比較步驟4)求出每一類的對應殘差，殘差的最小值對應的訓練集的類別作為 待識別人的識別結果。該方法對人臉光照和表情的變化具有魯棒性，但是對圖像的配準有較高的要求。當圖像之間的配準有幾個像素的偏差時，它的性能就會受到很大的影響。與本發明相關的已有技術說明如下人臉檢測利用Real Adaboost方法與新的特徵定義形式以及構造方式得到層次 型檢測器，並選擇計算次數少的特徵作為候選特徵以提高檢測速度。人臉關鍵特徵點的提取其主要特點是利用SUSAN算子提取邊緣，並與方向積分 投影方法結合，獲得眼球、鼻尖、下巴四個關鍵特徵點位置。實驗結果表明，該方法平均定位 準確率在95%以上。主動形狀模型(ASM)它是一種基於模型的特徵點匹配方法，它既可以靈活的 改變模型的形狀，以適應目標形狀不確定的特性，又將形狀的變化限制在模型允許的範 圍之內，從而保證模型改變時，不會受各種因素影響 而出現不合理的形狀。ASM方法首 先針對特定目標建立形狀模型，形狀模型採用一系列的特徵點來描述，稱為PDM模型 (PointDistribution Model)。然後對形狀模型中的每個特徵點，建立特徵點附近的灰度模 型。ASM方法利用灰度模型在目標圖像中的當前人臉形狀點附近搜索特徵點的最佳位置，然 後根據搜索結果調整形狀模型的參數以保證新形狀還是人臉形狀，如此循環直到人臉形狀 收斂。主動表觀模型(AAM):它不僅利用了對象的形狀信息而且利用了對象的紋理信 息，將形狀與紋理結合起來建模。AAM方法由人臉動態表觀建模和擬合算法兩部分組成。在 訓練階段，對一組已標記特徵點的人臉圖像，根據這些點採用Delaimay三角化，建立紋理 採樣的三角網格，然後將形狀與紋理聯合起來建立PCA參數模型，並用線性回歸建立參數 變化與表觀向量變化的關係。在擬合過程中，通過調整模型參數使AAM重建的人臉表觀逼 近輸入的人臉，從而實現了對輸入人臉圖像特徵點的定位。加權和規則對於不同的特徵，識別性能都不盡相同，加權和規則就是對不同的特 徵採用不同的權值進行融合。每個特徵的權值是由該特徵本身的特性(可分性，識別率等) 所決定的，不同的融合特徵對應不同的融合權值。對識別性能好的特徵賦予較大的權值，而 識別性能差的特徵賦予較小的權值。
發明內容
本發明的目的是為了提高人臉識別算法的魯棒性，利用人臉特徵點的精確定位結 果，提出一種基於約束採樣與形狀特徵的稀疏表示人臉識別方法，該方法具有更高的人臉 識別率。本發明提出的基於約束採樣與形狀特徵的稀疏表示人臉識別方法，其特徵在於， 該方法包括以下步驟1)對訓練集中所有人臉圖像進行紋理特徵提取，得到訓練集所有人臉圖像的紋理 特徵向量，將訓練集的所有人臉圖像的紋理特徵向量排列形成紋理特徵矩陣，將紋理特徵 矩陣中的一行或多行作為訓練集的一個類別，一個類別對應訓練集的一個人的多幅人臉圖 像；2)對訓練集中所有人臉圖像進行形狀特徵提取，得到訓練集人臉圖像的形狀特 徵向量，將訓練集中所有人臉圖像的形狀特徵向量排列形成形狀特徵矩陣，將該形狀特徵 矩陣中的一行或多行作為訓練集的一個類別，一個類別對應訓練集的一個人的多幅人臉圖像；3)對待識別人的人臉圖像進行紋理特徵提取，得到待識別人臉圖像的紋理特徵向 量；4)對待識別人的人臉圖像進行形狀特徵提取，得到待識別人臉圖像的形狀特徵向 量；5)將待識別人臉圖像的紋理特徵向量用訓練集的紋理特徵向量線性表示，求出線 性表示的係數；選擇其中Ll範數最小的係數作為線性表示的係數；6)對於訓練集中的每一類別，根據步驟5)得到的線性表示的係數計算對應於該 類別的紋理殘差；7)將待識別人臉圖像的形狀特徵向量用訓練集的形狀特徵向量線性表示，求出線 性表示的係數；選擇其中Ll範數最小的係數作為線性表示的係數；8)對於訓練集中的每一類別，根據步驟7)得到的線性表示的係數計算對應於該 類別的形狀殘差；
9)根據步驟6)求出的每一類對應的紋理殘差求出待識別人臉圖像對應於該類的 相似度Rl ；10)根據步驟8)求出的每一類對應的形狀殘差求出待識別人臉圖像對應於該類 的相似度R2 ；11)將相似度Rl、R2按照加權和規則進行融合，得到待識別的人臉對應於該類的 綜合相似度R0，綜合相似度RO最大值對應的訓練集的類別作為待識別人的識別結果；所述步驟1)或步驟3)中的進行紋理特徵提取，具體包括(al)對於給定的一幅人臉圖像，通過人臉檢測定位其人臉區域；定位兩個眼球 點，將圖像尺度歸一化，並進行旋轉，使兩眼呈水平狀；(a2)選取人臉區域中的雙眼球、鼻尖、下巴四個關鍵特徵點進行定位；(a3)對約束區域進行採樣根據所述關鍵特徵點的位置選定眼睛、鼻尖和嘴巴區 域；對這些約束區域進行均勻採樣，得到人臉圖像的紋理特徵；(a4)將約束採樣得到的人臉圖像紋理特徵排列成向量，並進行L2範數歸一化，得 到人臉圖像的特徵向量；所述步驟2)或4)中的進行形狀特徵提取，具體包括(bl)對於給定的一幅人臉圖像，通過人臉檢測定位其人臉區域；定位兩個眼球 點，將圖像尺度歸一化，並進行旋轉，使兩眼呈水平狀；(b2)選取人臉區域中的雙眼球、下巴三個關鍵特徵點進行定位；(b3)利用步驟(b2)中雙眼球、下巴三個關鍵特徵點的位置信息來初始化人臉形 狀，作為ASM和AAM迭代的起始條件；(b4)用ASM+AAM模型定位人臉圖像105個特徵點，得到特徵點的坐標值；(b5)將105個特徵點進行標準化，使左右眼外眼角距離為10像素；(b6)將105個特徵點的橫、縱坐標排列成向量，得到人臉圖像的形狀特徵向量。本發明的特點及效果本發明根據人臉四個關鍵特徵點，劃定眼睛、鼻尖、嘴巴區域，再通過約束採樣提 取出人臉的紋理特徵。同時利用眼球鼻尖和下巴四個關鍵特徵點和ASM+AAM模型標定出人臉105個特徵點，得到人臉的形狀特徵。接著根據稀疏表示的理論分別進行紋理和形狀識 別的矩陣運算，再通過紋理和形狀結果的融合，具有更高的人臉識別率。
圖1為本發明採用的105點正面人臉形狀表徵示意圖；圖2為本發明建立ASM形狀模型選取的特徵點示意圖；圖3為本發明建立AAM形狀模型選取的特徵點示意圖。
具體實施方式
本發明提出的結合形狀特徵的稀疏表示人臉識別方法結合附圖及實施例詳細說 明如下，包括以下步驟1)對訓練集中所有圖像進行紋理特徵提取，得到訓練集圖像的紋理特徵向量，將 訓練集的所有紋理特徵向量排列形成紋理特徵矩陣A1,將紋理特徵矩陣中的一行或多行作 為訓練集的一個類別，一個類別對應訓練集的一個人的多幅人臉圖像；2)對訓練集中所有圖像進行形狀特徵提取，得到訓練集圖像的形狀特徵向量，將 訓練集的所有形狀特徵向量排列形成形狀特徵矩陣A2,將形狀特徵矩陣中的一行或多行作 為訓練集的一個類別，一個類別對應訓練集的一個人的多幅人臉圖像；3)對待識別人的人臉圖像進行紋理特徵提取，得到待識別人臉圖像的紋理特徵向 量Yi ；4)對待識別人的人臉圖像進行形狀特徵提取，得到待識別人臉圖像的形狀特徵向
量I2 ；5)將待識別人臉圖像的紋理特徵向量yi用訓練集的紋理特徵向量線性表示，求出 線性表示的係數；選擇其中Ll範數最小的係數作為線性表示的係數；6)對於訓練集中的每一類別，根據步驟5)得到的線性表示的係數計算對應於該 類別的紋理殘差rli;對於訓練集中的每一類別i = 1，. . .，k(k為訓練集的類別數)，提取出對應於該 類的係數，與該類的特徵向量線性組合，再與待識別的特徵向量比較，分別計算其殘差rli:η,⑴=Ih-μ'⑷ I2(3)其中，《,.We 9Τ，對於第i類，δπ(χ) =X1;對於其他類，δ (χ) =O07)將待識別人臉圖像的形狀特徵向量y2用訓練集的形狀特徵向量線性表示，求出 線性表示的係數；選擇其中Ll範數最小的係數作為線性表示的係數；8)對於訓練集中的每一類別i = 1，. . .，k(k為為訓練集的類別數)，根據步驟7) 得到的線性表示的係數，用與步驟6)同樣的方法計算對應於該類別的形狀殘差r2i ；9)根據步驟6)求出每一類i = 1，. . .，k(k為訓練集的類別數)對應的紋理殘差 rn出待識別人臉對應於此類的相似度Rli ；定義相似度Rli為
Ininr1Ru = i^i—(4)
rM
10)根據步驟8)求出每一類對應的形狀殘差r2i求出待識別人臉對應於此類的相似度R2i ；11)將相似度R 、R2i按照加權和規則進行融合，本實施例的融合係數分別取作 0. 7:0. 3(融合係數k:l-k，0≤k≤1)，得到待識別的人臉和對應於該類的綜合相似度Ri (i =1，. . .，k，k為訓練集的類別數)，綜合相似度Ri最大值對應的訓練集的類別作為帶識別 人的識別結果。Ri = 0. 7 X Rn+0. 3 X R2i (5)所述步驟1)或步驟3)中的進行紋理特徵提取，具體包括(al)對於儲存在計算機的人臉圖像，根據人臉檢測定位其人臉區域；定位兩眼球 點，並將圖像尺度歸一化到360X480像素，使人臉位於圖像中間，且下頌點到兩眼中心連 線的距離大約為200個像素(該尺度只作為舉例說明，並不對圖像大小進行約束)，通過旋 轉，使雙眼在同一水平線上；(a2)選取人臉區域雙眼球、鼻尖、下巴四個關鍵特徵點進行定位；其主要特點是利用SUSAN算子提取邊緣，並與方向積分投影方法結合，快速準確 地獲得眼球、鼻尖、下巴四個關鍵特徵點位置。(a3)對約束區域進行採樣根據所述關鍵特徵點的位置選定眼睛、鼻尖和嘴巴區 域；對這些約束區域進行均勻採樣，得到人臉圖像的紋理特徵；具體的做法是用LeftEye_x，LeftEye_y分別表示左眼球的橫、縱坐標值；RightEye_x， RightEye_y分別表示右眼球的橫、縱坐標值；NoseTip_x、NoseTip_y表示鼻尖的橫、縱坐標 值；Chin_X、Chin_y分別表示下頌點的橫、縱坐標值；定義EyeDistance為雙眼距離EyeDistance = RightEye_x-LeftEye_x (6)左眼區域ImgEyeLeft定義為一個矩形區域，它表示為ImgEyeLeft = LeftEye_x~a1 XEyeDistance, LeftEye_y-a2XEyeDistance
(7)LeftEye_x+a3XEyeDistance, LeftEye_y+a4XEyeDistance其中等式右邊分別為矩形區域左上角橫坐標，縱坐標，右下角的橫坐標，縱坐標。 係數a1; a3的取值範圍為
，a2, a4取值範圍為
，本實例取Ei1 = 0.3，a2 =0，4，a3 = 0. 3，a4 = 0. 2。同理，右眼區域 ImgEyeRight 表示為ImgEyeRight = RightEye_x-a1 XEyeDistance, RightEye_y-a2XEyeDistance
(8)RighttEye_x+a3 X EyeDi stance, RightEye_y+a4 X EyeDi stance其中係數a1 a2，a3，a4取值同式(7)；鼻尖區域ImgNose表示為ImgNose = NoseTip_x-b1 XEyeDistance, NoseTip_y_b2XEyeDistance (9)
NoseTip_x+b1 XEyeDistance, NoseTip_y+b3XEyeDistance其中係數Id1的取值範圍為
，b2，b3取值範圍為
，本實例取ID1 =0. 35，b2 = 0，1，b3 = 0. 3。定義MouthDistance為嘴巴區域的垂直距離MouthDistance = Chin_y-NoseTip_y (10)嘴巴區域ImgMouth定義為一矩形區域，它表示為ImgMouth = NoseTip_x~c1 XRyeDistance, NoseTip_y+c2XMouthDistance (11)NoseTip_x+c1 XEyeDistance, NoseTip_y+c3XMouthDistance其中係數C1的取值範圍為
，C2取值範圍為
, C3的取值範圍為
。本實例取C1 = 0.5, C2 = O, 2, C3 = 0.8。接著根據預設的採樣間隔r (r彡1)， 對這四個區域進行固定點均勻採樣，得到人臉圖像的紋理特徵(屬於常規技術)。(a4)將約束採樣得到的人臉圖像紋理特徵排列成向量，並進行L2範數歸一化，得 到人臉圖像的特徵向量；向量χ的二範數I Ixl I2定義為H2=#I2+4+·.· +、2)(12)其中Xj(j = 1，2，...，n)為向量χ的一個分量，η為向量χ的維數。所述步驟2)或4)中的進行形狀特徵提取，具體包括(bl)對於儲存在計算機的人臉圖像，根據人臉檢測定位其人臉區域；定位兩眼球 點，並將圖像尺度歸一化到360X480像素，使人臉位於圖像中間，且下頌點到兩眼中心連 線的距離大約為200個像素(該尺度只作為舉例說明，並不對圖像大小進行約束)，通過旋 轉，使雙眼在同一水平線上；(b2)選取人臉區域雙眼球、下巴三個關鍵特徵點進行定位；其主要特點是利用SUSAN算子提取邊緣，並與方向積分投影方法結合，獲得眼球、 下巴三個關鍵特徵點位置。(b3)利用步驟(b2)中雙眼球、下巴三個關鍵特徵點的位置信息來初始化人臉形 狀，作為ASM和AAM迭代的起始條件；(b4)用ASM+AAM模型定位人臉圖像105個特徵點，得到特徵點的坐標值；具體的做法是人臉圖像配準的基礎是選擇一組人臉特徵點來表徵人臉形狀。本發明選擇了 105 個特徵點來描述正面人臉形狀(屬於已有技術)，如圖1所示，圖1為一幅人臉圖像，圖中的 數字表示105個特徵點的序號及位置。本發明只為最外部的51個點(人臉的眉毛以及外輪廓)建立ASM模型，如圖2所 示的黑點表示建立ASM形狀模型的51個外部特徵點，並且建立多尺度的ASM(共四層)，訓 練出每個尺度上的灰度模型和形狀模型。最底層(解析度最高)要求人臉形狀的寬度為 180個像素，在對人臉形狀進行初始化以後，就按照這個初始形狀的寬度與指定寬度的比例 對形狀與輸入的圖像進行縮放。由於ASM模型能較好的配準人臉的外輪廓，而AAM算法的內部點配準精度較高，因而只對內部點(包括眉毛，眼睛，鼻子，嘴巴區域的點)，建立AAM形狀模型。如圖3所示中 的黑點表示AAM形狀模型的78個內部特徵點。對於AAM紋理模型，仍然是按照105個特徵 點的Delaimay三角化結果進行採樣和歸一化。也即在模型訓練階段，讀入的人臉形狀為 105點，但是在進行PCA形狀建模的時候只取圖3所示的78個特徵點；紋理採樣時則是在 整個人臉區域進行。AAM的搜索速度較慢，因而建立單尺度的AAM，不過單尺度AAM對初始 形狀的準確性就有較高的要求。通過訓練建立了配準的模型之後，配準的流程如下1.載入105點平均形狀，並根據眼睛、鼻尖與嘴巴的定位信息調整該形狀；2.以上述51個特徵點作為初始形狀，利用51點的ASM模型搜索並得到配準後的 形狀；3.根據上述51點的人臉形狀信息，更新105點形狀的眉毛部分；並進一步確定眉 毛，鼻子與嘴巴部位的特徵點需要平移或者縮放的參數值，作相應調整；
4.取上述78個特徵點作為初始形狀，利用78點AAM模型搜索並得到內部特徵點 的位置。5.將ASM與AAM定位的結果相融合對眉毛部分的特徵點位置採取加權求和，然 後取各自不相重疊的其餘特徵點，合併得到完整的人臉形狀。(b5)將105個特徵點進行標準化，通過縮放使左右眼外眼角距離為10像素(屬於 常規技術)；(b6)將105個特徵點的橫、縱坐標排列成向量，得到人臉圖像的形狀特徵向量。基於約束採樣與形狀結合的稀疏表示人臉識別方法在AR庫以及中科院人臉表情 庫進行測試。AR庫選取90個不同類別的人臉，其中每一類包含14張不同光照和表情的正面 圖像，實驗中7張訓練另外7張用來測試，所達到的識別率為98.73%，(特徵維數為432)； 中科院人臉庫選取202類不同人臉，其中每一類包含6張不同表情的正面圖像，實驗中任意 選擇4張訓練，另外2張用來測試，所達到識別率為99.01% (特徵維數432)。
權利要求
一種基於約束採樣與形狀特徵的稀疏表示人臉識別方法，其特徵在於，該方法包括以下步驟1)對訓練集中所有人臉圖像進行紋理特徵提取，得到訓練集所有人臉圖像的紋理特徵向量，將訓練集的所有人臉圖像的紋理特徵向量排列形成紋理特徵矩陣，將紋理特徵矩陣中的一行或多行作為訓練集的一個類別，一個類別對應訓練集的一個人的多幅人臉圖像；2)對訓練集中所有人臉圖像進行形狀特徵提取，得到訓練集人臉圖像的形狀特徵向量，將訓練集中所有人臉圖像的形狀特徵向量排列形成形狀特徵矩陣，將該形狀特徵矩陣中的一行或多行作為訓練集的一個類別，一個類別對應訓練集的一個人的多幅人臉圖像；3)對待識別人的人臉圖像進行紋理特徵提取，得到待識別人臉圖像的紋理特徵向量；4)對待識別人的人臉圖像進行形狀特徵提取，得到待識別人臉圖像的形狀特徵向量；5)將待識別人臉圖像的紋理特徵向量用訓練集的紋理特徵向量線性表示，求出線性表示的係數；選擇其中L1範數最小的係數作為線性表示的係數；6)對於訓練集中的每一類別，根據步驟5)得到的線性表示的係數計算對應於該類別的紋理殘差；7)將待識別人臉圖像的形狀特徵向量用訓練集的形狀特徵向量線性表示，求出線性表示的係數；選擇其中L1範數最小的係數作為線性表示的係數；8)對於訓練集中的每一類別，根據步驟7)得到的線性表示的係數計算對應於該類別的形狀殘差；9)根據步驟6)求出的每一類對應的紋理殘差求出待識別人臉圖像對應於該類的相似度R1；10)根據步驟8)求出的每一類對應的形狀殘差求出待識別人臉圖像對應於該類的相似度R2；11)將相似度R1、R2按照加權和規則進行融合，得到待識別的人臉對應於該類的綜合相似度R0，綜合相似度R0最大值對應的訓練集的類別作為待識別人的識別結果；所述步驟1)或步驟3)中的進行紋理特徵提取，具體包括(a1)對於給定的一幅人臉圖像，通過人臉檢測定位其人臉區域；定位兩個眼球點，將圖像尺度歸一化，並進行旋轉，使兩眼呈水平狀；(a2)選取人臉區域中的雙眼球、鼻尖、下巴四個關鍵特徵點進行定位；(a3)對約束區域進行採樣根據所述關鍵特徵點的位置選定眼睛、鼻尖和嘴巴區域；對這些約束區域進行均勻採樣，得到人臉圖像的紋理特徵；(a4)將約束採樣得到的人臉圖像紋理特徵排列成向量，並進行L2範數歸一化，得到人臉圖像的特徵向量；所述步驟2)或4)中的進行形狀特徵提取，具體包括(b1)對於給定的一幅人臉圖像，通過人臉檢測定位其人臉區域；定位兩個眼球點，將圖像尺度歸一化，並進行旋轉，使兩眼呈水平狀；(b2)選取人臉區域中的雙眼球、下巴三個關鍵特徵點進行定位；(b3)利用步驟(b2)中雙眼球、下巴三個關鍵特徵點的位置信息來初始化人臉形狀，作為ASM和AAM迭代的起始條件；(b4)用ASM+AAM模型定位人臉圖像105個特徵點，得到特徵點的坐標值；(b5)將105個特徵點進行標準化，使左右眼外眼角距離為10像素；(b6)將105個特徵點的橫、縱坐標排列成向量，得到人臉圖像的形狀特徵向量。
全文摘要
本發明涉及基於約束採樣與形狀特徵的稀疏表示人臉識別方法，屬於圖像處理領域；該方法包括對訓練集中所有人臉圖像進行紋理特徵提取和形狀特徵提取，得到紋理特徵矩陣和形狀特徵矩陣，紋理特徵矩陣和形狀特徵矩陣的一個類別分別對應訓練集的一個人的多幅人臉圖像；將得到待識別人臉圖像的紋理特徵向量和形狀特徵向量與訓練集的每一類進行比較，將綜合相似度最大值對應的訓練集的類別作為待識別人的識別結果；該方法具有更高的人臉識別率。
文檔編號G06K9/66GK101833672SQ201010140799
公開日2010年9月15日 申請日期2010年4月2日 優先權日2010年4月2日
發明者任小龍, 劉炯鑫, 熊英, 王晶, 蘇光大, 陳健生 申請人:清華大學