一種快速協同匹配的有遮擋人臉識別方法與流程
2023-07-26 21:17:07 1
本發明屬於計算機視覺領域，涉及人臉識別方法，具體為一種快速協同匹配的有遮擋人臉識別方法。
背景技術：
人臉識別(Face Recognition，FR)在過去幾十年中一直是計算機視覺領域的一個重要研究課題。隨著科技的發展，技術的進步，人臉識別的研究已由之前的有約束條件下的人臉識別轉向現在的無約束條件的人臉識別。有遮擋人臉識別就是其中一個重要的研究方向，在一幅圖像中的遮擋可以理解為是目標對象的圖像被部分擋住了，也可以理解為是目標對象的部分信息缺失。引起遮擋的原因通常有人臉被面部的配飾遮擋，(如太陽鏡、毛巾、帽子、鬥篷等)，或在成像時人臉之前的一些遮擋物(如手、食物、手機等)，極端的光照條件(如陰影等)，還有由自己引起的遮擋(如非正面的成像時)或者低質量的圖像造成的模糊等。
有遮擋的人臉識別技術可用於去解決一些一般人臉識別方法難以解決的問題，例如檢測出一個經過複雜偽裝的嫌疑犯，識別出嫌疑犯的身份。現在大多數的方法都是假設遮擋只出現在被測試的圖像裡面，而訓練集則是乾淨的，而現實情況是，訓練集和測試圖像中都有可能出現遮擋。基於現實中人臉識別應用的一般場景可以把人臉識別分為四類：第一類是訓練集和測試集都沒有遮擋；第二類是訓練集沒遮擋測試集有遮擋；第三類是訓練集有遮擋測試集沒遮擋；第四類是訓練集和測試集都有遮擋。
現在對有遮擋的人臉識別方法主要有兩大類，第一類是基於重構的方法，這一類方法將有遮擋的人臉識別問題看作一個重構問題，典型的方法是基於稀疏表示分類(Sparse Repres entation based Classification，SRC)，利用原型圖像集合(Gallery images)的線性組合來重構被測圖像，重構誤差最小的類就是本次識別的結果。基於重構的方法通常要求每個類有足夠的圖像來表示被測圖像，但是實際情況下，不可能保證每一類都有足夠的圖像，而且原型圖像集合中也可能會存在有遮擋的圖像，所以將導致這一類方法的識別效果下降，當人臉數據比較複雜，測試集和訓練集都有遮擋的情況會造成算法識別率下降；第二類是基於局部匹配的方法，人臉特徵是從人臉的局部區域提取出來，例如把人臉分成沒有重疊或者有重疊的多個小塊，這樣就可以獨立的分析各個小塊中被遮擋的部分或者沒有被遮擋的部分，該方法能更好的避開由遮擋引起的識別率較低的問題，但是運行速度較慢，不符合人臉識別的現實應用要求。因此，研究出一種識別率高而且運行速度快的有遮擋人臉識別方法有著十分重要的現實意義。
技術實現要素：
本發明的目的在於針對現有技術識別率低或運行速度慢的問題，提供一種快速協同匹配的有遮擋人臉識別方法，該方法通過利用基於稀疏表示分類(Sparse Representation based Cl assification，SRC)方法快速確定疑似目標集合，然後利用基於動態圖規整(Dynamic Image Class Warping，DICW)方法精確識別目標，從而改善有遮擋人臉識別方法的識別率和速度。
為實現上述目的，本發明採用的技術方案為：
一種快速協同匹配的有遮擋人臉識別方法，首先，從人臉庫中構造訓練數據集，對訓練數據集中每張人臉數據進行降維處理並向量化，構建得訓練字典；然後，針對被測目標，利用訓練字典，採用SRC方法篩選出疑似目標集合；最後，在疑似目標集合內，採用DICW方法精確識別被測目標身份。
更進一步的，上述快速協同匹配的有遮擋人臉識別方法，具體包括以下步驟：
步驟1、從人臉庫裡面構造訓練數據集，包括I個不同人，第i個人有ni張人臉圖像；對每張人臉圖像進行降維處理、並向量化，得到一個m維的列向量；最後將它們按行排列在一起構成訓練字典D：
D＝[D1,D2…DI],D∈Rm×n
其中，表示第i個人的第ni張人臉圖像降維後構成的列向量；
步驟2、利用構造好的訓練字典D求解被測目標y的稀疏解：
y＝Da,a∈Rm；
引入噪聲向量，則方程變為：y＝Da+z，z∈Rm,||z||2＜ε表示能量有限噪聲單元，求解優化問題得到稀疏解
步驟3、利用稀疏解提取稀疏解中只與第i個人有關的係數其他位置為零；計算每個人的重構誤差：
選取重構誤差最小的J個人作為疑似目標，並按照重構誤差從小到大的順序對這J個人重新標記標籤：依次為s1,s2,…sJ；從而構成疑似目標集合S：S＝{s1,s2,…sJ}；
若τ為預設閾值，則直接判定被測目標的身份為s1代表的人，否者，進入步驟4；
步驟4、採用DICW方法，在疑似目標集合S中精確識別被測目標身份。
本發明提供一種快速協同匹配(Collaborative Matching,CM)的有遮擋人臉識別(Occlu ded Face Recognition，OFR)方法，該方法具備更高的識別精確度及更快的識別速度。
附圖說明
圖1為本發明快速協同匹配的有遮擋人臉識別方法的流程圖。
圖2至圖5為本發明與SRC，DICW算法在不同情景下識別率的比較圖。
圖6為本發明與DICW算法計算速度的比較圖。
具體實施方式
下面結合附圖和實施例對本發明做進一步詳細說明，但本發明並不局限於具體實施方式。
本發明針對基於動態圖規整方法在有遮擋的人臉識別過程中運算時間太長，以及基於稀疏表示的方法在複雜的訓練數據下識別率不高的問題，提出一種快速協同匹配的有遮擋人臉識別方法。
本發明是一種快速協同匹配的有遮擋人臉識別方法，其流程如圖1所示，具體包括以下步驟：
步驟1、從人臉庫裡面構造訓練數據集，包括I個不同人，第i個人有ni張人臉圖像；對每張人臉圖像進行降維處理、並向量化，得到一個m維的列向量；最後將它們按行排列在一起構成訓練字典D：
D＝[D1,D2,…DI],D∈Rm×n
其中，表示第i個人的第ni張人臉圖像降維後構成的列向量；
步驟2、利用構造好的訓練字典D求解被測目標y的解，即用訓練字典D中訓練數據的線性組合來擬合被測圖像y，即：y＝Da,a∈Rm；
通常情況下方程y＝Da認為是欠定的，有無數解；但是由人臉識別模型的物理意義來看它的解應是稀疏的，僅在極少的局部位置上有非零值，這些非零值即暗含被測目標的身份信息，所以人臉識別的問題轉換成了求y＝Da,a∈Rm稀疏解；考慮存在噪聲，引入噪聲向量，則方程變為：y＝Da+z，z∈Rm,||z||2＜ε表示能量有限噪聲單元，則問題轉化為以下優化式子：
上述優化式子為一個NP-hard的問題，由壓縮感知理論可知，在a足夠稀疏的情況下，零範數的最小化可以等價轉化為一範數的最小化：
求解上述優化問題有很多現成的方法，如ALM(Augmented Lagrange Multiplier)算法，同倫(Homotopy)算法等，為了達到更快的速度和較高的精度，本實施例採用同倫算法來求解，得到稀疏解
步驟3、利用稀疏解提取稀疏解中只與第i個人有關的係數其他位置為零；求每個人的重構誤差：
選取重構誤差最小的J個人作為疑似目標，並按照重構誤差從小到大的順序對這J個人重新標記標籤：依次為s1,s2,…sJ；從而構成疑似目標集合S：S＝{s1,s2,…sJ}；
若τ為預設閾值，則直接判定被測目標的身份為s1代表的人，否者，進入步驟4；
步驟4、DICW方法需要預先按照人臉上各個器官分布的自然順序對人臉圖像進行分塊，即按照額頭、眼睛、鼻子、嘴巴、下顎這樣的先後順序構造一個由圖像塊序列(從左往右，從上到下)，這樣的空間順序可以被視為時間順序，進而利用DICW進行處理；分別對被測目標y和疑似目標集合S對應的訓練圖像進行分塊處理；將被測目標y分成B塊：y＝{y1,y2…yB}，其中，yb為被測目標第b塊圖像的像素值構成的向量；將疑似目標sj,j＝1,2,...,J的每張人臉圖像分成C塊：其中代表第sj個人的第張臉的第c塊圖像的像素值構成的向量；
步驟5、提取每張人臉的一階差分特徵，因為一階差分特徵對於圖像的邊緣很敏感，所以能增強眼睛，鼻子，嘴巴等明顯的面部特徵，提升算法性能；其一階差分特徵提取過程具體為：
若一張人臉分成F塊，令g(x,y)代表圖像中坐標(x,y)處的像素值，gf(x,y)表示第f(f＝1,2,…F-1)塊圖像的像素值構成的矩陣，用gf(x,y)與其直接相鄰的塊gf+1(x,y)的差來近似一階差分特徵，即：Δgf(x,y)＝gf+1(x,y)-gf(x,y)；然後用新的一階差分特徵向量代替之前的原始圖像特徵向量，從而構造疑似目標集合數據集：DICW算法進行匹配時，每次只和一個疑似目標的數據進行匹配；
步驟6、尋找使得代價函數最小的規整路徑，規整路徑W表示被測目標y和疑似目標在時間軸上的匹配W＝{w(1),w(2),…w(T)}；其中，w(t)如下式：
w(t)＝Match(b；c,k)t，它表示t時刻yb與進行匹配，其中b＝1,2,...B，c＝1,2,...C，max{B,C}≤T≤B+C-1；DICW算法要求b,c應該滿足一定的約束條件來對規整路徑每次前進的方向，增加的步長進行約束，即：
t＝1時b＝c＝1
t＝T時b＝B,c＝C
t≠1,T時，若t時刻為(b,c)，t-1時刻為{(b-1,c),(b,c-1),(b-1,c-1)}中的一個
代價函數：其中，Vw(t)為t時刻根據w(t)求得的兩個向量yb和之間的歐式距離，即：當規整路徑不同時計算得到的代價不同，所以算法的優化的目標就是計算最優規整路徑使代價函數的取得最小值表示就是被測目標y和疑似目標sj的相似度量值；
算法執行：採用動態規劃的方法，初始化一個三維累加矩陣G∈RB+1×C+1×K，令G0,0,:＝0，G1:B,1:C,:＝+∞，其中，在t時刻Gb,c,k等於Vw(t)加上t-1時刻所有的累加值中最小的一個，即
Gb,c,k＝Vw(t)+min{Gb-1,c-1,:,Gb-1,c,:,Gb,c-1,:}
從t＝1至t＝T迭代遞歸得到被測目標y和疑似目標sj的相似度量值為：
依次計算被測目標y和對所有疑似目標相似度量值，則被測目標的身份為：
本實施例中採用經典的AR人臉資料庫對本發明的性能進行測試，其測試結果如圖2至圖6所示，AR人臉資料庫包含有126個人的4000多張人臉圖像，每個人有26張人臉圖像，分別在兩個時期採集，每個時期包含13張圖像，這13張圖像由7張不同光照，表情的人臉照片和3張有陽鏡遮擋和3張有圍巾遮擋的人臉照片組成，複雜多變的人臉數據使AR人臉資料庫能夠更好的反應算法的性能，能更好的貼近現實情況下的人臉識別；本實施例設置四種識別情景，在每個人的樣本(人臉圖像)個數設定為相同數目、數目從1到7變化的情況下，將本發明與SRC(Sparse representation based Classification)和DICW(Dynamic Image Class Warping)算法進行性能測試並比較。由於涉及求解一範數優化的問題，為了達到更快的速度本發明採用同倫算法，設它的正則化參數λ＝1e-5；閾值τ＝0.5；分塊時設置B＝C，每塊的大小為5×5。測試結果中，圖2是在訓練集和測試集都沒有遮擋只有表情和光照變化情況下的人臉識別率比較圖；圖3是在訓練集無遮擋和測試集有遮擋情況下的識別率比較圖；圖4是在訓練集有遮擋和測試集無遮擋情況下的識別率比較圖；圖5是在訓練集有遮擋和測試集有遮擋情況下的識別率比較圖。如圖6所示為本發明與DICW方法在每個人的人臉圖像數變化的情況下，算法識別一張人臉平均所需時間的比較圖。
從上述測試結果中可以看到，本發明方法通過引入SRC方法快速確認疑似目標集合，使得本方法相對於DICW方法能更快地識別出目標，更加符合人臉識別在實際生活應用中的要求。在訓練數據和測試數據同時存在遮擋時，本發明相對其他兩種方法識別率更高。在訓練數據無遮擋，測試數據有遮擋這種更一般的情況下，SRC方法的識別性能嚴重下降，而本發明利用DICW方法精確識別的優勢，使得識別率相對於SRC方法有了極大的提高，相對DI CW方法，本發明在不同遮擋時有不同的表現，在遮擋是遮擋範圍更大的圍巾時，本發明的性能比DICW更好，當遮擋是眼鏡時，識別率相對DICW方法有所下降，但本方法的速度更快，更能滿足人臉識別的實時需求，總而言之本方法的綜合性能遠遠優於上述的兩種方法。
以上所述為本發明具體實施方式，本說明書中所公開的任一特徵，除非特別敘述，均可被其他等效或具有類似目的的替代特徵加以替換；所公開的所有特徵、或所有方法或過程中的步驟，除了互相排斥的特徵和/或步驟以外，均可以任何方式組合。