結合原始和對稱臉人臉圖像的人臉識別方法及考勤系統的製作方法

2023-05-31 01:32:01

結合原始和對稱臉人臉圖像的人臉識別方法及考勤系統的製作方法
【專利摘要】本發明提出了一種結合原始人臉圖像和其左、右對稱臉的人臉識別方法和考勤系統。該考勤系統分為兩個部分：註冊和識別。註冊部分包括人臉檢測、圖像採集和特徵提取，並將人臉特徵存儲到人臉庫中；識別部分包括人臉檢測、圖像採集、特徵提取和人臉識別，最後輸出識別結果。該系統運用本發明提出的結合原始人臉圖像和其對稱臉圖像的人臉識別方法，該方法簡單且計算效率高，幾乎所有基於表示的分類方法可以用該方案進行改進。實驗結果表明，該方法可以大大提高基於表示的分類方法的準確率。使用本發明提出的結合原始人臉圖像和其左、右對稱臉的人臉識別方法的考勤系統能夠提高考勤登記時的速度，提高識別的準確率，更加方便實用。
【專利說明】結合原始和對稱臉人臉圖像的人臉識別方法及考勤系統
【技術領域】
[0001]本發明涉及一種模式識別方法，尤其涉及一種人臉識別方法。
【背景技術】[0002]人臉識別是對人的臉部特徵信息進行身份認證的生物特徵識別技術。近年來，隨著歐美發達國家人臉識別技術開始進入實用階段後，人臉識別迅速成為近年來全球的一個市場熱點，它具有如下顯著優點:
[0003]?非接觸，智能交互，用戶接受程度高。
[0004]?直觀性突出，符合人「以貌識人」的認知規律。
[0005]?適應性強，不易仿冒，安全性好。
[0006]?攝像頭的大量普及，易於推廣使用。
[0007]?人臉識別杜絕代打卡
[0008]?方便快捷識別時間少於I秒
[0009]?非接觸更衛生不怕細菌傳播
[0010]?通訊方式U盤、網絡
[0011]目前絕大多數單位用的主要是指紋或刷卡考勤，考勤存在如上所述諸多不便，而採用人員識別考勤系統，既徹底杜絕了代打卡考勤事件的發生，解決了傳統打卡考勤系統「只認卡不認人」的弊端；又消除了指紋考勤系統「必須用手按」的尷尬情況，非接觸，直觀友好。中控人像識別考勤系統作為人性化的新一代高科技考勤系統，可廣泛替代現有的打卡考勤系統、指紋考勤系統，充分展現現代企事業單位的高科技形象，體現考勤管理制度的方便性、高效性、公正性。
[0012]正如我們所知，人臉識別的主要挑戰是人臉圖像可能會有嚴重的變化，比如不同姿勢，面部表情以及光照的變化。一個人臉識別方法大大遭受這些挑戰。另一方面，如果一個人臉的可用的訓練樣本可以充分地顯示出可能的姿勢、面部表情和光照的變化，我們將可能得到高的準確率。不幸的是，在現實世界的應用中，人臉通常只有一個非常少的訓練樣本，這並不能傳達很多人臉的變化。
[0013]為了克服一個人臉的訓練樣本不能傳達足夠的人臉變化的問題，以前的文獻已經提出一些方法來生成新的(即虛擬的或合成的)的人臉圖像，並放大訓練樣本集的大小。例如，Tang等人利用圓形人臉和光流來獲得「虛擬」的面部表情。Jung等人利用噪聲獲得新的人臉樣本。Thian等人利用簡單幾何變換來生成虛擬樣本。Ryu等人利用訓練樣本的分布來生成人臉的虛擬訓練樣本。Sharma等人從一個單一的人臉圖像中生成不同姿勢和光照的多種虛擬視角來擴展訓練樣本。Beymer等人和Vetter等人也著眼於這個問題,他們用虛擬視角生成新的樣本。

【發明內容】

[0014]針對現有技術中存在的問題，本發明提出了一種人臉識別的方法，通過生成對稱的人臉圖像，即分別利用原始人臉圖像的左半邊臉和右半邊臉生成軸對稱的虛擬人臉圖 像，分別稱為「左對稱臉」和「右對稱臉」，並利用原始的和左、右對稱的人臉圖像來識別對象。
[0015]本發明通過如下技術方案實現：
[0016]一種結合原始和對稱臉人臉圖像的人臉識別方法，該方法包括以下步驟：
[0017]S1:每人有n個n原始人臉圖像，用表示第i個人的第k個原始人臉圖像 (k=l,. . .，n)。每張原始人臉生成兩張對稱臉，對於第i個人的第k個原始人臉圖像，對稱 臉(k=l,. . .，2n)是分別利用原始人臉的左半邊臉和右半邊臉生成軸對稱的 虛擬人臉圖像；
[0018]S2:對於第i類（即第i個人)，令父片叉婦)* . . xiH<n y(i-1)n+1. ? ? yiH<2n]，定義X為 X ? ? Xc] oX(i—i)n+k 是由x(i -l}n+k 轉換而成的列矢量，y (i-l)n+k 是由jIUw轉換而成的列矢量。
[0019]S3:採用LRC算法。令z為測試樣本。LRC關於z和第i類（即第i個人）的方程 為z=xa。^表示解向量，其求解公式為為=認廣足r1足測試樣本和第i類之間的偏 差得分為 A =11 z - XiAi ||.
[0020]S4: ^ = argminJ-，當屯≤thresholddl，那麼認為測試樣本不屬於任何已知的任何 類別，應拒識，其它步驟不再實現，否則，轉入S5 ；
[0021]S5:採用其他的RBC算法。令鄉表示該算法的解向量，為表示對應於 xa-D^,...，xi%1, y(i_1)n+1,...，yi*2n的項組成的解向量。簡單地，可令算法對應的方程為 z=XB，B的求解公式為》Yz，u是一個小的正的常數，I是單位矩陣。測試
樣本相對於第i類訓練樣本的的偏差為1 =11 -XA || .
[0022]S6: ^ _ ul?!T1"'。當rj≤thresholdrl,那麼認為測試樣本不屬於任何已知的任何 類別，應拒識，其它步驟不再實現，否則，轉入S7 ；
[0023]S7:令r/為所有類別的偏差中倒數第二小的值。若Irj-r/ ^ thresholdr2, 說明該對象不明顯屬於任何類別，系統拒識，其他步驟不再實現，否則，轉入S8 ；
[0024]S8:將LRC與其他RBC方法結果進行加權融合計算，獲得最終識別結果。
[0025]本發明的另一方面，提供了一種結合原始和對稱臉人臉圖像的人臉識別考勤系 統，該系統包括：人臉圖像採集模塊，採用紅外攝像頭進行人臉檢測並採 集多幅人臉圖像； 特徵提取模塊，用於對人臉圖像進行預處理和特徵提取，然後將特徵信息存儲到人臉數據 庫當中；識別模塊，用於採用本發明所提出的人臉識別方法在所述人臉資料庫中進行識別； 考勤登記模塊，用於根據識別結果登記考勤。
[0026]進一步地，所述系統還包括：註冊模塊，用於用戶註冊，得到一個唯一的ID號。
[0027]進一步地，所述考勤登記模塊，用於將識別結果與已輸入的ID號進行比對，判斷 是否一致，如果一致，則登記考勤成功；如果不一致，則需要重新檢查所輸入的ID號是否正 確，如果正確，則再採集一遍進行重新識別；如果不正確，則重新輸入ID號。[0028]本發明的有益效果是:本發明提出了一種結合原始和對稱臉人臉圖像的人臉識別方法，該方法利用原始人臉圖像和其左、右對稱臉來進行人臉識別，簡單且計算效率高。實驗結果表明，該方案可以大大提高基於表示的分類方法的準確率。採用本發明提出的結合原始人臉圖像和其左、右對稱臉的人臉識別方案的考勤系統能夠提高考勤登記時的速度，提高識別的準確率，更加方便實用。
【專利附圖】

【附圖說明】
[0029]圖1是本發明的人臉識別方法的流程圖；
[0030]圖2是來自ORL人臉庫的測試樣本和所有類別之間的偏差；
[0031]圖3是來自FERET人臉庫的測試樣本和所有類別之間的偏差；
[0032]圖4是一些來自FERET人臉庫的原始人臉圖像和其左、右對稱臉圖像；
[0033]圖5是一些來自AR人臉庫的原始人臉圖像和其左、右對稱臉圖像；
[0034]圖6是本發明的考勤系統模塊框圖；
[0035]圖7是LOS和NLOS情況下的測距誤差統計圖；[0036]圖8是誤差消除前和消除後的概率分布曲線圖；
[0037]圖9是採用本發明的NLOS鑑別方法後的定位性能。
【具體實施方式】
[0038]下面結合【專利附圖】

【附圖說明】及【具體實施方式】對本發明進一步說明。
[0039]如附圖1所示，本發明的一種結合原始和對稱臉人臉圖像的人臉識別方法，該方法包括以下步驟:
[0040]第一步:每人有η個η原始人臉圖像，用表示第i個人的第k個原始人臉圖像(k=l，...，n)。每張原始人臉生成兩張對稱臉，對於第i個人的第k個原始人臉圖像，對稱臉義(k=l,...，2n)是分別利用原始人臉的左半邊臉和右半邊臉生成軸對稱的虛擬人臉圖像；
[0041]第二步:對於第i 類(即第 i 個人)，令 Xi= [XaOlrt...Χ?*η Υ(?-ι)η+ι...定義 X為 X=K1...Xc] ;X(i—l)n+k 是由轉換而成的列矢量，y (1-l)n+k 是由w轉換而成的列矢量。
[0042]第三步:對樣本X採用LRC算法，令為表示第i個人臉的方程的解向量。測試樣
本和第i的對象之間的偏差得分用式=Wz-XlAl Il計算。考慮到實際應用，當偏差得分大於
等於閾值(thresholddl)時，說明該測試樣本與存在訓練樣本庫中的對象相差太大，該測試樣本的對象並不是已註冊的人員，所以當Cli ^ thresholddl時，系統拒識，其他步驟不再實現，否則，進行下一步。
[0043]對樣本X採用其它的RBC算法，令左表示該方法的解向量。令為分別表示對應於...，Xi*n, Υ(?-1)η+1....，Υ?*2η的項組成的向量。換言之，B對應與第i個人臉。對應於第i類的測試樣本的偏差得分可以用ζ.=Wz-XiBi Il計算。考慮到實際應用，當剩餘
得分大於等於閾值(thresholdrl)時，說明該測試樣本與存在訓練樣本庫中的對象相差太大，該測試樣本的對象並不是已註冊的人員，所以當A ^ thresholdrl時，系統拒識，其他步驟不再實現，否則，進行下一步。而當測試樣本與兩個對象之間的剩餘得分相差很小(小於等於thresholdrf)時，說明系統不能夠明顯的區分出該測試對象屬於哪個類，所以當rn-ri2 ( thresholdr2時,系統拒識,其他步驟不再實現,否則,進行下一步。
[0044]第四步:如果未拒識，則進行加權融合，並得到最終識別結果。
[0045]下面，簡要介紹基於表示分類(RBC)。假設有C個類，每類有η個列向量形式的訓練樣本。令X1,...，Xn為所有N個訓練樣本(N=Cn)
? X(1-l)n+k 代表第i個對象的第k個訓練
樣本，i=l, 2，...，C。令列向量z表示測試樣本。
[0046]因為LRC具有鮮明的特徵，所以先介紹LRC，然後再介紹其它的RBC。
[0047]描述LRC的算法如下:LRC對每個類都建立一個方程。第i類的方程是
[0048]Z=XiAi,(I)
[0049]其中為?..<], Xi = [X(H)ftrt...XiftJ。式(I)用下式得到
[0050]Ai=(XirXi)-1XirZ(2)
[0051 ] 第i類訓練樣本和測試樣本之間的偏差被定義為=II ^-XiA Ii。如果k = argmm^，SP麼測試樣本將會被分到第k類中。
[0052]對於基於表示 分類的方法，除了 LRC，所有方法都是首先利用所有訓練樣本的一個線性組合來表示測試樣本。
[0053]I2範數最小化約束的RBC可以被簡要描述如下。我們首先採用協作表示分類作為一個例子來說明這種方法的基本特點。CRC (協作表示分類)設式(3)可以近似表示為
[0054]y=XB,(3)
[0055]其中B=Dd1...bN]T, X=Lx1...xN]。式(3)的解通常用下式獲得
[0056]Β = (ΧτΧ + μgamma1Χτgamma ^(4)
[0057]μ是一個小的正的常數，I是單位矩陣。令》= [/v人:T當然，如果XtX是非奇異







O
的，式(3)的解可以用下式得到
[0058]Β = (Χ? X) 1X1 V ^(5)
[0059]CRC計算第i類表示測試樣本的剩餘用rt =Wz-XiBi ||其中Xi =
[X(1-l)*n+l...Xi*n]， —[心(i—I 1*h+1 …厶!.*b ] o如果& =，那麼CRC將測試樣本分到第k類。
[0060]CRC和I2範數最小化約束的其它RBC之間的主要差別在於，其它RBC可能存在附加條件或是步驟。例如，改進的最近鄰分類器有與CRC相同的方程和求解方案，但是使用了一個更簡單的分類器。兩階段稀疏表示(TPSR)方法有與CRC相同的第一步，但是利用了額外的一步來得到一個用來表示測試樣本的所有訓練樣本的稀疏線性組合。[0061]SRC,即I1範數最小化約束的RBC，可以簡單描述如下。SRC試圖解決如下問題:
_2] n ιΙζ_χΒ^ε (6)
[0063]其中ε >0是一個常量。SRC沒有一個封閉解，必須迭代地來求解。原始的SRC算法計算效率低，而最近一些高效的SRC算法已經提出。
[0064]附圖2展示了測試樣本和所有類別的偏差，這些樣本來自於ORL人臉庫。用LRC得到的偏差和經過擴張樣本數處理的LRC (即本發明提出的方案中LRC)的偏差都在圖中展示。該測試樣本來自第5類。從附圖2我們可以看到，LRC將會對測試樣本導致錯誤分類，這是由於其對應的測試樣本和第5類的偏差不是最小的。然而，對LRC的改進將會得到一個正確的分類結果，這是因為其對應的測試樣本和第5類之間的偏差時最小的。附圖2也說明了，本發明提出的這種改進的LRC方案有比以往的LRC方案更強的表示測試樣本的能力。
[0065]附圖3展示了一個測試樣本和所有類別之間的偏差，這些樣本來自FERET人臉庫，該測試樣本來自第9類。從附圖3我們可以看出，LRC將會對測試樣本導致錯誤分類，但是本發明提出的改進的LRC方案將會得到正確的分類結果。
[0066]本發明提出的方法的理由可以由以下數值分析的觀點描述。為了方便闡述，我們僅用以往的LRC方案和本發明提出的改進的LRC方案作為例子。設測試樣本y來自第i類，那麼很容易知道到，用改進的LRC方案得到的第i類和測試樣本的偏差通常比用LRC得到的偏差要小。
[0067]本發明提出的方法能夠得到一個虛擬的軸對稱人臉圖像。這些虛擬人臉圖像可以在一定程度上反映人臉的姿勢和大小的可能的變化。附圖4和圖5展示了一些利用原始人臉生成的左、右對稱臉。其中，第一行是原始人臉圖像。第二和第三行分別是用原始人臉圖像的左對稱臉和右對稱臉圖像。因為它是一個嚴格的軸對稱的人臉圖像，就是左邊人臉是右邊人臉的鏡像。而且我們可以對每張原始人臉生成得到兩張對稱臉，得到了更多的人臉可能變化的信息，更有利於人臉識別。
[0068]一種利用結合原始人臉圖像和其對稱臉的人臉識別方法的考勤系統。如附圖6所示，該系統分為兩個部分:註冊和識別。註冊部分包括人臉檢測、圖像採集和特徵提取，並將人臉特徵存儲到人臉庫中；識別部分包括人臉檢測、圖像採集、特徵提取和人臉識別，最後輸出識別結果。
[0069]利用結合原始人臉圖像和其對稱臉的人臉識別方法的人臉考勤系統設備如附圖7所示。它由一個傾斜的平板、支柱、底座組成。該傾斜的平板上裝有紅外攝像頭和屏幕。
[0070]該系統有如下特點:
[0071](I)紅外攝像頭由光源和紅外濾光片組成，過濾後的光源為940nm的紅外光線。
[0072](2)紅外攝像頭檢測動態的人臉，採集紅外人臉圖像。
[0073](3)採用紅外攝像頭不僅可以在白天光線充足的情況下採集人臉圖像，也可以在夜晚光線昏暗的情況下採集人臉圖像。
[0074](4)裝有紅外攝像頭和屏幕的平板是傾斜的，因為用戶的身高有高有低，若該平板式豎直的，則採集人臉圖像時會因用戶身高不同而採集不完整的人臉，或者用戶需要自己屈膝或踮腳才能完整地採集，十分不便。該平板設計成傾斜的話，不論用戶是高是低，都需要稍稍低頭向下看攝像頭，即可完整的採集到人臉圖像。
[0075](5)立柱中裝有單片機，用來進行圖像數據存儲和圖像數據處理。
[0076](6)人臉識別結果將顯示在屏幕上，並將考勤信息記錄在資料庫中。
[0077](7)註冊用戶信息迅速方便。使用該人臉考勤系統時，員工需要首先註冊，得到一個ID號後，用紅外攝像頭進行人臉檢測並採集多幅人臉圖像。拍攝人臉圖像時，用戶只需面對攝像頭，經過幾秒鐘的時間就可採集完成。經過預處理和特徵提取後，將人臉圖像的特徵信息存儲到人臉資料庫當中。
[0078](8)將對稱臉和拒識方法融入識別系統中。登記考勤時，用戶首先輸入自己的ID號，用紅外攝像頭進行人臉檢測並採集多幅人臉圖像，經過預處理和特徵提取後，利用我們的結合原始人臉圖像和對稱臉的人臉識別方案在人臉庫中進行識別。當得分大於等於閾值I時，說明該測試樣本與存在訓練樣本庫中的對象相差太大，該測試樣本的對象並不是已註冊的人員，系統拒識；而當測試樣本與兩個對象之間的得分相差很小時，說明系統區分不開這兩個對象，系統拒識；判斷與閾值大小之後，將識別結果與已輸入的ID號進行比對，判斷是否一致，如果不一致，則直接拒識；當然，如果不一致，則需要重新檢查所輸入的ID號是否正確，如果正確，則再採集一遍進行重新識別；如果不正確，則重新輸入ID號。
[0079]以上內容是結合具體的優選實施方式對本發明所作的進一步詳細說明，不能認定本發明的具體實施只局限於這些說明。對於本發明所屬【技術領域】的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬於本發明的保護範圍。
【權利要求】
1.一種結合原始和對稱臉人臉圖像的人臉識別方法，其特徵在於:所述方法包括以下步驟: S1:每人有η個η原始人臉圖像，用表示第i個人的第k個原始人臉圖像(k=l,..., n)，每張原始人臉生成兩張對稱臉，對於第i個人的第k個原始人臉圖像，對稱臉(k=l,...，2n)是分別利用原始人臉的左半邊臉和右半邊臉生成軸對稱的虛擬人臉圖像；
S2:對於第i類(即第i個人)，令X i_ [X(1-l)*n+l...Xi*n Y(1-l)n+l...Ji*2iJ，定乂 X 為X=IiX1...Xc]，其中，X(1-1)n+k是由.1>?+*轉換而成的列矢星，y (1-l)n+k是由外―ll?+i轉換而成的列矢量； S3:採用LRC算法，令Z為測試樣本，LRC關於z和第i類(即第i個人)的方程為Z=XiAi,Ai表示解向量，其求解公式為為=(X廣尤F1Z/'測試樣本和第i類之間的偏差得分為Cii=Wz-XiAiW.S4: k ' e；' '當(Ii≥thresholddl,那麼認為測試樣本不屬於任何已知的任何類另IJ，系統拒識並結束識別，否則，轉入S5 ； S5:採用其他的RBC算法，令冶表示該算法的解向量B g示對應於Xf1-D^1,...，Xi*n, Υα-1)η+1,...，Υ?*2η的項組成的解向量。簡單地，可令算法對應的方程為Z=XB, B的求解公式為力= (H + #)—μ是一個小的正的常數，I是單位矩陣。測試樣本相對於第i類訓練樣本的的偏差為G =\\z~xA Il ； S6:1^argmi11',當r」≥thresholdrl，那麼認為測試樣本不屬於任何已知的任何類別，系統拒識並結束識別，否則，轉入S7 ； S7:令r/為所有類別的偏差中倒數第二小的值,若|rj-r/ |≤thresholdr2,說明該對象不明顯屬於任何類別，系統拒識並結束識別，否則，轉入S8 ； S8:將LRC與其他RBC方法結果進行加權融合計算，獲得最終識別結果。
2.一種結合原始和對稱臉人臉圖像的人臉識別考勤系統，其特徵在於:所述系統包括:人臉圖像採集模塊，採用紅外攝像頭進行人臉檢測並採集多幅人臉圖像；特徵提取模塊，用於對人臉圖像進行預處理和特徵提取，然後將特徵信息存儲到人臉資料庫當中；識別模塊，用於採用如權利要求1所述人臉識別方法在所述人臉資料庫中進行識別；考勤登記模塊，用於根據識別結果登記考勤。
3.根據權利要求2所述的考勤系統，其特徵在於:所述系統還包括:註冊模塊，用於用戶註冊，得到一個唯一的ID號。
4.根據權利要求3所述的考勤系統，其特徵在於:所述考勤登記模塊，用於將識別結果與已輸入的ID號進行比對，判斷是否一致，如果一致，則登記考勤成功；如果不一致，則需要重新檢查所輸入的ID號是否正確，如果正確，則再採集一遍進行重新識別；如果不正確，則重新輸 入ID號。
【文檔編號】G06K9/00GK103530659SQ201310492782
【公開日】2014年1月22日 申請日期:2013年10月18日 優先權日:2013年10月18日
【發明者】徐勇, 李學東, 楊健, 張大鵬, 李靜 申請人:哈爾濱工業大學深圳研究生院