一種人臉活體檢測方法
2023-05-01 02:17:21 1
一種人臉活體檢測方法
【專利摘要】本發明公開了一種人臉活體檢測方法，包括如下步驟：S1、獲取人臉圖像；步驟S2、根據所述人臉圖像確定與該人臉圖像對應的身份信息；步驟S3、採用人臉活體檢測分類器判斷所述人臉圖像是否是所述身份信息對應的特定人的真實人臉圖像，其中，人臉活體檢測分類器針對特定人單獨進行訓練，即每個註冊人員對應一個人臉活體檢測分類器。此外，本發明還提出人臉樣本合成算法為註冊人員合成真實人臉樣本和/或假人臉樣本，可以應用於訓練樣本稀少或預設的場合。本發明能夠很自然地與人臉識別系統整合。在不增加系統運算負擔的同時，能夠有效地解決傳統人臉活體檢測方法的不足。
【專利說明】一種人臉活體檢測方法
【技術領域】
[0001]本發明涉及計算機視覺和模式識別領域，特別涉及了生物特徵識別領域中的人臉活體檢測方法。
【背景技術】
[0002]目前，生物特徵識別技術已經被廣泛地應用於日常生活中的方方面面。人臉生物特徵識別技術，由於具有方便易用，用戶友好性，非接觸式等優點，在近年來取得了突飛猛進的發展。這些發展體現在了各個研究領域，包括人臉檢測，人臉特徵提取，分類器設計以及硬體設備製造等。然而，基於人臉的生物特徵識別在應用層面上依然面臨著一些考驗。其中，最為突出的就是識別系統的安全性問題。作為一種用於身份識別的裝置，它們很容易被一個非法分子假冒成合法的用戶欺騙。目前的大部分人臉識別系統都無法區分真實的人臉和照片。只要獲取到了合法用戶的照片，那麼就能輕而易舉地騙過這類識別系統。如今發達的社交網絡讓這個攻擊方式變得異常容易。此外，用錄製的視頻或者偽造的面具均可能對人臉識別系統產生攻擊。
[0003]目前，人臉防偽，亦稱人臉活體檢測，逐漸受到了來自學術界和工業界的重視。人臉活體檢測的主要目的是區分真實人臉和上述偽造人臉的圖像，識別來自假人臉圖像對人臉識別系統的攻擊，從而提高人臉識別認證系統的安全性。根據使用的線索不同，我們可以將人臉活體檢測方法分成四大類:
[0004]1、基於人機互動的人臉活體檢測方法:這類方法旨在通過檢測人臉的生理反應來判定採集的是否為真實人臉。考慮到真實人臉和偽造人臉相比，有更多的自主性，這類方法通過要求用戶進行指定的動作作為判定的依據。常用的交互方法包括眨眼，搖頭，嘴部動作等等。除基於局部運動的檢測方法之外，還有一類方法是基於整個頭部的動作進行判斷的。這類方法有效的原因在於照片和人臉的三維結構存在明顯的差異，使得獲取的頭部運動模式也存在一定的差異。以上方法雖然能夠在一定程度上區別真假人臉，但是假人臉的生成方式多種多樣，可以找到多種攻破方式對這些方案進行攻擊，如錄製的人臉視頻片段。考慮到這些可能存在的缺陷，一種基於多模態的活體檢測方法被提出，該方法要求用戶閱讀指定的文本內容，隨後通過分析用戶的嘴唇動作和相應的語音內容是否吻合來判斷人臉的真偽。然而，這種基於人機互動的活體檢測方法由於要求用戶進行特定的動作，對用戶的要求過高，使得用戶體驗不佳。同時，認證時間較長也是上述方法的一大弊端。
[0005]2、基於皮膚反射特性的人臉活體檢測方法:從人臉皮膚的反射特性出發，一些研究者利用多光譜採集手段進行活體檢測。利用真人皮膚和偽造的人臉皮膚兩者在不同光譜下的反射率不同這一特點，達到活體檢測的目的。這類方法的研究內容是找到合適的光譜，使得真假人臉皮膚的差異最大。然而，這類方法有以下幾個明顯的不足:1)僅在非常少量的數據上測試，因此無法對性能進行全面評估；2)選取的光譜波段無法通過常用的攝像頭感應，需要部署特殊的感光器件，增加了硬體開銷；3)額外的感光器件需要開發有針對性的信號轉換電路，增加了與現有系統的兼容性問題。[0006]3、基於紋理差異的人臉活體檢測方法:基於微紋理的活體檢測方法有一下假設:同一設備採集偽造人臉和用該設備採集的真人臉相比存在細節丟失或差異，而這些細節上的差異就引起了圖像微紋理上的差異。該假設在大多數情況下是成立的。偽造的人臉是通過使用真實人臉圖片製作而成。以列印的照片為例，非法用戶首先將照片列印在紙張上，然後將列印的人臉照片擺放在人臉識別系統前進行攻擊。在這個過程中，至少會有兩個環節造成差異，一是列印環節，印表機不可能不失真地復現照片內容；二是列印照片的二次成像，採集設備不可能將照片上的內容完美捕捉。除此之外，真實人臉和列印人臉在表面形狀上的差異，局部高光的差異等等，都會造成兩者在微紋理上的差異。
[0007]4、基於多線索融合的人臉活體檢測方法:除了上述三種不同的活體檢測方法之夕卜，還有一類方法在嘗試融合多種不同的線索。其中，較為常見的方法是將運動信息和紋理信息相結合用於活體檢測。這類方法考慮到基於紋理的方法無法處理高質量的攻擊，同時基於運動分析的方法也不能完全保證活體檢測的正確性。但是兩種方法在機理上存在一定的互補性。通過兩者的融合之後，活體檢測變得更加魯棒。
[0008]如上所述的人臉活體檢測方法，能夠在一定程度上減少人臉識別系統被非法用戶攻擊的可能性。然而，所有上述方法都會面臨兩個問題。在上述方法中，所有註冊人員的真人臉被當成一類，假人臉被當成一類來訓練一個二元分類器。然而，由於不同註冊人員本身的外貌差異，真人臉樣本和假人臉樣本的類內差異過大，導致訓練出來的活體檢測分類器性能不均衡，即對某些註冊人員的分類性能很好，而對某些註冊人員的分類性能極差。此夕卜，這種活體檢測分類器對新註冊人員的適應能力也較弱。根據多篇文獻中的實驗結果，使用活體檢測分類器對新的註冊人員和已註冊人員的人臉樣本進行活體檢測時，前者的性能與後者的性能相比明顯變差。而如果在每次在新註冊人員的樣本加入到資料庫中之後，為其重新訓練該活體檢測分類器的代價是相當之大的。隨著資料庫中的數據量的增長，訓練分類器所使用的樣本數量也會逐漸增加，致使後續的訓練過程非常耗時。這種訓練模式對人臉活體檢測系統的應用和推廣是相當不利。為了解決上述兩個問題，需要提出一種新的活體檢測思路，以提高活體檢測的實用性，從而助於活體檢測模塊在人臉識別系統的推廣。
【發明內容】
[0009](一 )要解決的技術問題
[0010]本發明提出一種面向特定人臉的活體檢測方法。該方法將人臉識別和人臉活體檢測進行有機結合，旨在解決傳統活體檢測方法對註冊人員檢測效果差異較大，對新註冊人員適應能力較弱缺點與不足。目前的人臉活體檢測方法均是使用可獲得的所有註冊人員的真實和假人臉樣本分別作為一類，並訓練得到一個活體檢測器。然而，由於不同註冊人員之間存在明顯的外貌差異，訓練得到的活體檢測器很難對所有的註冊人員均有較好的性能。此外，當有新註冊人員加入時，傳統活體檢測方法可能需要使用所有人臉樣本重新訓練活體檢測器。由於訓練樣本數量和樣本特徵維度較高，活體檢測器的重新訓練往往有很高的時間複雜度。
[0011](二)技術方案
[0012]本發明公開了一種特定人活體檢測方法。該方法為每個註冊人員分別訓練活體檢測器。在測試過程中，首先對新採集的人臉圖像進行身份識別，隨後使用該身份對應的活體檢測器對人臉圖像進行活體檢測。同時，本發明還公開了一種樣本合成算法。該算法為註冊人員合成無法獲取的真實或假人臉樣本，以供特定人活體檢測器的訓練。
[0013](三)有益效果
[0014]本發明提出的方法與傳統的活體檢測方法相比有幾個明顯的優勢。首先，和傳統的活體檢測方法不同，本方法首先對輸入的人臉圖像的身份進行確認，隨後再使用為該身份所對應的分類器進行活體檢測。它通過為每個註冊人員單獨訓練活體檢測分類器，能夠有效地避免了不同註冊人臉的相貌差異對活體檢測性能帶來的不利影響。同時，在有新的註冊人員加入到資料庫中時，只需要為該註冊人員訓練特定的活體檢測器，大大降低了訓練分類器所花費的時間代價。此外，該方法考慮到實際應用中獲取大量人臉訓練樣本的困難性，使用樣本合成算法合成無法直接獲取的訓練樣本，能夠很自然地與現有的人臉識別系統進行整合。
【專利附圖】
【附圖說明】
[0015]圖1為本發明提出的面向特定人臉的人臉活體檢測方法的流程圖；
[0016]圖2為本發明提出的基於人臉圖像變換的樣本合成算法流程圖；
[0017]圖3為本發明提出的基於人臉圖像特徵變換的樣本合成算法流程圖。
【具體實施方式】
[0018]本發明提出的面向特定人臉的人臉活體檢測方法使用特定的人臉活體檢測器對人臉圖像進行活體檢測以判斷該人臉圖像是否採集自真實人臉。該方法為每一個註冊人員訓練一個人臉活體檢測器。根據人臉識別引擎或者用戶給出的身份信息，人臉圖像被輸入到對應的活體檢測器進行真偽判斷。
[0019]圖1為本發明提出的面向特定人臉的人臉活體檢測方法的流程圖。如圖1所示，其主要包括如下步驟:
[0020]步驟S1、獲取人臉圖像；
[0021]步驟S2、根據所述人臉圖像確定與該人臉圖像對應的身份信息；
[0022]步驟S3、採用一個人臉活體檢測分類器判斷所述人臉圖像是否是所述身份信息對應的特定人的真實人臉圖像，其中，該人臉活體檢測分類器是針對所述特定人單獨進行訓練得到的。
[0023]在所述步驟S2中，可以提取所述非特定人的人臉圖像的特徵，並根據該圖像特徵來確定與該人臉圖像對應的身份信息，也可以由用戶直接給定與所述非特定人的人臉圖像對應的身份信息。
[0024]在所述步驟3中，人臉活體檢測器是針對每個註冊人員單獨訓練的人臉活體檢測器，並且，在針對特定註冊人員的人臉活體檢測器的訓練過程中，該特定註冊人員的真實人臉樣本作為一類訓練樣本，該特定註冊人員的假人臉樣本作為另一類訓練樣本。
[0025]在人臉識別系統中，註冊人員的真實人臉樣本在註冊時便可獲取，而假人臉樣本需要繁瑣的製作過程，相對不易獲取。如果註冊人員沒有對應的假人臉圖像，則無法訓練面向該註冊人員的活體檢測器。而在另外一些應用場合，註冊人員的假人臉樣本在可以輕易獲取，而獲取相應的真人臉樣本需要真人在現場採集，導致某些註冊人員的真人臉樣本數量較少甚至缺失。因此，本發明提出使用人臉樣本合成算法為所述特定註冊人員合成真實訓練樣本和/或假訓練樣本。該算法使用資料庫中已有的真實/假人臉樣本和新註冊人員的人臉樣本來合成新註冊人員的預設人臉樣本。為方便描述，假設既有真人臉樣本，又有假人臉樣本的註冊人員為參考人員；而只有真人臉樣本或假人臉樣本的註冊人員為目標人員。基於該算法，儘管無法獲取某些註冊人員的部分人臉樣本，我們依然可以使用合成的人臉樣本來訓練面向該特定註冊人員的人臉活體分類器。特別的，所述人臉樣本合成算法的樣本合成的方式是基於人臉圖像的樣本合成或基於人臉圖像特徵的樣本合成。
[0026]本發明的一種實施方式是，所述樣本合成算法基於參考人員的真實人臉樣本和假人臉樣本，以及特定註冊人員的真實人臉樣本合成特定註冊人員的假人臉樣本。下面分別描述上述步驟SI?S3中的人臉圖像特徵提取，人臉樣本合成的算法以及人臉活體檢測器的訓練。
[0027]1、人臉圖像特徵提取
[0028]我們可以從人臉圖像中提取不同類型的特徵，如顏色特徵，紋理特徵等。其中顏色特徵可以提取自不同的顏色空間，如RGB，HSI, HSV, YCbCr顏色空間等。同時，顏色特徵可以是顏色直方圖，也可以是原始圖像。而紋理特徵也可以有多種選擇，如局部二元模式(Local Binary Patter, LBP),局部相位量化(Local Phase Quantization, LPQ)，高斯差分(Difference of Gaussian,DOG),梯度直方圖特徵(Histogram of Oriented Gradient,HOG)等。我們以較為常用的兩種紋理特徵，即LBP和HOG特徵說明我們提出的方法的具體流程。具體地，首先使用一個常規的人臉檢測器定位視頻中的人臉區域，得到的圖像的寬高表示為wXh。隨後，所有人臉圖像被縮放到統一寬高120X140。在縮放後的人臉圖像上提取得到一個833維的LBP特徵。為了提取HOG特徵，將人臉區域分成6 X 7個胞元，每個胞元的大小為20X20。同時，為了減低計算量，沒有對每個block中的HOG特徵進行歸一化。因此，從人臉圖像上提取的HOG特徵的維度為42 X 9 = 378。在使用這些特徵進行訓練分類器之前，對其進行二範數歸一化。
[0029]2、人臉樣本合成
[0030]對於沒有人臉樣本的註冊人員，需要為其合成人臉樣本。本發明中樣本合成包括人臉圖像合成和人臉特徵合成兩種方式。圖2和圖3分別展示了基於樣本圖片合成和基於樣本特徵合成的算法流程。具體地，圖2展示的人臉圖片合成算法的步驟包括:(I)獲取人臉圖像，並將人臉圖像轉換成一維向量；(2)計算參考人員與目標人員之間的人臉圖像樣本之間變換關係；(3)基於人臉圖像之間的變換關係，為目標人員合成相應的人臉圖像。與人臉圖片合成不同，人臉特徵合成算法需要首先對人臉圖像進行特徵提取，隨後在特徵空間中估計參考人員與目標人員的人臉樣本之間的變換關係，並使用該變換關係合成目標人員相應的人臉圖像特徵。如前所述，在人臉樣本特徵合成算法中，有多種人臉特徵可供選取。
[0031]接下來，我們以假人臉樣本特徵合成為例來闡述本發明提出的樣本合成方法。我們假設新加入的註冊人員只有真人臉樣本，沒有假人臉樣本。那麼，我們需要為其合成假人臉樣本。需要指出的是，我們也可以用同樣的樣本合成方法為註冊人員合成真人臉樣本。具體地，在特徵空間中首先估計出參考人員的真人臉樣本和目標人員的真人臉樣本在特徵空間中的變換，隨後利用該變換將參考人員的假人臉樣本映射到特徵空間的相應位置。[0032]為了描述方便，將一張真人臉圖像表示為X = Ix1, X2, , xk}T，一張假人臉樣本表示為I = Iyi712，…，yJTo 一個註冊人員的所有人臉樣本表示為{A, B},其中A = (X1,X2, -,Xffl},B= (Y1, Y2,…，YJ分別表示m張真人臉和η張假人臉。樣本合成算法基於兩個假設:1)在特徵空間中，如果兩張來自不同人員的人臉在相似的條件下採集，那麼他們在空間中可以用一個線性變換來相互轉換；2)兩個人員的真人臉在特種空間中的變換和他們的假人臉的變換是相同的。第一個假設可以通過數學公式描述如下:
[0033]I,:1)
[0034]上式中的Xi和Xj是在同一條件下採集的兩個人員的真人臉樣本特徵；I1I和?是
從Xj到Xi的變換矩陣及偏移量。假設Ai和Aj中的樣本已經匹配上了，這意味著兩個特徵集中對應元素採集條件相同。那麼，公式(1.1)可以被擴展成:
[0035]4 = /? + Oj (0.2)
[0036]上式中的Q!是相應的偏移矩陣，該矩陣的所有列向量都等於rf =類似地，兩個人員的負樣本之間的變換如下所示:
[0037]B1 = Ipl + (Jl (0.3)
[0038]上式中的Pl和為相應的變換矩陣和偏移量。其中，Ql中的列向量表示為f| ?基於第二個假設，對於任意的兩個人員，％和^1相等，且<和<也相等。為了合成沒有觀測到的樣本的特徵，比如Bi,首先根據給定的Ai和Aj，基於公式(1.2)估計出PU和O隨後，根據公式(1.3)，使用Bi和已經估計得到的巧=Pjr，f| = d得出B」因此，樣本合成的關鍵步驟就是估計出和。
[0039]在進行樣本合成之前，需要對樣本進行匹配，即找到採集條件相同或者相似的來自兩個註冊人員的人臉圖像。為了找到兩個註冊人員相匹配的人臉圖像，我們通過最大化所有可能的對應關係下的相似度得到:
mn^m/>(Xf, -Xjj-)2
[0040]Φ(/, /) = max 2 exp(--￡——) (0.4)..~tσ
[0041]上式中Hli和Hij為第i和第j個註冊人員的真人臉樣本的數量；為{?}
中的第S個對應關係。上式可以通過奇異值分解(SVD)進行優化。首先，建立一個關聯矩陣G，該矩陣的{Si，SjI位置的元素等於註冊人臉i的第Si個真人臉樣本和註冊人臉j的第Sj個真人臉樣本之間的相似度。隨後，通過SVD方法，將G分解成U Σ Ψ。將其中的Σ用單位矩陣E代替，便可在G' = UEVt中找到在某一行和某一列的最大值，相應的行列號便是要求的最佳對應關係{aya」}。
[0042]以下介紹三種不同的估計Ff和C?】的方法:
[0043]1、中心漂移算法:
[0044]該算法假設和#|都是單位矩陣。在這種情況下，公式(1.2)和(1.3)可以轉化成:
【權利要求】
1.一種人臉活體檢測方法用於判斷人臉圖像是否採集自真實人臉，其特徵在於，包括如下步驟: 51、獲取註冊人員的人臉圖像； 52、根據所述人臉圖像確定與該人臉圖像對應的身份信息； 53、採用人臉活體檢測分類器判斷所述人臉圖像是否是所述身份信息對應的特定人的真實人臉圖像，其中，該人臉活體檢測分類器是針對所述特定人單獨進行訓練得到。
2.如權利要求1所述的人臉活體檢測方法，其特徵在於，在所述步驟S2中，通過提取所述人臉圖像的特徵，並根據該圖像特徵來確定與該人臉圖像對應的身份信息。
3.如權利要求1所述的人臉活體檢測方法，其特徵在於，所述步驟S2中，人臉圖像對應的身份信息可由用戶直接給定。
4.如權利要求1所述的人臉活體檢測方法，其特徵在於，步驟S3中所述人臉活體檢測器是針對每個註冊人員單獨訓練的人臉活體檢測器，並且，該特定註冊人員的真實人臉樣本作為一類訓練樣本，該特定註冊人員的假人臉樣本作為另一類訓練樣本。
5.如權利要求4所述的人臉活體檢測方法，其特徵在於:可使用人臉樣本合成算法為所述特定註冊人員合成真實人臉樣本和/或假人臉樣本。
6.如權利要求5中所述的人臉活體檢測方法，其特徵在於:所述樣本合成算法基於參考人員的真實人臉樣本和假人臉樣本，以及特定註冊人員的真實人臉樣本合成特定註冊人員的假人臉樣本。
7.如權利要求5中所述的人臉活體檢測方法，其特徵在於:所述樣本合成算法基於參考人員的真實人臉樣本和假人臉樣本，以及特定註冊人員的假人臉樣本合成特定註冊人員的真實人臉樣本。
8.如權利要求5中所述的人臉活體檢測方法，其特徵在於:所述人臉樣本合成算法是基於人臉圖像或人臉圖像特徵。
9.如權利要求8中所述的基於人臉圖像的樣本合成方法，其特徵在於:使用相應算法為特定註冊人員合成真實或假人臉圖像。
10.如權利要求8中所述的基於人臉圖像特徵的樣本合成方法，其特徵在於:使用相應算法為特定註冊人員合成真實或假人臉圖像特徵。
【文檔編號】G06K9/62GK103886301SQ201410122631
【公開日】2014年6月25日 申請日期:2014年3月28日 優先權日:2014年3月28日
【發明者】李子青, 雷震, 楊健偉, 易東 申請人:中國科學院自動化研究所