雙驗證人臉防偽方法及裝置的製作方法
2023-05-05 06:09:01
專利名稱：雙驗證人臉防偽方法及裝置的製作方法
技術領域：
本發明涉及一種人臉防偽方法及裝置，尤其是一種雙驗證人臉防偽方法及裝置，屬於圖像處理與模式識別的技術領域。
背景技術：
人臉防偽技術關係到人臉識別認證授權系統的安全性，如果沒有人臉防偽功能，人臉識別認證授權系統易受到虛假人臉的攻擊，進而可能引發嚴重的安全問題。例如，攻擊者可以通過某種手段獲取某一特定目標(即指定人)的人臉圖像並製成照片、視頻、或面具等，呈現在系統面前，以期獲得非法權限。因此，人臉防偽技術受到越來越多的關注。目前國際上現有的人臉防偽技術，主要基於人機互動策略系統發出特定指令，要求用戶作出眨眼、發音等特定行為，進而判斷輸入人臉的活性。根據常見的動作可以劃分為以下三種方式第一種是基於眨眼的活體檢測，公開該技術的文獻有l)Gang Pan, Lin Sun,Zhaohui Wu and Shilong Lao. Eyeblink-based Anti-Spoofing in Face Recognitionfrom a Generic Webcamera, International Conference on Computer Vision，2007，2)K.Kollreider, H. Fronthaler and J. Bigun. Verifying Liveness by Multiple Expertsin Face Biometrics， IEEE Conference on Computer Vision and Pattern RecognitionWorkshop，2008，3)專利號為ZL200710178088. 6，發明名稱為「一種基於人臉生理性運動的活體檢測方法及系統」的專利文獻。第二種是基於搖頭的活體檢測，公開該技術的相關文獻包括1)K. Kollreider，H. Fronthaler and J. Bigun. Evaluating Liveness by FaceImages and the Structure Tensor， IEEE Workshop on Automatic IdentificationAdvanced Technologies，2005，2)Wei Bao, Hong Li，Nan Li and Wei Jiang. A LivenessDetection Method for Face Recognition Based on Optical Flow Field，InternationalConference on Image Analysis and Signal Processing，2009。第三種是基於語音及嘴部動作的活體檢測，公開該技術的相關文獻有G. Chetty and M. Wagner. LivenessVerification in Audio-Video Speaker Authentication. In IOth Australian Int.Conference on Speech Science and Technology，2004。這種基於人機互動的方法由於要求使用者表現特定行為，因此用戶負擔較重、用戶體驗不佳、所需時間較長。
另外，有的研究者從多光譜的角度入手，通過分析皮膚在不同光譜下的反射率進行活體檢測，相關文獻有I) Ioannis Pavlidis, Peter Symosek, The Imaging Issue inan Automatic Face/Disguise Detection System, IEEE workshop on Computer VisionBeyond the Visible Spectrum !Methods and Applications，2000。2)Youngshin Kim,Jaekeun Na，Seongbeak Yoon, and Juneho Yi. Masked fake face detection usingradiance measurements, J. Opt. Soc. Am, vol. 26, no. 4, April 2009。但該種方法目前還很粗糙，精度上也並不理想，還有很大的改進空間。以上所述的人臉防偽方法，亦可以成為活體檢測技術，因為他們都只判斷目標人臉是否具有生物活性。然而，實際應用中，有可能出現真實人員去仿冒攻擊指定人的情況，此時目標人臉確實為真實人臉，但是仍然屬於攻擊人臉識別系統的行為。因此人臉防偽技術不應僅僅包含活體檢測。並且上述方法普遍存在用戶負擔重、人機互動時間長、準確度不高等缺點，因此開發準確、快速、適用範圍廣的人臉防偽方法勢在必行。
發明內容
本發明的目的是克服現有技術中存在的不足，提供一種雙驗證人臉防偽方法及裝置，其提高識別精確度，方便，安全可靠。 按照本發明提供的技術方案，一種雙驗證人臉防偽方法，所述方法包括步驟1，對採集的目標人臉進行活體檢測，判斷目標人臉是否具有生物活性，如果目標人臉被認定具有活體特性，則轉入步驟2 ；步驟2，如果是在人臉識別應用中，則計算採集到的目標人臉與識別結果對應的人臉之間的相似度，若大於某一閾值，則認為該目標人臉是真實有效的人臉；如果是在人臉驗證應用中，則計算採集到的目標人臉與目標人臉所聲稱的身份對應的人臉之間的相似度，若大於某一閾值，則認為該目標人臉是真實有效的人臉，其中步驟I與指定人無關，步驟2與指定人有關，當目標人臉同時通過步驟I和步驟2的驗證之後，才能被認定為是真實有效的人臉，否則被認定為是虛假人臉。如果所述雙驗證人臉防偽方法是基於可見光，則步驟I進一步包括步驟101，對目標人臉進行活體檢測，首先採集大量真實、虛假人臉樣本，對目標人臉提取各種紋理特徵，訓練活體檢測紋理分類器，若目標人臉被活體檢測紋理分類器認定為真實人臉，則進入步驟2，否則認定為虛假人臉；步驟102，通過人機互動確定目標人臉的有效性，其中系統發出指令，要求用戶做出一定的動作，然後系統不斷檢測目標人臉是否做出相應動作，若在一定時間內檢測到上述動作的發生，則判斷目標人臉為真實人臉，否則為虛假人臉；只有目標人臉同時通過步驟101和102，才被認為通過步驟I的活體檢測。步驟2進一步包括步驟201，首先採集大量真實人臉圖像，對每張人臉圖像提取其紋理特徵；步驟202，然後將採集的所有人臉圖像的特徵向量兩兩相減，根據兩圖像是否屬於同一個人，將相減後的特徵向量分為類內、類間兩類，利用機器學習算法訓練一個兩類分類器，由此訓練得到的分類器可以判斷輸入的兩個特徵向量是否屬於同一個人；步驟203，如果是在人臉識別應用中，若目標人臉圖像與識別結果對應的人臉圖像，被步驟202中的分類器認定為屬於同一人，則認為目標人臉真實有效，否則為虛假人臉;如果是在人臉驗證應用中，則目標人臉圖像與所聲稱的指定人身份對應的人臉圖像，被步驟202中的分類器認定為屬於同一人，則認為目標人臉真實有效，否則為虛假人臉。如果所述雙驗證人臉防偽方法是基於多模態，則步驟I進一步包括步驟101，粗略判斷目標人臉的生物活性，其中按照下面的方式中的一種或多種進行判斷通過熱紅外判斷目標人臉的溫度，判斷是否接近37度；通過3D圖像判斷人臉的深度信息，判斷面部是否為3D物體；通過超聲波反射分析目標人臉的超聲波反射率，判斷皮膚的超聲波反射率是否與真實人臉相似；通過多光譜成像分析目標人臉在不同光譜下的反射率，判斷皮膚的多光譜反射率是否與真實人臉相似，如果通過上述一種或多種方式判斷目標人臉的信息指標與真實人臉相似，則進入步驟102 ；
步驟102，精確判斷目標人臉的生物活性，將採集到的多光譜人臉圖像，利用互商圖像算法進行準確的活體判斷，只有目標人臉同時通過步驟101和102，才被認為通過步驟I的活體檢測。互商圖像算法包括如下步驟步驟1021，採集大量真人人臉和虛假人臉在不同距離下的多光譜成像構成訓練數據集，對於同一個人的任意兩張不同光譜下的圖像進行像素級的相除，組成互商圖像組，假設任意選定兩個光譜X1, λ2，同一個人臉在兩個光譜下的圖像為'和'，其互商圖像定義如下
權利要求
1.一種雙驗證人臉防偽方法，其特徵是，所述方法包括步驟I，對採集的目標人臉進行活體檢測，判斷目標人臉是否具有生物活性，如果目標人臉被認定具有活體特性，則轉入步驟2 ;步驟2，如果是在人臉識別應用中，則計算採集到的目標人臉與識別結果對應的人臉之間的相似度，若大於某一閾值，則認為該目標人臉是真實有效的人臉；如果是在人臉驗證應用中，則計算採集到的目標人臉與目標人臉所聲稱的身份對應的人臉之間的相似度，若大於某一閾值，則認為該目標人臉是真實有效的人臉，其中步驟I與指定人無關，步驟2與指定人有關，當目標人臉同時通過步驟I和步驟2 的驗證之後，才能被認定為是真實有效的人臉，否則被認定為是虛假人臉。
2.根據權利要求I所述的雙驗證人臉防偽方法，其特徵是，如果所述雙驗證人臉防偽方法是基於可見光，則步驟I進一步包括步驟101，對目標人臉進行活體檢測，首先採集大量真實、虛假人臉樣本，對目標人臉提取各種紋理特徵，訓練活體檢測紋理分類器，若目標人臉被活體檢測紋理分類器認定為真實人臉，則進入步驟2，否則認定為虛假人臉；步驟102，通過人機互動確定目標人臉的有效性，其中系統發出指令，要求用戶做出一定的動作，然後系統不斷檢測目標人臉是否做出相應動作，若在一定時間內檢測到上述動作的發生，則判斷目標人臉為真實人臉，否則為虛假人臉；只有目標人臉同時通過步驟101和102，才被認為通過步驟I的活體檢測。
3.根據權利要求2所述的雙驗證人臉防偽方法，其特徵是，步驟2進一步包括步驟201，首先採集大量真實人臉圖像，對每張人臉圖像提取其紋理特徵；步驟202，然後將採集的所有人臉圖像的特徵向量兩兩相減，根據兩圖像是否屬於同一個人，將相減後的特徵向量分為類內、類間兩類，利用機器學習算法訓練一個兩類分類器， 由此訓練得到的分類器可以判斷輸入的兩個特徵向量是否屬於同一個人；步驟203，如果是在人臉識別應用中，若目標人臉圖像與識別結果對應的人臉圖像，被步驟202中的分類器認定為屬於同一人，則認為目標人臉真實有效，否則為虛假人臉；如果是在人臉驗證應用中，則目標人臉圖像與所聲稱的指定人身份對應的人臉圖像， 被步驟202中的分類器認定為屬於同一人，則認為目標人臉真實有效，否則為虛假人臉。
4.根據權利要求I所述的雙驗證人臉防偽方法，其特徵是，如果所述雙驗證人臉防偽方法是基於多模態，則步驟I進一步包括步驟101，粗略判斷目標人臉的生物活性，其中按照下面的方式中的一種或多種進行判斷通過熱紅外判斷目標人臉的溫度，判斷是否接近37度；通過3D圖像判斷人臉的深度信息，判斷面部是否為3D物體；通過超聲波反射分析目標人臉的超聲波反射率，判斷皮膚的超聲波反射率是否與真實人臉相似；通過多光譜成像分析目標人臉在不同光譜下的反射率，判斷皮膚的多光譜反射率是否與真實人臉相似，如果通過上述一種或多種方式判斷目標人臉的信息指標與真實人臉相似，則進入步驟102 ；步驟102，精確判斷目標人臉的生物活性，將採集到的多光譜人臉圖像，利用互商圖像算法進行準確的活體判斷，只有目標人臉同時通過步驟101和102，才被認為通過步驟I的活體檢測。
5.根據權利要求4所述的雙驗證人臉防偽方法，其特徵是，互商圖像算法包括如下步驟步驟1021，採集大量真人人臉和虛假人臉在不同距離下的多光譜成像構成訓練數據集，對於同一個人的任意兩張不同光譜下的圖像進行像素級的相除，組成互商圖像組，假設任意選定兩個光譜X1, λ 2，同一個人臉在兩個光譜下的圖像為'和/^，其互商圖像定義如下
6.根據權利要求4所述的雙驗證人臉防偽方法，其特徵是，步驟2進一步包括步驟201，採集大量真實人臉的多模態圖像，對每張圖像提取其紋理特徵；步驟202，將圖像的特徵向量兩兩相減，根據兩圖像是否屬於同一個人，將相減後的特徵向量分為類內、類間兩類，利用機器學習算法訓練一個兩類分類器，訓練得到的分類器能夠判斷輸入的兩個特徵向量是否屬於同一個人；步驟203，如果是在人臉識別應用中，若目標人臉圖像與識別結果對應的人臉圖像，被步驟202中的分類器認定為屬於同一人，則認為目標人臉真實有效，否則為虛假人臉；如果是在人臉驗證應用中，若目標人臉圖像與所聲稱的指定人身份對應的人臉圖像， 被步驟202中的分類器認定為屬於同一人，則認為目標人臉真實有效，否則為虛假人臉。
7.根據權利要求4所述的雙驗證人臉防偽方法，其特徵是，每種不同的成像類型被稱為一個模態，成像類型包括可見光成像，近紅外成像，近紫外成像，熱紅外成像或超聲波成像。
8.—種雙驗證人臉防偽裝置，該裝置包括感應單元，用於使用近紅外、超聲波、射頻方式或可見光攝像頭中的一種或多種，通過實時監控的方式，感應人臉的存在；多模態發生源，包含多個光譜下的主動光源、用於3D成像所需的3D結構光或者超聲波發生器中的一種或多種；多模態數據採集設備，用於採集人臉的多光譜成像，人體本身所發出的熱紅外光成像， 人臉的3D圖像或超聲波成像中的一種或多種；多模態人臉檢測單元，用於檢測多模態圖像中的人臉位置，並將檢測到的人臉圖像發送到多模態雙驗證人臉防偽單元；多模態雙驗證人臉防偽單元，用於驗證目標人臉是否為真實有效的人臉；顯示單元，用於顯示人臉防偽結果，其中，多模態雙驗證人臉防偽單元進一步包括多模態人臉活體檢測單元，用於對目標人臉進行活體檢測；多模態人臉驗證單元，用於對目標人臉進行身份驗證。
9.根據權利要求8所述的雙驗證人臉防偽裝置，其特徵是，所述多模態人臉活體檢測單元對目標人臉進行活體檢測時，首先，粗略判斷目標人臉的生物活性，其中按照下面的方式中的一種或多種進行判斷通過熱紅外判斷目標人臉的溫度，判斷是否接近37度；通過 3D圖像判斷人臉的深度信息，判斷面部是否為3D物體；通過超聲波反射分析目標人臉的超聲波反射率，判斷皮膚的超聲波反射率是否與真實人臉相似；通過多光譜成像分析目標人臉在不同光譜下的反射率，判斷皮膚的多光譜反射率是否與真實人臉相似，如果通過上述一種或多種方式判斷目標人臉的信息指標與真實人臉相似，則繼續精確判斷目標人臉的生物活性，將採集到的多光譜人臉圖像，利用互商圖像算法進行準確的活體判斷。
10.根據權利要求9所述的雙驗證人臉防偽裝置，其特徵是，互商圖像算法包括如下步驟採集大量真人人臉和虛假人臉在不同距離下的多光譜成像構成訓練數據集，對於同一個人的任意兩張不同光譜下的圖像進行像素級的相除，組成互商圖像組，假設任意選定兩個光譜A1, λ 2，同一個人臉在兩個光譜下的圖像為\和\，其互商圖像定義如下，加) +I xi A2OU其中，P表示人臉的反射率，K代表光源在人臉表面處的強度，ζ代表人臉距離光源的距離，(X，y)代表人臉圖像上的坐標；對於所有的互商圖像，在多個尺度上劃分為多個重疊或不重疊的小塊，提取每個小塊的特徵向量，將所有小塊的特徵向量進行組合，作為全局的特徵向量；基於統計學習方法，在訓練數據集上訓練分類器，用於區分真實、虛假人臉。
11.根據權利要求9所述的雙驗證人臉防偽裝置，其特徵是，多模態人臉驗證單元對目標人臉進行身份驗證時，首先採集大量真實人臉的多模態圖像，對每張圖像提取其紋理特徵；其次，將圖像的特徵向量兩兩相減，根據兩圖像是否屬於同一個人，將相減後的特徵向量分為類內、類間兩類，利用機器學習算法訓練一個兩類分類器，訓練得到的分類器能夠判斷輸入的兩個特徵向量是否屬於同一個人；如果是在人臉識別應用中，若目標人臉圖像與識別結果對應的人臉圖像，被上述兩類分類器認定為屬於同一人，則認為目標人臉真實有效，否則為虛假人臉；如果是在人臉驗證應用中，若目標人臉圖像與所聲稱的指定人身份對應的人臉圖像，被上述兩類分類器認定為屬於同一人，則認為目標人臉真實有效，否則為虛假人臉。
12.根據權利要求9-11任一項所述的雙驗證人臉防偽裝置，其特徵是每種不同的成像類型被稱為一個模態，成像類型包括可見光成像，近紅外成像，近紫外成像，熱紅外成像或超聲波成像。
全文摘要
本發明涉及一種雙驗證人臉防偽方法及裝置，該方法包括步驟1，對採集的目標人臉進行活體檢測，判斷目標人臉是否具有生物活性，如果目標人臉被認定具有活體特性，則轉入步驟2；步驟2，如果是在人臉識別應用中，則計算採集到的目標人臉與識別結果對應的人臉之間的相似度，若大於某一閾值，則認為該目標人臉是真實有效的人臉；如果是在人臉驗證應用中，則計算採集到的目標人臉與目標人臉所聲稱的身份對應的人臉之間的相似度，若大於某一閾值，則認為該目標人臉是真實有效的人臉。利用本發明的方法，通過活體檢測與身份驗證的結合，提供準確、可靠的人臉防偽檢測結果。
文檔編號A61B5/117GK102622588SQ20121005945
公開日2012年8月1日 申請日期2012年3月8日 優先權日2012年3月8日
發明者張志煒, 易東, 李子青, 雷震 申請人:無錫數字奧森科技有限公司