用於面部驗證的方法和系統與流程
2023-07-18 17:03:16
本申請涉及用於面部驗證的方法及其系統。
背景技術：
早期的子空間面部識別方法(諸如LDA和貝葉斯面部)減小了由於姿勢、照明條件、表情、年齡和遮擋情況而引起的在同一人中的變化，同時擴大了人與人之間的變化。例如，LDA通過使用兩個線性子空間對人與人之間的面部變化和同一人的面部變化作近似，以及得到最大化這兩者之間的比例的投影方向。
更近期的研究也已明確地或隱含地瞄準了相同目標。例如，提出了距離學習(metric learning)以將面部圖像映射到一些特徵表示上，以使得同一身份的面部圖像彼此靠近而不同身份的面部圖像保持分開。但是，這些模型非常受限於它們的線性本質或淺層結構，而人與人之間的變化和同一人內的變化是複雜的、高度非線性的以及是在高維度圖像空間中被觀察的。
近年來，大量的努力被用來通過深度模型使用識別監督信號或驗證監督信號學習用於面部識別的有效特徵。使用識別信號學習的特徵已經在LFW上獲得了大約97.45％的準確度。
連同地解決分類任務和驗證任務的思想被應用到一般物體識別中，其集中於改善對於固定的物體種類而非隱藏特徵表示的分類準確度。
技術實現要素：
在本申請的一方面中公開了用於面部驗證的設備。該設備可包括特徵提取單元和驗證單元。在一個實施方式中，特徵提取單元包括通過使用不同的面部訓練集而訓練出的多個卷積特徵提取系統，其中，系統中的每個包括：多個級聯的卷積特徵提取單元、池化特徵提取單元、局部連接特徵提取單元和全連接特徵提取單元，這些特徵提取單元配置為從面部圖像的面部區域中提取用於面部驗證的面部特徵；其中，在本申請的一個實施方式中可以是全連接單元的單元層級中的輸出單元連接至先前的卷積單元、池化單元、局部連接單元或全連接單元中的至少一個並且配置為從所連接的單元中的面部特徵中提取用於面部驗證的面部特徵(稱作深度識別-驗證特徵或DeepID2)。
驗證單元可配置為比較從待比較的兩個面部圖像提取的所獲得的DeepID2，從而確定這兩個面部圖像是否來自同一身份。
在本申請的另一方面中公開了用於面部驗證的方法。該方法可包括：通過使用不同訓練的卷積特徵提取系統從面部圖像的不同區域提取DeepID2的步驟，以及比較分別從待比較的兩個面部圖像提取的DeepID2以確定這兩個面部圖像是否來自同一身份的步驟，其中，所述卷積特徵提取系統的輸出層的神經元激活值被認為是DeepID2。
根據本申請，上述設備還可包括訓練單元，該訓練單元配置為通過輸入成對的對準面部區域以及同時將識別監督信號和驗證監督信號添加至卷積特徵提取系統來訓練用於同時身份分類和身份驗證的多個卷積特徵提取系統。
根據本申請，還具有用於訓練卷積特徵提取系統的方法，該方法包括：
1)從預定訓練集採樣兩個面部區域-標籤對；
2)分別從所採樣的兩個面部區域-標籤對中的兩個面部區域提取DeepID2；
3)將從每個面部區域提取的DeepID2分類到面部身份的全部種類中的一種中；
4)將經過分類的身份與給定參考身份進行比較從而生成識別誤差；
5)將分別從待比較的兩個面部區域提取的兩個DeepID2矢量之間的相異性進行比較來生成驗證誤差；
6)將所生成的驗證誤差和所生成的識別誤差的組合反向傳播通過卷積特徵提取系統，從而調節卷積特徵提取系統的神經元之間的連接權重；以及
7)重複步驟1)-6)直至訓練過程收斂，從而確定卷積特徵提取系統的神經元之間的連接權重。
根據本申請，還具有用於訓練卷積特徵系統的系統，該系統包括：
從預定訓練集採樣兩個面部區域-標籤對的裝置；
分別從所採樣的兩個面部區域-標籤對中的兩個面部區域提取DeepID2的裝置；
將從每個面部區域提取的DeepID2分類到面部身份的全部種類中的一種中的裝置；
將經過分類的身份與給定參考身份進行比較從而生成識別誤差的裝置；
將分別從待比較的兩個面部區域提取的兩個DeepID2矢量之間的相異性進行比較來生成驗證誤差的裝置；
將所生成的驗證誤差和所生成的識別誤差的組合反向傳播通過卷積特徵提取系統從而調節卷積特徵提取系統的神經元之間的連接權重的裝置；以及
重複以上步驟直至訓練過程收斂從而確定卷積特徵提取系統的神經元之間的連接權重的裝置。
根據本申請，還提供了計算機可讀介質，該計算機可讀介質用於存儲可由一個或多個處理器運行從而執行以下操作的指令：
1)從預定訓練集採樣兩個面部區域-標籤對；
2)分別從所採樣的兩個面部區域-標籤對中的兩個面部區域提取DeepID2；
3)將從每個面部區域提取的DeepID2分類到面部身份的全部種類中的一種中；
4)將經過分類的身份與給定參考身份進行比較從而生成識別誤差；
5)將分別從待比較的兩個面部區域提取的兩個DeepID2矢量之間的相異性進行比較來生成驗證誤差；
6)將所生成的驗證誤差和所生成的識別誤差的組合反向傳播通過卷積特徵提取系統，從而調節卷積特徵提取系統的神經元之間的連接權重；以及
7)重複步驟1)-6)直至訓練過程收斂，從而確定卷積特徵提取系統的神經元之間的連接權重。
與現有方法對比，本申請使用深度卷積特徵提取系統處理人與人之間的面部變化和同一人的面部變化，該深度卷積特徵提取系統由於其深度架構和強大的學習能力，可通過分層非線性映射來學習有效的用於面部識別的DeepID2。
本申請通過同時使用兩個監督信號(即，面部識別信號和面部驗證信號)來學習DeepID2。面部識別信號通過將從不同身份提取的DeepID2分開而增加人與人之間的變化，而面部驗證信號通過將從同一身份提取的DeepID2聚攏而減小同一人內的變化，這兩種信號對於面部識別都至關重要。
本申請通過從多種面部區域和解析度提取互補的DeepID2而從不同的方面表徵面部，這些表徵隨後被組合從而在PCA降維處理後形成最終面部表示。學習的DeepID2在以下方面優於通過現有方法學習的特徵：學習的DeepID2在不同身份之間分化而在同一身份之內保持一致，從而使得以下面部識別變得更容易。
附圖說明
下文中參照附圖對本發明的示例性非限制實施方式進行描述。附圖是說明性的並且通常不表示精確尺寸。不同附圖上的相同或相似的元件使用相同的附圖標記表示。
圖1是示出了根據一些公開的實施方式的用於面部驗證的設備的示意圖。
圖2是示出了根據一些公開的實施方式的用於面部驗證的設備在用軟體實施時的示意圖。
圖3是示出了根據第一公開實施方式的一組選擇的面部區域的示意圖，其中，DeepID2從這組選擇的面部區域中被提取。
圖4是示出了根據第二公開實施方式的卷積特徵提取系統的具體結構的示意圖。
圖5是示出了被添加至卷積特徵提取系統的輸出層中的DeepID2的識別監督信號和驗證監督信號的示意圖。
圖6是示出了根據一些公開的實施方式的面部驗證的示意性流程圖。
圖7是示出了根據一些公開的實施方式的用於提取DeepID2的深度卷積特徵提取系統的訓練過程的示意性流程圖。
圖8是示出了根據一些公開的實施方式的如圖1所示的訓練單元的示意圖。
具體實施方式
現在將詳細參照示例性實施方式，其中在附圖中示出了這些示例性實施方式的示例。在恰當的情況下，在全部附圖中使用相同的附圖標記表示相同或相似的部件。圖1是示出了根據一些公開的實施方式的用於面部驗證的示例性設備1000的示意圖。
應理解的是，設備1000可使用特定硬體、軟體或者硬體與軟體的組合實現。此外，本發明的實施方式可改造為實現於包含電腦程式代碼的一個或多個計算機可讀儲存介質(包括但不限於磁碟儲存器、CD-ROM、光存儲器等)上的電腦程式產品。
在使用軟體實現設備1000的情況下，設備1000可包括通用計算機、計算機群、主流計算機、專用於提供在線內容的計算機裝置、或包括以集中方式或分布方式運行的一組計算機的計算機網絡。如圖2中所示，設備1000可包括一個或多個處理器(處理器102、104、106等)、存儲器112、儲存裝置116、通信接口114以及便於在設備1000的各種部件之間交換信息的總線。處理器102-106可包括中央處理單元(「CPU」)、圖形處理單元(「GPU」)或其它合適的信息處理裝置。根據所使用的硬體的類型，處理器102-106可包括一個或多個印刷電路板、和/或一個或多個微處理器晶片。處理器102-106可運行電腦程式指令序列以執行將在下文更為詳細地解釋的各種方法。
存儲器112還可包括隨機存取存儲器(「RAM」)和只讀存儲器(「ROM」)。電腦程式指令可存儲在存儲器112中、從存儲器112中被訪問和讀取，從而供處理器102-106中的一個或多個處理器來運行。例如，存儲器112可存儲一個或多個軟體應用。此外，存儲器112可存儲全部軟體應用或僅存儲軟體應用中可由處理器102-106中的一個或多個處理器執行的部分。應注意到的是，雖然圖1中僅示出了一個框來表示存儲器，但是存儲器112可包括安裝在中央計算裝置上或安裝在不同計算裝置上的多個實體裝置。
再次參照圖1，當設備1000通過硬體實現時，其可包括特徵提取單元10和驗證單元20。特徵提取單元10配置為通過使用經過不同地訓練的卷積特徵提取系統從面部圖像的不同區域提取DeepID2(深度識別-驗證特徵)，以及將所述卷積特徵提取系統的輸出層的神經元激活值作為DeepID2。驗證單元20配置為比較分別從待比較的兩個面部圖像提取的DeepID2，從而確定這兩個面部圖像是否來自同一身份。
特徵提取單元(提取器)10
特徵提取單元10包括多個卷積特徵提取系統並操作為將特定面部區域輸入至卷積特徵提取系統中的每個以提取DeepID2。圖3示出了在面部對準之後選擇的用於提取DeepID2的輸入面部區域的示例，其中，面部區域包括在位置、尺寸、顏色通道和水平翻轉方面的大的變化。圖4示出了卷積特徵提取系統的示例，其包括輸入層(本文中也稱作輸入單元)32、多個卷積層(本文中也稱作卷積單元)34、多個池化層(本文中也稱作池化單元)36、多個局部連接層(本文中也稱作局部連接單元)38以及多個全連接層(本文中也稱作全連接單元)40，其中，卷積特徵提取系統的輸出層(在本申請的一個實施方式中可以是全連接層40)連接至一個或多個先前的卷積層、池化層、局部連接層或全連接層。卷積層、池化層、局部連接層和全連接層中的每個包含具有局部接收域或全局接收域的多個神經元，並且在神經元之間共享或不共享連接權重。卷積特徵提取系統的輸出層(可以是全連接層40)神經元激活值是提取的DeepID2，其將在下文中進一步討論。
在如圖4所示的本申請的實施方式中，卷積特徵提取系統中的每個包括n個(例如，n＝3)卷積層34，其中這n個卷積層34中的每個之後都跟隨有最大池化層36。第三最大池化層之後跟隨有局部連接層38和全連接層40。全連接層40是DeepID2層，其全連接至局部連接層38和第三最大池化層36。不需要在較高卷積層中的全部特徵圖上進行權重共享。具體地，在所示出的深度卷積特徵提取系統的第三卷積層中，在(例如)每個2×2局部區域局部地共享神經元權重。卷積特徵提取系統在特徵提取層級的最後一層(DeepID2層40)提取多維度(例如，160維度)DeepID2矢量。在卷積層34、局部連接層38和全連接DeepID2層40中對神經元使用ReLU(Rectified linear unit，修正線性單元)。在如圖4所示的實施方式中，使用了尺寸為(例如)55×47的RGB輸入。當輸入區域的尺寸改變時，後續層中的特徵圖尺寸將相應改變。
下文中將進一步討論如在上文中所提及的卷積特徵提取系統中的卷積操作、池化操作、局部連接操作和全連接操作。
卷積層34配置為從輸入特徵圖(先前層的輸出特徵圖)提取局部面部特徵以形成當前層的輸出特徵圖。每個特徵圖均是以2D形式組織的某種特徵。使用同一組神經元連接權重從輸入特徵圖中提取出同一輸出特徵圖中的特徵或者同一特徵圖的局部區域中的特徵。在如圖4所示的卷積特徵提取系統的每個卷積層34中的卷積操作可表示為：
其中xi和yj分別是第i個輸入特徵圖和第j個輸出特徵圖。kij是第i個輸入特徵圖與第j個輸出特徵圖之間的卷積核。*表示卷積。bj是第j個輸出特徵圖的偏置值。本文中，ReLU非線性函數y＝max(0,x)用於神經元，相較於sigmoid函數，該非線性函數展示出了對於大量的訓練數據具有更好的擬合能力。在ConvNet的較高卷積層中的權重被局部共享以學習不同區域中的不同的中級特徵或高級特徵。r表示權重被共享的局部區域。
池化層36配置為提取更全局且不變的面部特徵。在圖4的池化層36中使用最大池化，其由以下公式表示：
其中第i個輸出特徵圖yi中的每個神經元在第i個輸入特徵圖xi中的s×s的非重疊局部區域上池化。
局部連接層38配置為從輸入特徵圖(先前層的輸出特徵圖)提取局部面部特徵以形成當前層的輸出特徵圖。使用不同組的神經元連接權重從輸入特徵圖提取輸出特徵圖中的特徵。在本申請的實施方式中，局部連接層38在第三池化層36之後。局部連接層38的操作可表示為：
其中，第j個輸出特徵圖中的每個神經元局部連接至在全部先前特徵圖中的同一s×s局部區域中的神經元，其後跟隨ReLU激活函數。
全連接層40(在本申請的實施方式中用作輸出層或DeepID2層)可全連接至先前的卷積層34、池化層36、局部連接層38或全連接層40中的至少一個。在如圖4所示的實施方式中，DeepID2的全連接層40全連接至第三池化層36和局部連接層38，使得DeepID2的全連接層40感知多尺寸特徵(局部連接層38中的特徵比第三池化層36中的特徵更全局)。這對於特徵學習是至關重要的，因為在沿著層級連續下採樣之後，局部連接層38包含太少的神經元，並且成為信息傳播的瓶頸。在第三池化層36(稱作跳層)與DeepID2層40之間添加旁路連接減少了在局部連接層38中的可能的信息損失。輸出DeepID2層40可通過以下方式獲得DeepID2矢量y：
其中，x1、x2分別表示第三池化層36和局部連接層38中的神經元輸出(特徵)；w1和w2表示對應的連接權重。DeepID2層40中的神經元線性地組合先前的兩層(第三池化層36和局部連接層38)中的特徵，其後進行ReLU非線性操作。yj是多維度真值矢量y的第j個元素，即，DeepID2矢量的第j個元素。
在本申請的實施方式中，首先用EGM算法檢測多個面部特徵點(facial landmarks)。本文中，採取21個面部特徵點作為示例對本申請進行討論。面部圖像中的每個根據檢測到的特徵點通過相似變換來全局對準。隨後，根據全局對準的面部圖像和面部特徵點的位置裁取多個(例如，400個)面部區域，這些面部區域在位置、尺寸、顏色通道和水平翻轉方面變化。作為示例，如果存在400個裁取的面部區域，則將通過總計200個深度卷積特徵提取系統提取400個DeepID2矢量，這200個深度卷積特徵提取系統中的每個被訓練用於分別在每個面部圖像的一個特定面部區域以及其水平翻轉對應面部區域上提取兩個160維度的DeepID2矢量。為了減少大量DeepID2之間的冗餘，使用正向-反向貪婪算法(forward-backward greedy algorithm)選擇少量有效且互補的DeepID2矢量(在如圖3所示的實施方式中為25個)，從這些有效且互補的DeepID2矢量中提取25個160維度的DeepID2矢量並且將這25個160維度的DeepID2矢量組合成4000維度的DeepID2矢量。該4000維度的矢量通過PCA進一步壓縮以用於進一步的面部驗證。
驗證單元(驗證器)20
根據本申請的一個實施方式，提取的DeepID2中的每個可形成特徵矢量。形成的矢量可例如具有如圖4所示的160維度。驗證單元20可選擇每個面部圖像中的多個面部區域來提取DeepID2。例如，在如圖3所示的實施方式中，選擇了25個面部區域，但是其它數量的面部區域也適用。更長的DeepID2矢量通過組合從每個面部圖像的選擇的面部區域提取的DeepID2而形成。例如，在如圖3和圖4所示的選擇了25個面部區域的實施方式中，組合的矢量可以是160×25＝4000維度的。通過面部驗證算法來比較分別從待比較的兩個面部圖像的選擇的面部區域提取出的兩個組合的DeepID2矢量，從而得到面部驗證分數。可使用SVM、LDA、聯合貝葉斯或其它面部驗證模型來實現面部驗證算法。在通過面部驗證算法進行比較之前，組合的DeepID2矢量可經過降維算法(例如PCA)。通過對從不同組的選擇的面部區域提取的不同的DeepID2矢量運行面部驗證算法可獲得多個面部驗證分數。通過融合算法將多個面部驗證分數融合以得到最終的面部驗證判定。
在本申請的實施方式中，可通過例如聯合貝葉斯模型進行面部驗證，其比較分別從待比較的兩個面部圖像提取出的兩個(組合的)DeepID2矢量並輸出面部驗證分數。聯合貝葉斯模型將面部圖像的特徵表示假設為人與人之間的變化和同一人內的變化的總和，這兩種變化都用高斯分布建模並且可從訓練數據估測。面部驗證是測試兩個面部圖像屬於人與人之間的變化以及屬於同一人內的變化的聯合概率之間的對數似然比值。
在本申請的實施方式中，為了進一步利用從大量面部區域提取的DeepID2的豐富的池，特徵選擇算法被重複多次(例如七次)，每次從在先前特徵選擇步驟中未被選擇的面部區域中選擇DeepID2。隨後分別在一組或多組(例如，七組)選擇的DeepID2中的每個上學習聯合貝葉斯模型。融合(例如，通過SVM)每對比較的面部圖像的聯合貝葉斯分數以獲得最終面部驗證判定。
訓練單元(訓練器)30
設備1000還包括訓練單元30，訓練單元30配置為通過輸入成對的對準面部區域以及同時將識別監督信號和驗證監督信號添加至卷積特徵提取系統的輸出層40(如圖5所示的DeepID2層)來訓練用於同時身份分類和身份驗證的多個卷積特徵提取系統。在如圖8所示的本申請的一個實施方式中，訓練單元30可包括面部區域選擇器301、矢量提取器302、識別器303、驗證器304和確定器305。對於卷積特徵提取系統中的每個，圖7示出了根據一些公開的實施方式的訓練過程的示意性流程圖，下文中參照圖7進一步討論訓練單元30的部件301-305。
如所示出的，在步驟S701中，樣品選擇器301從預定訓練集中選擇兩個面部區域-標籤對，這兩個面部區域-標籤對是成對的對準的面部區域及其對應的面部身份標籤。在一個實施方式中，可用屬於同一身份或不同身份的相等的概率隨機地選擇這兩個面部區域-標籤對。在步驟S702中，矢量提取器302使用具有初始化的神經元之間的連接權重或先前學習的神經元之間的連接權重的卷積特徵提取系統來從由選擇器301在兩個採樣面部區域-標籤對中選擇的兩個面部區域中分別提取兩個DeepID2矢量，在如圖4所示的實施方式中，這兩個DeepID2矢量中的每個均是多維度的(例如，160維度)。
以及隨後在步驟S703中，識別器303操作為通過跟隨DeepID2層的softmax層(未示出)將兩個面部區域-標籤對中的兩個面部區域中的每個分類到n個身份中的一個中。隨後識別器303通過比較分類的身份與給定參考身份之間的差異而生成識別誤差(識別監督信號)。生成的識別誤差反向傳播通過卷積特徵提取系統從而調節卷積特徵提取系統的神經元之間的連接權重。
在本申請的一個實施方式中，使用softmax層通過輸出在n類面部身份上的概率分布將每個面部區域分類到n個(例如，n＝8192)不同面部身份中的一個中。Softmax層由下式限定：
其中，是作為第i個身份的預測概率，線性地組合160維度的DeepID2，xi作為神經元j的輸入，而yj是其輸出。卷積特徵提取系統訓練成最小化softmax層中的互熵損失，該互熵損失稱作識別損失。該損失由下式表示：
其中，f是DeepID2矢量，t是目標種類，以及θid表示n路softmax層的神經元之間的連接權重。pi是目標概率分布，其中，對於目標種類t，pt＝1，而對於其它的所有i，pi＝0。是由n路softmax層預測的概率分布。
驗證器304操作為通過比較分別從待比較的兩個面部區域提取的兩個DeepID2矢量fi與fj之間的相異性來生成驗證誤差(驗證監督信號)，如公式5所示。在一個實施方式中，可通過最小化從同一身份的面部區域提取的DeepID2之間的相異性而同時最大化從不同身份的面部區域提取的DeepID2之間的相異性(或者保持從不同身份的面部區域提取的DeepID2之間的相異性大於閾值)來生成驗證誤差。DeepID2之間的相異性可以是但不限於L1範數的負數、L2範數以及DeepID2之間的餘弦相似性。面部驗證信號可用於促使從同一身份的面部圖像提取出的DeepID2變得相似。通常使用的用於驗證信號的約束包括L1/L2範數和餘弦相似性。L2範數約束可由以下公式表示：
其中，fi和fj是從待比較的兩個面部區域提取的DeepID2。yij＝1表示fi和fj來自同一身份。在這種情況下，其最小化這兩個DeepID2矢量之間的L2距離。yij＝-1表示不同的身份，L2範數約束要求距離大於邊緣m。基於L1範數的損失函數可具有相似的公式。
餘弦相似性約束可由以下公式表示：
其中，是DeepID2之間的餘弦相似性，w和b是可學習的尺寸參數和偏移參數，σ是sigmoid函數，以及yij是兩個比較的面部區域是否屬於同一身份的二值化目標。
生成的驗證誤差可反向傳播通過卷積特徵提取系統從而調節卷積特徵提取系統的神經元之間的連接權重。可替代地，在本申請的一個實施方式中，識別誤差和驗證誤差的組合可反向傳播通過卷積特徵提取系統從而調節卷積特徵提取系統的神經元之間的連接權重。
在步驟S704中，識別誤差和驗證誤差反向傳播通過卷積特徵提取系統的全部層從而調節卷積特徵提取系統的神經元之間的連接權重。在步驟S705中，確定器305確定訓練過程是否收斂，如果收斂，則訓練過程終止；否則，將重複步驟S701-S704直至訓練過程收斂，從而確定卷積特徵提取系統的神經元之間的連接權重。
圖6示出了根據一些公開的實施方式的用於面部驗證的方法的流程圖。在圖6中，過程200包括可由處理器102-106中的一個或多個或設備1000中的每個模塊/單元執行的一系列步驟以實現數據處理操作。出於描述的目的，以下討論參照設備1000中的每個模塊/單元由硬體或者硬體與軟體的組合而構成的情況來進行。本領域技術人員應理解，其它合適的裝置或系統應適合於執行以下過程，而設備1000僅用作對執行該過程的說明。
在步驟S101中，設備1000操作為通過使用不同訓練的卷積特徵提取系統從面部圖像的不同區域提取DeepID2，其中，所述卷積特徵提取系統的輸出層神經元激活值被認為是DeepID2。在一個實施方式中，設備1000的單元10可例如使用現有技術提出的面部點檢測方法來檢測21個面部特徵點(其它數目的特徵點也可行)，諸如兩個眼睛中心、鼻尖以及兩個嘴角。在本申請的實施方式中，首先用EGM算法檢測21個面部特徵點(其它數目的特徵點也可行)。根據檢測到的特徵點通過相似變換來全局對準面部圖像中的每個。隨後，根據全局對準的面部圖像和面部特徵點的位置裁取多個面部區域，這些面部區域在位置、尺寸、顏色通道和水平翻轉方面變化。相應地，通過不同訓練的深度卷積特徵提取系統來提取多個DeepID2矢量，該多個深度卷積特徵提取系統中的每個在每個面部圖像的一個特定面部區域上提取一個多維度DeepID2矢量。
以及隨後在步驟s102中，設備1000(具體地，單元10)操作為組合DeepID2矢量。組合的長DeepID2矢量通過PCA進一步壓縮以用於面部驗證。
以及隨後在步驟S103中，通過聯合貝葉斯模型進行面部驗證，其通過單元30比較分別從待比較的兩個面部圖像提取出的DeepID2並輸出面部驗證分數。聯合貝葉斯模型將面部圖像的特徵表示取作人與人之間的變化和同一人內的變化的總和，這兩種變化都用高斯分布建模並且可從訓練數據估測。面部驗證是測試兩個面部圖像屬於人與人之間的變化以及屬於同一人內的變化的聯合概率之間的對數似然比值，其具有封閉式的解並且是有效的。
在本申請的實施方式中，為了進一步利用從大量面部區域提取的DeepID2的豐富的池，特徵選擇算法被重複多次(例如七次)，每次從在先前特徵選擇步驟中未被選擇的面部區域中選擇DeepID2。隨後分別在七組選擇的DeepID2中的每個上學習聯合貝葉斯模型。融合(例如，通過SVM)每對比較的面部圖像的七個聯合貝葉斯分數以獲得最終面部驗證判定。
雖然已經描述了本發明的優選示例，但是本領域技術人員可在知曉基本發明構思的情況下對這些示例進行改變或修改。所附權利要求旨在理解為包括優選示例以及落入本發明範圍內的全部改變或修改。
明顯地，本領域技術人員可在不背離本發明精神和範圍的情況下對本發明進行改變或修改。因而，如果這些改變或修改屬於權利要求和等效技術的範圍，則這些改變或修改也可落入本發明的範圍中。