人臉元數據生成設備和生成方法、人臉識別系統和方法

2023-05-28 14:58:41

專利名稱：人臉元數據生成設備和生成方法、人臉識別系統和方法
技術領域：
本發明涉及一種技術，該技術可用於人臉鑑定、人臉驗證、人的面部表情識別、根據人臉進行男女性別確認、根據人臉對人進行年齡調整等諸如此類。更為確切地說，本發明涉及元數據的生成，，人臉相似度計算和元數據匹配技術，其中在元數據的生成中考慮到了人臉數據在靜態圖像或動態圖像上的反映。
背景技術：
元數據一般為描述或表示數據含義的數據，並且在人臉識別這種情況下，它主要是有關靜態圖像、動態圖像等諸如此類的人臉數據。
隨著用於諸如圖片、圖像、視頻、語音等多媒體內容的元數據的標準化活動的開展，MPEG-7(一種由運動圖片專家組進行標準化的、用於多媒體內容描述接口的國際標準)的這種活動已經是眾所周知了。現在作為用於人臉識別的元數據描述符的人臉識別描述符已經被提出來(「MPEG-7 Visual part of experimental Model Version 9.0」，A.Yamadaet al.，ISO/IECJTC1/SC29/WG11 N3914，2001)。
在這種人臉描述符中，對於經過裁剪和歸一化的圖像，使用一種普遍被稱為本徵人臉的子空間方法來測定基矩陣，以提取出人臉圖像的特徵值。根據這個基矩陣來從圖像中提取出人臉特徵。這個基矩陣就叫做元數據。至於與人臉特徵的相似度計算，建議使用加權的絕對值距離。
另外，人們知道，在人臉識別技術中存在多種方法。例如，人們知道的基於主成分分析或判別式分析等的利用特徵人臉的方法。要了解主成分分析，可以閱讀，例如「Probabilitistic Visual Learning for ObjectRepresentation」，Moghaddam et al.(IEEE Transaction on Pattern Analysisand Machine Intelligence，Vol.19，No.7，pp.696-710，1997)。另外，要了解判別式分析，可以閱讀，例如「Discriminant Analysis of PrincipalComponents for Face Recognition」，W.Zhao et al.(Proceedings of theIEEE Third International Conference on Automatic Face and GestureRecognition，pp.336-341，1998)。
另外，當將子空間方法應用於從指紋圖像獲得的特徵矢量時，人們還知道一種用於通過引入質量指標來適應性地測量模式之間的距離的方法。例如文獻「Fingerprint Preselection Using Eigenfeatures」，T.Kamei and M.Mizoguchi(Proceedings of the 1998 IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition，pp.918-923，1998，日本未審查公開特開平10-177650)。
不過，利用上述傳統技術進行人臉識別無法獲得足夠高的精確度。
與上面的講述有關，日本未審查公開特開平10-55412中公開了一種通過將特徵矢量投影到部分本徵空間來利用特徵選擇的模式識別設備。為了驗證大量的特徵模式，模式識別設備的傳統例子使用了特徵選擇的方法，減少了特徵矢量的維數，因此能夠使識別處理的速度更高，並且由於使用了表示輸入模式特徵的特徵矢量，因此能夠識別出輸入模式。輸入特徵矢量提取單元提取表示輸入模式特徵的輸入特徵矢量。正交基存儲器存儲了原始特徵空間的部分本徵空間的正交基。識別字典存儲了在部分本徵空間上定義的、對應於一個或多個識別目標模式的每一個字典選擇特徵矢量。特徵選擇單元使用存儲於正交基存儲器中的正交基，並且計算出輸入選擇特徵矢量，這個輸入選擇特徵矢量是到由輸入特徵矢量提取單元所提取的輸入特徵矢量的部分本徵空間的投影。檢查單元檢查由特徵選擇單元所計算的輸入選擇特徵矢量和存儲於識別字典中的每一個字典選擇特徵矢量，因此識別出對應於輸入選擇特徵矢量的輸入模式的種類。
另外，日本未審查公開特開平11-306325中公開了目標檢測設備。目標檢測設備的傳統例子在處理上是相當簡單的，並且其目的是能夠準確地檢測到驗證目標。圖像輸入單元輸入圖像，並且存儲器存儲區域模型，在區域模型中設定了許多個判斷元素獲取區域，對應於待檢測的驗證對象的特徵區域。位置指定單元依次指定了檢查局部區域的位置，在該位置處存儲於存儲器中的區域模型被用於從圖像輸入單元輸入的輸入圖像，或者事先從圖像輸入單元輸入的圖像，在圖像上已經進行了圖像處理。每次當區域模型被依次應用到由位置指定單元指定的位置時，判斷元素獲取單元從區域模型的每一個判斷元素獲取區域中獲取判斷元素。馬氏距離(Mahalanobis Distance)判斷單元根據由判斷元素獲取單元所獲取的、每一個判斷元素獲取區域的判斷元素來執行馬氏距離的計算，並且判斷檢查局部區域的圖像是否為驗證目標圖像。因此，根據判斷單元所得到的判斷結果就完成了驗證對象的檢測。
另外，日本未審查公開特開2000-132675中公開了人臉驗證和對比方法。人臉驗證和對比方法的傳統例子目的是執行穩定的驗證，既使待比較的兩個人臉圖像是在不同的拍攝條件下或在不同的拍攝時間拍攝的。在該方法中，根據拍攝條件或拍攝時間的不同，將圖像變化特徵分成若干類，對於每一類事先都進行了學習訓練。根據由拍攝條件和拍攝時間的至少兩者之一的不同，將兩幅人臉圖像之間的差異進行分類，並且分別測定了從兩幅人臉圖像中選擇的具有較小特徵數量的類中的特徵數量，並且根據兩幅人臉圖像的特徵值進行了人臉驗證和對比。至於圖像變化特徵，準備了許多對具有不同拍攝條件或拍攝時間的差別圖像的樣本集，並且為每一類圖像執行了主成分分析，因此測定出每一個主成分方向中的樣本分布的變化幅度和主成分。在選擇圖像變化的特徵集時，計算出了輸入的兩幅人臉圖像之間的差別圖像與由各自類別的主成分所定義的空間之間的距離，因此能夠選出具有最短計算距離的類。
另外，日本未審查公開特開2000-187733中公開了圖像處理設備。傳統的圖像處理設備目的是不需要準備面向左或右方向的人臉，或模糊的人臉，諸如此類，正如用於學習訓練的樣本那樣。在圖像處理設備中，圖像組生成單元根據對稱放置的第一參考圖象組生成對稱的第二參考圖象組。特徵信息提取單元通過使用第一參考圖象組和第二參考圖象組來提取特徵信息。判斷單元將由特徵信息提取單元所提取的特徵信息與輸入圖像進行比較，並且判斷輸入圖像是否由與第一參考圖象組具有相同模式的圖像組成。第一參考圖象組可以是人臉圖像。

發明內容
因此，本發明的目的是提出人臉元數據生成技術和人臉相似度計算技術，以提高人臉識別的精確度。
本發明的另一個目的是提出一種用於建立進一步實用化的人臉匹配系統的技術。
根據本發明，可以從人臉圖像中提取出置信度，可以根據置信度來適應性地計算出不同模式之間的相似度，因此提高了人臉識別的精確度。
根據本發明的第一觀點，人臉元數據生成設備根據圖像中的人臉圖像部分來生成元數據。人臉元數據生成設備包括人臉特徵提取單元，用於從圖像中提取人臉特徵，以及置信指標提取單元，用於從圖像中提取指示關於人臉特徵的置信度的置信指標，並生成作為人臉元數據的人臉特徵和置信指標。
置信指標提取單元能夠提取出圖像的反差指標，作為置信指標。能夠提取出圖像中像素值的最大值和最小值之差，作為圖像的反差指標。或者，選出圖像像素值的標準差或方差，作為圖像的反差指標。
而且，可以提取出圖像的非對稱指標作為置信指標。提取出圖像與通過左右翻轉該圖像得到的鏡像圖像(以下稱為翻轉圖像)之間差別的最大值，作為圖像的非對稱指標。或者，從圖像和翻轉圖像的差值圖像中提取出像素值的冪的和值與均值之一，作為圖像的非對稱指標。
置信指標提取單元可以包括第一置信指標提取單元，用於提取圖像的反差指標，以及第二置信指標提取單元，用於提取圖像的非對稱指標。第一置信指標提取單元提取圖像中像素值的最大值和最小值之差，作為圖像的反差指標，並且第二置信指標提取單元提取圖像和翻轉圖像之差的最大值，作為圖像的非對稱指標。或者，第一置信指標提取單元可以提取圖像中像素值的標準差和方差之一，作為圖像的反差指標，並且第二置信指標提取單元可以提取圖像和翻轉圖像的差值圖像像素值的冪的和值與均值之一，作為圖像的非對稱指標。
設從圖像中獲取的模式矢量為Λ，人臉特徵提取單元使用由從模式矢量Λ的主分量分析獲得的基矢量子集所定義的基矩陣U和模式矢量Λ的平均矢量ψ，並且計算特徵矢量v＝UT(Λ-ψ)。通過這種方式，將特徵矢量v提取出來，作為人臉特徵。基矩陣U由基矢量子集定義，其中的基矢量是從通過對模式矢量的訓練集[Λ]進行主成分分析而獲得的基矢量中選取的。基矢量U是通過線性結合基矩陣以及由翻轉基矢量子集所定義的基矩陣來獲得的，其中翻轉基矢量是由通過左右翻轉人臉圖像而使像素值進行轉換而得到的經過轉換的基矢量組成的。模式矢量Λ可以是由圖像的像素值組成的矢量，或者是由圖像的傅立葉分量組成的矢量。
根據本發明的另一個觀點，人臉相似度計算設備根據從圖像中提取的人臉特徵以及表示關於人臉特徵的置信度的置信指標來計算相似度。以這種方式，人臉相似度計算設備根據圖像的人臉數據來計算元數據之間的相似度。
上述人臉相似度計算設備包括分布計算單元，它對待比較的人臉特徵使用置信指標，並且根據人臉特徵之間的差值矢量的後驗分布來估計參數數據；以及距離計算單元，它計算從後驗分布的似然所獲得的人臉特徵之間的距離，作為相似度。
距離計算單元在假設人臉特徵之間的差值矢量的後驗分布為正則分布的情況下，根據置信指標來計算從正則分布的似然所獲得的適應性馬氏距離，作為相似度。
分布估計單元估計差值矢量s的每一個元素k到置信指標[θi]的方差σs，k([θi])2，並且距離計算單元使用每一個元素k的方差σs，k([θi])2來計算適應性馬氏距離。
本發明提供了用於事先存儲差值矢量s的每一個元素k到置信指標[θi]的方差值σs，k([θi])2的差值表，並且分布估計單元參考的是以置信指標[θi]為基礎的方差值表，並且讀出方差值，該方差值可用於計算適應性馬氏距離。
當人臉特徵之間的差值矢量的後驗分布為混合分布時，距離計算單元根據置信指標中的混合分布似然來計算適應性混合馬氏距離，作為相似度。
待比較的人臉特徵的置信指標用於估計與應被視為相一致的類中的人臉特徵之間的差值矢量的後驗分布(類內分布)有關的參數數據，並且估計了在應被視為不一致的類與類之間的人臉特徵之間的差值矢量的後驗分布(類間分布)，並且用所估計的參數數據來計算由類內分布與類間分布之間比率的似然所導出的人臉特徵之間的距離，以作為相似度。
當類內分布與類間分布分別為正則分布時，根據置信指標來計算由各自分布之間比率的似然所導出的適應性判別式距離，以作為相似度。
差值矢量s的每一個元素k到置信指標[θi]的類內方差σW，k([θi])2和類間方差σB，k([θi])2得到估計，並且可以計算適應性判別式距離，以作為相似度。
為了估計差值矢量s的每一個元素k到置信指標[θi]的類內方差σW，k([θi])2和類間方差σB，k([θi])2，提供了用於事先存儲類內方差σW，k([θi])2的第一方差值表和用於事先存儲類間方差σB，k([θi])2的第二方差值表，並且根據置信指標[θi]，分別參考第一和第二方差方差值表來讀出方差，並且所讀出的方差可用於計算適應性判別式距離。
當類內分布和類間分布分別為混合分布時，可以根據置信指標中各個混合分布之間比率的似然對數來計算出適應性混合判別式距離，作為相似度。
根據本發明的第三個觀點，人臉識別系統包括圖像輸入單元，用於輸入圖像，以及人臉圖像資料庫單元，用於存儲人臉圖像。人臉識別系統包括人臉元數據生成單元，用於從圖像中提取生成人臉特徵，以及生成表示關於人臉特徵的置信度的置信指標，作為人臉的元數據；人臉元數據存儲單元，用於存儲由人臉元數據生成單元所生成的人臉元數據；人臉相似度計算單元，根據人臉特徵和表示關於人臉特徵的置信度的置信指標來計算人臉相似度；以及控制單元，響應輸入命令，用於控制人臉元數據生成單元，人臉元數據存儲單元，以及人臉相似度計算單元，並且執行人臉圖像的匹配。
使用上述的人臉元數據生成單元和人臉相似度計算單元，可以實現高精確度的人臉圖像匹配。


圖1是一個結構框圖，圖示了根據本發明實施例的人臉圖像匹配系統結構圖；圖2是示出根據本發明的人臉元數據生成方法的實施例的操作的流程圖；圖3是示出根據本發明的人臉相似度計算方法的實施例的操作的流程圖；圖4是顯示步驟S3的流程圖。
具體實施例方式
(發明原理)首先解釋本發明的原理。一般地，當完成模式識別後，如果能夠準備大量的訓練數據來進行類的識別，則可以通過對訓練數據的統計分析來估計模式的分布函數，因此建立了模式識別機制。不過，在人臉識別應用的許多情況下，針對每個人的只有幾幅配準圖像可以獲得。我們假設甚至在這種情況下，為人臉的特徵矢量指定置信指標，並且根據該指標來考慮類。因此，對置信指標進行了類的統計分析，並且估計了模式的分布函數，並且，甚至對於只有一幅配準圖像可以獲得的人臉識別來說，也有可能通過置信指標來建立基於分布函數的模式識別機制。
下面將在基於誤差分布的基礎上，就基於類內分布和類間分布的馬氏距離和判別式距離來講述人臉識別的原理。
假設特徵矢量v從人臉獲得。特徵矢量v(觀察矢量v)可由下列方程(1)、使用真實特徵矢量v0和觀察誤差矢量ε來表示v＝v0+ε (1)這裡，如果特徵矢量v0被觀察兩次，如下面的方程(2)所示，根據觀察條件的差值，使用誤差矢量ε1和ε2來表示兩個觀察矢量v1和v2。
v1＝v0+ε1(2)v2＝v0+ε2現在，假設分別獲得了與誤差矢量ε1和誤差矢量ε2有關的置信指標θ1和置信指標θ2，並且後驗分布分別為p(ε|θ1)和p(ε|θ2)。當在觀察置信指標θ1、θ2的情況下，觀察矢量v1和v2的差值矢量s的後驗分布表示為p(s|θ1，θ2)，則可以通過如下面的方程(3)所示的後驗分布的似然對數來表示特徵矢量之間的相似度d(v1，v2)。
d(v1，v2)＝-ln p(s|θ1，θ2)(3)如果假設後驗分布p(ε|θ1)和p(ε|θ2)分別為正則分布，則差值矢量s的分布p(s|θ1，θ2)也為正則分布。這裡，當假設誤差矢量的後驗分布為p(ε|θi)(i＝1，2)，我們來考慮協方差矩陣∑ε(θi)的正則分布和零均值。在這種情況下，考慮到差值矢量s的分布，均值為0，並且協方差矩陣∑s(θ1，θ2)用公式(4)來表示。
∑s(θ1，θ2)＝∑ε(θ1)+∑ε(θ2) (4)當將後驗分布p(s|θ1，θ2)重寫一遍，則如下面的方程(5)所示。
p(s|1,2)=1(2)N2|s(1,2)|12exp(-12sTs(1,2)-1s)---(5)]]>這樣，可以通過使用協方差矩陣∑ε(θ1)，∑ε(θ2)，將方程(3)表示為到置信指標θ1，θ2的適應性馬氏距離，如下面的方程(6)所示。
d(v1,v2)]]>=-lnp(s|1,2)]]>=12sTs(1,2)-1s+12ln(2)N|s(1,2)|---(6)]]>=12sT(s(1)+s(2))-1s+12ln(2)N|s(1)+s(2)|]]>如果假定了誤差矢量各個元素之間的獨立性，則方程(5)可以用下面的方程(7)來表示。
p(s|1,2)=k=1N12s,k(1,2)exp(sk22s,k(1,2))---(7)]]>這裡，σs，k(θ1，θ2)2為協方差矩陣∑s(θ1，θ2)的k階對角線元素，即觀察誤差的方差。另外，σε，k(θ1)2，σε，k(θ2)2分別為協方差矩陣∑ε(θ1)，∑ε(θ2)的k階對角線元素。sk表示差值矢量s的k階元素。
由於對正則分布作了如上假定，則方程(3)能夠通過對每個特徵矢量的每個元素使用方差σε，k(θ1)，σε，k(θ2)，根據用於置信指標θ1，θ2的適應性馬氏距離來定義相似度，如下面的方程(8)所示。
d(v1,v2)]]>=-lnp(s|1,2)]]>=12k=1N(sk2s,k(1,2)2)+12k=1Nln2s,k(1,2)2---(8)]]>=12k=1N(v1,k-v2,k)2s,k(1)2+s,k(2)2+12k=1Nln2(s,k(1)2+s,k(2)2)]]>這裡，v1，k，v2，k分別表示特徵矢量v1，v2的k階元素。
在上述解釋中，儘管作了正則分布為後驗分布p(s|θ1，θ2)的假定，在下面的解釋中假定了混合正則分布。如下面的方程(9)所示，我們假設可以通過對正則分布p(s|θ1，θ2，j)(j＝1，2，...，M)進行求和來表示後驗分布p(s|θ1，θ2)。
p(s|1,2)=j=1Mp(s|1,2,j)p(j)---(9)]]>
這樣，可以用下面的方程(10)來定義適應性混合馬氏距離。
d(v1,v2)]]>=-lnj=1Mp(s|1,2,j)p(j)]]>=-lnj=1M1(2)N2|s(1,2,j)|12exp(-12sTs(1,2,j)-1s)p(j)]]>=-lnj=1M1(2)N2|(1,j)+(2,j)|12exp(-12sT((1,j)+(2,j))-1s)p(j)---(10)]]>可以通過使用作為典型估計方法的EM算法和最大似然方法來估計後驗分布p(s|θ1，θ2，j)和p(j)的協方差矩陣∑s(θ1，θ2，j)的估計值。具體細節在「Neural Networks for Pattern Recognition」，C.M.Bishop(OxfordUniversity Express，1995)中有述。
混合正則分布的假設使得分布能夠得到進一步的準確估計，並且能夠提高匹配性能。不過，需要大量的訓練數據，並且運算量也大大的增加了。
在諸如用於檢查其他配準的人臉數據到恢復出的人臉數據最近的人臉數據的人臉鑑定的問題上，基於上述誤差分布的馬氏距離是比較優越的距離。另一方面，下面將要解釋的稱為「判別式距離」的距離是一種比上述人臉鑑定中的馬氏距離更好的相似度測量手段。在人臉驗證問題中，在判別輸入人臉數據和配準人臉數據之間的身份中，是否接受還是拒絕輸入人臉數據很重要。
現在，如果兩個特徵矢量v屬於同一個範圍和重合的，也就是說，例如，如果兩個特徵矢量從同一個人的人臉提取出來，則判定那些特徵矢量的組合屬於類W。另外，如果兩個特徵矢量v來自不同類，亦即，如果兩個特徵矢量從不同人的人臉提取出來，則判定特徵矢量組合屬於類B。
我們假定得到兩個特徵矢量v1，v2的置信指標θ1，θ2。當觀察到差值矢量s和兩個置信指標θ1，θ2(這以後，將兩個置信指標稱為[θi])，則考慮在兩個特徵矢量v1，v2被視為一致和被視為不一致這兩種情況下的判別式問題。在這種情況下，得到的判決規則如下面的方程(11)所示。
p(W|s,{i})p(B|s,{i})1:]]>一致(11)p(W|s,{i})p(B|s,{i})1:]]>不一致根據貝葉斯理論，可以將上述方程(11)的左邊寫成如下面的方程(12)所示。
p(W|s,{i})p(B|s,{i})]]>=p(W,{i})p(s|W,{i})p(s,{i})p(B,{i})p(s|B,{i})p(s,{i})---(12)]]>=p(W,{i})p(s|W,{i})p(B,{i})p(s|B,{i})]]>這裡，我們假設類W，B和[θi]發生的可能性是相互獨立的，並且p(W，[θi])＝p(W)p([θi])，並且p(B，[θi])＝p(B)p([θi])。
如果計算方程(12)的似然作為特徵矢量之間的距離d(v1，v2)，可以獲得適合人臉驗證問題的相似度，如下面的方程(13)所示。
d(v1,v2)]]>=-lnp(W)p(s|W,{i})p(B)p(s|B,{i})---(13)]]>=-lnp(s|W,{i})p(s|B,{i})-lnp(W)p(B)]]>
如果每個單個的匹配的先驗概率p(W)，p(B)是不同的，並且如果能夠知道它們的值，則可以計算方程(13)的第二項。不過在許多情況下，由於不知道每個單個的匹配的先驗概率，假設先驗概率為常數，因此認為第二項為常數，並且從相似度計算中去掉該項。
當將後驗分布p(s|W，[θi])，p(s|B，[θi])分別寫成類內分布pW(s|[θi])和類間分布pB(s|[θi])，則可以得到下面的方程(14)。
d(v1,v2)]]>=-lnpW(s|{i})pB(s|{i})-lnp(W)p(B)---(14)]]>接下來，如果假設類內分布pW(s|[θi])和類間分布pB(s|[θi])分別為零均值的正則分布，且協方差矩陣分別為∑W([θi])和∑B([θi])，則後驗分布可以分別用如下的方程(15)表示。
pW(s|{i})=1(2)N2|W({i})|12exp(-12sTW({i})-1s)]]>pB(s|{i})=1(2)N2|B({i})|12exp(-12sTB({i})-1s)---(15)]]>當將上述方程代入到方程(14)(這裡，方程(14)的第二項被忽略了)，可以得到如下面的方程(16)所示的距離，稱為「適應性判別式距離」。
d(v1,v2)]]>=-lnpW(s|{i})pB(s|{i})---(16)]]>=12sT(W({i})-1-B({i})-1)s+12(ln|W({i})|-ln|B({i})|)]]>如果假設了差值矢量s的各個元素之間的獨立度，則可將方程(15)表示成下面的方程(17)的形式。
pW(s|{i})=k=1N12W,k({i})exp(-sk22W,k({i})2)]]>pB(s|{i})=k=1N12B,k({i})exp(-sk22B,k({i})2)---(17)]]>這裡，σW，k(θi)2和σB，k(θi)2分別為協方差矩陣∑W([θi])和∑B([θi])的k階對角線元素，即分別對應於類內方差和類間方差。sk為差值矢量s的k階元素。
由於上面作了正則分布的假設，因此可以通過使用每個特徵矢量中的每個元素的類內方差σW，k(θi)2和類間方差σB，k(θi)2，利用方程(16)從置信指標[θi]的適應性判別式距離來定義相似度，如下面的方程(18)所示。
d(v1,v2)]]>=-lnpW(s|{i})pB(s|{i})]]>=12k=1N(1W,k({i})2-1B,k({i})2)sk2+k=1N(ln2W,k({i})2-ln2B,k({i})2)---(18)]]>在上述解釋中，儘管假設正則分布為類內方差σW，k(θi)2和類間方差σB，k(θi)2，不過下面將假設其為混合方差。
如下面的方程(19)所示，如同類內分布pW(s|[θi])和類間分布pB(s|[θi])，我們假設後驗分布可以由正則分布pW(s|[θi]，jW)(jW＝1，2，...，MW)，pB(s|[θi]，jB)(jB＝1，2，...，MB)的求和來表示。
pW(s|{i})=jW=1MWpW(s|{i},jW)p(jW)]]>pB(s|{i})=jB=1MBpB(s|{i},jB)p(jB)---(19)]]>因此，可以使用這種似然對數來導出下述方程(20)的適應性混合馬氏距離。
d(v1,v2)]]>=-lnpW(s|{i})pB(s|{i})]]>=-lnjW=1MWpW(s|{i},jW)p(jW)+lnjB=1MBpB(s|{i},jB)p(jB)---(20)]]>=-lnjW=1MW1(2)N2|W({i},jW)|12exp(-12sTW({i},jW)-1s)p(jW)]]>+lnjB=1MB1(2)N2|B({i},jB)|12exp(-12sTB({i},jB)-1s)p]]>可以通過使用最大似然方法和EM算法來估計協方差矩陣∑W(s|[θi]，jW)，∑B(s|[θi]，jB)以及類內分布pW(s|[θi]，jW)和類間分布pB(s|[θi]，jB)的p(jW)，p(jB)的估計值。
混合分布的估計值能夠進一步準確地估計分布情況提高匹配性並能。不過，需要大量的訓練數據，而且運算成本也大大地增加了。
如上所述，通過進一步提取人臉特徵的置信指標，能夠導出置信指標的適應性距離模型，以便能夠建立起高精確度的人臉識別機制。順便說一下，在上面的講述中，儘管特徵矢量的置信指標沒有被定義為標量(只有一個元素組成)或矢量(由多個分量組成)，但是我們的討論可以從這兩個方面來進行，而且多個元素可用於提供性能。
對於特定的置信指標，有必要發現有效的置信指標。在人臉識別的情況下，可以通過使用表示圖像反差度的反差指標來取得較高的效果。在正面人臉識別的情況下，可以通過使用表示光照和姿勢改變所引入的人臉圖像對稱彎曲的非對稱指標來取得較高的效果。通過將矢量的這些置信指標結合起來，可以取得更高的精確度。
(實施例)圖1是一個結構框圖，示出了根據本發明實施例的人臉圖像匹配系統的結構。下面將詳細講述一下人臉圖像匹配系統。
如圖1所示，所提出的根據本發明實施例的人臉圖像匹配系統包括人臉圖像輸入單元11，人臉元數據生成單元12，人臉元數據存儲單元13，人臉相似度計算單元14，人臉圖像資料庫15，控制單元16和顯示單元17。人臉圖像輸入單元11輸入人臉圖像，人臉元數據生成單元12從輸入的人臉圖像中提取人臉特徵和置信指標，並生成人臉元數據。人臉元數據存儲單元13存儲(收集)所提取的人臉元數據。人臉相似度計算單元14利用兩個人臉元數據來計算人臉的相似度。人臉圖像資料庫15存儲人臉圖像。控制單元16用於響應圖像的配準請求和恢復請求，執行對圖像輸入、元數據的生成、元數據的存儲、以及人臉相似度的計算等的控制。顯示單元17顯示人臉圖像和其它數據。
另外，人臉元數據生成單元12由人臉特徵提取單元121和置信指標提取單元122組成，其中121用於從輸入人臉圖像中提取人臉特徵，122用於從人臉圖像中提取置信指標。人臉相似度計算單元14由分布估計單元141和距離計算單元142組成，其中141用於估計有關置信指標後驗分布的參數數據，142用於根據來自分布估計單元141的後驗分布數據來計算人臉特徵之間的距離。在分布估計單元141內部配備了方差值表143，用於存儲方差值。需要事先計算存儲於方差值表143中的方差值，並且存儲於方差值表143中。
在配準期間，當調整人臉的尺寸和位置後，圖像輸入單元11利用掃描儀或相機來輸入人臉照片。或者，可以從視頻相機等類的儀器直接輸入人臉圖像。在這種情況下，在上述Moghaddam的文檔中提到的人臉檢測技術可用於檢測輸入圖像的人臉位置，並且自動歸一化人臉圖像的尺寸等。
另外，輸入的人臉圖像根據需要程度，與人臉元數據或ID有關，並且在人臉圖像資料庫15中得到配準。在人臉圖像配準的同時，通過人臉元數據生成單元12生成了人臉元數據，並且存儲於人臉元數據存儲單元13中。
在恢復期間，同樣地，從人臉圖像輸入單元11輸入人臉圖像，並且通過人臉元數據生成單元12來生成人臉元數據。所生成的人臉元數據在人臉元數據存儲單元13中得到配準，或者直接發送到人臉相似度計算單元14。在恢復期間，在人臉鑑定的情況下，也就是說，檢查出預先輸入的人臉圖像是否存儲於資料庫中，計算到每一個存儲於人臉元數據存儲單元13中的數據。根據對應於最高相似度結果的人臉元數據或ID，即，最小距離值的結果，控制單元16從人臉圖像資料庫15中選擇人臉圖像，並控制顯示單元17，以顯示人臉圖像。工作人員在恢復的圖像和配準圖像中檢查人臉的身份。
另一方面，在人臉驗證的情況下，也就是說，檢查出根據ID號碼預先指定的人臉圖像是否與恢復的人臉圖像相一致，人臉相似度計算單元14計算出恢復的人臉圖像是否與具有指定ID號的人臉圖像相一致。如果該相似度低於預定的相似度，也就是說，距離值較大，則判斷為不一致。控制單元16控制顯示單元17，以便顯示該結果。
如果將該系統用於房門管理，而不是用於顯示人臉相似度，則控制單元16能夠通過發送開/關控制信號給自動門，來在房門管理中控制自動門。
儘管如上所述來操作人臉圖像匹配系統，這種操作也可通過計算機系統來實現。例如，下面將詳細講述，元數據生成程序用於執行元數據的生成，相似度計算程序用於執行相似度計算，這些程序存儲於記錄介質20中，並且被讀取和存儲於存儲器(未示出)中。因此，就實現了人臉圖像匹配系統。
下面將詳細講述這種人臉圖像匹配系統的操作，特別是其中的人臉元數據生成單元12和人臉相似度計算單元14。
(1)人臉元數據生成圖2是示出根據本發明的人臉元數據生成方法的實施例的操作的流程圖。人臉元數據生成單元12的人臉特徵提取單元121接收(人臉)圖像I(x，y)(步驟S1)。人臉元數據生成單元12使用位置和尺寸都已被歸一化(步驟S2)的圖像I(x，y)，並從中提取人臉特徵(步驟S3)。提取的人臉特徵輸出到人臉元數據存儲單元13(步驟S4)。關於位置和尺寸的歸一化，圖像可以以這種方式進行歸一化，例如，人眼的位置為(16，24)，(31，24)，並且尺寸為46×56像素。下文中將解釋將圖像歸一化到這一尺寸的情況。
使用所謂的本徵人臉方法(上述的Moghaddam的論文)來提取特徵以作為人臉特徵(在步驟S3中)。圖4是顯示步驟S3的流程圖。簡而言之，人臉特徵提取單元121獲得模式矢量Λ(步驟S31)，基矩陣U(步驟S32)和均值人臉ψ(步驟S33)被用於計算特徵矢量v＝UT(Λ-ψ)(步驟S34)。特徵矢量的維數變為48。模式矢量Λ包括輸入圖像的像素值。模式矢量的維數變為2576(＝46×56)。基矩陣U由通過對模式矢量進行主成分分析得到的基矢量的子集所定義。在選擇48個基矢量的情況下，基矩陣U是包含48列和2576行的矩陣。特徵矢量的維數變為48。平均人臉ψ是模式矢量的平均矢量。在這種方式中沒有使用輸入圖像，而是使用了基矢量的子集來減小輸入圖像的數據尺寸。在這種方式中，數據尺寸的減小非常重要，因為它不僅能夠減小元資料庫的存儲規模，而且能夠獲得高速匹配。
在這種方式中，除了一般使用的本徵人臉方法以外，還可以將判別式分析和主成分分析(上述的W.Zhao的論文)結合起來來定義基矢量的子集。
另外，在步驟S32，通過使用矩陣U(＝aUn+bUm)來提取人臉特徵以作為基矩陣，矩陣U是通過基矩陣Un和基矩陣Um的線性組合而得到的。這裡，基矩陣Un是通過上述的判別式分析或主成分分析而得到的基矢量中選擇基矢量子集來定義的。另外，基矩陣Um是由翻轉基矢量的子集來定義的，其中對基矢量的元素進行了互換，以便能夠對應由於圖像的左右翻轉而導致的像素值變換。例如，假定a＝b＝1，對於所獲得的特徵矢量，在輸入圖像空間中只能提取與左右轉換有關的對稱分量。由於人臉最初是對稱的，因此，由於光照影響所造成的非對稱圖像分量以及由於人臉不是面向正前方所引起的非對稱分量最初對應於噪聲部分。因此，通過去除該部分，並且僅提取出對稱分量，所提取出的人臉特徵不易受光照和姿勢的影響。
另外，在步驟S3，可以對圖像進行傅立葉變換，並且可以計算出由所得到的複數傅立葉分量的每一個分量的幅度所組成的矢量，以作為模式矢量Λ，並且可以用模式矢量Λ來提取人臉特徵。在這種方式中，通過對圖像進行傅立葉變換，可以提取出具有較強位置位移的人臉特徵。在這種方式中，人臉特徵提取單元121提取出人臉特徵v。
如圖2所示，人臉元數據生成單元12的置信指標提取單元122接收圖像I(x，y)(步驟S5)。置信指標提取單元122提取出作為人臉特徵v的有效置信指標的反差指標θ反差(步驟S6)和非對稱指標θ非對稱(步驟S7)。提取的置信指標輸出到人臉元數據存儲單元13(步驟S8)。人臉元數據存儲單元13存儲人臉特徵和置信指標(步驟S9)。在圖像I(x，y)中，可以通過下面的方程(21)來計算像素值的標準方差，以作為反差指標θ反差。
I=14656i=146j=156I(i,j)]]>這裡，round表示對數值進行取整運算。提取出的反差指標θ反差被限制在4比特整數的範圍內，即
。在上述中，儘管使用圖像的標準方差作為反差指標，但還可以提取出圖像中像素值的最大值和最小值之差和方差。
通過下面的方程(22)來提取出人臉圖像I(x，y)和它的翻轉人臉圖像之間差值的絕對值的(一次冪)平均數，以作為非對稱指標θ非對稱。
所提取的置信指標θ非對稱被限制在4比特整數的範圍內，即
。儘管在上述實例中，使用圖像的絕對差值的(一次冪)均值(MAD)來作為非對稱指標，但是也可以使用平方差的均值(MSD)。另外，除了絕對差值的均值和平方差的均值以外，還可以使用絕對差值的和以及平方差的和。另外，如果檢測到差值圖像的最大值並將它作為非對稱指標，則運算成本會小些。
置信指標提取單元122提取特徵矢量v、人臉圖像的置信指標θ反差和置信指標θ非對稱，並且人臉元數據輸出。如上所述，電腦程式能夠指導計算機來執行上述人臉元數據生成過程。
(2)人臉相似度計算圖3是示出根據本發明的人臉相似度計算方法的實施例的操作的流程圖。接下來將講述人臉相似度計算單元14的運算。在人臉相似度計算單元14中，分布估計單元141從人臉元數據生成單元12或者人臉元數據存儲單元13接收兩個人臉元數據的置信指標θ反差，1、θ反差，2、θ非對稱，1和θ非對稱，2(步驟S11)。通過使用兩個人臉元數據的置信指標θ反差，1、θ反差，2、θ非對稱，1和θ非對稱，2，分布估計單元141估計出有關後驗分布的參數數據(步驟S12)。有關後驗分布的參數數據輸出到距離計算單元142(步驟S13)。距離計算單元142接收兩個人臉元數據的兩個特徵矢量v1，v2(步驟S14)。通過使用兩個人臉元數據的兩個特徵矢量v1和v2以及與後驗分布有關的參數數據，距離計算單元142計算出人臉特徵之間的相似度d(步驟S15)。
這裡對通過使用方程(8)或方程(18)來計算人臉相似度的實例進行了解釋。
方程(8)或方程(18)中出現的置信指標θ1和θ2在該實施例中為矢量，並且它們的各個元素為θ1＝(θ反差，1，θ非對稱，1)T和θ2＝(θ反差，2，θ非對稱，2)T。由於反差指標和非對稱指標分別用4比特來表示，則θ1的設置可以有256個狀態。假設256個狀態之一可以由置信指標θi來定義。
分布估計單元141將與預先獲得的置信指標θ(具有256個狀態)有關的差值矢量的方差值σε，k(θ)、方差值σW，k(θ)、以及方差值σB，k(θ)存儲在表(諸如方差值表143)中，這一點後面有述，並且，通過使用置信指標θ1，θ2和參考方差值表中的各個值，獲得方差值作為後驗分布數據(步驟S12)。分布估計單元141將獲得的方差值作為後驗分布數據傳遞給距離計算單元142(步驟S13)。在人臉鑑定實例中，可以將方程(8)中所需的方差值σε，k(θ1)和方差值σε，k(θ2)的值輸出到距離計算單元142。在人臉驗證實例中，可以輸出方程(18)中所需的方差值σW，k(θ)和方差值σB，k(θ)。
距離計算單元142接收兩個特徵矢量v1，v2(步驟S14)，根據方程(8)或方程(18)來計算適應性馬氏距離或適應性判別式距離，並將其輸出，作為相似度d(步驟S15)。
通過使用預先準備的人臉圖像數據樣本，計算出上述方差值表中的方差值。根據人臉圖像樣本中的特徵矢量集[vi]以及它的置信指標集[θi]，可以按照如下方程來計算出各個方差值。
,k2=12N((i,j)W)(=i)(vi,k-vj,k)2---(23)]]>
W,k2=12NW((i,j)W)(=i)(vi,k-vj,k)2]]>B,k2=12NB((i,j)W)(=i)(vi,k-vj,k)2---(24)]]>這裡，「(i，j)屬於類W」意味著數據i和數據j屬於同一個類，也就是說，它是從同一個人上獲取的數據並且位於類內。「(i，j)屬於類B」意味著數據i和數據j屬於不同的類，也就是說，它是從不同的人上獲取的數據並且位於類間。另外，Nε(θ)，NW(θ)和NB(θ)為屬於各個類的數據的組合個數。當以這種方式為θ的每個元素計算方差值時，如果數據的個數太小，則近鄰元素的數據被結合起來，因此能夠保留樣本的個數。這種方法類似於在分布估計中使用k近鄰方法(上述的Bishop文檔中的第53頁)，將這些元素結合起來這一方法。
這裡，在方程(18)的實例中，與方程(4)相類似，應該將注意力集中在σW，k([θi])2＝σW，k([θ1])2+σW，k([θ2])2和σB，k([θi])2＝σB，k([θ1])2+σB，k([θ2])2這一事實。
這裡由於誤差方差σε，k(θ)2與類內方差σW，k(θ)2相同，當人臉圖像匹配系統在計算方程(8)和方程(18)這兩個距離時，可以共享那些方差值表。
另外，由於在許多情況下在誤差分布和類間分布之間具有強相關性，甚至將類間方差σB，k(θ)2來代替誤差方差σε，k(θ)2，因此在這種情況下不使用置信指標就提高了精確度。不過，使用誤差分布能夠取得更高的精確度。
在這種方式中，可以通過使用帶有置信指標θ反差和置信指標θ非對稱的後驗分布數據，來計算人臉元數據之間的相似度，因此能夠在進行人臉驗證時能夠取得優良的精確度。如上所述，電腦程式能夠指導計算機執行上述的人臉相似度計算過程。
這裡，儘管用來計算相似度使用的是方程(8)和方程(18)，通過使用諸如下面的方程(25)和(26)等各種計算方法，也能夠大致地計算得到相似度，因此能夠取得較高的速度，等等。
d(v1,v2)=12k=1N(v1,k-v2,k)2,k(1)2+,k(2)2+12k=1Nln2(,k(1)2+,k(2)2)]]>d(v1,v2)=12k=1N(v1,k-v2,k)2,k(1),k(2)+12k=1Nln2(,k(1),k(2))---(25)]]>d(v1,v2)=12k=1N|v1,k-v2,k|,k(1)2+,k(2)2+12k=1Nln2(,k(1)2+,k(2)2)]]>d(v1,v2)=12k=1N(1W,k(1)2-1B,k(1)2)sk2---(26)]]>+12k=1N(ln2W,k(1)2-ln2B,k(1)2)]]>d(v1,v2)=12k=1N(1W,k(2)2-1B,k(2)2)|sk|]]>+12k=1N(ln2W,k(2)-ln2B,k(2))]]>在上述的每一個方程的右側中，通過忽略對第二項(包含有ln的項)的計算，可以取得高得多的運算速度。
另外，即使利用方程(6)和方程(16)，基本上是類似的從預先準備的人臉圖像數據樣本中計算相似度，用於各個計算所需的差值矢量的誤差協方差矩陣∑ε(θ)、差值矢量的類內協方差矩陣∑W(θ)、以及差值矢量的類間協方差矩陣∑B(θ)被計算出來並用於協方差表，並且在相似度計算中參考協方差表。由於這種方法使用協方差矩陣來計算距離，因此運算成本增加。不過，如果有充足的訓練樣本，相似度計算的精確度能夠得到提高。
通過假設方程(14)的類內分布和類間分布和方程(3)的後驗分布為混合正則分布，並且估計出分布函數，可以分別計算出方程(10)和方程(20)中的適應性混合馬氏距離和適應性混合判別式距離。另外在該例中，與基於使用方差和協方差矩陣的後驗分布數據的計算相類似，可以測定出來自於人臉圖像數據樣本的用於指定表示混合正則分布p(j)的協方差矩陣∑s(θ1，j)的混合分布的參數等，並且保存於表中。至於這個估計值，可以通過使用EM算法和最大似然方法估計出來。
在直到目前為止的解釋當中，對於當配準一幅人臉圖像和已經對人臉的這幅圖像完成恢復的情況進行了解釋。不過，對於當配準一個人臉的多幅圖像和使用一幅人臉圖像進行了圖像恢復的情況，例如，可以按照如下方式來完成。也就是說，在恢復端的特徵矢量被假定為vque，在配準端的特徵矢量被假定為vreg，k，並且在配準多個圖像的情況下的相似度被假定為dmulti(vque，[vreg，1，vreg，2，...，vreg，n])。然後，可以根據如下面所示的方程(27，28)來計算相似度。
dmulti(vque,{vreg,1,vreg,2,...,vreg,n})=1nk=1nd(vque,vreg,k)---(27)]]>或dmulti(vque，{vreg，1，vreg，2，...，vreg，n})＝mind(vque，vreg，k)(28)類似地，當對每一個人臉使用多幅圖像進行配準和恢復的情況下，可以通過結合人臉特徵來測定相似度的平均值和/或最小值和計算人臉之間的相似度，計算到一幅人臉數據的相似度。這意味著由於動態圖像被認為是多幅圖像，則可將本發明的匹配系統甚至應用到動態圖像中的人臉驗證方面。
除了上述的用於個人身份的人臉鑑定和人臉驗證以外，本發明可以應用到性別識別、人臉表情識別、年齡識別和其它各種人臉識別系統中。例如，通過對男性人臉和女性人臉進行分別考慮和獲取有關各自分布的數據，可以對男性和女性進行人臉的性別識別。類似地，通過考慮諸如微笑的臉、憤怒的臉、悲傷的臉等表情範圍，可以進行用於識別人臉表情的人臉表情識別。通過設定諸如十幾歲、二十幾歲、三十幾歲和四十幾歲等範圍，並且測定出每一個範圍的誤差分布、類內分布和類間分布，可以進行年齡識別。
正如上面詳細解釋的，根據本發明將體現置信度的置信指標加關於人臉特徵中，並且生成人臉元數據，這樣就能夠通過置信指標來導出適應性距離。有了適應性距離，就能夠取得高性能的人臉識別。
權利要求
1.一種人臉元數據生成設備，包括人臉特徵提取單元，用於從人臉圖像中提取人臉特徵；以及置信指標提取單元，用於使用所述人臉圖像中的像素值的色調統計來提取所述人臉圖像的反差指標，作為指示所述人臉特徵置信度的置信指標，其中生成所述人臉特徵和所述置信指標作為人臉元數據。
2.如權利要求1的人臉元數據生成設備，其中所述置信指標提取單元提取所述人臉圖像中像素值的最大值和最小值之差，作為所述人臉圖像的所述反差指標。
3.如權利要求1的人臉元數據生成設備，其中所述置信指標提取單元提取所述人臉圖像中像素值的標準差和方差之一，作為所述人臉圖像的所述反差指標。
4.如權利要求1的人臉元數據生成設備，其中，通過從所述人臉圖像獲得模式矢量Λ，並通過使用所述模式矢量Λ的基矢量子集所定義的基矩陣U和所述模式矢量Λ的平均矢量來計算所述人臉特徵，所述人臉特徵提取單元提取所述人臉特徵。
5.如權利要求4的人臉元數據生成設備，其中所述基矩陣U由從對模式矢量訓練集進行主成分分析所獲得的基矢量中選取的所述部分基矢量來決定。
6.一種人臉識別系統，包括圖像輸入單元，輸入第一人臉圖像；人臉元數據生成單元，從所述第一人臉圖像中提取人臉特徵，使用所述人臉圖像中的像素值的色調統計來從所述第一人臉圖象中提取出所述人臉圖像的反差指標，作為指示關於所述人臉特徵的置信度的置信指標，並且生成所述人臉特徵和所述置信指標，作為第一人臉元數據；人臉元數據存儲單元，存儲第二人臉元數據；人臉相似度計算單元，計算所述第一人臉元數據與每個所述第二人臉元數據之間的人臉相似度；以及控制單元，響應於輸入指令，控制所述圖像輸入單元，所述人臉元數據生成單元和所述人臉相似度計算單元。
7.一種人臉識別方法，包括生成-從人臉圖像中提取的人臉特徵，以及-使用所述人臉圖像中的像素值的色調統計的反差指標，作為表示所述人臉特徵的置信度的置信指標，作為第一人臉元數據；讀取出每個第二人臉元數據；根據所述置信指標和每個所述第二人臉元數據的所述人臉特徵，以及所述第一人臉元數據，計算每個所述第二人臉元數據和所述第一人臉元數據之間的人臉相似度；以及根據所述人臉相似度，輸出所述人臉圖像的匹配結果。
8.一種人臉元數據生成方法，包括(a)從人臉圖像中提取人臉特徵；(b)使用所述人臉圖像中的像素值的色調統計，從所述人臉圖像中提取所述人臉圖像的反差指標，作為表示關於所述人臉特徵的置信度的置信指標；以及(c)生成所述人臉特徵和所述置信指標，作為人臉元數據。
9.根據權利要求8的人臉元數據生成方法，其中所述步驟(b)包括提取所述人臉圖像中的像素值的最大值和最小值之差，作為所述人臉圖像的反差指標。
10.如權利要求8的人臉元數據生成方法，其中所述步驟(b)包括提取所述人臉圖像中像素值的標準差和方差之一，作為所述人臉圖像的反差指標。
全文摘要
通過人臉特徵提取單元(121)來提取人臉特徵，並且通過置信指標提取單元(122)來提取置信指標，然後將它們作為元數據進行輸出。在匹配時通過使用人臉元數據的置信指標，當獲得了置信指標時，分布估計單元(141)能夠相對於後驗分布的數據來估計參數數據等。距離計算單元(142)計算特徵值之間的相似度。結果，人臉驗證的精確度得到提高，因此能夠用於實際的人臉匹配任務。
文檔編號G06T7/00GK1912890SQ200610121860
公開日2007年2月14日 申請日期2002年12月16日 優先權日2001年12月14日
發明者龜井俊男 申請人:日本電氣株式會社