使用部分學習模型的面部識別的系統和方法
2023-06-24 20:44:26
專利名稱：使用部分學習模型的面部識別的系統和方法
技術領域：
本發明涉及面部識別系統，具體地，涉及一種通過使用部分的學習模型進行面部識別的系統和方法。
現有的面部識別系統試圖通過將未知的面孔與那個主體的面孔的先前實例進行匹配來識別該未知的面孔。這典型地是通過使用該主體面孔的先前實例來訓練分類器，然後使用經過訓練的分類器、通過將該主體面孔的先前實例與該主體面孔的新實例進行匹配來識別該主體。眾所周知，訓練分類器牽涉到學習主體的面孔的模型。現有的系統在分類期間使用整個模型。
雖然任何模式識別系統的設計的最終目的是得到最好的可能的分類(預測)性能，但這個目的在傳統上導致開發出了對於要被解決的任何模式識別問題的不同分類方案。然後不同設計方案的實驗評估結果便作為基礎來選擇其中一個分類器(模型選擇)作為問題的最終解決方案。在這樣的設計研究中已經看到，雖然其中一個設計將產生最好的性能，但由不同的分類器誤分類的圖案組不一定重疊，正如在Kittler，J.，Hatef，H.和Duin，R.P.W.的、題目為「Combining Classifiers(組合分類器)」，Proceedings of the 13thInternational Conference on patternRecognition，Vol.II，第897-901頁，奧地利維也納，1996的參考文獻中認識到的。這篇文章提出，不同的分類器設計潛在地提供有關要被分類的圖案的互補的信息，這可被利用來改進總的性能。
在神經網絡應用中通常的做法是訓練許多不同的候選網絡，然後根據例如獨立的驗證組的性能來選擇最好的網絡，以及只保留這個網絡，且丟棄其餘網絡。這樣的方法有兩個缺點。首先，與訓練其餘網絡有關的所有努力被浪費。第二，驗證組的通用化性能由於數據中的噪聲而具有隨機的成分，所以對於驗證組具有最好性能的網絡不一定是對新的或未見到的測試數據具有最好性能的網絡。這些缺點可以通過把網絡組合在一起以形成網絡的委員會(committee)而克服。這樣的方法的重要性在於，它可導致對新數據的預測的重大改進，而同時只牽涉到很小的附加計算工作。事實上，委員會的性能可以比孤立地使用的最好單個網絡的性能更好，正如在C.M.Bishop的、題目為「Neural Network for PatternRecognition(用於模式識別的神經網絡)」，Oxford Press，Oxford，UK，第364-377頁，1997的參考書中討論的。
為了識別面孔，識別系統採用多個分類器，該每個分類器對個體面孔的輪廓進行訓練。根據探測器(測試圖像)的呈現，把該探測器與每個學習模型進行匹配，以及從每個分類器得到的分數被使用，直到達到一致的決定。訓練多個分類器的明顯的缺點是，在訓練和存儲模型文件時浪費許多時間和空間。
因此非常希望提供一種面部識別系統和方法，由此作為對使多個分類器對個體面孔的各個輪廓進行訓練的替代，可以使單個分類器對個體面孔的正面面孔或多個輪廓進行訓練。
還非常希望提供一種面部識別系統和方法，其中一個主體模型的各部分被實施和被使用來相對一個主體面孔的不同部分進行匹配。也就是，在測試期間，通過把學習模型的不同部分與未知的面部圖像進行匹配而標識該未知的面部圖像。
因此，本發明的一個目的是提供一種實施分類器(例如RBF網絡)的系統和方法，該分類器可被訓練來識別一個個體面孔的正面面孔或多個輪廓。
本發明的另一個目的是提供一種實施單個分類器設備的面部識別系統和方法，該單個分類器設備已經對主體的面孔的正面輪廓進行訓練，以及在測試期間，取未知的測試圖像並使用不同的部分把它與學習模型進行匹配。
優選地，在相對每個部分進行匹配後，確定匹配的概率，然後組合分數，以便達到一個一致的決定。例如，被分類的每個部分將生成一張選票。也就是，如果使用十(10)個部分，則將得到10張選票。然後，使用簡單的投票規則(例如，如果10張中的6張是支持「A」，則主體的身份是「A」)來確定該個體的身份。
按照本發明的原理，提供了一種用於對面部圖像數據進行分類的系統和方法，該方法包括以下步驟訓練一個分類器設備以便識別一個或多個面部圖像和得到該面部圖像被用於訓練的相應學習模型；把包括代表要被識別的一部分未知面部圖像的數據的矢量輸入到該分類器中；按照分類方法對該部分未知面部圖像進行分類；重複進行輸入和分類步驟，在每次迭代時使用該未知面部圖像的不同部分；以及識別由輸入到該分類器的不同部分所產生的單個類別。
有利地，雖然可能使用RBF分類器，但應當看到，也可以使用其他方法，包括各種概率/統計方法的組合。
藉助於以下列出的附圖，在下文中描述這裡揭示的本發明的細節，其中
圖1總的顯示傳統的三層後向傳播網絡10的結構，根據該網絡，構成按照本發明的原理實施的RBF網絡；圖2顯示饋送到網絡的一組面部圖像的樣本。
為了描述起見，實施徑向基函數(「RBF」)分類器，儘管可能實施任何分類方法/設備。RBF分類器設備是從2001年2月27日提交的、題目為「Classification of objects through model ensembels(通過模型集群的對象分類)」的、共同擁有的、共同待決的美國專利申請序列號No.09/794,443可獲得的，該專利申請的整個內容和公開內容在此整體引用，以供參考。
現在參照圖1描述在共同擁有的、共同待決的美國專利申請序列號No.09/794,443中揭示的RBF網絡的結構。如圖1所示，基本RBF網絡分類器10按照傳統的三層後向傳播網絡10被構建，包括由源節點(例如k個傳感單元)組成的第一輸入層12；包括i個節點(其功能是聚類數據和減小它的維數)的第二或隱層14；以及包括j個節點(其功能是提供網絡10對於加到輸入層12的激活模式的響應20)的第三或輸出層18。從輸入空間到隱單元空間的變換是非線性的，而從隱單元空間到輸出空間的變換是線性的。特別地，正如C.M.Bishop，「Neural Networkfor Pattern Recognition(用於模式識別的神經網絡)」，ClarendonPress，Oxford，1997的參考書中討論的(該書的內容和公開內容在此引用，以供參考)，可以按照兩種方式來看待RBF分類器網絡10:1)把RBF分類器解釋為一組核心功能，它們把輸入矢量擴展為高維空間，以便利用數學論據與低維空間中的分類問題相比，被透射到高維空間的分類問題更可能是線性可分離的；以及2)把RBF分類器解釋為函數映射內插方法，該方法試圖通過取基函數(BF)的線性組合而構建超曲面(hypersurface)，每個類別一個超曲面。這些超曲面可被看作為鑑別函數，其中該超曲面對於它代表的類別具有高的數值，以及對於所有其他類別具有低的數值。未知的輸入矢量被分類為屬於與在該點具有最大輸出的超曲面有關的類別。在這種情形下，BF不用作為用於高維空間的基，而用作為在想要的超曲面的有限擴展中的分量，其中分量係數(權重)必須被訓練。
進一步參考圖1，RBF分類器10，在輸入層12和隱層14之間的連接22具有單位權重，且作為結果，它們不必被訓練。在隱層14中的節點，即所謂的基函數(BF)節點，具有由特定的均值矢量μi(即，中心參量)和方差矢量σi2(即，寬度參量)規定的高斯脈衝非線性，其中i＝1，...，F，以及F是BF節點的數目。應當指出，σi2代表高斯脈衝(i)的協方差矩陣的對角線元素。給定D維輸入矢量X後，每個BF節點(i)輸出一個反映由該輸入引起的BF的激活的標量數值yi，如以下的公式(1)表示的yi=i(||X-i||)=exp[-k=1D(xk-ik)22h2ik],---(1)]]>其中h是用於方差的比例常數，xk是輸入矢量X＝[x1，x2，...，xD]的第k個分量，以及μik和σik2分別是基本節點(i)的均值和方差矢量的第k個分量。接近於高斯BF的中心的輸入導致更高的激活，而遠離的那些輸入導致較低的激活。因為RBF網絡的每個輸出節點18形成BF節點激活的線性組合，所以連接第二(隱)層和輸出層的網絡的部分是線性的，如以下的公式(2)表示的Zj=iwijyi+woj---(2)]]>其中zj是第j個輸出節點的輸出，yi是第i個BF節點的激活，wij是連接第i個BF節點到第j個輸出節點的權重24，以及woj是第j個輸出節點的偏置或閾值。這個偏置來自與一BF節點關聯的權重，所述BF節點具有不管輸入如何都恆定的單位輸出。
未知的矢量X被分類為屬於與具有最大輸出zj的輸出節點j有關的類別。在線性網絡中的權重wij不能通過使用迭代最小化方法(諸如梯度下降)求解。它們可以通過使用矩陣偽逆技術(諸如在以上提到的參考文獻C.M.Bishop，「Neural Network for Pattern Recognition(用於模式識別的神經網絡)」，Clarendon Press，Oxford，1997中描述)而快速和精確地被確定。
在本發明中可實施的、優選的RSF分類器的詳細算法說明被提供在這裡的表1和表2上。如表1所示，初始地，通過選擇F，即BF節點的數目，來確定RBF網絡10的大小。F的適當數值是特定於問題的，且它通常取決於問題的維數和要被形成的判決區域的複雜性。通常，F可以通過嘗試各種各樣的F而經驗式地確定，或它可被設置為某個常數，通常大於問題的輸入維數。在設置F後，可以通過使用各種方法來確定BF的均值μI和方差σI2矢量。它們可以通過使用後向傳播梯度下降技術連同輸出權重一起被訓練，但這通常需要長的訓練時間，以及可能導致次最佳的本地最小值。替換地，均值和方差可能在訓練輸出權重之前被確定。然後網絡的訓練只牽涉到確定權重。
BF均值(中心)和方差(寬度)通常被選擇為使得覆蓋所關心的空間。也可以使用本領域公知的不同的技術例如，一種技術實施對輸入空間進行採樣的、相等地間隔開的BF的網格；另一種技術則實施聚類算法，諸如k均值，以便確定BF中心組；其他技術實施從訓練的組選擇隨機矢量作為BF中心，以確保每個類別都被代表。
一旦BF中心或均值被確定，就可以設置BF方差或寬度σI2。它們可被固定為某個全局數值或者被設置為反映在BF中心的鄰近區域中的數據矢量的密度。另外，包括有用於方差的全局比例因子H，以便允許重新縮放BF的寬度。通過對H空間搜索導致良好性能的數值，而確定它的適當的數值。
在設置BF參量後，下一個步驟是訓練線性網絡中的輸出權重wij。個人訓練模式X(p)和它們的類別標籤C(p)被呈現給分類器，以及計算最終的BF節點輸出yI(p)。這些和想要的輸出dj(p)然後被使用來確定F×F相關矩陣「R」和F×M輸出矩陣「B」。應當指出，每個訓練模式產生一個R和B矩陣。最後的R和B矩陣是N個單獨的R和B矩陣的總和的結果，其中N是訓練模式的總數。一旦全部N個模式都被呈現給分類器，輸出的權重wij就被確定。對最後的相關矩陣R求逆，以及將其使用來確定每個wij。
表1如表2所示，通過把未知的輸入矢量Xtest呈現給訓練的分類器以及計算最終得到的BF節點輸出yi，而執行分類。然後，這些數值連同權重wij被使用來計算輸出值zj。然後，把輸入矢量Xtest分類為屬於與具有最大的zj輸出的輸出節點j有關的類別。
表2在本發明的方法中，RBF輸入包含被饋送到網絡的、n尺寸歸一化面部灰度級圖像，作為一維(即1D)矢量。隱(未監管的)層14實施「增強的」k均值聚類程序過程，諸如在S.Gutta，J.Huang，P.Jonathon和H.Wechsler，「Mixture of Experts for Classification ofGender，Ethnic Origin，and Pose of Human Faces(對於人面孔的性別、種族血統和姿勢的分類的專家混合)」，IEEE Transactions on NeuralNetworks，11(4)948-960，2000年7月中描述的，該參考文獻整體地在此引用，以供參考，其中高斯聚類節點和它們的方差被動態地設置。聚類的數目例如可以在5個步驟中從訓練圖像數的1/5變化到訓練圖像的總數n。每個聚類的高斯的寬度σ12被設置為最大值(聚類的中心與在類別直徑內的最遠成員之間的距離，在聚類的中心與來自其他聚類的最接近的模式之間的距離)乘以重疊因子o，這裡該重疊因子等於2。通過使用不同的比例常數h，寬度被進一步動態地改進。隱層14產生功能的形狀基的等價物，其中每個聚類節點對形狀空間上的某些共同的特性進行編碼。輸出(被監管的)層把面部編碼(「擴展」)沿這樣的空間映射到它們的相應的ID類別以及通過使用偽逆技術來找出相應的擴展(「權重」)係數。應當指出，聚類的數目對於那個配置(聚類的數目和特定的比例常數h)被凍結，這在對相同的訓練圖像進行測試時，產生ID分類的100％精確度。
按照本發明，要被用於訓練的輸入矢量是全面部圖像，例如，圖2所示的面部圖像30，例如每個包括64×72象素。按照本發明，單個分類器(RBF網絡10)用這些全圖像進行訓練。然而，在實際的測試期間，測試圖像的不同部分被相對模型的不同部分進行測試。例如，表2中所示的分類算法的步驟2是迭代處理過程，它在每次迭代時執行未知的測試圖像與學習模型的不同部分的減法。訓練是針對全面部全圖像進行的，以及Xtest(全圖像)可以在第一次迭代被輸入。得到第一輸出分數，它包括置信度(概率)度量，例如，如表2的步驟2(c)所示，具有在0與1之間的數值；以及標識類別標籤(學習模型)的標籤。在每次迭代時，這些步驟每次使用該圖像的不同百分數，即部分學習模型，而被重複。例如，在下一個迭代中，未知圖像的更小部分，例如90％，可以相對用於每個類別的學習模型圖像的相應90％進行比較，依此類推。作為每次比較的結果，進一步的置信度(概率)度量和標識類別(學習模型)的標籤由分類器設備確定。因此，如表2所示，整個步驟2(a)是一個循環，使處理過程取決於想要部分的數目而被重複任何次數。例如，正如可由用戶選擇的，所利用的Xtest圖像部分的範圍可以從最大值(例如，全圖像的100％)到最小值(例如，全圖像的50％)，每次迭代以10％或5％部分減小。正如在題目為「System and method of facerecognition through 1/2 faces(通過1/2面孔進行面部識別的系統和方法)」的、共同擁有的、共同待決的美國專利申請No.09/966436[代理人檔案702052，D#14900]中描述的，該專利申請的整個公開內容如在這裡完全闡明一樣被在此引入以供參考，當使用最小圖像，即50％時，強制性地獲取面部圖像的至少一個眼睛、1/2鼻子和1/2嘴，例如該圖像的垂直部分。在每次迭代時該部分減小的粒度可以是用戶可選擇的任選項，以及可能取決於該數據的良好程度和計算成本考慮。應當看到，在性能與成本之間存在折衷。例如，取決於想要的安全性級別，即，應用越安全，每次迭代時部分減小的粒度越細，並且將以更大的成本執行更多次數的比較。對於100％到50％、其中在每個步驟有10％圖像減小比例的情形下，總共有6個置信度分數和類別標籤，由此，如果在每個步驟有5％圖像減小比例，那麼總共有12個用於每個類別。在分數被積累後，規則可被應用來確定該測試圖像的類別。例如，分數可被組合，以達到一致的決定。一個簡單的類別可以是多數裁定規則，然而，可以應用更精巧的規則，例如，諸如在J.Kittler，H.Hateg，和R.P.W.Duin的、題目為「Combining Classifiers(組合分類器)」，Proceedings of the 13thInternational Conference on pattern Recognition，II，第897-901頁，奧地利維也納，1996的參考文獻中描述的，該文章的內容和公開內容在此引用，以供參考。例如，被分類的每個部分將產生一個選票，以及如果使用10個部分，則將得到10票。然後，多數判決投票規則簡單投票法則(例如，如果10票中的6票支持『A』，則主體的身份是『A』)被使用來確定個體(類別)的身份。作為響應，產生多個選票，以及在如圖1所示的分類器中，選擇設備28配備有邏輯，用於應用投票規則以達到適當的判決。
雖然已顯示和描述了被認為是本發明的優選實施例的內容，當然，應當看到，可以容易地在形式或細節上進行各種修正和改變，而不背離本發明的精神。所以不打算把本發明限於所描述和顯示的確切的形式，而是本發明應當被構造為覆蓋可能屬於附屬權利要求的範圍內的所有修正。
權利要求
1.一種用於對面部圖像數據進行分類的方法，該方法包括以下步驟a)訓練一個分類器設備(10)，以便識別一個或多個面部圖像和得到該面部圖像被用於訓練的相應學習模型；b)把包括代表要被識別的一部分未知面部圖像的數據的矢量輸入到所述分類器(10)中；c)按照分類方法對所述部分的所述未知面部圖像進行分類；d)重複進行步驟b)和c)，在每次迭代時使用所述未知面部圖像的不同部分；以及，e)標識(28)由輸入到所述分類器的所述不同部分而產生的單個類別。
2.權利要求1的方法，其中所述分類步驟c)包括-每次迭代時，把該未知圖像的一部分相對用於每個類別的學習模型圖像的相應部分進行比較；以及，-得到用於每個已分類部分的置信度分數。
3.權利要求2的方法，其中所述識別步驟e)包括把一規則應用到所述置信度分數，以得到所述單個類別結果。
4.權利要求2的方法，其中所述置信度分數是用一個類別標識未知面部圖像的當前部分的概率度量，所述被應用的規則包括得到具有為每個未知面部圖像確定的多數類別標籤的類別。
5.權利要求2的方法，其中所述分類步驟c)包括在每次迭代時，減小被測試的、該未知圖像的該部分以及把該未知圖像的減小部分相對用於每個類別的學習模型圖像的相應減小部分進行比較。
6.權利要求5的方法，其中所述部分以相等的減小量從該未知面部圖像的100％減小到該未知面部圖像的50％。
7.權利要求1的方法，其中徑向基函數網絡(10)被實施，用來訓練和分類每個圖像部分。
8.權利要求7的方法，所述訓練步驟包括(a)初始化該徑向基函數網絡，該初始化步驟包括以下步驟-通過選擇多個基函數F而固定該網絡結構，其中每個基函數I具有高斯非線性的輸出；-通過使用K均值聚類算法來確定基函數均值μI，其中I＝1，…，F，-確定基函數方差σI2；以及-通過經驗式的搜索來確定用於基函數方差的全局比例因子H；(b)呈現訓練，該呈現步驟包括以下步驟-把訓練模式X(p)和它們的類別標籤C(p)輸入到分類方法中，其中模式索引是p＝1，…，N；-計算由模式X(p)導致的基函數節點的輸出yI(p)，F；-計算基函數輸出的FxF相關矩陣R；以及-計算FxM輸出矩陣B，其中dj是想要的輸出以及M是輸出類別的數目，且j＝1，…，M；以及(c)確定權重(24)，該確定步驟包括以下步驟-對FxF相關矩陣R求逆，以得到R-1；以及-求解該網絡中的權重。
9.權利要求8的方法，其中該分類步驟還包括-每次迭代時把每個Xtest部分呈現給該分類方法；以及-通過以下方式對每個Xtest進行分類*對於所有的F個基函數，計算基函數輸出；*計算輸出節點激活(20)；以及*選擇具有最大數值的輸出zj和把該Xtest部分分類為類別j。
10.權利要求1的方法，其中該分類步驟c)包括輸出標識該檢測的未知面部圖像部分所相應的類別的類別標籤，以及表示該未知面部圖像模式屬於該類別的概率的概率數值。
11.一種用於對面部圖像數據進行分類的設備，包括-分類器設備(10)，其被訓練成用於識別一個或多個面部圖像以及生成與用於訓練的面部圖像有關的相應學習模型；-用於迭代地輸入矢量到所述分類器的裝置，每個矢量包括代表要被識別的未知面部圖像(30)的一部分的數據，每次迭代時不同的圖像部分被輸入到所述分類器，所述分類器設備按照分類方法對所述未知面部圖像的每個所述部分進行分類；-用於標識由輸入到所述分類器的所述不同部分產生的單個類別的裝置。
12.權利要求11的設備，其中所述分類器包括用於在每次迭代時把該未知圖像的一部分相對用於每個類別的學習模型圖像的相應部分進行比較的機制；以及得到用於每個已分類部分的置信度分數。
13.一種機器可讀的程序存儲設備，其有形地包含機器可執行的指令程序，以執行用於對面部圖像數據進行分類的方法步驟，該方法包括以下步驟a)訓練一個分類器設備(10)，以便識別一個或多個面部圖像和得到該面部圖像被用於訓練的相應學習模型；b)把包括代表要被識別的一部分未知面部圖像(30)的數據的矢量輸入到所述分類器中；c)按照分類方法對所述部分的所述未知面部圖像進行分類；d)重複進行步驟b)和c)，在每次迭代時使用所述未知面部圖像的不同部分；以及，e)標識(28)由輸入到所述分類器的所述不同部分而產生的單個類別。
全文摘要
一種用於對面部圖像數據進行分類的系統和方法，該方法包括以下步驟訓練一個分類器設備以便識別一個或多個面部圖像和得到該面部圖像被用於訓練的相應學習模型；把包括代表要被識別的一部分未知面部圖像的數據的矢量輸入到該分類器；按照分類方法對該部分未知面部圖像進行分類；重複進行輸入和分類步驟，在每次迭代時使用該未知面部圖像的不同部分；以及標識由到該分類器的不同部分輸入而引起的單個類別。
文檔編號G06T7/00GK1559051SQ02818994
公開日2004年12月29日 申請日期2002年9月10日 優先權日2001年9月28日
發明者S·V·R·古特塔, V·菲爾洛明, M·特拉科維, S V R 古特塔, 莆 , 迕 申請人:皇家飛利浦電子股份有限公司