一種高性能的人臉識別方法及系統的製作方法

2023-07-31 08:22:56 1

一種高性能的人臉識別方法及系統的製作方法
【專利摘要】本發明公開了一種高性能的人臉識別方法及系統，其中，該方法包括：基於多視角進行人臉檢測，並根據人臉特徵點定位算法確定人臉區域後進行圖像歸一化，獲得歸一化後的多個視角的人臉圖像；將提取到的所述歸一化後圖像的方向梯度直方圖HOG特徵及局部二值模式LBP特徵相連接，獲得最終特徵；提取樣本庫中的人臉圖像的HOG特徵及LBP特徵的並進行訓練後與所述最終特徵相匹配，實現高性能的人臉識別；其中，所述樣本庫中的人臉圖像為添加了光照的三維人臉模型的多視角投影圖像。通過採用本發明公開的方法及系統，使得人臉識別性能不受光照條件和人臉姿態因素變化影響，提高了人臉識別速率，降低了計算複雜度。
【專利說明】一種高性能的人臉識別方法及系統

【技術領域】
[0001] 本發明涉及圖像處理與模式識別【技術領域】，尤其涉及一種高性能的人臉識別方法 及系統。

【背景技術】
[0002] 人臉識別技術是通過分析臉部器官的唯一形狀和位置來進行身份鑑別，是一種重 要生物識別技術，廣泛應用於銀行監控、門禁系統、出入境檢查、刑事偵查和疑犯追蹤、場館 攝像監視、信息安全、家庭娛樂等諸多領域。
[0003] 目前，人臉識別系統根據處理的數據不同分為二維人臉識別系統和三維人臉識別 系統。
[0004] 其中，二維人臉識別系統所採用的方法相對成熟，早於1991年Turk和Pentland 提出的特徵臉（Eigenfaces)方法就具有較好的識別效果。隨後的研究中，基於神經網絡的 人臉識別方法、基於支持向量機（SVM)的人臉識別方法和基於小波變換的人臉識別方法等 等都不斷的湧現。但是，不論如何改進都無法克服二維人臉識別固有的缺陷，即光照條件和 人臉姿態等因素的變化影響了待識別圖像特徵與樣本庫中圖像特徵的匹配，從而降低了識 別性能。
[0005] 而大部分的三維人臉識別方法是基於較抽象的空間幾何特徵，如採用迭代最近點 方法進行曲面相似度匹配的識別方法、根據三維模型特徵點定位提取局部區域進行曲線的 匹配的識別方法。但是，三維人臉識別技術還不夠成熟，三維數據又過於龐大，計算複雜，識 別速率低，並且三維數據獲取設備昂貴、三維數據獲取條件受限，所以，三維人臉識別難以 在實際應用中推廣。


【發明內容】

[0006] 本發明的目的是提供一種高性能的人臉識別方法及系統，使得人臉識別性能不受 光照條件和人臉姿態因素變化影響，提高了人臉識別速率，降低了計算複雜度。
[0007] 本發明的目的是通過以下技術方案實現的：
[0008] -種高性能的人臉識別方法，該方法包括：
[0009] 基於多視角進行人臉檢測，並根據人臉特徵點定位算法確定人臉區域後進行圖像 歸一化，獲得歸一化後的多個視角的二維人臉圖像；
[0010] 提取每一視角的歸一化後二維人臉圖像的方向梯度直方圖H0G特徵及局部二值 模式LBP特徵，並相連接，獲得最終特徵；
[0011] 提取樣本庫中的人臉圖像的H0G特徵及LBP特徵，採用樹型結構SVM訓練獲得包 含多個光照環境及多個視角的人臉光照姿態分類器，再計算LBP特徵的平均特徵向量，獲 得一平均LBP特徵向量庫；其中，所述樣本庫中的人臉圖像為添加了光照的三維人臉模型 的多視角投影圖像；
[0012] 利用獲得人臉光照姿態分類器及平均LBP特徵向量庫與所述最終特徵相匹配，實 現高性能的人臉識別。
[0013] 進一步的，所述基於多視角進行人臉檢測，並根據人臉特徵點定位算法確定人臉 區域後進行圖像歸一化包括：
[0014] 基於多視角進行人臉檢測：對輸入的彩色圖像進行灰度化並進行直方圖均衡化， 分別使用正面、左側面與右側面人臉檢測器進行人臉檢測，並去除面積小於預定值的人臉 檢測結果，獲得多視角的人臉圖像；
[0015] 人臉定位與歸一化：基於H0G特徵的混合樹形結構特徵點模型，在獲得的多視角 的人臉圖像中進行特徵點定位，當定位特徵點後，根據人臉外輪廓特徵點精確確定人臉區 域，並通過剪裁和縮放人臉區域圖像完成人臉圖像歸一化。
[0016] 進一步的，所述提取每一視角的歸一化後二維人臉圖像的方向梯度直方圖H0G特 徵及局部二值模式LBP特徵，並相連接，獲得最終特徵包括 ：
[0017] 對歸一化後的圖像進行直方圖均衡化並提取H0G特徵後，按照不同的分塊策略對 圖像分塊；
[0018] 再採用混合LBP算子提取分塊圖像的LBP特徵，並將提取到的H0G特徵與LBP特 徵相連接，獲得最終特徵。
[0019] 進一步的，所述樣本庫中的人臉圖像為添加了光照的三維人臉模型的多視角投影 圖像包括：
[0020] 從三維人臉模型中獲取頂點、面片和紋理信息，通過OpenGL繪製出來，將繪製的 三維人臉模型平移到世界坐標系下的原點；
[0021] 再根據OpenGL中的光照模型分別在所述三維人臉模型的上面、下面、左側、右側 和正面添加光照；
[0022] 對於每一種光照，均圍繞Z軸旋轉所述三維人臉模型，繪製結果將緩衝到幀緩衝 區FrameBuffer中，從FrameBuffer中提取數據並保存成圖像，通過一系列的旋轉變換後獲 得多視角的投影圖像。
[0023] 進一步的，所述利用獲得人臉光照姿態分類器及平均LBP特徵向量庫與所述最終 特徵相匹配，實現高性能的人臉識別包括：
[0024] 將所述最終特徵中的H0G特徵輸入所述人臉光照姿態分類器中，所述人臉光照姿 態分類器估計出該最終特徵中的H0G特徵對應人臉圖像的光照和人臉姿態；
[0025] 再採用度量方法度量所述最終特徵中的LBP特徵與平均LBP特徵向量庫中具有相 同光照條件和姿態下的LBP特徵的平均特徵向量的匹配程度，並根據與預先設定的閾值進 行比較獲得識別結果，從而實現高性能的人臉識別。
[0026] -種高性能的人臉識別系統，該系統包括：
[0027] 人臉圖像獲取模塊，用於基於多視角進行人臉檢測，並根據人臉特徵點定位算法 確定人臉區域後進行圖像歸一化，獲得歸一化後的多個視角的二維人臉圖像；
[0028] 最終特徵獲取模塊，用於提取每一視角的歸一化後二維人臉圖像的方向梯度直方 圖H0G特徵及局部二值模式LBP特徵，並相連接，獲得最終特徵；
[0029] 樣本特徵提取與訓練模塊，用於提取樣本庫中的人臉圖像的H0G特徵及LBP特徵， 採用樹型結構SVM訓練獲得包含多個光照環境及多個視角的人臉光照姿態分類器，再計算 LBP特徵的平均特徵向量，獲得一平均LBP特徵向量庫；其中，所述樣本庫中的人臉圖像為 添加了光照的三維人臉模型的多視角投影圖像；
[0030] 人臉識別模塊，用於利用獲得人臉光照姿態分類器及平均LBP特徵向量庫與所述 最終特徵相匹配，實現高性能的人臉識別。
[0031] 進一步的，所述人臉圖像獲取模塊包括：
[0032] 多視角人臉檢測模塊，用於基於多視角進行人臉檢測：對輸入的彩色圖像進行灰 度化並進行直方圖均衡化，分別使用正面、左側面與右側面人臉檢測器進行人臉檢測，並去 除面積小於預定值的人臉檢測結果，獲得多視角的人臉圖像；
[0033] 人臉定位與歸一化模塊，用於人臉定位與歸一化：基於H0G特徵的混合樹形結構 特徵點模型，在獲得的多視角的人臉圖像中進行特徵點定位，當定位特徵點後，根據人臉外 輪廓特徵點精確確定人臉區域，並通過剪裁和縮放人臉區域圖像完成人臉圖像歸一化。 [0034] 進一步的，所述最終特徵獲取模塊包括：
[0035] H0G特徵提取及分塊模塊，用於對歸一化後的圖像進行直方圖均衡化並提取H0G 特徵後，按照不同的分塊策略對圖像分塊；
[0036] LBP特徵提取及特徵連接模塊，用於採用混合LBP算子提取分塊圖像的LBP特徵， 並將提取到的H0G特徵與LBP特徵相連接，獲得最終特徵。
[0037] 進一步的，所述樣本庫中的人臉圖像為添加了光照的三維人臉模型的多視角投影 圖像包括：
[0038] 從三維人臉模型中獲取頂點、面片和紋理信息，通過OpenGL繪製出來，將繪製的 三維人臉模型平移到世界坐標系下的原點；
[0039] 再根據OpenGL中的光照模型分別在所述三維人臉模型的上面、下面、左側、右側 和正面添加光照；
[0040] 對於每一種光照，均圍繞Z軸旋轉所述三維人臉模型，繪製結果將緩衝到幀緩衝 區FrameBuffer中，從FrameBuffer中提取數據並保存成圖像，通過一系列的旋轉變換後獲 得多視角的投影圖像。
[0041] 進一步的，所述人臉識別模塊包括：
[0042] 匹配識別模塊，用於將所述最終特徵中的H0G特徵輸入所述人臉光照姿態分類器 中，所述人臉光照姿態分類器估計出該最終特徵中的H0G特徵對應人臉圖像的光照和人臉 姿態；再採用度量方法度量所述最終特徵中的LBP特徵與平均LBP特徵向量庫中具有相同 光照條件和姿態下的LBP特徵的平均特徵向量的匹配程度，並根據與預先設定的閾值進行 比較獲得識別結果，從而實現高性能的人臉識別。
[0043] 由上述本發明提供的技術方案可以看出，利用對三維人臉模型添加不同光照並生 成多視角的投影圖像，將這些能充分模擬實際情況中的人臉姿態和光照環境的圖像作為訓 練樣本，並在識別人臉的同時估計圖像中人臉姿態與光照；由於主要採用的還是二維人臉 圖像進行識別，所以計算複雜度相對於三維識別要小，同時又結合了三維模型，所以能減少 光照環境和人臉姿態變化對識別率的影響，從而能夠提高人臉識別性能。

【專利附圖】

【附圖說明】
[0044] 為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用 的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本 領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他 附圖。
[0045] 圖1為本發明實施例一提供的一種高性能的人臉識別方法的流程圖；
[0046] 圖2為本發明實施例二提供的一種包含樣本處理、輸入圖片處理及人臉識別過程 的總流程圖；
[0047] 圖3為本發明實施例二提供的一種樹形結構的分層SVM拓撲結構圖；
[0048] 圖4為本發明實施例三提供的一種高性能的人臉識別系統的示意圖。

【具體實施方式】
[0049] 下面結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整 地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本 發明的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施 例，都屬於本發明的保護範圍。
[0050] 實施例一
[0051] 圖1為本發明實施例一提供的一種高性能的人臉識別方法的流程圖。如圖1所示， 該方法主要包括如下步驟：
[0052] 步驟11、基於多視角進行人臉檢測，並根據人臉特徵點定位算法確定人臉區域後 進行圖像歸一化，獲得歸一化後的多個視角的二維人臉圖像。
[0053] 具體來說，本步驟包括：基於多視角進行人臉檢測：對輸入的彩色圖像進行灰度 化並進行直方圖均衡化，分別使用正面、左側面與右側面人臉檢測器進行人臉檢測，並去除 面積小於預定值的人臉檢測結果，獲得多視角的人臉圖像；
[0054] 人臉定位與歸一化：基於H0G(方向梯度直方圖）特徵的混合樹形結構特徵點模 型，在獲得的多視角的人臉圖像中進行特徵點定位，當定位特徵點後，根據人臉外輪廓特徵 點精確確定人臉區域，並通過剪裁和縮放人臉區域圖像完成人臉圖像歸一化。
[0055] 步驟12、提取每一視角的歸一化後二維人臉圖像的H0G特徵及LBP特徵，並相連 接，獲得最終特徵。
[0056] 本發明實施例中，首先，對歸一化後的圖像進行直方圖均衡化並提取H0G特徵後， 按照不同的分塊策略對圖像分塊；再採用混合LBP(局部二值模式）算子提取分塊圖像的 LBP特徵，並將提取到的H0G特徵與LBP特徵相連接，獲得最終特徵。
[0057] 步驟13、提取樣本庫中的人臉圖像的H0G特徵及LBP特徵，採用樹型結構SVM訓練 獲得包含多個光照環境及多個視角的人臉光照姿態分類器，再計算LBP特徵的平均特徵向 量，獲得一平均LBP特徵向量庫。
[0058] 本發明實施例中，所述樣本庫中的人臉圖像為添加了光照的三維人臉模型的多視 角投影圖像；具體的：從三維人臉模型中獲取頂點、面片和紋理信息，通過OpenGL繪製出 來，將繪製的三維人臉模型平移到世界坐標系下的原點；再根據OpenGL中的光照模型分別 在所述三維人臉模型的上面、下面、左側、右側和正面添加光照；對於每一種光照，均圍繞Z 軸旋轉所述三維人臉模型，繪製結果將緩衝到FrameBuffer (巾貞緩衝區）中，從FrameBuffer 中提取數據並保存成圖像，通過一系列的旋轉變換後獲得多視角的投影圖像。
[0059] 本步驟可採用與步驟12類似的方法提取樣本庫中人臉圖像的H0G特徵及LBP特 徵，然後，採用樹型結構SVM訓練（HOG特徵）獲得包含多個光照環境及多個視角的人臉光 照姿態分類器，再計算LBP特徵的平均特徵向量，獲得平均LBP特徵向量庫。
[0060] 步驟14、利用獲得人臉光照姿態分類器及平均LBP特徵向量庫與所述最終特徵相 匹配，實現高性能的人臉識別。
[0061] 匹配識別的步驟如下：將所述最終特徵中的H0G特徵輸入所述人臉光照姿態分類 器中，所述人臉光照姿態分類器估計出該最終特徵中的H0G特徵對應人臉圖像的光照和人 臉姿態；再採用度量方法度量所述最終特徵中的LBP特徵與平均LBP特徵向量庫中具有相 同光照條件和姿態下的LBP特徵的平均特徵向量的匹配程度，並根據與預先設定的閾值進 行比較獲得識別結果，從而實現高性能的人臉識別。
[0062] 本發明實施例通過利用對三維人臉模型添加不同光照並生成多視角的投影圖像， 將這些能充分模擬實際情況中的人臉姿態和光照環境的圖像作為訓練樣本，並在識別人臉 的同時估計圖像中人臉姿態與光照；由於主要採用的還是二維人臉圖像進行識別，所以計 算複雜度相對於三維識別要小，同時又結合了三維模型，所以能減少光照環境和人臉姿態 變化對識別率的影響，從而能夠提高人臉識別性能。
[0063] 實施例二
[0064] 為了便於理解本發明，下面結合附圖2對本發明做進一步的介紹。
[0065] 如圖2所示，本發明主要包括三個部分處理流程：1)針對輸入圖像進行處理的流 程；2)針對樣本庫的處理流程；3)結合1)與2)進行人臉識別的過程。
[0066] 1、右側針對輸入圖像進行處理與識別的流程主要包括：人臉檢測、人臉定位與歸 一化以及特徵提取。
[0067] 1)人臉檢測為多視角的人臉檢測主要包括：對圖像灰度化後進行直方圖均衡化 以減少光線過暗或過亮的影響，然後使用基於Haar特徵（矩形）的Adaboost (-種迭代算 法）人臉檢測算法進行人臉檢測。
[0068] 考慮到多姿態的人臉其Haar特徵明顯不同，所以本發明實施例中，將人臉姿態分 為正面、側面這兩類，分別訓練得到正面人臉檢測器和側面人臉檢測器。人臉姿態中的側臉 可分為左側臉與右側臉，根據人臉的對稱性，圖像中的右側臉通過水平翻轉變換可轉變為 左側臉，在進行人臉檢測時，本發明實施例只需採用左側臉檢測器對待檢測圖像檢測側臉。 [0069] 本發明實施例中，多視角的人臉檢測主要有以下幾個步驟：
[0070] a.如果輸入圖像為彩色圖像，對其進行灰度化，對灰度化後的圖像統計直方圖並 均衡化，使用正面人臉檢測器檢測圖像，記錄檢測結果後將檢測區域的灰度值設置為〇 ; [0071] b.對上一步驟中生成的圖像使用左側面人臉檢測器檢測，同理，記錄檢測結果後 將檢測區域的灰度值設置為0 ;
[0072] c.對上一步驟中生成的圖像做一次水平翻轉變換後再使用左側面人臉檢測器檢 測，記錄檢測結果；
[0073] d.綜合上述步驟中檢測的結果，對於面積過小的檢測區域刪去，得到最終的多視 角的人臉檢測圖像。
[0074] 2)人臉定位與歸一化：人臉檢測粗略確定人臉候選區域後需要根據人臉特徵點 定位算法精確確定人臉區域，並對人臉區域進行大小歸一化。
[0075] 本發明實施例所採用的特徵點模型是一種基於H0G特徵的混合樹形結構特徵點 模型，根據人臉偏轉角度的不同，從-90度到90度，即全右側臉偏轉180度到全左側臉的人 臉特徵點模型分成了 13個模型，其中-45度到45度之間的模型最多具有68個特徵點，其 他模型最多具有39個特徵點。採用該模型在人臉圖像內進行特徵點定位，由於人臉圖像可 能只包含人臉的部分，為了提高特徵點定位的準確性，對人臉檢測區域向左、右、下這三個 方向擴大一點。
[0076] 當定位特徵點後，根據人臉外輪廓特徵點精確確定人臉區域，並通過剪裁和縮放 人臉區域圖像，使人臉區域圖像大小統一，例如，可統一為64X64像素，即圖像寬度與高度 都為64像素。具體來說，根據定位的特徵點確定人臉區域的上下邊界，即確定人臉的高度 H，然後根據定位的特徵點能夠計算出人臉的寬度W。如果H/W大於1就通過將人臉區域左 邊界左移和人臉區域右邊界右移來增加 W使得H/W = 1 ;如果H/W小於1就通過將人臉區 域左邊界右移和人臉區域右邊界左移來減小W使得H/W= 1 ;高度與寬度比例固定後對圖 像進行雙線性插值縮放，使其大小歸一化為64X64像素。
[0077] 3)特徵提取：對於歸一化後的圖像進行直方圖均衡化並提取H0G特徵後，按照不 同的分塊策略對圖像分塊，並採用混合LBP算子提取分塊區域的LBP特徵，最後將H0G特徵 與LBP特徵聯接起來，構成最終的特徵向量。
[0078] 本發明實施例中，H0G特徵是描述子是一種在計算機視覺和圖像處理中用來進行 物體檢測的特徵描述子，它是通過計算和統計圖像局部區域的梯度方向直方圖來構成特 徵。LBP是一種局部紋理描述算子，當圖像的灰度特徵呈線性變化時，其LBP特徵能夠保持 不變。LBP特徵提取時採用傳統LBP算子和均勻LBP算子相結合。由於均勻模式LBP在整 個LBP特徵中佔85% -90%，而均勻LBP特徵維數為58,遠小於傳統LBP特徵維數的256， 所以本發明為了降低特徵維數，將提取分塊圖像的均勻LBP。
[0079] 特徵向量的提取具體有以下幾個步驟：
[0080] H0G特徵提取：採用常規方法直接對上述歸一化的圖像提取H0G特徵；例如，歸一 化為64X64像素，則提取的H0G特徵維數為1764。
[0081] LBP特徵提取：
[0082] a.使用傳統LBP算子處理原始圖像，並統計處理後的LBP圖像的每個像素的值得 到該LBP圖像的直方圖H。；
[0083] b.對圖像進行分塊（例如，分為四等份），每一塊採用均勻LBP算子處理，並統計 得到相應的直方圖再將所有的直方圖按照一定順序聯合構成1 ;再對圖像進行精細分塊 (例如，分為十六等份），並使用相同的方法處理分塊圖像，得到H2 ;
[0084] c.將上述步驟中的直方圖'氏，H2連接成直方圖Η1 ;示例性的，上述過程獲得的 直方圖可以使用的採樣點為8,採樣半徑為1的LBP算子；
[0085] d.使用採樣點為8,採樣半徑為2的LBP算子替換上述算子，重複步驟a)、b)、c)， 得到直方圖Η 2。聯合Η1和H2,得到特徵向量Η ;
[0086] e.使用以上特徵提取方法提取歸一化為64X64像素的圖像，得到的LBP特徵向量 的維數為2872。
[0087] f.將上述步驟中提取的H0G特徵與LBP特徵連接形成最終的特徵向量。
[0088] 2、左側針對樣本庫的處理流程主要包括：樣本生成（繪製三維人臉模型、生成二 維投影、人臉定位與歸一化）、特徵提取與訓練分類。
[0089] 首先，樣本生成主要包括：讀取三維人臉模型，並對模型添加各種光照，變換姿態 得到模型不同光照條件與姿態下的二維投影圖像，從而生成訓練樣本，再根據特徵點定位 算法與特徵提取算法得到樣本特徵資料庫。具體來說，先從三維人臉模型中獲取頂點，面片 和紋理信息，通過OpenGL繪製出來，將繪製的三維人臉模型平移到世界坐標系下的原點， 模型始終朝向觀察者；然後，根據OpenGL中的光照模型分別在所述三維人臉模型的上面、 下面、左側、右側和正面添加光照。對於每一種光照，均圍繞Z軸旋轉模型，繪製結果將會緩 衝到FrameBuffer (巾貞緩衝區）中，從FrameBuffer中提取數據並保存成圖像即可得到二維 投影圖像，通過一系列的旋轉變換後生成多視角的樣本圖像。
[0090] 其次，特徵提取與訓練分類包括：首先，提取所有訓練樣本圖像的特徵（H0G特徵 及LBP特徵）構成樣本特徵資料庫；再利用樣本庫中的人臉圖像的H0G特徵訓練支持向量 機（SVM)得到人臉光照姿態分類器（包含多個光照環境的光照模型分類器與包含多個視角 的人臉姿態分類器），並計算LBP特徵的平均特徵向量。
[0091] 示例性的，對於獲得的樣本特徵資料庫中的前1764維特徵向量（即H0G特 徵）採用樹形結構的分層SVM訓練得到光照模型分類器（ΧΓΜ, 1 )與人臉姿態分類器 (SFM,2?$ΓΜ52)，其拓撲結構如圖3所示（根據一光照環境分類），然後，根據一定的分類 方式對樣本特徵資料庫分類，並計算每一類特徵向量的後2872維特徵（即LBP特徵）的平 均特徵向量。
[0092] 具體的：根據光源位於三維人臉模型的正面，左側面，右側面，上面，下面這五種光 照環境，將對應的二維投影圖像分為五大類，樣本特徵資料庫中的特徵也分為五大類並使 用特徵向量的前1764維，S卩H0G特徵訓練第一層的SVM。
[0093] 對於同一種光照環境下，將樣本分成五類，對應樣本特徵資料庫中的特徵也分為 五類並使用特徵向量的前1764維，即H0G特徵訓練第二層的SVM，這五類的劃分是根據投影 樣本圖像中人臉偏轉角度的不同進行的，S卩[-90°，-45° )為第一類，[-45°，-15° )為 第二類，[-15°，15° ]為第三類，（15°，45° ]為第四類，（45°，90° ]為第五類。 [0094] 對於同一種光照環境，人臉偏轉角度在同一範圍的樣本圖像根據其是否屬於同 一三維人臉模型進行分類，計算每一類圖像特徵向量後2872維，即LBP特徵的平均特徵向 量並存儲。
[0095] 上述訓練過程產生了一個光照模型分類器、五個姿態模型分類器和一個平均LBP 特徵向量庫。
[0096] 本發明實施例中，SVM是一種基於結構風險最小化原則（即兼顧訓練誤差與測試 誤差的最小化）的學習方法，SVM的基本思想是在樣本空間構造出最優超平面，使得超平面 與不同類樣本集之間的距離達到最大。由於SVM本身是一種處理兩類問題的方法，在處理 多類問題時有兩種基本策略，即1-多判別策略和1-1判別策略。本發明中的樹形結構的分 層SVM將採用1-1的判別策略。
[0097] 3、人臉識別的過程。
[0098] 本發明實施例中，結合前述1-2部分的結果進行人臉的識別；S卩，將前述部分1中 獲得的最終的特徵向量中的H0G特徵輸入所述人臉光照姿態分類器中，所述人臉光照姿態 分類器估計出該人臉圖像的光照和人臉姿態；再採用度量方法度量所述最終特徵中的LBP 特徵與平均LBP特徵向量庫中具有相同光照條件和姿態下的LBP特徵的平均特徵向量的匹 配程度，並根據與預先設定的閾值比較獲得識別結果，從而實現高性能的人臉識別。
[0099] 由於訓練樣本集中的圖像能充分模擬實際情況中的光照環境與人臉姿態，同時 H0G特徵能提取形狀信息，可以有效用於估計人臉姿態，而LBP作為一種紋理描述算子對線 性光照具有不變性，所以本發明能夠解決二維人臉識別性能受光照姿態變化影響較大的缺 陷。
[0100] 本發明實施例利用對三維人臉模型添加不同光照並生成多視角的投影圖像，將這 些能充分模擬實際情況中的人臉姿態和光照環境的圖像作為訓練樣本，並在識別人臉的同 時估計圖像中人臉姿態與光照；由於主要採用的還是二維人臉圖像進行識別，所以計算復 雜度相對於三維識別要小，同時又結合了三維模型，所以能減少光照環境和人臉姿態變化 對識別率的影響，從而能夠提高人臉識別性能。
[0101] 實施例三
[0102] 圖4為本發明實施例三提供的一種高性能的人臉識別系統的示意圖。如圖4所示， 該系統主要包括：
[0103] 人臉圖像獲取模塊41，用於基於多視角進行人臉檢測，並根據人臉特徵點定位算 法確定人臉區域後進行圖像歸一化，獲得歸一化後的多個視角的二維人臉圖像；
[0104] 最終特徵獲取模塊42,用於提取每一視角的歸一化後二維人臉圖像的方向梯度直 方圖H0G特徵及局部二值模式LBP特徵，並相連接，獲得最終特徵；
[0105] 樣本特徵提取與訓練模塊43,用於提取樣本庫中的人臉圖像的H0G特徵及LBP特 徵，採用樹型結構SVM訓練獲得包含多個光照環境及多個視角的人臉光照姿態分類器，再 計算LBP特徵的平均特徵向量，獲得一平均LBP特徵向量庫；其中，所述樣本庫中的人臉圖 像為添加了光照的三維人臉模型的多視角投影圖像；
[0106] 人臉識別模塊44,用於將樣本庫中的人臉圖像的H0G特徵及LBP特徵的融合特徵， 與所述最終特徵相匹配，實現高性能的人臉識別。
[0107] 進一步的，所述人臉圖像獲取模塊41可以包括：
[0108] 多視角人臉檢測模塊411，用於基於多視角進行人臉檢測：對輸入的彩色圖像進 行灰度化並進行直方圖均衡化，分別使用正面、左側面與右側面人臉檢測器進行人臉檢測， 並去除面積小於預定值的人臉檢測結果，獲得多視角的人臉圖像；
[0109] 人臉定位與歸一化模塊412,用於人臉定位與歸一化：基於H0G特徵的混合樹形結 構特徵點模型，在獲得的多視角的人臉圖像中進行特徵點定位，當定位特徵點後，根據人臉 外輪廓特徵點精確確定人臉區域，並通過剪裁和縮放人臉區域圖像完成人臉圖像歸一化。 [0110] 進一步的，所述最終特徵獲取模塊42可以包括：
[0111] H0G特徵提取及分塊模塊421，用於對歸一化後的圖像進行直方圖均衡化並提取 H0G特徵後，按照不同的分塊策略對圖像分塊；
[0112] LBP特徵提取及特徵連接模塊422,用於採用混合LBP算子提取分塊圖像的LBP特 徵，並將提取到的H0G特徵與LBP特徵相連接，獲得最終特徵。
[0113] 進一步的，所述樣本庫中的人臉圖像為添加了光照的三維人臉模型的多視角投影 圖像包括：
[0114] 從三維人臉模型中獲取頂點、面片和紋理信息，通過OpenGL繪製出來，將繪製的 三維人臉模型平移到世界坐標系下的原點；
[0115] 再根據OpenGL中的光照模型分別在所述三維人臉模型的上面、下面、左側、右側 和正面添加光照；
[0116] 對於每一種光照，均圍繞Z軸旋轉所述三維人臉模型，繪製結果將緩衝到幀緩衝 區FrameBuffer中，從FrameBuffer中提取數據並保存成圖像，通過一系列的旋轉變換後獲 得多視角的投影圖像。
[0117] 進一步的，所述人臉識別模塊44可以包括：匹配識別模塊441，用於將所述最終特 徵中的H0G特徵輸入所述人臉光照姿態分類器中，所述人臉光照姿態分類器估計出該最終 特徵中的H0G特徵對應人臉圖像的光照和人臉姿態；再採用度量方法度量所述最終特徵中 的LBP特徵與平均LBP特徵向量庫中具有相同光照條件和姿態下的LBP特徵的平均特徵向 量的匹配程度，並根據與預先設定的閾值進行比較獲得識別結果，從而實現高性能的人臉 識別。
[0118] 需要說明的是，上述系統中包含的各個功能模塊所實現的功能的具體實現方式在 前面的各個實施例中已經有詳細描述，故在這裡不再贅述。
[0119] 所屬領域的技術人員可以清楚地了解到，為描述的方便和簡潔，僅以上述各功能 模塊的劃分進行舉例說明，實際應用中，可以根據需要而將上述功能分配由不同的功能模 塊完成，即將系統的內部結構劃分成不同的功能模塊，以完成以上描述的全部或者部分功 能。
[0120] 通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例可 以通過軟體實現，也可以藉助軟體加必要的通用硬體平臺的方式來實現。基於這樣的理解， 上述實施例的技術方案可以以軟體產品的形式體現出來，該軟體產品可以存儲在一個非易 失性存儲介質（可以是⑶-ROM，U盤，移動硬碟等）中，包括若干指令用以使得一臺計算機 設備（可以是個人計算機，伺服器，或者網絡設備等）執行本發明各個實施例所述的方法。
[0121] 以上所述，僅為本發明較佳的【具體實施方式】，但本發明的保護範圍並不局限於此， 任何熟悉本【技術領域】的技術人員在本發明披露的技術範圍內，可輕易想到的變化或替換， 都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應該以權利要求書的保護範 圍為準。
【權利要求】
1. 一種高性能的人臉識別方法，其特徵在於，該方法包括： 基於多視角進行人臉檢測，並根據人臉特徵點定位算法確定人臉區域後進行圖像歸一 化，獲得歸一化後的多個視角的二維人臉圖像； 提取每一視角的歸一化後二維人臉圖像的方向梯度直方圖HOG特徵及局部二值模式 LBP特徵，並相連接，獲得最終特徵； 提取樣本庫中的人臉圖像的HOG特徵及LBP特徵，採用樹型結構SVM訓練獲得包含多 個光照環境及多個視角的人臉光照姿態分類器，再計算LBP特徵的平均特徵向量，獲得一 平均LBP特徵向量庫；其中，所述樣本庫中的人臉圖像為添加了光照的三維人臉模型的多 視角投影圖像； 利用獲得人臉光照姿態分類器及平均LBP特徵向量庫與所述最終特徵相匹配，實現高 性能的人臉識別。
2. 根據權利要求1所述的方法，其特徵在於，所述基於多視角進行人臉檢測，並根據人 臉特徵點定位算法確定人臉區域後進行圖像歸一化包括： 基於多視角進行人臉檢測：對輸入的彩色圖像進行灰度化並進行直方圖均衡化，分別 使用正面、左側面與右側面人臉檢測器進行人臉檢測，並去除面積小於預定值的人臉檢測 結果，獲得多視角的人臉圖像； 人臉定位與歸一化：基於HOG特徵的混合樹形結構特徵點模型，在獲得的多視角的人 臉圖像中進行特徵點定位，當定位特徵點後，根據人臉外輪廓特徵點精確確定人臉區域，並 通過剪裁和縮放人臉區域圖像完成人臉圖像歸一化。
3. 根據權利要求1所述的方法，其特徵在於，所述提取每一視角的歸一化後二維人臉 圖像的方向梯度直方圖HOG特徵及局部二值模式LBP特徵，並相連接，獲得最終特徵包括 ： 對歸一化後的圖像進行直方圖均衡化並提取HOG特徵後，按照不同的分塊策略對圖像 分塊； 再採用混合LBP算子提取分塊圖像的LBP特徵，並將提取到的HOG特徵與LBP特徵相 連接，獲得最終特徵。
4. 根據權利要求1所述的方法，其特徵在於，所述樣本庫中的人臉圖像為添加了光照 的三維人臉模型的多視角投影圖像包括： 從三維人臉模型中獲取頂點、面片和紋理信息，通過OpenGL繪製出來，將繪製的三維 人臉模型平移到世界坐標系下的原點； 再根據OpenGL中的光照模型分別在所述三維人臉模型的上面、下面、左側、右側和正 面添加光照； 對於每一種光照，均圍繞Z軸旋轉所述三維人臉模型，繪製結果將緩衝到幀緩衝區 FrameBuffer中，從FrameBuffer中提取數據並保存成圖像，通過一系列的旋轉變換後獲得 多視角的投影圖像。
5. 根據權利要求1所述的方法，其特徵在於，所述利用獲得人臉光照姿態分類器及平 均LBP特徵向量庫與所述最終特徵相匹配，實現高性能的人臉識別包括： 將所述最終特徵中的HOG特徵輸入所述人臉光照姿態分類器中，所述人臉光照姿態分 類器估計出該最終特徵中的HOG特徵對應人臉圖像的光照和人臉姿態； 再採用度量方法度量所述最終特徵中的LBP特徵與平均LBP特徵向量庫中具有相同光 照條件和姿態下的LBP特徵的平均特徵向量的匹配程度，並根據與預先設定的閾值進行比 較獲得識別結果，從而實現高性能的人臉識別。
6. -種高性能的人臉識別系統，其特徵在於，該系統包括： 人臉圖像獲取模塊，用於基於多視角進行人臉檢測，並根據人臉特徵點定位算法確定 人臉區域後進行圖像歸一化，獲得歸一化後的多個視角的二維人臉圖像； 最終特徵獲取模塊，用於提取每一視角的歸一化後二維人臉圖像的方向梯度直方圖 HOG特徵及局部二值模式LBP特徵，並相連接，獲得最終特徵； 樣本特徵提取與訓練模塊，用於提取樣本庫中的人臉圖像的HOG特徵及LBP特徵，採用 樹型結構SVM訓練獲得包含多個光照環境及多個視角的人臉光照姿態分類器，再計算LBP 特徵的平均特徵向量，獲得一平均LBP特徵向量庫；其中，所述樣本庫中的人臉圖像為添加 了光照的三維人臉模型的多視角投影圖像； 人臉識別模塊，用於利用獲得人臉光照姿態分類器及平均LBP特徵向量庫與所述最終 特徵相匹配，實現高性能的人臉識別。
7. 根據權利要求6所述的系統，其特徵在於，所述人臉圖像獲取模塊包括： 多視角人臉檢測模塊，用於基於多視角進行人臉檢測：對輸入的彩色圖像進行灰度化 並進行直方圖均衡化，分別使用正面、左側面與右側面人臉檢測器進行人臉檢測，並去除面 積小於預定值的人臉檢測結果，獲得多視角的人臉圖像； 人臉定位與歸一化模塊，用於人臉定位與歸一化：基於HOG特徵的混合樹形結構特徵 點模型，在獲得的多視角的人臉圖像中進行特徵點定位，當定位特徵點後，根據人臉外輪廓 特徵點精確確定人臉區域，並通過剪裁和縮放人臉區域圖像完成人臉圖像歸一化。
8. 根據權利要求6所述的系統，其特徵在於，所述最終特徵獲取模塊包括： HOG特徵提取及分塊模塊，用於對歸一化後的圖像進行直方圖均衡化並提取HOG特徵 後，按照不同的分塊策略對圖像分塊； LBP特徵提取及特徵連接模塊，用於採用混合LBP算子提取分塊圖像的LBP特徵，並將 提取到的HOG特徵與LBP特徵相連接，獲得最終特徵。
9. 根據權利要求6所述的系統，其特徵在於，所述樣本庫中的人臉圖像為添加了光照 的三維人臉模型的多視角投影圖像包括： 從三維人臉模型中獲取頂點、面片和紋理信息，通過OpenGL繪製出來，將繪製的三維 人臉模型平移到世界坐標系下的原點； 再根據OpenGL中的光照模型分別在所述三維人臉模型的上面、下面、左側、右側和正 面添加光照； 對於每一種光照，均圍繞Z軸旋轉所述三維人臉模型，繪製結果將緩衝到幀緩衝區 FrameBuffer中，從FrameBuffer中提取數據並保存成圖像，通過一系列的旋轉變換後獲得 多視角的投影圖像。
10. 根據權利要求6或9所述的系統，其特徵在於，所述人臉識別模塊包括： 匹配識別模塊，用於將所述最終特徵中的HOG特徵輸入所述人臉光照姿態分類器中， 所述人臉光照姿態分類器估計出該最終特徵中的HOG特徵對應人臉圖像的光照和人臉姿 態；再採用度量方法度量所述最終特徵中的LBP特徵與平均LBP特徵向量庫中具有相同光 照條件和姿態下的LBP特徵的平均特徵向量的匹配程度，並根據與預先設定的閾值進行比 較獲得識別結果，從而實現高性能的人臉識別。
【文檔編號】G06K9/00GK104268539SQ201410553184
【公開日】2015年1月7日 申請日期:2014年10月17日 優先權日:2014年10月17日
【發明者】董蘭芳, 任樂樂 申請人:中國科學技術大學