一種基於相關特徵和非線性映射的超解析度人臉識別方法

2023-05-30 21:05:56 2

專利名稱：一種基於相關特徵和非線性映射的超解析度人臉識別方法
技術領域：
本發明涉及人臉識別領域，具體的涉及一種基於相關特徵和非線性映射的超分辨
率人臉識別方法。
背景技術：
人臉識別是一種重要的生物認證技術，近三十年來，研究人員提出了大量的方法，
並已廣泛用於視頻監控等安全保障系統中。但是，由於距離和硬體條件等的限制，在大場景
視頻監控系統中拍攝的感興趣人臉圖像解析度往往比較低，從而降低了人臉識別的性能。
如何在低解析度條件下提高識別效果，是目前人臉識別需要解決的問題。 圖像超解析度(super-resolution, SR)是指利用某種算法從一幅或者一系列低
解析度(low resolution,LR)圖像中獲得一幅或者一系列高解析度(high resolution,HR)
圖像的技術。因此，人臉圖像超解析度算法很自然地被作為提高低解析度圖像人臉識別效
果的解決方案之一。具體而言，先利用超解析度重建算法得到視覺效果較好的人臉圖像，然
後再進行人臉識別。但是，這種方案中人臉圖像超解析度重建與識別兩部分獨立進行，且超
解析度的目標定位在提高圖像視覺效果，而不是提高識別率。 基於以上原因，Gimturk等人提出了直接重建人臉識別系統所需的高解析度特徵 臉信息的方法。該方法提供了一種很好的直接利用超解析度進行人臉識別的框架，但計算 複雜度較高，且該方法使用的概率模型不適用於人臉姿態變化較大的情況。Sezer等認為與 像素域相比，在特徵空間域利用超解析度進行低解析度人臉圖像識別性能更加魯棒，並提 出了在ICA特徵空間內利用貝葉斯估計和凸集投影方法進行超解析度，從而對低解析度視 頻人臉圖像序列進行識別的方法。同樣，此方法應用了概率模型，只適合於對正面低解析度 人臉圖像進行識別。Pablo等人提出了超解析度重建和特徵提取相結合的低解析度人臉識 別方法，此方法所提出的正則化目標函數模型能同時清晰表達對超解析度重建結果以及識 別結果的限制，但目標函數參數的學習過程比較複雜。

發明內容
本發明的目的在於克服上述現有技術的缺點，提出了一種基於相關特徵和非線性 映射的超解析度人臉識別方法。 為了達到上述目的，本發明採用的技術方案是 1)首先，利用經典的主成分分析方法提取高、低解析度訓練人臉圖像的識別特 徵，利用所提取兩組識別特徵作為訓練數據，根據典型相關分析(Canonical Correlation Analysis, CCA)算法得到映射基向量，根據此映射基向量將識別特徵轉換為相關特徵；
2)其次，利用徑向基函數(Radial Basis Function, RBF)建立高、低解析度人臉 圖像相關特徵之間的映射關係，根據此映射關係得到測試低解析度人臉圖像對應的高分辨 率識別特徵； 3)最後，利用基於L2範數的最近鄰分類器，按照求得的高解析度識別特徵進行分類識別，從而獲得識別率。所述的步驟1)中的根據典型相關分析(Canonical CorrelationAnalysis， CCA) 算法得到映射基向量，根據此映射基向量將識別特徵轉換為相關特徵包括以下步驟
1)設去除均值後的高解析度和低解析度訓練人臉圖像集合分別為 產-[//Vf ，...,《]，其中I,為第i幅高解析度人臉圖 像，I,為第i幅低解析度人臉圖像，m為訓練圖像總的樣本數目；定義OBYf =xf ，其中BH
是高解析度圖像對應的特徵提取矩陣，XiH是代表人臉圖像IiH的特徵向量，T代表轉置運算；
同理，得到低解析度圖像的特徵表示為《=，其中是低解析度人臉圖像對應的特 徵提取矩陣，XiL代表低解析度人臉圖像I,的特徵向量，T代表轉置運算；由此，得到表示對 應的高低解析度訓練人臉圖像的特徵向量集為義"=^f KI,和義"，其中XiH為第i 幅高解析度人臉圖像對應的特徵向量，為第i幅低解析度人臉圖像的特徵向量；
2)對於人臉圖像識別特徵的特徵向量集XH、^分別減去其均值7和x、得 到中心化的數據集f"^,《，…，iC]和f ;定義C;,可P(^y],
c22 = ￡[f (Pf]分別為;^和f的自協方差矩陣，c,2 =￡[P(f Y]和c;,
分別為fw和fz的互協方差矩陣，其中E[ ]代表數學期望，T代表轉置運算；計算 《-C^C^q"2^21 ，及2 =0^210^12; &和R2的特徵向量即為所求映射基向量VH和;
3)利用所得到的映射基向量，將特徵向量集XH、 X"變換為相關特徵，得到高分辨 率和低解析度訓練人臉圖像對應的相關特徵的投影係數集C" ={^}「=1 、C￡ -{cf，即
^(rV《和cf =(J^)^f ，其中c,為第i幅高解析度人臉圖像對應的投影係數，(^為第 i幅低解析度人臉圖像對應的投影係數，^"為第i幅高解析度人臉圖像對應的特徵向量，g 為第i幅低解析度人臉圖像對應的特徵向量。所述的步驟2)中的測試低解析度人臉圖像對應的高解析度識別特徵的步驟如
下 1)對輸入的低解析度測試人臉圖像Iy根據此低解析度測試人臉圖像L對應的低 解析度人臉圖像特徵提取矩陣B、利用Xl = (B" 得到該低解析度測試人臉圖像L的特 徵向量A，通過Cl = (V"T(Xf7)將Xl變換為相關特徵Cl ; 2)利用RBF建立高低解析度人臉圖像相關特徵之間的非線性映射關係，其中利用 相關特徵CH和作為訓練數據集，對RBF模型進行訓練，求得權值矩陣W ;
3)將Cl作為RBF模型的輸入，即可求得對應的高解析度人臉圖像近似特徵為 c,『，(《,c,),.一(《,c,)r ，其中小( )為所用的徑向基函數，採用多元二次曲面函數，
具體為^^,。) = J|C,_。『+1 ，求得Ch後，利用此近似高解析度特徵進行人臉識別。 本發明是基於流形學習的理論，由於相互對應的高低解析度人臉圖像的識別 特徵是由共同的內在結構生成的，本發明利用典型相關分析(Canonical Correlation Analysis, CCA)將高低解析度人臉圖像特徵轉換到兩個相關子空間，使得高低解析度人 臉圖像識別特徵具有相似的拓撲結構，進一步利用徑向基函數(Radial Basis Function, RBF)建立兩個相關子空間之間高低解析度人臉圖像特徵之間的映射關係，從而求得測試低 解析度人臉圖像對應的高解析度識別特徵，並利用基於L2範數的最近鄰分類器進行分類
5識別，從而獲得識別率。


圖1是高、低解析度人臉圖像特徵分布圖，其中(a)為CCA變換前的特徵分布，(b)
為CCA變換後的特徵分布； 圖2本發明算法框架； 圖3 CAS-PEAL表情庫中同一人物的五幅表情圖像；
圖4 CAS-PEAL表情圖庫識別率對比； 圖5實驗所用的一組人臉圖像，其中(a)為32X32的高解析度訓練人臉圖像，(b) 為8X8的低解析度訓練人臉圖像，(c)為8X8的低解析度測試人臉圖像；
圖6特徵向量維數變化對識別率的影響；
圖7 ORL圖庫中同一人物的一組圖像；
圖8 ORL圖庫識別率對比。
具體實施例方式
為使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及具體實例，對 本發明做進一步詳細說明。這些實例僅僅說明性的，而並非對本發明的限制。
人臉圖像識別特徵超解析度問題可描述為已知兩個相互對應的高、低解析度人 臉圖像訓練集合IH和I"或者兩個相互對應的人臉圖像識別特徵的特徵向量集XH和X、輸 入一幅低解析度人臉圖像L，求其對應的高解析度人臉圖像的識別特徵Ch。
流形學習的理論認為人臉子空間是一種嵌入流形結構，這表明人臉數據集構成的 高維結構在局部意義下與某個低維歐式空間拓撲同胚。相互對應的高低解析度人臉數據集 之間僅僅解析度不同，也就是維數不同。因此，可以認為，相互對應的高低解析度人臉數據 集是由相同的內在結構生成的，兩者在某個空間應具有相似的拓撲結構。CCA是一種分析兩 組數據線性關係的方法，其目的是分別為每組數據尋找一組映射基向量，使得通過這兩組 基向量變換後的數據相關性達到最大。本發明以高、低解析度圖像的識別特徵作為兩組待 處理數據，通過CCA變換來尋找相關子空間，經CCA變換使得高、低解析度人臉圖像識別特 徵的拓撲結構變得更加相似。圖1為在CCA變換前後一組對應的高、低解析度人臉圖像識 別特徵前兩維的分布情況。從圖中可以看出，CCA變換前，高、低解析度人臉圖像識別特徵 的拓撲關係比較凌亂；CCA變換後，兩者的拓撲結構變得相似，更易建立兩個相關子空間之 間的映射關係。 RBF常用於構建比較精確的插值函數。本發明利用RBF構建回歸模型，充分利用高 低解析度人臉圖像特徵的訓練數據學習RBF參數，以建立高、低解析度人臉圖像識別特徵 在相關子空間的映射關係。對於測試低解析度人臉圖像特徵即可通過RBF回歸模型求得對 應的高解析度人臉圖像識別特徵。相比其它文獻中基於概率模型的方法，此方法簡單，並且 對於非正面、多表情人臉圖像也可得到較好的識別特徵，識別率較高。 本發明算法框架如圖2所示，主要包含三個部分人臉圖像特徵提取，相關特徵的 超解析度重建以及最終的識別過程。 1)設去除均值後的高解析度和低解析度訓練人臉圖像集合分別為formula see original document page 7其中為第i幅高解析度人臉圖
像，I，為第i幅低解析度人臉圖像，m為訓練圖像總的樣本數目；人臉圖像特徵通過經典的 主成分分析(Principal Component Analysis, PCA)來獲取。定義
formula see original document page 7
其中BH是高解析度人臉圖像對應的特徵提取矩陣，XiH是人臉圖像I,的特徵向 量，T代表轉置運算；同理，得到低解析度圖像的特徵表示為x,、CBY"，其中B^是低分 辨率人臉圖像對應的特徵提取矩陣，XiL代表低解析度人臉圖像IiL的特徵向量，T代表轉
置運算；由此，得到表示對應的高低解析度訓練人臉圖像的特徵向量集為尤"={《k:,和
I" ，其中x,為第i幅高解析度人臉圖像對應的特徵向量，xj為第i幅低解析度人
臉圖像的特徵向量； 首先將高低解析度人臉訓練圖像的特徵向量通過CCA變換轉換到相關子空間。具 體的，對於對於人臉圖像識別特徵的特徵向量集XH、#分別減去其均值7和7，得到中心化 的數據集f" =[f ,《,…,《]和f =[《，《,...，《]。CCA的目標是分別為樣本集f "和fz 尋找兩組映射基向量VH、 V、使得利用基向量映射後的變量C" ^"fHPC" =("fP 之間的相關係數P達到最大，即有
formula see original document page 7
取得最大值，其中E[ ]代表數學期望。 為了求解基向量VH和VL，定義Cu ")r] ，C22 =￡[f (P)n分別為f "和f
的自協方差矩陣，c,2-E[P(f)n和C2^E[^(^Y]分別為p和^的互協方差矩陣。計
算formula see original document page 7。 R和R2的特徵向量即為所求基向量VH和V、
利用所求基向量，將特徵向量集XH、X"變換到相關子空間，得到對應的投影係數集 、C丄formula see original document page 7formula see original document page 7
由於XH、 這兩個數據集之間存在相關的內在結構，經過CCA變換，兩個數據集CH 和之間的相關性得到增強，使得兩者的拓撲關係更相似。 在相關子空間，利用RBF建立高低解析度人臉圖像特徵之間的映射關係。徑向基 函數方法利用徑向對稱函數將多元數據逼近問題轉化為一元的逼近問題，可平滑插值不均 勻分布的高維數據。RBF的數學表示為formula see original document page 7formula see original document page 8
(6) 其中小( )是所用的基函數，在此採用多元二次曲面函數—(.)=^|k,.-G| +1 ，
是基函數對應的係數。在本發明應用過程中，ti和tj為相應的低解析度人臉圖像特徵，fj 為與tj對應的高解析度人臉圖像特徵。矩陣形式的RBF表示為F = WO，具體的可以表示 為
…州，。
"/;o ::: ) 利用訓練數據集CH和對上述RBF模型進行訓練，即可求得權值W。具體地，令F =CHJ, =C，。那麼，W容易求得為W = F inv(O)。 對輸入的低解析度測試人臉圖像Iy求得其特徵向量A，進一步將Xl變換到相關
子空間，得到 即 Cl = (VL)T(Xl-7) (7) 將Cl作為RBF的輸入，根據等式(5)即可求得對應的高解析度人臉圖像近似特徵 為 C力=『.W(《，C,),…0(《，C/ )f (8) 進而根據相關子空間的識別特徵進行人臉識別。利用特徵ch與C" = {cf }:採用基
於L2範數的最近鄰分類器進行分類識別，即判決函數為&(cJ = min(||cA-《||2)，i = 1，2，…m (9)其中cikH表示CH中屬於第k類的第i個樣本。 為了驗證本發明的有效性，分別利用CAS-PEAL表情人臉圖庫、0RL人臉庫進行實 驗。所得實驗結果分別與雙三次插值識別算法、文獻中Gimturk的方法、以及利用原始高分 辨率圖像進行識別所得識別率進行比較。其中，雙三次插值識別算法是指對低解析度人臉 圖像利用雙三次插值得到高解析度人臉圖像，然後提取此高解析度人臉圖像的特徵進行識 別；利用原始高解析度圖像進行識別，即直接提取此高解析度圖像的特徵進行識別。在本發 明實驗中，識別策略均採用基於L2範數的最近鄰分類器進行分類識別。下面分別介紹利用 兩組圖庫進行人臉識別的實驗過程和結果。 利用CAS-PEAL表情圖庫進行人臉識別，此圖庫包含377個人物，每人包含5幅不 同表情的圖像。圖3給出了經過預處理後的一組人臉圖像，表情依次為閉眼、皺眉、笑、張 嘴、驚訝。在此實驗過程中，利用同一人物的前三幅圖像進行訓練，剩餘兩幅圖像進行識別。
根據高低解析度圖像大小分三種情況進行人臉識別，分別為第一種情況，高分辨 率訓練圖像大小為64X64，低解析度圖像大小為16X16 ;第二種情況，高解析度訓練圖像 大小為64X64，低解析度圖像大小為8X8 ;第三種情況，高解析度訓練圖像大小為32X32， 低解析度圖像大小為8X8。 Gunturk方法參考文獻中的參數KL變換選擇前60維特徵向 量，最大迭代數目為7， A 二0.5，其它方法中，人臉圖像均利用PCA提取特徵，高解析度人 臉圖像取PCA方差貢獻率為95%，低解析度人臉圖像取PCA方差貢獻率為98%，後面圖庫 中參數設置與此相同，不再贅述。圖4給出了上述三種情況的識別率對比。
從圖4中可以看出，相比其它方法，當待識別人臉圖像解析度較低時，本發明方法 識別率優勢較明顯，並且整體性能較穩定。本發明方法所得識別率與利用原始高解析度人
8臉圖像進行識別所得識別率非常接近，這是因為本發明利用CCA獲得相關特徵，利用RBF對 於相關特徵進行超解析度重建，可以獲得測試低解析度人臉圖像在高解析度特徵空間的近 似識別特徵。 為了分析PCA提取特徵維數變化對結果的影響，對於高解析度訓練人臉圖像大小 為32X32，低解析度人臉圖像大小為8X8(如圖5所示)，低解析度人臉圖像利用PCA提取 30維特徵向量，改變高解析度人臉圖像提取特徵向量的維數，比較不同方法所得識別率。實 驗結果如圖6所示。 由圖6可以看出隨著特徵向量維數的增加，所得識別率均最初呈上升趨勢，然後 逐漸穩定在一個區間內；本發明方法所得識別率結果相比Gunturk的方法能較快的達到穩 定區域，且識別率較高；當特徵向量維數大於30，本發明方法所得識別率與利用原始高分 辨率人臉圖像所得識別率結果非常接近，這是因為本發明方法利用識別特徵的超解析度重 建，解空間限制在高解析度特徵空間內，可以獲得有利於識別的信息。 利用ORL人臉庫進行人臉識別實驗，此圖庫包含40個人物，每個人物有10幅不同 的圖像。在包含的這400幅圖像中，存在表情、姿態、是否帶眼鏡等多種因素影響。利用ORL 圖庫進行實驗時，選擇每個人的5幅圖像用於訓練，剩餘5幅圖像用於測試。圖7給出ORL 圖庫中的一組人臉圖像。 根據高低解析度圖像大小分三種情況進行人臉識別，分別為第一種情況，高分辨 率訓練圖像大小為56X46，低解析度圖像大小為14X11 ;第二種情況，高解析度訓練圖像 大小為56X46，低解析度圖像大小為7X5 ;第三種情況，高解析度訓練圖像大小為28X23， 低解析度圖像大小為7X5。圖8給出了所列三種情況的識別率對比。 從圖8中結果可以明顯看出，Gunturk方法所得識別率比較低，這是因為ORL圖庫 中涉及姿態變化比較大的人臉圖像，而Gunturk方法是基於概率模型求解超解析度問題， 不適合此類圖庫；相比而言，本發明算法結果比較穩定，與利用原始高解析度人臉圖像進行 識別所得識別率也比較接近。 針對低解析度人臉圖像識別率較低的問題，本發明提出了基於相關特徵和非線性 映射的超解析度人臉識別方法。利用CCA獲得高低解析度人臉圖像的相關子空間，然後在 此相關子空間內利用徑向基函數建立高低解析度圖像相關特徵的對應關係，從而獲得測試 低解析度人臉圖像在高解析度空間對應的近似特徵。實驗表明，與現有方法相比，本發明方 法受人臉圖像姿態、表情等因素影響較小，識別率較高。
權利要求
一種基於相關特徵和非線性映射的超解析度人臉識別方法，其特徵在於包含以下步驟1)首先，利用經典的主成分分析方法提取高、低解析度訓練人臉圖像的識別特徵，利用所提取兩組識別特徵作為訓練數據，根據典型相關分析(Canonical Correlation Analysis，CCA)算法得到映射基向量，根據此映射基向量將識別特徵轉換為相關特徵；2)其次，利用徑向基函數(Radial Basis Function，RBF)建立高、低解析度人臉圖像相關特徵之間的映射關係，根據此映射關係得到測試低解析度人臉圖像對應的高解析度識別特徵；3)最後，利用基於L2範數的最近鄰分類器，按照求得的高解析度識別特徵進行分類識別，從而獲得識別率。
2. 如權利要求1所述的基於相關特徵和非線性映射的超解析度人臉識別方法，其特徵 在於所述的步驟l)中的根據典型相關分析(CanonicalCorrelation Analysis,CCA)算法 得到映射基向量，根據此映射基向量將識別特徵轉換為相關特徵包括以下步驟1) 設去除均值後的高解析度和低解析度訓練人臉圖像集合分別為 產=[CC."《]、,，其中I,為第i幅高解析度人臉圖 像，I,為第i幅低解析度人臉圖像，m為訓練圖像總的樣本數目；定義(^Tf =《，其中BH是高解析度圖像對應的特徵提取矩陣，XiH是代表人臉圖像IiH的特徵向量，T代表轉置運算；同理，得到低解析度圖像的特徵表示為xf "，其中是低解析度人臉圖像對應的特徵提取矩陣，XiL代表低解析度人臉圖像I,的特徵向量，T代表轉置運算；由此，得到表示對應的高低解析度訓練人臉圖像的特徵向量集為義"二(x/^:和^^ ，其中為第i幅高解析度人臉圖像對應的特徵向量，為第i幅低解析度人臉圖像的特徵向量；2) 對於人臉圖像識別特徵的特徵向量集XH、 ^分別減去其均值7和x、得到 中心化的數據集= [fjf,…，《]和f ;定義C h(^y]，c22 =五[^(1 y]分別為f w和義丄的自協方差矩陣，^2 = ￡[f "(f y]和Q =￡[f (fY]分別為f"和fz的互協方差矩陣，其中E[ ]代表數學期望，T代表轉置運算；計算formula see original document page 0和R2的特徵向量即為所求映射基向量VH和;3) 利用所得到的映射基向量，將特徵向量集XH、 X"變換為相關特徵，得到高解析度 和低解析度訓練人臉圖像對應的相關特徵的投影係數集C"^cfd、C^(cf，即 cf =(^)^，Pcf =(")^f ，其中ciH為第i幅高解析度人臉圖像對應的投影係數，c，為 第i幅低解析度人臉圖像對應的投影係數，^為第i幅高解析度人臉圖像對應的特徵向量， #為第i幅低解析度人臉圖像對應的特徵向量。
3. 如權利要求1或2所述的基於相關特徵和非線性映射的超解析度人臉識別方法，其 特徵在於所述的步驟2)中的測試低解析度人臉圖像對應的高解析度識別特徵的步驟如下1)對輸入的低解析度測試人臉圖像Il，根據此低解析度測試人臉圖像Ii對應的低解析度人臉圖像特徵提取矩陣B、利用Xl = (B"t^得到該低解析度測試人臉圖像L的特徵向量A，通過Cl = (V"t(Xf7)將Xl變換為相關特徵Cl ;2) 利用RBF建立高低解析度人臉圖像相關特徵之間的非線性映射關係，其中利用相關特徵CH和作為訓練數據集，對RBF模型進行訓練，求得權值矩陣W ;3) 將q作為RBF模型的輸入，即可求得對應的高解析度人臉圖像近似特徵為formula see original document page 3其中小( )為所用的徑向基函數，採用多元二次曲面函數，具體為formula see original document page 3求得Ch後，利用此近似高解析度特徵進行人臉識別。
全文摘要
一種基於相關特徵和非線性映射的超解析度人臉識別方法。本發明針對低解析度人臉圖像識別率較低的問題，提出了一種利用相關特徵和非線性映射進行識別特徵的超解析度重建得到低解析度人臉圖像在高解析度空間對應的識別特徵的方法。本發明利用典型相關分析建立高解析度和低解析度人臉圖像特徵的相關子空間，獲得相關特徵，然後利用徑向基函數建立高低解析度人臉圖像相關特徵之間的聯繫，從而求得測試低解析度人臉圖像在高解析度空間的近似特徵，最終用於人臉識別。相比其它的方法，本發明受人臉姿態和表情變化影響較小，所得識別率較高。
文檔編號G06K9/00GK101710386SQ200910254530
公開日2010年5月19日 申請日期2009年12月25日 優先權日2009年12月25日
發明者何惠婷, 黃華 申請人:西安交通大學