一種魯棒的人臉表情識別方法
2023-08-04 13:17:16
專利名稱：一種魯棒的人臉表情識別方法
技術領域：
本發明涉及一種模式識別方法，尤其是涉及一種魯棒的人臉表情識別方法。屬於人臉表情信息提取和識別領域。
背景技術：
人臉表情識別一般分為臉部動作的識別和情感的識別。例如，部分研究者從人臉表情中識別基於面部動作編碼系統的單一和混合動作單元而進行的。而大多數研究者從人臉表情中識別人的高興、驚訝、悲傷、害怕等情感。由於人臉表情變化是非剛體運動，且受到個體差異、視角變化、光照等影響，人臉表情識別是一項艱巨的任務，目前很少有能夠應用於實際環境的人臉表情識別系統。
以往的人臉表情識別往往局限於受控條件，例如背景單一、光照一致、無頭部運動等，因此，受控條件下的人臉表情識別可以達到較高的識別率。但很少有研究者對非受控條件下的魯棒人臉表情識別進行研究。21世紀以來，少數研究者開始研究對遮擋、光照、姿勢、圖像解析度等具有魯棒性的人臉表情識別方法。其中，對於遮擋具有魯棒性的人臉表情識別方法主要有採用局部特徵的方法、局部空間幾何面部模型和基於狀態的面部運動模型的方法、以及基於Gabor小波特徵提取的方法等，但很少有研究者對人臉去除遮擋後進行魯棒的表情識別。針對人臉部有遮擋情況下魯棒識別方法較少和未去除遮擋物的不足，本發明提出一種新的魯棒人臉表情識別方法。
發明內容
本發明的目的是針對現有人臉表情識別方法對臉部有遮擋的情況不具備魯棒性的不足，提出一種魯棒的人臉表情識別方法，它能使人臉在有遮擋的情況下獲得較高的表情識別效果。
本發明一種魯棒的人臉表情識別方法，通過魯棒主成分分析對人臉圖像進行重構，並對原始人臉圖像與重構後的人臉圖像的差值圖像進行顯著性分析，檢測出遮擋區域，然後根據對遮擋區域的圖像進行重構以去除遮擋，最後對去除遮擋後的人臉圖像進行表情分類，獲得表情識別結果。
本發明一種魯棒的人臉表情識別方法，其步驟如下 步驟1將N個不含遮擋的L類人臉表情圖像歸一化為數據矩陣Ci∈Rm×n(i＝1…M)，作為訓練樣本，採用沙皮爾(Schapire)等人提出的多分類AdaBoost方法訓練人臉表情分類器。
步驟2將M個包括含遮擋和不含遮擋的L類人臉表情圖像歸一化為數據矩陣Ai∈Rm×n(i＝1…M)，作為訓練樣本。令s＝m×n，將Ai展開為一維列數據向量di∈Rs×1(i＝1…M)，構成輸入矩陣D＝[d1d2…dM]∈Rs×M，採用費南多(Fernando)提出的魯棒主成分分析(Robust Principle Component Analysis，RPCA)方法，得到魯棒均值向量μ∈Rs×1和魯棒本徵向量B∈Rs×k，k<M。
步驟3將待識別的人臉表情圖像歸一化數據矩陣P∈Rm×n。
步驟4將P展開為一維列數據向量d∈Rs×1，如式(1)計算向量d的重構向量drec∈Rs×1，並將其變形為數據矩陣P′∈Rm×n。
drec＝μ+BBT(d-μ) 式(1) 步驟5計算重構後的人臉圖像矩陣P′與將待識別表情的人臉圖像矩陣P的差值圖像矩陣E∈Rm×n，如式(2)所示。
E＝|P′-P| 式(2) 步驟6設掃描窗口R高為h(1≤h<m)，寬為w(1≤w<n)，窗口的左上角坐標為(x1，y1)(0≤x1<n，0≤y1<m)，對h、w、x1、y1進行遍歷，並滿足約束條件如式(3)所示。對差值圖像的掃描窗口R進行顯著性檢測(如式(4)所示)，得到顯著值HE，R。
0≤x1+w≤n且0≤y1+h≤m且2*w*h<m*n 式(3) 式(4) 其中PE，R(ei)指差值圖像矩陣E在掃描窗口R取值為ei(0≤ei≤255)的概率。
步驟7對所有掃描窗口R的顯著值HE，R取最大顯著值Hmax＝max{HE，R}，並判定遮擋區域。如式(5)所示，若顯著值Hmax大於預設定的閾值H0，與Hmax相關的區域被判定為遮擋區域，否則判定為不存在遮擋區域。
式(5) 步驟8對人臉表情圖像矩陣P的遮擋區域進行重構，如式(6)所示。若Rocclusion不為空，跳轉到步驟4；若Rocclusion為空，繼續執行步驟9。 式(6) 步驟9將人臉表情圖像矩陣P作為步驟1訓練所得人臉表情分類器的輸入，得到人臉表情識別結果。
本發明的積極效果和優點在於 1.本發明對含有遮擋的人臉表情圖像進行了去除遮擋處理，對於提高遮擋情況下的人臉表情識別率有重要意義； 2.本發明對各種臉部遮擋情況都有較好的去除遮擋能力，是一種可行的魯棒的人臉表情識別方法。
圖1方法步驟方框圖 (五)具體實施方法 見圖1所示，本發明一種魯棒的人臉表情識別方法，其步驟如下 步驟1將N個不含遮擋的L類人臉表情圖像歸一化為數據矩陣Ci∈Rm×n(i＝1…M)，作為訓練樣本，採用沙皮爾(Schapire)等人提出的多分類AdaBoost方法訓練人臉表情分類器。
步驟2將M個包括含遮擋和不含遮擋的L類人臉表情圖像歸一化為數據矩陣Ai∈Rm×n(i＝1…M)，作為訓練樣本。令s＝m×n，將Ai展開為一維列數據向量di∈Rs×1(i＝1…M)，構成輸入矩陣D＝[d1d2…dM]∈Rs×M，採用費南多(Fernando)提出的魯棒主成分分析(Robust Principle Component Analysis，RPCA)方法，得到魯棒均值向量μ∈Rs×1和魯棒本徵向量B∈Rs×k，k<M。
步驟3將待識別的人臉表情圖像歸一化數據矩陣P∈Rm×n。
步驟4將P展開為一維列數據向量d∈Rs×1，如式(1)計算向量d的重構向量drec∈Rs×1，並將其變形為數據矩陣P′∈Rm×n。
drec＝μ+BBT(d-μ) 式(1) 步驟5計算重構後的人臉圖像矩陣P′與將待識別表情的人臉圖像矩陣P的差值圖像矩陣E∈Rm×n，如式(2)所示。
E＝|P′-P| 式(2) 步驟6設掃描窗口R高為h(1≤h<m)，寬為w(1≤w<n)，窗口的左上角坐標為(x1，y1)(0≤x1<n，0≤y1<m)，對h、w、x1、y1進行遍歷，並滿足約束條件如式(3)所示。對差值圖像的掃描窗口R進行顯著性檢測(如式(4)所示)，得到顯著值HE，R。
0≤x1+w≤n且0≤y1+h≤m且2*w*h<m*n式(3)式(4) 其中PE，R(ei)指差值圖像矩陣E在掃描窗口R取值為ei(0≤ei≤255)的概率。
步驟7對所有掃描窗口R的顯著值HE，R取最大顯著值Hmax＝max{HE，R}，並判定遮擋區域。如式(5)所示，若顯著值Hmax大於預設定的閾值H0，與Hmax相關的區域被判定為遮擋區域，否則判定為不存在遮擋區域。
式(5) 步驟8對人臉表情圖像矩陣P的遮擋區域進行重構，如式(6)所示。若Rocclusion不為空，跳轉到步驟4；若Rocclusion為空，繼續執行步驟9。
式(6) 步驟9將人臉表情圖像矩陣P作為步驟1訓練所得人臉表情分類器的輸入，得到人臉表情識別結果。
權利要求
1.一種魯棒的人臉表情識別方法，其特徵在於，該識別方法步驟如下
步驟1將N個不含遮擋的L類人臉表情圖像歸一化為數據矩陣Ci∈Rm×n(i＝1…M)，作為訓練樣本，採用沙皮爾即Schapire提出的多分類AdaBoost方法訓練人臉表情分類器；
步驟2將M個包括含遮擋和不含遮擋的L類人臉表情圖像歸一化為數據矩陣Ai∈Rm×n(i＝1…M)，作為訓練樣本，令s＝m×n，將Ai展開為一維列數據向量di∈Rs×1(i＝1…M)，構成輸入矩陣D＝[d1d2…dM]∈Rs×M，採用費南多即Fernando提出的魯棒主成分分析即Robust Principle Component Analysis，RPCA方法，得到魯棒均值向量μ∈Rs×1和魯棒本徵向量B∈Rs×k，k<M；
步驟3將待識別的人臉表情圖像歸一化數據矩陣P∈Rm×n；
步驟4將P展開為一維列數據向量d∈Rs×1，如式(1)計算向量d的重構向量drec∈Rs×1，並將其變形為數據矩陣P′∈Rm×n；
drec＝μ+BBT(d-μ) 式(1)
步驟5計算重構後的人臉圖像矩陣P′與將待識別表情的人臉圖像矩陣P的差值圖像矩陣E∈Rm×n，如式(2)所示；
E＝|P′-P| 式(2)
步驟6設掃描窗口R高為h(1≤h<m)，寬為w(1≤w<n)，窗口的左上角坐標為(x1，y1)(0≤x1<n，0≤y1<m)，對h、w、x1、y1進行遍歷，並滿足約束條件如式(3)所示；對差值圖像的掃描窗口R進行顯著性檢測，如式(4)所示，得到顯著值HE，R；
0≤x1+w≤n且0≤y1+h≤m且2*w*h<m*n 式(3)
式(4)
其中PE，R(ei)指差值圖像矩陣E在掃描窗口R取值為ei(0≤ei≤255)的概率；
步驟7對所有掃描窗口R的顯著值HE，R取最大顯著值Hmax＝max{HE，R}，並判定遮擋區域，如式(5)所示，若顯著值Hmax大於預設定的閾值H0，與Hmax相關的區域被判定為遮擋區域，否則判定為不存在遮擋區域；
式(5)
步驟8對人臉表情圖像矩陣P的遮擋區域進行重構，如式(6)所示；若Rocclusion不為空，跳轉到步驟4；若Rocclusion為空，繼續執行步驟9；
式(6)
步驟9將人臉表情圖像矩陣P作為步驟1訓練所得人臉表情分類器的輸入，得到人臉表情識別結果。
全文摘要
本發明一種魯棒的人臉表情識別方法通過魯棒主成分分析對人臉圖像進行重構，並對原始人臉圖像與重構後的人臉圖像的差值圖像進行顯著性分析，檢測出遮擋區域，然後根據對遮擋區域的圖像進行重構以去除遮擋，最後對去除遮擋後的人臉圖像進行表情分類，獲得表情識別結果。本發明對各種臉部遮擋情況都有較好的去除遮擋能力，對於提高遮擋情況下的人臉表情識別率有重要意義，是一種可行的魯棒的人臉表情識別方法。
文檔編號G06K9/00GK101369310SQ20081022321
公開日2009年2月18日 申請日期2008年9月27日 優先權日2008年9月27日
發明者峽 毛, 薛雨麗 申請人:北京航空航天大學