一種預設表情識別方法和裝置製造方法
2023-06-09 22:48:46 1
一種預設表情識別方法和裝置製造方法
【專利摘要】本發明實施例提供了一種預設表情識別方法和裝置，涉及圖像識別領域，能夠解決預設表情的識別準確率低、實用性差的問題。其方法包括：通過對目標圖像進行預處理獲取目標面部圖像，再通過預設算法提取目標面部圖像對應的目標特徵向量，根據預設對應規則，確定目標圖像中，發生預設表情的程度估計值。本發明實施例用於對圖像中預設表情的識別。
【專利說明】一種預設表情識別方法和裝置
【技術領域】
[0001]本發明涉及圖像識別領域，尤其涉及一種預設表情識別方法和裝置。
【背景技術】
[0002]隨著機器視覺與自動人臉識別技術的快速發展，計算機已經能夠根據人臉圖像自動識別人類的面部表情。表情識別在情感計算，視頻監控，圖像視頻檢索，智能人機互動，娛樂性消費產業等領域有著重要的應用。以智能人機互動為例，表情識別能夠使智能設備根據用戶面部圖像識別用戶的面部表情，然後根據用戶的面部表情獲取用戶的心理狀態，再根據用戶的心理狀態向用戶提供相應的服務，提升用戶的滿意度。
[0003]現有的表情識別方法包括:通過採樣獲取人臉圖像上與特定表情相關的面部器官的大小、角度、間距等形變參數，如與微笑相關的眼睛和嘴的彎曲程度，形成該特定表情的標準形變參數範圍；將待檢測的人臉圖像的相關形變參數與標準形變參數範圍對比，判斷相關形變參數是否在標準形變參數範圍內，從而確定待檢測的人臉圖像是否發生該特定表情以及發生該特定表情的程度。
[0004]然而，現有技術所依據的是與特定表情相關的面部器官的大小、角度、間距等形變參數，在現實場景中，相關面部器官特徵點定位準確度及大小、角度、間距等形變參數會隨著拍攝角度、光線強度和被拍攝人的變化而變化，使得同一個表情在不同的拍攝角度或不同的光線強度或由不同的人完成都會產生不同的形變參數，通過採樣獲取的特定表情的標準形變參數範圍穩定性較差，導致通過標準形變參數範圍識別表情及表情發生程度的準確率低，實用性差。
【發明內容】
[0005]本發明的實施例提供一種預設表情識別方法和裝置，能夠解決識別預設表情及預設表情發生程度的準確率低、實用性差的問題。
[0006]為達到上述目的，本發明的實施例採用如下技術方案:
[0007]第一方面，提供一種預設表情識別方法，所述方法包括:
[0008]獲取目標圖像，並對所述目標圖像進行預處理獲取目標面部圖像；
[0009]通過預設算法獲取所述目標面部圖像對應的目標特徵向量，所述預設算法用於將圖像映射為特徵向量的形式進行表示；
[0010]根據所述目標特徵向量，通過預設對應規則確定所述目標圖像發生預設表情的程度估計值，所述預設對應規則用於指示所述目標特徵向量與程度估計值的對應關係。
[0011]結合第一方面，在第一種可能的實現方式中，在所述通過預設對應規則確定所述目標圖像發生預設表情的程度估計值之後，所述方法還包括:
[0012]當所述程度估計值大於預設判斷閾值時，確定所述目標圖像包含所述預設表情，或，當所述程度估計值不大於所述預設判斷閾值時，確定所述目標圖像不包含所述預設表情。[0013]結合第一方面，在第二種可能的實現方式中，在所述通過預設對應規則確定所述目標圖像發生預設表情的程度估計值之後，所述方法還包括:
[0014]判斷所述程度估計值所在的估計值區間，根據預設操作策略執行所述估計值區間對應的預設操作；
[0015]所述預設操作策略包括至少一個估計值區間與其對應的預設操作。
[0016]結合第一方面，在第三種可能的實現方式中，所述並對所述目標圖像進行預處理獲取目標面部圖像包括:
[0017]對所述目標圖像進行去色處理獲取目標灰度圖像；
[0018]確定所述目標灰度圖像上的至少兩個特徵像素點，所述特徵像素點包括所述目標灰度圖像中面部兩個瞳孔的中心像素點；
[0019]根據所述特徵像素點，對所述目標灰度圖像進行縮放處理和/或裁剪處理，獲取尺寸等於預設目標尺寸且各所述特徵像素點坐標滿足預設坐標值的目標面部圖像。
[0020]結合第一方面，在第四種可能的實現方式中，所述預設算法包括密集尺度不變特徵轉換Dense-SIFT算法，所述通過預設算法獲取所述目標面部圖像對應的目標特徵向量包括:
[0021]根據預設採樣步長，確定所述目標面部圖像的多個採樣點，所述預設採樣步長為確定所述採樣點時選用的採樣點間隔像素值；
[0022]根據各所述採樣點，確定所述目標面部圖像中各所述採樣點對應的採樣區域，各所述採樣區域分別為以各所述採樣點為中心且邊長等於預設採樣邊長的矩形區域；
[0023]根據所述Dense-SIFT算法提取各所述採樣區域對應的各局部特徵向量，並根據各所述局部特徵向量獲取所述目標面部圖像對應的目標特徵向量。
[0024]結合第一方面至第一方面的第四種可能的實現方式，在第五種可能的實現方式中，所述預設對應規則包括預設線性回歸模型，所述通過預設對應規則確定所述目標圖像發生預設表情的程度估計值包括:
[0025]通過所述預設線性回歸模型對所述目標特徵向量進行判斷，確定所述目標特徵向量對應的程度估計值，所述預設線性回歸模型為根據目標特徵向量求解程度估計值的函數表達式。
[0026]結合第一方面的第五種可能的實現方式，在第六種可能的實現方式中，在所述通過所述預設線性回歸模型對所述目標特徵向量進行判斷之前，所述方法還包括:
[0027]獲取一個或多個標準面部視頻，各所述標準面部視頻均包括一組連續的多個標準視頻幀圖像；且每一組中，各所述標準視頻幀圖像分別對應不同的所述程度估計值，第一幀所述標準視頻幀圖像對應的所述程度估計值為0，最後一幀所述標準視頻幀圖像對應的所述程度估計值為100% ；
[0028]分別對各所述標準視頻幀圖像進行預處理獲取各標準面部圖像，並通過所述預設算法獲取各所述標準面部圖像對應的標準特徵向量；
[0029]根據各所述標準視頻幀圖像分別對應的不同所述程度估計值，確定各所述標準特徵向量與各所述程度估計值之間的對應關係，並根據各所述對應關係進行曲線擬合獲取所述預設線性回歸模型，所述預設線性回歸模型為描述作為變量的特徵向量與程度估計值之間對應關係的函數表達式。[0030]第二方面，提供一種預設表情識別裝置，所述裝置包括:
[0031]預處理單元，用於獲取目標圖像，並對所述目標圖像進行預處理獲取目標面部圖像；
[0032]向量獲取單元，用於通過預設算法獲取所述目標面部圖像對應的目標特徵向量，所述預設算法用於將圖像映射為特徵向量的形式進行表示；
[0033]程度估計單元，用於根據所述目標特徵向量，通過預設對應規則確定所述目標圖像發生預設表情的程度估計值，所述預設對應規則用於指示所述目標特徵向量與程度估計值的對應關係。
[0034]結合第二方面，在第一種可能的實現方式中，所述裝置還包括:
[0035]判斷單元，用於在所述程度估計單元獲取所述程度估計值之後，判斷當所述程度估計值大於預設判斷閾值時，確定所述目標圖像包含所述預設表情，或，當所述程度估計值不大於所述預設判斷閾值時，確定所述目標圖像不包含所述預設表情。
[0036]結合第二方面，在第二種可能的實現方式中，所述裝置還包括:
[0037]操作單元，用於在所述程度估計單元獲取所述程度估計值之後，判斷所述程度估計值所在的估計值區間，根據預設操作策略執行所述估計值區間對應的預設操作；
[0038]所述預設操作策略包括至少一個估計值區間與其對應的預設操作。
[0039]結合第二方面，在第三種可能的實現方式中，所述預處理單元具體用於:
[0040]對所述目標圖像進行去色處理獲取目標灰度圖像；
[0041]確定所述目標灰度圖像上的至少兩個特徵像素點，所述特徵像素點包括所述目標灰度圖像中面部兩個瞳孔的中心像素點；
[0042]根據所述特徵像素點，對所述目標灰度圖像進行縮放處理和/或裁剪處理，獲取尺寸等於預設目標尺寸且各所述特徵像素點坐標滿足預設坐標值的目標面部圖像。
[0043]結合第二方面，在第四種可能的實現方式中，所述預設算法包括密集尺度不變特徵轉換Dense-SIFT算法,所述向量獲取單元具體用於:
[0044]根據預設採樣步長，確定所述目標面部圖像的多個採樣點，所述預設採樣步長為確定所述採樣點時選用的採樣點間隔像素值；
[0045]根據各所述採樣點，確定所述目標面部圖像中各所述採樣點對應的採樣區域，各所述採樣區域分別為以各所述採樣點為中心且邊長等於預設採樣邊長的矩形區域；
[0046]根據所述Dense-SIFT算法提取各所述採樣區域對應的各局部特徵向量，並根據各所述局部特徵向量獲取所述目標面部圖像對應的目標特徵向量。
[0047]結合第二方面至第二方面的第四種可能的實現方式，在第五種可能的實現方式中，所述預設對應規則包括預設線性回歸模型，所述程度估計單元具體用於:
[0048]通過所述預設線性回歸模型對所述目標特徵向量進行判斷，確定所述目標特徵向量對應的程度估計值，所述預設線性回歸模型為根據目標特徵向量求解程度估計值的函數表達式。
[0049]結合第二方面的第五種可能的實現方式，在第六種可能的實現方式中，所述裝置還包括模型訓練單元，用於在程度估計單元通過所述預設線性回歸模型對所述目標特徵向量進行判斷之前，訓練獲取所述預設線性回歸模型；所述模型訓練單元具體用於:
[0050]獲取一個或多個標準面部視頻，各所述標準面部視頻均包括一組連續的多個標準視頻幀圖像；且每一組中，各所述標準視頻幀圖像分別對應不同的所述程度估計值，第一幀所述標準視頻幀圖像對應的所述程度估計值為O，最後一幀所述標準視頻幀圖像對應的所述程度估計值為100% ；
[0051]分別對各所述標準視頻幀圖像進行預處理獲取各標準面部圖像，並通過所述預設算法獲取各所述標準面部圖像對應的標準特徵向量；
[0052]根據各所述標準視頻幀圖像分別對應的不同所述程度估計值，確定各所述標準特徵向量與各所述程度估計值之間的對應關係，並根據各所述對應關係進行曲線擬合獲取所述預設線性回歸模型，所述預設線性回歸模型為描述作為變量的特徵向量與程度估計值之間對應關係的函數表達式。
[0053]可見，本發明實施例提供的一種預設表情識別方法和裝置，所依據的是從目標圖像通過預設算法獲取的目標特徵向量，通過預設對應規則，根據該目標特徵向量確定發生預設表情的程度估計值；因此，相對於現有技術中表情識別方法所依據的標準形變參數範圍，特徵向量的穩定性較好，不易受到拍攝角度、光線強度和被拍攝人等因素變化的影響。這樣，提高了對圖像進行預設表情識別、預設表情發生程度估計的準確率及實用性。
【專利附圖】
【附圖說明】
[0054]為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0055]圖1為本發明實施例提供的一種預設表情識別方法的流程示意圖一；
[0056]圖2為本發明實施例提供的一種預設表情識別方法的流程示意圖二 ；
[0057]圖3為本發明實施例提供的一種預處理獲取目標面部圖像的示意圖；
[0058]圖4為本發明實施例提供的一種目標面部圖像採樣點的示意圖；
[0059]圖5為本發明實施例提供的一種根據採樣點獲取採樣區域的示意圖；
[0060]圖6為本發明實施例提供的一種訓練獲取預設線性回歸模型的方法的流程示意圖；
[0061]圖7為本發明實施例提供的一種預設表情識別裝置的結構示意圖一；
[0062]圖8為本發明實施例提供的一種預設表情識別裝置的結構示意圖二 ；
[0063]圖9為本發明實施例提供的一種預設表情識別裝置的結構示意圖三；
[0064]圖10為本發明實施例提供的一種預設表情識別裝置的結構示意圖四；
[0065]圖11為本發明實施例提供的一種預設表情識別裝置的結構示意圖五。
【具體實施方式】
[0066]下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
[0067]本發明實施例提供一種預設表情識別方法，如圖1所示，該方法包括:[0068]S101、獲取目標圖像，並對目標圖像進行預處理獲取目標面部圖像。
[0069]其中，目標圖像可以為預設的包含人像面部的單幅圖像，也可以為從包含人物面部的視頻中提取出的單幀圖像，且人像面部的呈現角度可以是正面也可以是側面，本發明實施例對此不做限定；
[0070]上述目標圖像中的人像面部可以具有預設表情，或不具有預設表情；該預設表情即為本發明實施例提供的方法所要識別的指定表情，可以為微笑、哭泣、生氣，也可以是做鬼臉、撅嘴、憤怒、尷尬、害羞等；本領域技術人員應該理解，在實施本發明實施例所提供的方法時，表情的類型不應該成為本發明實施例所提供方法的限制因素。
[0071]值得一提的，預處理用於去除目標圖像中與預設表情識別無關的無用圖像信息；在一種實現方式下，對目標圖像進行預處理包括進行去色處理獲取目標灰度圖像，確定目標灰度圖像上的至少兩個特徵像素點，並根據特徵像素點進行縮放處理和/或裁剪處理，獲取尺寸等於預設目標尺寸且各特徵像素點坐標滿足預設坐標值的目標面部圖像。
[0072]S102、通過預設算法獲取目標面部圖像對應的目標特徵向量。
[0073]其中，預設算法用於將圖像映射為特徵向量的形式進行表示，可以包括:Gabor小波變換算法、局部二值模式(Local Binary Patterns, LBP)算法、方向梯度直方圖(Histogram of Oriented Gradient, HOG)算法、尺度不變特徵轉換(Scale-1nvariantFeature Transform, SIFT)算法以及基於SIFT算法改進的密集尺度不變特徵轉換(DenseScale-1nvariant Feature Transform, Dense-SIFT)算法。
[0074]在一種實現方式下，本發明實施例優選的，採用的預設算法為Dense-SIFT算法，通過該Dense-SIFT算法獲取的圖像對應的特徵向量具有平移、縮放、旋轉不變性，同時對光照變化、反射及投影變換也有一定不變性。
[0075]S103、根據目標特徵向量，通過預設對應規則確定目標圖像發生預設表情的程度估計值。
[0076]其中，預設對應規則用於指示目標特徵向量與程度估計值的對應關係，在本發明實施例中，預設對應規則可以包括預設線性回歸模型，該預設線性回歸模型為根據目標特徵向量求解程度估計值的函數表達式。
[0077]在一種實現方式下，在上述通過預設對應規則確定目標圖像發生預設表情的程度估計值之後，該方法還包括根據程度估計值進行判斷，當程度估計值大於預設判斷閾值時，確定目標圖像包含預設表情，或，當程度估計值不大於預設判斷閾值時，確定目標圖像不包含預設表情。
[0078]在另一種實現方式下，在上述通過預設對應規則確定目標圖像發生預設表情的程度估計值之後，該方法還包括判斷程度估計值所在的估計值區間，根據預設操作策略執行估計值區間對應的預設操作；其中，預設操作策略包括至少一個估計值區間與其對應的預設操作。
[0079]本發明實施例提供的一種預設表情識別方法，通過對目標圖像進行預處理獲取目標面部圖像，再通過預設算法提取目標面部圖像對應的目標特徵向量，根據預設對應規則，確定目標圖像中，發生預設表情的程度估計值；本發明實施例提供的預設表情識別方法所依據的是從目標圖像中通過預設算法獲取的目標特徵向量，因此，相對於現有技術中表情識別方法所依據的標準形變參數範圍，特徵向量的穩定性較好，不易受到拍攝角度、光線強度和被拍攝人等因素變化的影響。這樣，提高了對圖像進行預設表情識別、預設表情發生程度估計的準確率及實用性。
[0080]為了使本領域技術人員能夠更清楚地理解本發明實施例提供的技術方案，下面通過具體的實施例，對本發明實施例提供的另一種預設表情識別方法進行詳細說明，如圖2所示，該方法包括:
[0081]S201、獲取目標圖像。
[0082]示例性的，目標圖像可以為預設的包含人像面部的單幅圖像，用於實現對單指定單幅圖像的預設表情識別；也可以為從包含人物面部的視頻中提取出的單幀圖像，用於實現對指定視頻實時的預設表情識別，且人像面部的呈現角度可以是正面也可以是側面，本發明實施例對此不做限定。
[0083]上述目標圖像中的人像面部可以具有預設表情，或不具有預設表情；該預設表情即為本發明實施例提供的方法所要識別的指定表情，可以為微笑、哭泣、生氣，也可以是做鬼臉、撅嘴、憤怒、尷尬、害羞等；本領域技術人員應該理解，在實施本發明實施例所提供的方法時，表情的類型不應該成為本發明實施例所提供方法的限制因素。
[0084]S202、對目標圖像進行預處理獲取目標面部圖像。
[0085]具體的，在獲取目標圖像後，對目標圖像進行預處理獲取目標面部圖像，該預處理用於去除目標圖像中與預設表情識別無關的無用圖像信息，獲取的目標面部圖像僅包含預設表情識別所需圖像信息；
[0086]示例性的，本發明實施例中面部表情的識別基於對面部圖像的分析，與人物肢體動作無關，可以去除目標圖像中肢體部分的圖像信息；且面部表情發生時的必要因素是面部肌肉的形變程度，而與臉部顏色的變化關聯性較低，因此可以去除目標圖像中不必要的色彩；
[0087]可選的，根據預設表情的不同，預處理的過程也不同，即對無用圖像信息的確定存在區別；以撅嘴表情為例，撅嘴只發生在嘴部，所以可以去除目標圖像中除嘴部以為的其他部分圖像信息。
[0088]具體的，上述預處理包括對目標圖像進行去色處理獲取目標灰度圖像；
[0089]示例性的，由於圖像的本質是一組二維點陣，點陣中的點稱作圖像的像素點。對灰度圖像而言，所有像素點的顏色都為灰色，所不同的是反映明暗程度的灰度不同。對彩色圖像而言，圖像中每個像素點都包含三種顏色(例如紅、綠、藍三基色)，通過調整這三種顏色的顏色分量可以使像素點顯示出各種不同的顏色。
[0090]上述去色處理包括:若目標圖像為灰度圖像，則不對目標圖像執行任何操作；或者，若目標圖像為彩色圖像，則通過預設轉換算法將目標圖像轉換為灰度圖像。
[0091]其中，預設轉換算法為將彩色圖像轉換為灰度圖像的算法，本發明實施例可以採用如下的轉換算法:
[0092]假設彩色圖像的顏色由紅(R)、綠(G)、藍⑶三基色構成，設Gray為將該彩色圖像轉換為灰度圖像後某個像素點的灰度，則:
[0093]Gray = 0.299 X R+0.587 X G+0.114 X B ;
[0094]其中R為該像素點的紅色顏色分量，G為該像素點的綠色顏色分量，B為該像素點的藍色顏色分量。[0095]本領域技術人員應當理解，上述算法只是將彩色圖像轉換為灰度圖像的一種算法，本發明實施例不限於此算法。
[0096]具體的，上述預處理還包括在獲取目標灰度圖像後，確定目標灰度圖像上的至少兩個特徵像素點。
[0097]示例性的，由於面部表情的識別基於對面部圖像的分析，與人物肢體動作無關，需要去除目標圖像中肢體部分的圖像信息，所以需要確定目標圖像中人物的面部，通過確定圖像位置後進行裁剪去除目標圖像中非面部的部分，而對於二維圖像而言，確定一個圖像的位置至少需要兩個點，即特徵像素點。
[0098]其中，特徵像素點是指能夠定位面部器官(即人像面部)在目標圖像中的位置的像素點。面部器官可以是眼睛、鼻子、嘴、耳朵、牙齒等輪廓明確且易於被識別的器官，且由於面部器官的大小、輪廓等隨個體的變化而變化，因此在獲取特徵像素點時不應該選擇位於面部器官輪廓上的像素點，而應該選擇面部器官正中心的像素點；例如:眼睛瞳孔中心像素點、上下嘴唇交線中心像素點、門牙縫底端像素點、鼻尖像素點。
[0099]本實施例優選地，可以將面部兩個瞳孔的中心像素點選定為特徵像素點。
[0100]具體的，上述預處理還包括在確定目標灰度圖像上的至少兩個特徵像素點後，對目標灰度圖像進行縮放處理和/或裁剪處理，獲取尺寸等於預設目標尺寸且各特徵像素點坐標滿足預設坐標值的目標面部圖像。
[0101]示例性的，根據確定的特徵像素點，進行縮放處理；以特徵像素點為兩個瞳孔的中心像素點為例，即對目標灰度圖像進行縮放，對解析度進行調整，使得縮放調整後，兩個瞳孔的中心像素點之間的距離為一個預設像素值；進一步的，進行裁剪處理，使得裁剪處理後得到圖像的尺寸為預設目標尺寸，且兩個瞳孔的中心像素點的坐標滿足預設坐標值，得到符合後續處理要求的規範目標面部圖像。
[0102]其中，上述預設像素值、預設目標尺寸、預設坐標值都可以為系統預設設定值，也可以為外部輸入給定值，具體的選值根據應用場景對預設表情識別精度要求的不同可以不同，此處不做限定。
[0103]本發明實施例優選的，如圖3所示，為目標圖像經過預處理後獲取的目標面部圖像；以目標面部圖像外沿的左上角像素點為原點，圖像上邊框外沿為橫軸、左邊框外沿為縱軸，以像素點數目為單位建立左邊系，向右為橫軸正方向、向下為縱軸正方向(以左上角像素點為例，坐標為(1，1));預設目標尺寸可以為橫軸方向上64個像素點、縱軸方向上80個像素點，兩個瞳孔的中心像素點的坐標滿足的預設坐標值分別為(17，31)與(46，31)，兩個瞳孔的中心像素點之間距離滿足的預設像素值為29個像素點。
[0104]值得一提的，上述對目標圖像進行預處理獲取目標面部圖像的操作流程僅為示例性的，包括但不限於此，還可以包括其他不同的處理步驟，得到不同規格的目標面部圖像，本發明實施例對此不做限定。
[0105]S203、通過預設算法獲取目標面部圖像對應的目標特徵向量。
[0106]具體的，本發明實施例選用的預設算法可以為Dense-SIFT算法。
[0107]示例性的,通過Dense-SIFT算法獲取目標面部圖像對應的目標特徵向量包括:根據預設採樣步長，確定目標面部圖像的多個採樣點。
[0108]其中，預設採樣步長為確定採樣點時選用的採樣點間隔像素值；且上述預設採樣步長可以為系統預設設定值，也可以為外部輸入給定值，具體的選擇可根據應用需求進行調整，此處不做限定。
[0109]以圖3所示的目標面部圖像為例，其尺寸為橫軸方向上64個像素點、縱軸方向上80個像素點，兩個瞳孔中心像素點的坐標分別為(17，31)和(46，31)，則選定的採樣步長可以為16X16(單位為像素點數目)；根據該預設採樣步長，可獲取如圖4所示的12個採樣點。
[0110]進一步的，根據各採樣點，確定目標面部圖像中各採樣點對應的採樣區域；其中，各採樣區域分別為以各採樣點為中心且邊長等於預設採樣邊長的矩形區域，且預設採樣邊長可以為系統預設設定值，也可以為外部輸入給定值，具體的選擇可根據應用需求進行調整，此處不做限定；
[0111]以圖4所示的12個採樣點為例，選定的採樣邊長可以為32X32(單位為像素點數目)，則如圖5所示，包括12個採樣區域。
[0112]再進一步的，根據Dense-SIFT算法獲取採樣區域i對應的局部特徵向量Li ;其中，1 = 1,2,…N,以圖5所示的12個採樣區域為例，N = 12。
[0113]則上述目標面部圖像中，採樣區域i對應的局部特徵向量為:
[0114]Li = [ln，Ii2，…，liM]T ; [0115]其中，M是局部特徵向量的維度，M為大於I的整數。
[0116]根據各局部特徵向量獲取目標面部圖像對應的目標特徵向量包括:將獲取的各局部特徵向量L1, L2，…，Ln，進行首尾拼接得到目標特徵向量L，具體為:
[0117]L — [I11, 112，…，In, I21，122> …，I2M，......1nd 1n2，…，1麗，];
[0118]值得一提的，上述將目標面部圖像劃分為若干個較小的採樣區域，然後再分別獲取各較小採樣區域的特徵向量，相對於直接獲取整個目標面部圖像的特徵向量，可以增加特徵向量中的數據量。進而由於數據量的增加，特徵向量所能承載的目標面部圖像的特徵也會增加，從而使得基於特徵向量的預設表情識別準確率更高。
[0119]S204、通過預設對應規則確定目標圖像發生預設表情的程度估計值。
[0120]具體的，在獲取目標面部圖像對應的目標特徵向量之後，根據預設對應規則確定目標圖像發生預設表情的程度估計值；其中，預設對應規則用於指示目標特徵向量與程度估計值的對應關係。
[0121]可選的，在本發明實施例中，預設對應規則可以包括預設線性回歸模型，該預設線性回歸模型為根據目標特徵向量求解程度估計值的函數表達式。
[0122]值得一提的，在通過預設線性回歸模型對目標特徵向量進行判斷之前，還包括訓練獲取該預設線性回歸模型，如圖6所示，具體包括:
[0123]S2041、獲取一個或多個標準面部視頻。
[0124]具體的，各標準面部視頻均包括一組連續的多個標準視頻幀圖像，各標準視頻幀圖像均包含人物面部；且每一組中，各標準視頻幀圖像分別對應不同的程度估計值，第一幀標準視頻幀圖像對應的程度估計值為0，即未開始發生預設表情的狀態，最後一幀標準視頻幀圖像對應的程度估計值為100%，即發生預設表情且達到面部形變程度最大的狀態；
[0125]由於人的表情在發生至結束時，通常會經歷「無表情-完全表情-無表情」的過程，所以，上述標準面部視頻包括了 「無表情-完全表情」階段的連續多個面部圖像，以未發生預設表情的第一幀標準視頻幀圖像為開始幀，以完全發生預設表情的最後一幀標準視頻幀圖像為結束幀，緊接開始幀的第二幀標準視頻幀圖像產生預設表情，並且從第二幀標準視頻幀至結束幀之間該預設表情未中斷。
[0126]值得一提的，上述標準面部視頻可以為人為選定的視頻樣本，各標準面部視頻均需滿足上述要求，且具體的樣本獲取方式此處不做限定。
[0127]S2042、獲取各標準面部圖像對應的標準特徵向量。
[0128]具體的，分別對上述標準面部視頻中各標準視頻幀圖像進行預處理獲取各標準面部圖像，並通過預設算法獲取各標準面部圖像對應的標準特徵向量。
[0129]示例性的，對各標準視頻幀圖像進行預處理獲取各標準面部圖像的過程，與步驟S202中對目標圖像進行預處理獲取目標面部圖像的過程相同，此處不再贅述。
[0130]進一步的，預設算法可以為Dense-SIFT算法，且通過預設算法獲取各標準面部圖像對應標準特徵向量的過程，與步驟S203中通過預設算法獲取目標面部圖像對應目標特徵向量的過程相同，此處不再贅述。
[0131]分別獲取第k個標準面部圖像對應的標準特徵向量Lk，以標準面部視頻中包括T個標準視頻幀圖像為例，k = I, 2,…，T。
[0132]值得一提的，上述預設算法為Dense-SIFT算法僅為示例性的，在實際應用中，還可使用其他類似算法實現，此處不做限定；需要注意的，訓練獲取該預設線性回歸模型過程中使用的預設算法，必須與從目標圖像中獲取目標特徵向量時使用的預設算法相同，這樣才能保證特徵的一致。
[0133]S2043、建立預設線性回歸模型。
[0134]具體的，根據各標準視頻幀圖像分別對應的不同程度估計值，確定各標準特徵向量與各程度估計值之間的對應關係，並根據各對應關係進行曲線擬合獲取預設線性回歸模型。
[0135]其中，回歸模型是一種電腦程式，其核心為回歸算法，在已知自變量的前提下可以預測因變量。回歸模型可以通過訓練獲取自變量和因變量之間相關關係，建立自變量和因變量之間的回歸方程。對本發明實施例而言，上述自變量即為標準視頻幀圖像對應的特徵向量，上述因變量為該標準視頻幀圖像中人臉發生預設表情的程度估計值。
[0136]根據所採用的回歸算法的不同，回歸模型可以包括:主成分分析(PrincipalComponents Analysis, PCA)回歸器、典範相關分析(Canonical Correlation Analysis,CCA)回歸器、偏最小二乘法(Partial Least Squares,PLS)回歸器等,本實施例優選地,採用的預設線性回歸模型為PLS回歸器。
[0137]示例性的，上述訓練獲取預設線性回歸模型具體包括:
[0138]通過曲線擬合方法獲取表情程度函數Q(X)，該表情程度函數Q(X)單調遞增，且Q(O) = 0,Q(T) = 100% ;向卩1^回歸器輸入第k個標準視頻幀圖像的特徵向量Lk，並設置PLS回歸器對應的輸出結果等於Q(k);其中，k= 1，2，...，T，T為標準面部視頻中包括的標準視頻幀圖像個數。
[0139] 以假設預設線性回歸模型描述的特徵向量與程度估計值對應關係為一次函數為例，設表情程度函數表達式為Q(k) = uk+v(u,v為常數)，上述通過曲線擬合方法獲取表情程度函數Q(X)，具體包括:[0140]建立橫軸為程度估計值、縱軸為標準面部視頻中標準視頻幀圖像序號的二維直角坐標系；確定第一幀標準視頻幀圖像在該坐標系中的坐標為(I，O)，確定第T幀標準視頻幀圖像在該坐標系中的坐標為(Τ，100*% )；
[0141]根據坐標(1，0)、(Τ，100% )計算表情程度函數的假設表達式Q(k) = uk+v中的常數u和V，得到:
【權利要求】
1.一種預設表情識別方法，其特徵在於，所述方法包括: 獲取目標圖像，並對所述目標圖像進行預處理獲取目標面部圖像； 通過預設算法獲取所述目標面部圖像對應的目標特徵向量，所述預設算法用於將圖像映射為特徵向量的形式進行表示； 根據所述目標特徵向量，通過預設對應規則確定所述目標圖像發生預設表情的程度估計值，所述預設對應規則用於指示所述 目標特徵向量與程度估計值的對應關係。
2.根據權利要求1所述的方法，其特徵在於，在所述通過預設對應規則確定所述目標圖像發生預設表情的程度估計值之後，所述方法還包括: 當所述程度估計值大於預設判斷閾值時，確定所述目標圖像包含所述預設表情，或，當所述程度估計值不大於所述預設判斷閾值時，確定所述目標圖像不包含所述預設表情。
3.根據權利要求1所述的方法，其特徵在於，在所述通過預設對應規則確定所述目標圖像發生預設表情的程度估計值之後，所述方法還包括: 判斷所述程度估計值所在的估計值區間，根據預設操作策略執行所述估計值區間對應的預設操作； 所述預設操作策略包括至少一個估計值區間與其對應的預設操作。
4.根據權利要求1所述的方法，其特徵在於，所述並對所述目標圖像進行預處理獲取目標面部圖像包括: 對所述目標圖像進行去色處理獲取目標灰度圖像； 確定所述目標灰度圖像上的至少兩個特徵像素點，所述特徵像素點包括所述目標灰度圖像中面部兩個瞳孔的中心像素點； 根據所述特徵像素點，對所述目標灰度圖像進行縮放處理和/或裁剪處理，獲取尺寸等於預設目標尺寸且各所述特徵像素點坐標滿足預設坐標值的目標面部圖像。
5.根據權利要求1所述的方法，其特徵在於，所述預設算法包括密集尺度不變特徵轉換Dense-SIFT算法，所述通過預設算法獲取所述目標面部圖像對應的目標特徵向量包括: 根據預設採樣步長，確定所述目標面部圖像的多個採樣點，所述預設採樣步長為確定所述採樣點時選用的採樣點間隔像素值； 根據各所述採樣點，確定所述目標面部圖像中各所述採樣點對應的採樣區域，各所述採樣區域分別為以各所述採樣點為中心且邊長等於預設採樣邊長的矩形區域； 根據所述Dense-SIFT算法提取各所述採樣區域對應的各局部特徵向量，並根據各所述局部特徵向量獲取所述目標面部圖像對應的目標特徵向量。
6.根據權利要求1至5任一所述的方法，其特徵在於，所述預設對應規則包括預設線性回歸模型，所述通過預設對應規則確定所述目標圖像發生預設表情的程度估計值包括: 通過所述預設線性回歸模型對所述目標特徵向量進行判斷，確定所述目標特徵向量對應的程度估計值，所述預設線性回歸模型為根據目標特徵向量求解程度估計值的函數表達式。
7.根據權利要求6所述的方法，其特徵在於，在所述通過所述預設線性回歸模型對所述目標特徵向量進行判斷之前，所述方法還包括: 獲取一個或多個標準面部視頻，各所述標準面部視頻均包括一組連續的多個標準視頻幀圖像；且每一組中，各所述標準視頻幀圖像分別對應不同的所述程度估計值，第一幀所述標準視頻幀圖像對應的所述程度估計值為O，最後一幀所述標準視頻幀圖像對應的所述程度估計值為100% ； 分別對各所述標準視頻幀圖像進行預處理獲取各標準面部圖像，並通過所述預設算法獲取各所述標準面部圖像對應的標準特徵向量； 根據各所述標準視頻幀圖像分別對應的不同所述程度估計值，確定各所述標準特徵向量與各所述程度估計值之間的對應關係，並根據各所述對應關係進行曲線擬合獲取所述預設線性回歸模型，所述預設線性回歸模型為描述作為變量的特徵向量與程度估計值之間對應關係的函數表達式。
8.一種預設表情識別裝置，其特徵在於，所述裝置包括: 預處理單元，用於獲取目標圖像，並對所述目標圖像進行預處理獲取目標面部圖像；向量獲取單元，用於通過預設算法獲取所述目標面部圖像對應的目標特徵向量，所述預設算法用於將圖像映射為特徵向量的形式進行表示； 程度估計單元，用於根據所述目標特徵向量，通過預設對應規則確定所述目標圖像發生預設表情的程度估計值，所述預設對應規則用於指示所述目標特徵向量與程度估計值的對應關係。
9.根據權利要求8所述的裝置，其特徵在於，所述裝置還包括: 判斷單元，用於在所述程度估計單元獲取所述程度估計值之後，判斷當所述程度估計值大於預設判斷閾值時，確定所述目標圖像包含所述預設表情，或，當所述程度估計值不大於所述預設判斷閾值時， 確定所述目標圖像不包含所述預設表情。
10.根據權利要求8所述的裝置，其特徵在於，所述裝置還包括: 操作單元，用於在所述程度估計單元獲取所述程度估計值之後，判斷所述程度估計值所在的估計值區間，根據預設操作策略執行所述估計值區間對應的預設操作； 所述預設操作策略包括至少一個估計值區間與其對應的預設操作。
11.根據權利要求8所述的裝置，其特徵在於，所述預處理單元具體用於: 對所述目標圖像進行去色處理獲取目標灰度圖像； 確定所述目標灰度圖像上的至少兩個特徵像素點，所述特徵像素點包括所述目標灰度圖像中面部兩個瞳孔的中心像素點； 根據所述特徵像素點，對所述目標灰度圖像進行縮放處理和/或裁剪處理，獲取尺寸等於預設目標尺寸且各所述特徵像素點坐標滿足預設坐標值的目標面部圖像。
12.根據權利要求8所述的裝置，其特徵在於，所述預設算法包括密集尺度不變特徵轉換Dense-SIFT算法,所述向量獲取單元具體用於: 根據預設採樣步長，確定所述目標面部圖像的多個採樣點，所述預設採樣步長為確定所述採樣點時選用的採樣點間隔像素值； 根據各所述採樣點，確定所述目標面部圖像中各所述採樣點對應的採樣區域，各所述採樣區域分別為以各所述採樣點為中心且邊長等於預設採樣邊長的矩形區域； 根據所述Dense-SIFT算法提取各所述採樣區域對應的各局部特徵向量，並根據各所述局部特徵向量獲取所述目標面部圖像對應的目標特徵向量。
13.根據權利要求8至12任一所述的裝置，其特徵在於，所述預設對應規則包括預設線性回歸模型，所述程度估計單元具體用於:通過所述預設線性回歸模型對所述目標特徵向量進行判斷，確定所述目標特徵向量對應的程度估計值，所述預設線性回歸模型為根據目標特徵向量求解程度估計值的函數表達式。
14.根據權利要求13所述的裝置，其特徵在於，所述裝置還包括模型訓練單元，用於在程度估計單元通過所述預設線性回歸模型對所述目標特徵向量進行判斷之前，訓練獲取所述預設線性回歸模型；所述模型訓練單元具體用於: 獲取一個或多個標準面部視頻，各所述標準面部視頻均包括一組連續的多個標準視頻幀圖像；且每一組中，各所述標準視頻幀圖像分別對應不同的所述程度估計值，第一幀所述標準視頻幀圖像對應的所述程度估計值為O，最後一幀所述標準視頻幀圖像對應的所述程度估計值為100% ； 分別對各所述標準視頻幀圖像進行預處理獲取各標準面部圖像，並通過所述預設算法獲取各所述標準面部圖像對應的標準特徵向量； 根據各所述標 準視頻幀圖像分別對應的不同所述程度估計值，確定各所述標準特徵向量與各所述程度估計值之間的對應關係，並根據各所述對應關係進行曲線擬合獲取所述預設線性回歸模型，所述預設線性回歸模型為描述作為變量的特徵向量與程度估計值之間對應關係的函數表達式。
【文檔編號】G06K9/46GK103971131SQ201410200557
【公開日】2014年8月6日 申請日期:2014年5月13日 優先權日:2014年5月13日
【發明者】向學勤, 山世光, 劉夢怡 申請人:華為技術有限公司