一種無監督的實時面部表情捕捉方法
2023-06-09 22:33:01
一種無監督的實時面部表情捕捉方法
【專利摘要】本發明是一種無監督的實時面部表情捕捉方法。該方法可以在無監督的條件下分析面部特徵點，並將特徵點轉換為具有語義信息的表情單元係數。本發明具有如下特點：算法無需對特定用戶做表情採集，可以無監督的學習用戶面部表情，因此基於本發明算法的系統具有較強的普適性和易用性。
【專利說明】一種無監督的實時面部表情捕捉方法
【技術領域】
[0001]本發明屬於計算機視覺【技術領域】，具體地說是一種無監督的實時面部表情捕捉方法。
【背景技術】
[0002]實時面部表情捕捉技術是計算機視覺領域的熱點問題之一。該問題的解決方法通常是從面部提取關鍵特徵點，然後建立特徵點和表情語義信息之間的關聯，前一步稱為特徵點提取，後一步稱為表情映射。Thibaut Weise等人在文章Realtime Performance-BasedFacial Animation中,通過採集用戶的特殊表情,建立精確的表情先驗,然後根據面部特徵點和表情先驗完成表情映射。後續方法基本均延續此技術路線，然而這種依賴於監督式訓練的方法具有以下缺點:(1)訓練工作需要用戶配合進行，不但花費時間，而且訓練質量難以把控；(2)訓練需要採集不同的表情，過程繁瑣，對於用戶來說不便使用。
[0003]為解決此問題，本發明提出了一種無監督的實時面部表情捕捉方法，該方法不依賴於上述訓練過程，可在捕捉過程中自發的學習用戶表情信息，從而使系統具備較強的普適性和易用性。
【發明內容】
[0004]本發明的目的是解決現有的實時面部表情捕捉算法依賴於監督式的訓練，從而導致系統的普適性和易用性較差的問題。
[0005]本發明提出了一種無監督的實時面部表情捕捉方法，該方法可以在實時捕捉的過程中自發學習用戶的表情，不需要任何人工幹預。本發明的方法首先從面部特徵點中提取與FACS表情單元相對應的幾何特徵，然後將幾何特徵加入幾何特徵樣本集。樣本集進行樣本分布分析，從而計算出各個表情單元的變化區間。根據當前樣本及表情單元變化區間，可以計算出表情單元係數。這一過程在完全無監督的條件下進行。
[0006]與現有技術相比，本發明的有益效果是:算法無需用戶相關的表情採集訓練，因此基於本發明算法的系統具備較強的普適性和易用性。
【專利附圖】
【附圖說明】
[0007]圖1為本發明的算法的整體流程圖；
[0008]圖2為本發明的算法所用的表情表示方法示意圖；
[0009]圖3為面部關鍵特徵點和幾何特徵示意圖；
[0010]圖4為表情單元的變化區間；
[0011]圖5為最近鄰樣本合併算法的偽代碼；
[0012]圖6為幾何特徵樣本的值及表情單元變化區間的節點。
【具體實施方式】[0013]本發明具體的說是一種無監督的實時面部表情捕捉的方法。
[0014]本發明使用的表情表示方法為Blendshape，對於某個用戶，其任意表情可以表示為該用戶的自然表情加上一系列表情基的線性組合，如圖2所示。表情基是帶有特定語義的表情單元，如張嘴、抬眉毛等，本發明使用FACS定義的表情單元作為表情基。由於表情基的精確數值與具體用戶相關，因此現有的表情捕捉方法幾乎都需要對特定用戶做表情採集從而獲知該組表情基，這就造成系統普適性較低且不易使用。
[0015]本發明所用的算法不依賴於對特定用戶做表情採集，因此系統具備較強的普適性和易用性。具體來說，所述的算法分為以下幾個步驟:
[0016](I)從面部關鍵特徵點中提取與FACS表情單元相對應的幾何特徵，圖3所示為面部特徵點及一些重要的幾何特徵。幾何特徵是可以代表表情單元的幾何度量值，如嘴巴寬度、嘴巴高度、眉眼間距、雙眼內眼角間距等。這些特徵中，有些為恆定量，如雙眼內眼角間距，有些則隨著表情的變化而改變，如嘴巴寬度、嘴巴高度等。為防止誤差帶來的絕對數值的縮放，需要對幾何特徵進行歸一化，具體的做法是用各個特徵的值除以雙眼內眼角間距，相除的結果作為最終的幾何特徵值，所有的幾何特徵值共同構成一個幾何特徵樣本，該樣本能夠代表多個表情單元組合出的表情。
[0017](2)按照一定策略將幾何特徵加入幾何特徵樣本集。被加入樣本集的樣本帶有一個權重屬性，該屬性用來標識這個樣本在樣本集中的影響因子。樣本的權重大小與潛在誤差成負相關的關係。權重最大為1，最小為O。若樣本權重過低，則說明潛在誤差過大，此時樣本集須丟棄這類不可靠樣本。對於可靠樣本，本發明算法假定誤差為高斯誤差，真實樣本服從以觀測值為期望，以某一與權重相關的值為方差的高斯分布:
[0018]Sv，u?N(y，o2) (3)
[0019]其中，sv, ω衷示觀測值為V,權重為ω的樣本的真實值，μ =ν, σ =_1ηω。為了補全因誤差缺失的信月，需要從該樣本觀測值的左右兩側各取一個補償樣本，使其權重為(1-ω)/2，然後將補償樣本一起加入到樣本集。設補償樣本的值為V』，則有:
[。_點⑷
[0021]其中f為高斯分布的概率密度函數。通過求解(3)可以計算出V'的值。
[0022]由於樣本集容量不可能無限增長，因此當樣本集已滿時必須採取措施處理新加入的樣本。具體措施如下:對某個新加入的幾何特徵樣本，在樣本集中找到其最近鄰樣本，然後對這兩個樣本進行加權合併以形成一個新樣本。合併後樣本集中的樣本總數保持不變。
[0023](3)幾何特徵樣本集根據樣本分布計算表情單元變化區間。每個表情單元的變化區間由三個節點數值確定，分別是負極限、無表情和正極限，如圖4所示。三個節點對應的表情單元的係數分別是_1，0和I。本發明的算法採用最近鄰樣本合併方法計算中間節點的值，算法偽代碼如圖5所示。當合併至只剩下三個樣本時，中間樣本的值為「無表情」節點。該節點將整個表情區間劃分為兩個單向的區間，這兩個區間的另一端點分別是「負極限」節點和「正極限」節點，本發明算法使用離群樣本移除算法計算「負極限」和「正極限」節點。以尋找「負極限」節點為例，算法步驟如下:
[0024]從最左側樣本開始依次向右掃描並計數，
[0025]I)若相鄰樣本距離大於負向樣本集寬度的I %，則移除左側樣本並重新計數；[0026]2)若計數達到負向樣本總數的k%，或已掃描的樣本數達到，則終止算法。
[0027]圖6所示為某幾何特徵樣本的值及用上述算法求得的表情單元區間節點。
[0028](4)根據當前幾何特徵樣本和表情變化區間計算表情單元係數。表情單元的變化區間由三個關鍵節點確定,分別是gmin、grest和gmax,當這三個節點已知後，根據幾何特徵值g?可求得組合係數w:
[0029]
【權利要求】
1.一種無監督的實時面部表情捕捉方法，其特徵在於如下步驟: (O從面部圖像特徵點中提取與FACS表情單元相對應的幾何特徵； (2)將幾何特徵添加至幾何特徵樣本集； (3)幾何特徵樣本集根據樣本分布計算表情單元變化區間； (4)根據當前幾何特徵樣本和表情單元變化區間計算表情單元係數。
2.根據權利要求1所述的方法，其特徵在於:所述步驟(2)進一步包括以下子步驟: (2.1)根據潛在誤差大小為幾何特徵樣本設置權重，權重值最高為1，最低為O ; (2.2)為待添加的幾何特徵樣本增加補償樣本。假設樣本的真實值服從高斯分布:
Sv, ω ~Ν(μ，σ 2) (I) 其中，sv, ω衷示觀測值為V,權重為ω的樣本的真實值，μ =ν, σ = -Ιηω ；為了補全因誤差缺失的信月，需要從觀測樣本的左右兩側各取一個權重為(1_ω)/2的補償樣本，然後一起添加到樣本集。設補償樣本的值為V,，則有:
3.根據權利要求1所述的方法，其特徵在於:所述步驟(3)進一步分為以下子步驟: (3.1)定義表情單元變化區間；每個表情單元變化區間由三個節點值確定，分別是負極限、無表情和正極限，對應的表情單元的係數分別是-1，0和I ; (3.2)用最近鄰樣本合併方法求中間節點。具體方法為:不斷進行最近鄰樣本加權合併，直到樣本集僅剩三個樣本，此時中間樣本即為表情單元變化區間的中間節點，即「無表情」節點； (3.3)用離群點剔除方法分別求出左右節點；尋找左節點(即「負極限」節點)算法步驟如下: 從最左側樣本開始依次向右掃描並計數， 1)若相鄰樣本距離大於負向樣本集寬度的I%，則移除左側樣本並重新計數； 2)若計數達到負向樣本總數的k%,或已掃描的樣本數達到m%,則終止。
4.根據權利要求1所述的方法，其特徵在於:所述步驟(4)的具體方法為:表情單元變化區間的三個節點對應的幾何特徵分別記為gmin、grest和gmax，已知幾何特徵g可求得其對應的表情單元係數w:
【文檔編號】G06K9/00GK103679143SQ201310642644
【公開日】2014年3月26日 申請日期:2013年12月3日 優先權日:2013年12月3日
【發明者】周忠, 劉少龍, 石峰 申請人:北京航空航天大學