一種人臉表情克隆方法
2023-07-20 07:29:36
一種人臉表情克隆方法
【專利摘要】本發明一種人臉表情克隆方法，涉及三維(3D)圖像的加工，是一種基於運動捕捉數據的人臉表情克隆方法，一、預先捕捉一系列人臉面部運動序列；二、人臉面部生氣、厭惡、恐懼、高興、悲傷和吃驚六個基本表情信息的運動捕捉；三、對運動捕捉到的人臉面部六個基本表情信息進行處理；四、構建源面部和目標面部關鍵模型；五、選取四十一個人臉面部特徵點；六、人臉表情的轉移；七、生成人臉克隆表情。本發明克服了現有技術中均一權值保真度低和餘切權值計算不穩定的問題以及運動捕捉設備有較高的要求和處理速度較慢的缺陷。
【專利說明】一種人臉表情克隆方法
【技術領域】
[0001]本發明的技術方案涉及三維(3D)圖像的加工，具體地說是一種人臉表情克隆方法。
【背景技術】
[0002]人臉表情克隆技術是將人臉的表情克隆到與源模型具有不同拓撲結構的目標模型上，目標模型可以是不同性別不同種族的人，也可以是與人臉拓撲結構有很大差異的動物。基於數據驅動的人臉表情克隆技術充分利用已有的頂點運動數據可以快速合成真實和自然的克隆表情。近年來，該技術廣泛的應用於計算機動畫、計算機遊戲和計算機視覺領域。
[0003]從人的視覺要求出發，總是希望克隆的人臉表情能夠儘可能地達到逼真，但由於受模型和計算機能力的限制，合成的圖像總是與人們的要求有一定的差距。在克隆表情工作後期經常需要對眼睛和牙齒這些臉部凹陷的區域作後期處理，而且變形過程中往往需要融合多種方法，製作要求較高。現有技術中的一些研究人員曾利用已有頂點的動畫數據，提出了一種基於徑向基函數(RBF)的表情克隆方法(參見Junyong Noh and UlrichNeumann.Expression cloning.1n Proceedings of ACM SIGGRAPHjpages277 - 288，NewYork, USA, 2001)。這種方法僅僅轉移了運動矢量，而對於稀疏的源數據，將會丟失源模型的部分表情細節。還有一些研究人員通過預先記錄的人臉運動捕捉資料庫，提出一種基於人臉面部特徵點的人臉表情動畫方法來合成真實的表情動畫，然而動畫的質量嚴重依賴於龐大的資料庫(參見 Zhigang Deng and Ulrich.Expressive speech animation synthesiswith phoneme-level control.Computer Graph Forum, 27:2096 - 2113,2008)。另有一些研究人員通過增加邊界約束條件，將重定義問題用泊松方程來表示，利用貝葉斯公式產生與源運動一致的目標動畫，這種方法僅集中於大規模的臉部變形，沒有考慮現實的皺紋這些小尺度細節(參見 Yeongho Seol, J.P.Lewis, Jaewoo Seo, Byungkuk Choi, Ken Aniyoand Junyong Noh.Spacetime expression cloning for blendshapes.ACM Transactions onGraphics, 31:1-12, 2012)。最近，Bhat和Goldenthal等人又提出了一種基於人臉重要輪廓特徵的表演捕捉方法，該方法主要是對眼睛和嘴部這些人臉表情的關鍵區域進行表情匹配處理來得到高質量的克隆表情，這種方法對運動捕捉設備有較高的要求(參見Kiran
S.Bhat, Rony Goldenthal, Yuting Ye, Ronald Mallet and Michael Koperwas.High fidelityfacial animation capture and retargeting with contours.1n Proceedings of the ACMSIGGRAPH, pages7-14, New York, USA, 2013)。CN101944238A 公開了一種基於拉普拉斯變換的數據驅動人臉表情合成方法，首先將採集表演者的臉部運動數據分解為臉部表情運動和頭部剛體運動，計算載入的中性目標人臉模型中各頂點的拉普拉斯坐標，然後將臉部表情運動遷移到中性目標人臉模型上，使得中性目標人臉模型具有與表演者一致的表情，最後將頭部剛體運動遷移到具有與表演者一致表情的目標人臉模型上，使得最終的目標人臉模型具有與表演者一致的面部表情和姿態。此方法的缺點是:對於頂點數目較多的模型，該方法的處理速度較慢，同時沒有考慮複雜的眼睛和牙齒運動。
【發明內容】
[0004]本發明所要解決的技術問題是:提供一種人臉表情克隆方法，是一種基於運動捕捉數據的人臉表情克隆方法，首先使用攝像機捕捉人臉六種基本表情數據，並對數據進行處理，然後分別構建與源面部和目標面部模型對應的關鍵模型，並在表現人臉表情的關鍵區域選取四十一個人臉面部特徵點，通過採用凸權值的拉普拉斯變形算法將人臉表情轉移到目標模型上，很好保留了人臉表情的細節，克服了現有技術中均一權值保真度低和餘切權值計算不穩定的問題以及運動捕捉設備有較高的要求和處理速度較慢的缺陷。
[0005]本發明解決該技術問題所採用的技術方案是:一種人臉表情克隆方法，是一種基於運動捕捉數據的人臉表情克隆方法，步驟如下:
[0006]第一步，預先捕捉一系列人臉面部運動序列:
[0007]先利用運動捕捉設備捕捉表演者的面部肌肉活動，收集人臉面部特徵點的原始數據，即特徵點的位置關係；
[0008]第二步，人臉面部六個基本表情信息的運動捕捉:
[0009]利用運動捕捉設備記錄表演者的人臉面部六個基本表情的信息，即生氣、厭惡、恐懼、聞興、悲傷和吃驚的?目息；
[0010]第三步，對運動捕捉到的人臉面部六個基本表情信息進行處理:
[0011](I)原始數據標記標號:對人臉面部特徵點的原始數據進行標記標號，生成統一的人臉面部特徵點模板，進而在每個人臉面部特徵點附近生成局部坐標的相關信息；
[0012](2)數據清理:上述(I)中的統一的人臉面部特徵點模板提供了相鄰人臉面部特徵點的位置、坐標以及單個人臉面部特徵點的活動範圍信息，利用上述(I)中的局部坐標關係對丟失的人臉面部特徵點進行數據清理；
[0013](3)間隙填充:上述(I)中生成的局部坐標相對人臉的前額、鼻尖或者下巴的位置關係不變，將局部坐標看作靜止參考點，根據三點確定一個平面的定理，通過靜止參考點以及局部三個人臉面部特徵點，四個標記作為一組坐標來估計和確定丟失人臉面部特徵點的間隙位置信息；
[0014](4)數據歸一化:在捕捉過程中，對於丟失的人臉面部特徵點，通過上面的數據清理和間隙填充達到數據歸一化；
[0015]第四步，構建源面部和目標面部關鍵模型:
[0016]首先確定一組源模型的生氣、厭惡、恐懼、高興、悲傷和吃驚這六種強烈表情為關鍵表情，然後通過變形源人臉模型和目標模型各自帶有的中性表情的基本模型來產生它們的各自帶有的關鍵表情的關鍵模型；
[0017]第五步，選取四十一個人臉面部特徵點:
[0018]按照MPEG-4標準，在人臉關鍵表情區域標記四十一個人臉面部特徵點，其中四十一個人臉面部特徵點需要在人臉表情突出部位周圍選取，就是在前額、左眉、左上眼瞼、右眉、右上眼瞼、左下眼瞼、左臉、鼻子、右下眼瞼、右臉、上嘴唇、下巴和下嘴唇這些表現人臉表情的關鍵特徵區域進行選點；
[0019]第六步，人臉表情的轉移[0020](I)對第四步中確定的每一種關鍵表情通過計算源模型人臉面部特徵點的位移來參數化目標模型人臉面部特徵點的位移向量:
[0021]在源基本模型上交互地選擇四十一個人臉面部特徵點，然後提取它們到生氣、厭惡、恐懼、高興、悲傷和吃驚這六個源關鍵模型的位移，連接這些位移，形成每個源關鍵模型的位移向量來參數化對應的目標關鍵模型，標記人臉面部特徵點時，只在源基本模型上標記，其它關鍵模型的這些人臉面部特徵點可以根據它們與源基本模型的頂點對應關係來自動確定，當參數空間的維數遠遠高於目標關鍵模型的維數時，要採用主成分分析方法，即PCA方法，進行降維；
[0022](2)將全局坐標變成拉普拉斯坐標:
[0023]全局坐標是位於全局坐標系中的坐標，拉普拉斯坐標為頂點與其鄰接頂點坐標加權和的差，對每個i = 1，2，...，11，定義叭1)為頂點Vi所有鄰接點的集合，Cli為集合N(i)中元素的個數，拉普拉斯坐標可以表示為:
[0024]
【權利要求】
1.一種人臉表情克隆方法，其特徵在於:是一種基於運動捕捉數據的人臉表情克隆方法，步驟如下: 第一步，預先捕捉一系列人臉面部運動序列: 先利用運動捕捉設備捕捉表演者的面部肌肉活動，收集人臉面部特徵點的原始數據，即特徵點的位置關係； 第二步，人臉面部六個基本表情信息的運動捕捉: 利用運動捕捉設備記錄表演者的人臉面部六個基本表情的信息，即生氣、厭惡、恐懼、高興、悲傷和吃驚的信息； 第三步，對運動捕捉到的人臉面部六個基本表情信息進行處理: (1)原始數據標記標號:對人臉面部特徵點的原始數據進行標記標號，生成統一的人臉面部特徵點模板，進而在每個人臉面部特徵點附近生成局部坐標的相關信息； (2)數據清理:上述(I)中的統一的人臉面部特徵點模板提供了相鄰人臉面部特徵點的位置、坐標以及單個人臉面部特徵點的活動範圍信息，利用上述(I)中的局部坐標關係對丟失的人臉面部特徵點進行數據清理； (3)間隙填充:上述(I)中生成的局部坐標相對人臉的前額、鼻尖或者下巴的位置關係不變，將局部坐標看作靜止參考點，根據三點確定一個平面的定理，通過靜止參考點以及局部三個人臉面部特徵點，四個標記作為一組坐標來估計和確定丟失人臉面部特徵點的間隙位置信息； (4)數據歸一化:在捕捉過程中，對於丟失的人臉面部特徵點，通過上面的數據清理和間隙填充達到數據歸一化； 第四步，構建源面部和目標面部關鍵模型: 首先確定一組源模型的生氣、厭惡、恐懼、高興、悲傷和吃驚這六種強烈表情為關鍵表情，然後通過變形源人臉模型和目標模型各自帶有的中性表情的基本模型來產生它們的各自帶有的關鍵表情的關鍵模型； 第五步，選取四十一個人臉面部特徵點: 按照MPEG-4標準，在人臉關鍵表情區域標記四十一個人臉面部特徵點，其中四十一個人臉面部特徵點需要在人臉表情突出部位周圍選取，就是在前額、左眉、左上眼瞼、右眉、右上眼瞼、左下眼瞼、左臉、鼻子、右下眼瞼、右臉、上嘴唇、下巴和下嘴唇這些表現人臉表情的關鍵特徵區域進行選點； 第六步，人臉表情的轉移 (1)對第四步中確定的每一種關鍵表情通過計算源模型人臉面部特徵點的位移來參數化目標模型人臉面部特徵點的位移向量: 在源基本模型上交互地選擇四十一個人臉面部特徵點，然後提取它們到生氣、厭惡、恐懼、高興、悲傷和吃驚這六個源關鍵模型的位移，連接這些位移，形成每個源關鍵模型的位移向量來參數化對應的目標關鍵模型，標記人臉面部特徵點時，只在源基本模型上標記，其它關鍵模型的這些人臉面部特徵點可以根據它們與源基本模型的頂點對應關係來自動確定，當參數空間的維數遠遠高於目標關鍵模型的維數時，要採用主成分分析方法，即PCA方法，進行降維； (2)將全局坐標變成拉普拉斯坐標:全局坐標是位於全局坐標系中的坐標，拉普拉斯坐標為頂點與其鄰接頂點坐標加權和的差，對每個i = 1，2，...，η,定義N(i)為頂點Vi所有鄰接點的集合，(Ii為集合N(i)中元素的個數，拉普拉斯坐標可以表示為:
2.根據權利要求所述一種人臉表情克隆方法，其特徵在於:所述運動捕捉設備是Motion Analysis公司的運動捕捉設備。
3.根據權利要求所述一種人臉表情克隆方法，其特徵在於:所述拉普拉斯坐標的基於凸權值拉普拉斯變形算法流程是如下:開始一導入人臉面部特徵點數據一目標模型參數化—計算拉普拉斯坐標一計算每個頂點的權重一計算目標模型變形坐標一人臉克隆表情。
【文檔編號】G06T13/40GK104008564SQ201410269983
【公開日】2014年8月27日 申請日期:2014年6月17日 優先權日:2014年6月17日
【發明者】張滿囤, 葛新傑, 霍江雷, 肖智東, 遊理華, 張建軍 申請人:河北工業大學