多模態信息結合的多姿態三維人臉面部五官標誌點定位方法

2023-06-01 13:07:41

專利名稱：多模態信息結合的多姿態三維人臉面部五官標誌點定位方法
技術領域：
本發明涉及一種多姿態三維人臉面部五官標誌點定位方法，特別是一種多模態信 息結合的多姿態三維人臉面部五官標誌點定位方法。
背景技術：
多姿態人臉五官標誌點提取是人臉建模、表情分析及人臉識別中的關鍵技術，準 確高效的面部五官特徵提取能夠為上述應用奠定良好的基礎。文 獻"Guangpeng Zhang, Yunhong Wang. A 3D facial feature point localization method based on statistical shape model, in Proceeding of ICASSP2007，pp. 249-252. 」公開了一種多姿態三維人臉面部五官標誌點定位方法。該方法 通過檢測面部曲面形狀變化，並建立五官分布統計模型對人臉五官標誌點進行定位。首先， 採用曲面形狀索引特徵對人臉表面區域進行粗分割，分割出五官區域；其次採用面部五官 統計形狀模型對分割後的區域進行特徵點定位，五官區域中滿足統計形狀模型分割規律且 距離區域中心點最近的點即為最終定位的五官特徵點，從而實現姿態不變特徵點的提取。 但是，該方法存在以下問題首先，該方法中的曲面形狀索引受曲面噪聲點的影響較大，定 位準確率只有88. 3% ；其次，採用五官統計形狀模型對姿態有著較大的依賴性，雖然能夠克 服部分姿態影響，但是對於姿態變化較大的人臉模型，定位準確率僅僅達到57. 5%。

發明內容
為了克服現有的多姿態三維人臉面部五官標誌點定位方法對姿態魯棒性差的不 足，本發明提供一種多模態信息結合的多姿態三維人臉面部五官標誌點定位方法。該方法 採用多模態信息結合進行三維人臉面部五官標誌點定位，藉助二維圖像中五官結構輪廓清 晰和三維人臉模型中五官標誌區域凹凸分明的優勢，能夠不用預先對人臉模型的姿態進行 估計和補償，從而對姿態有著較強的魯棒性。本發明解決其技術問題所採用的技術方案一種多模態信息結合的多姿態三維人 臉面部五官標誌點定位方法，其特點是包括下述步驟(a)對人臉二維紋理圖像進行特徵點檢測，將每幅人臉二維紋理圖像對由前視位 置繞相機光軸方向變化產生的圖像形變失真進行精確仿真，傾斜轉換度由定向的t子採
樣，仿真圖像依照 =」7進行Φ旋轉，在X方向採用標準偏差^r^的高斯函數對圖像
COS^cVr -1
進行卷積操作，C = 0.8 ；式中，Φ是相機經度角，θ是相機緯度角；對形變變量通過相機經度角Φ和相機緯度角θ調節；採用相似度不變匹配方法對所有仿真圖像進行比較，提取出的特徵點中抽取最具 有代表性的五官特徵描述點；(b)將人臉二維紋理圖像中檢測出的五官特徵點數據U = Iui e R2 :i = 1,2,'",N}，R2表示二維數據空間，根據相應關係映射到三維人臉模型中；二維圖像中非人臉區域內 檢測出的特徵點在三維人臉數據中對應點的特徵值為0，即非人臉區域，將非人臉區域點從 三維人臉數據中剔除；對三維人臉模型數據集P {Pi，i = 1,2, ...,N}中的每一個頂點Pi， 計算由最大曲率和最小曲率、,,表示的三維人臉五官區域凹凸變化的結構描述信息脊線作為人臉五官的局部突變點集；式中，kthreshl, kthresh2分別為局部區域的門限曲率， 由遺傳算法計算得出，得到人臉五官區域位置的脊線Udge和谷線Ivalley ；(c) Stepl 分別對不同姿態三維人臉數據集Mf*Mnf的突變點集合PF|mart|f* PG|marknf中的每一個標誌點Pi, Fimar/, Pj, F|maAnf，建立形狀編碼，並比較Mf和Mnf特徵點對間的 約束關係及=(p,,Fima/ PjMnf IU e 斤}；St印2 對R建立的點對約束，計算PF|maritf和PF|maAnf各點的匹配誤差D (pijF|markf, Pj, F|maritnf)，統計出偏差閾值τ ；乂印3:去除PF|maAf*PF|maAnf中誤差值大於偏差閾值τ的點，建立新的集合 PF|fflarkf/和PF|maAnf'，轉&印2，若相鄰兩次閾值差小於給定誤差值，迭代結束；Step4 :PF|markf'和PF|■廣即是相應人臉數據模型中的五官標誌點。本發明的有益效果是由於採用多模態信息結合進行三維人臉面部五官標誌點定 位，藉助二維圖像中五官結構輪廓清晰和三維人臉模型中五官標誌區域凹凸分明的優勢， 能夠不用預先對人臉模型的姿態進行估計和補償，從而對姿態有著較強的魯棒性，對正面 三維人臉模型的五官標誌點平均定位準確率達到98. 5%，對姿態變化較小人臉模型，定位 準確率由背景技術的88. 3%提高到91. 6% ；對於姿態變化較大的人臉模型，本發明具有顯 著的優越性，定位準確率由背景技術的57. 5%提高到73. 5%，遠遠高於背景技術的定位準 確率。下面結合具體實施方式
對本發明作詳細說明。
具體實施例方式本發明多模態信息結合的多姿態三維人臉面部五官標誌點定位方法，首先對二維 人臉紋理圖像採用仿射不變的AfTine-SIFT方法進行特徵點檢測；然後，利用映射關係將 二維空間中檢測出的特徵點投影到三維空間，對三維人臉模型數據集中的每一個頂點，計 算由最大、最小曲率表示的三維人臉五官區域凹凸變化的結構描述信息脊線和谷線，作為 人臉五官的局部突變點集；最後，建立不同姿態人臉特徵點對間的約束關係，用最小二乘 法進行匹配優化，對匹配結果進行統計分析，得出某一偏差值，使絕大多數點均在該偏差值 以內，以此偏差值作為閾值濾除偏差大的點，建立新的集合，認為被濾出的點是非五官標誌 點，直到相鄰兩次閾值之差小於給定的誤差值，將此時集合中的點確定為人臉五官標誌點。 由於本發明採用多模態信息結合的思路進行三維人臉面部五官標誌點定位，藉助二維圖像 中五官結構輪廓清晰和三維人臉模型中五官標誌區域較易凹凸分明的優勢，能夠不用預先 對人臉模型的姿態進行估計和補償，從而對姿態有著較強的魯棒性，實現了對多姿態三維人臉面部五官標誌點的定位。1、基於二維紋理圖像的特徵點檢測。人臉可以在三維空間中進行6自由度的運動，同時實際應用中不同相機獲取到的 人臉圖像由於相機光軸方向的變化而產生圖像失真，從而使得人臉特徵點的檢測面臨著更 大的困難。ASIFT(Affine Scale Invariant Feature Transform)在保留 SIFT 方法優良 性能，如對旋轉、尺度縮放、平移、亮度變化保持不變性，對視角變化、噪聲也保持一定程度 的穩定性的基礎上，對仿射變化具有更強的不敏感性。ASIFT方法首先對由相機光軸方向 變化產生的圖像失真進行精確仿真，然後，採用與SIFT相同的步驟進行特徵點檢測。ASIFT 能夠對三個參數進行仿真，即尺度、相機經度角和相機緯度角，同時對旋轉和平移參數進行 歸一化，因此對仿射變換具有不變性。ASIFT方法具體實現步驟如下Stepl 將每幅圖對由前視位置繞相機光軸方向可能引起的仿射形變進行仿真， 該形變由兩個參數決定相機經度角Φ和緯度角Θ。圖像經由依照傾斜轉換度相關參數
t = 進行Φ旋轉。對於數字圖像而言，傾斜轉換度由一個定向的t子採樣來完成，該過
COS汐
程需要首先在X方向上使用一個有著標準偏差cr^v/^I的高斯函數來對圖像進行卷積操作， 選取c = 0. 8。St印2 這些旋轉和傾斜轉換度變量通過一系列有限的緯度和經度角來調節，這些 參數的採樣步驟保證仿真圖像與其他由相機經度角Φ和緯度角θ產生的視圖相似性較 強。St印3 所有仿真圖像用相似度不變匹配方法SIFT來進行比較。ASIFT對仿射變換具有不變性，同時由於其保留了 SIFT本身對尺度、旋轉、平移的 不變特性，因此ASIFT能夠較為魯棒地檢測同一個體的不同姿態人臉圖像對間相匹配的特 徵點對。但是由ASIFT提取的大多數特徵點在人臉五官描述方面並沒有實際意義，對於人 臉識別所需要的最為重要的五官描述標誌點，絕大多數特徵點為冗餘特徵。為了有效地進 行人臉分析，必須從提取出的特徵點中抽取最具有代表性的五官特徵描述點。2、五官局部突變描述。人臉庫中的二維圖像數據U= Iui e R2! = 1,2,-,N}與三維網格數據V = Ivj =(Xj，yj，Zj) e R3 :j = 1,2, -,Μ}存在映射關係，記為 ψ =Ui — Vj，/ = l，2,...,iV|v, ￠0，R2， R3分別表示二維、三維數據空間。將二維圖像的特徵點向三維空間進行映射，二維圖像中非 人臉區域內檢測出的特徵點在三維人臉數據中對應點的特徵值為0，即非人臉區域，由此可 以將非面部區域點從三維人臉數據中自動剔除。以P{Pi，i = 1,2,...,N}表示三維人臉數據集合，對該數據集中的每一個頂點Pi， 其最大和最小曲率分別表示為年,,和，能夠描述曲面結構的重要信息，而由最大最小曲率 計算出的三維曲面上的脊線和谷線能夠較好地描述人臉五官區域的凹凸變化，分別以lHdge 和Ivalley表示，其計算原則為Indge = {ρ,, Α^ > kthKM)\Pl e ρ}(1) Imlley ={p if(k2pi <Kthreshl)\ρ, eρ}(2)
其中kthreshl、kthresh2分別為局部區域的門限曲率，其值可以由遺傳算法計算得出。 由以上谷線和脊線的計算原則，能分別得到人臉五官區域位置的谷線和脊線。假設映射到三維空間的面部區域特徵點集由尋PF{PFJ，j = 1,2,...,M;M<N}表示，在該集合中按照式(1)
和⑵計算滿足脊線和谷線的點，並保留相應的脊線和谷線。令特徵點集Pf內的脊線和谷 線分別標記為PFki_，PF|valley，並將兩集合合併為PF|mart，表示人臉五官的局部突變點集。3、迭代約束的五官標誌點定位。為了從五官局部突變點集合PF|marit中確定最終的標誌點，需要建立不同姿態人臉 數據集中五官標誌點間的約束關係，並採用迭代優化的方式進行修正，達到最優匹配。算法 思想為建立不同姿態人臉特徵點對間的約束關係，然後用最小二乘法進行匹配優化，對匹 配結果進行統計分析，得出某一偏差值τ，使絕大多數點均在該偏差值以內，以此偏差值作 為閾值濾除偏差大的點，建立新的集合PF|maA'，認為被濾出的點是非五官標誌點，直到相 鄰兩次閾值之差小於給定的誤差值，將此時集合PF|maA'中的點確定為人臉五官標誌點。算法過程如下Stepl 假設不同姿態三維人臉數據集Mf,分別對Mf和Mnf的突變點集合PF|martf和 PF|fflarknf中的每一個標誌點Pi, Fimar/，Pj, Flmarkni,建立形狀編碼，並比較Mf和Mnf特徵點對間的 約束關係及={p,,Flmo/ e PjMnf I ij e N、；Step2 對R建立的點對約束，計算PF|maritf和PF|maAnf各點的匹配誤差D (pijF|markf, Pj, F|maritnf)，統計得出偏差閾值τ ；Step3 去除PF|maAf和PF|martnf中誤差值大於閾值τ的點，建立新的集合PF|martf 『 和PF|maAnf 『，轉&印2，若相鄰兩次閾值差小於給定誤差值，迭代結束；Srep4:記此時的PF|martf'和PF|maAnf'即為相應人臉數據模型中的五官標誌點。
權利要求
1. 一種多模態信息結合的多姿態三維人臉面部五官標誌點定位方法，其特徵在於包括 下述步驟(a)對人臉二維紋理圖像進行特徵點檢測，將每幅人臉二維紋理圖像對由前視位置繞 相機光軸方向變化產生的圖像形變失真進行精確仿真，傾斜轉換度由定向的t子採樣，仿真圖像依照 = 進行Φ旋轉，在χ方向採用標準偏差^^的高斯函數對圖像進行卷 cos 汐cVr -1積操作，c = 0.8 ；式中，Φ是相機經度角，θ是相機緯度角；對形變變量通過相機經度角Φ和相機緯度角θ調節；採用相似度不變匹配方法對所有仿真圖像進行比較，提取出的特徵點中抽取最具有代 表性的五官特徵描述點；(b)將人臉二維紋理圖像中檢測出的五官特徵點數據U= Iui e R2 :i = 1,2,…，N}， R2表示二維數據空間，根據相應關係映射到三維人臉模型中；二維圖像中非人臉區域內檢 測出的特徵點在三維人臉數據中對應點的特徵值為0，即非人臉區域，將非人臉區域點從三 維人臉數據中剔除；對三維人臉模型數據集P{Pi，i = 1,2,...,N}中的每一個頂Api，計算 由最大曲率和最小曲率、,,表示的三維人臉五官區域凹凸變化的結構描述信息脊線Udge和Ivalley
全文摘要
本發明公開了一種多模態信息結合的多姿態三維人臉面部五官標誌點定位方法，用於解決現有的多姿態三維人臉面部五官標誌點定位方法對姿態魯棒性差的技術問題。技術方案是採用多模態信息結合進行三維人臉面部五官標誌點定位，藉助二維圖像中五官結構輪廓清晰和三維人臉模型中五官標誌區域凹凸分明的優勢，能夠不用預先對人臉模型的姿態進行估計和補償，從而對姿態有著較強的魯棒性，對正面三維人臉模型的五官標誌點平均定位準確率達到98.5％，對姿態變化較小人臉模型，定位準確率由背景技術的88.3％提高到91.6％；對於姿態變化較大的人臉模型，本發明具有顯著的優越性，定位準確率由背景技術的57.5％提高到73.5％。
文檔編號G06K9/00GK102081733SQ201110007180
公開日2011年6月1日 申請日期2011年1月13日 優先權日2011年1月13日
發明者張豔寧, 林增剛, 梁君, 郗潤平, 郭哲 申請人:西北工業大學