多視角三維人臉掃描數據自動配準方法

2023-04-29 07:01:21

專利名稱：多視角三維人臉掃描數據自動配準方法
技術領域：
本發明涉及一種多視角三維人臉掃描數據自動配準方法。
背景技術：
三維人臉掃描數據的配準是建立三維形態模型的重要步驟，配準問題包括查找能使多視 角物體重疊部分正確配準的平移和旋轉參數，能由部分表面來重建該物體，得到該物體的完 整表面描述。對於三維人臉來說，要得到人臉的完整描述，至少需要將三個不同視角下(正 面、左側面、右側面)的掃描數據配準到一起。
根據尋找模型之間對應關係的策略的不同，可以將配準方法分為整體配準和逐片,兩 大類。整體配準是以整個模型為研究對象，而逐片配準是先將模型按照一定規則進行分解， 然後以分解後的子部分為研究對象。根據配準是分步進行還是一步到位，可以將配準方法分 為粗精結合配準和直接配準兩大類。當前大部分配準方法都是採用粗精相結合的方式，首先 確定有限數目的關鍵點，計算所對應的轉換參數，作為精配準的初始狀態。精配準一般採用 逐點對應的方法，對整體模型計算轉換關係。直接配準，對應於粗精結合中的精配準運算。 粗精結合的配準策略，對於空間關係相差較大的兩個模型，以及本身結構和形狀特點比較復 雜的模型，可以大大減少配準工作的運算量。而直接配準主要適用於模型本身結構比較簡單 的情況。
參照圖3，文獻"Xiaoguang Lu， Dirk Colbry and Anil K.Jain. Three-Dimensional Model Based Face Recognition. ICPR,2004"公開了一種粗精結合的三維人臉配準方法。該方法利用Shape Index算法自動查找到不同視角三維人臉掃描數據中的內、外眼角點及鼻尖點，用Least Square Fitting方法對檢測出的三個特徵點進行粗配準；再對整體掃描數據用一種對ICP (Iterative Closest Point)方法的改進方法Hybrid ICP方法進行精確配準。特徵點的檢測是在假設人臉數 據與視覺平面垂直的條件下，由計算得到的Shape Index的值及人臉五官分布的先驗知識來確 定的。但是，該方法存在以下問題首先特徵點檢測方法要求人臉必須是垂直的；其次特徵 點檢測存在誤檢的情況，直接影響粗配準的效果；再次該配準方法是2.5維掃描數據與完整 三維人臉模型之間的配準，不存在數據缺失的情況，因此不能用於多視角三維掃描數據間的 配準。

發明內容
為了克服現有技術對特徵點檢測正確率不高，不能用於多視角三維掃描數據自動配準的 的不足，本發明提供一種多視角三維人臉掃描數據自動配準方法，其中粗配準採用對坐標軸
進行轉換的方法，以整體特徵代替個體點特徵，降低了特徵點檢測所帶來的誤差；精配準僅 對提取出的特徵區域進行配準迭代運算，可降低運算複雜度。本發明解決其技術問題所採用的技術方案一種多視角三維人臉掃描數據自動配準方法,其特點是包括以下步驟(a) 將多視角三維人臉掃描數據用PCA方法進行坐標軸轉換，轉換到與正面標準模型 同樣的坐標系下；(b) 對轉換後的模型計算其Shape Index值，並採用閾值分割的方法分離出內眼角、外 眼角、鼻尖這些標誌區域；(c) 建立人臉標誌區域分布模型，找出最符合分布模型的連通區域作為標誌區域，計算 模型參數、.，/ = 1,...,加，_/ = 1，...,10;對所有m個模型求得參數後，由一 i m附-得到這些參數的均值和方差，即為統一的人臉標誌區域分布模型；採用分布篩選法，首先分析分割結果中的眼窩候選區域，通過比較眼窩候選區域所有連通域的面積，取面積最大的兩個作為眼窩區域；其次，遍歷所有鼻尖點候選區域中的連通域，計算到標誌區域分布模 型相對應的參數的距離，取距離最小的作為鼻尖區域；最後，遍歷所有外眼角候選區域中的 連通域，計算到標誌區域分布模型相對應的參數的距離，取距離最小的作為外眼角區域，最 終定位出標誌區域眼睛內兩個區域、外眼角兩個區域及鼻尖點區域(d) 對定位出的標誌區域採用ICP方法進行配準，得到相應的旋轉矩陣和平移向量；(e) 將整體掃描數據採用區域配準得到的轉換參l[進行坐標平移和旋轉變換，完成配準。 本發明的有益效果是由於本發明粗配準採用對坐標軸進行轉換的方法，以整體特徵代替個體點特徵，降低了特徵點檢測所帶來的誤差；精配準僅對提取出的特徵區域進行配準迭 代運算，降低了運算複雜度，實現了多姿態三維掃描數據的自動配準，配準正確率達到95.8% 以上，結合處光滑度較好，配準後模型距離均值平均數為1.67mm，標準差平均值為1.04mm。下面結合附圖和實施例對本發明作詳細說明。


圖1是本發明多視角三維人臉掃描數據自動配準方法流程圖。 圖2是圖1中建立人臉標誌區域分布模型示意圖。 圖3是現有技術多視角三維人臉掃描數據配準方法流程圖。
具體實施方式
參照圖l、圖2。多姿態三維掃描數據自動配準技術包括PCA坐標軸轉換；特徵區域篩 選；標誌區域定位；ICP配準；整體掃描數據進行坐標轉換五個步驟。1. 將多視角三維人臉掃描數據用PCA方法進行坐標軸轉換人臉主軸坐標系是由三維人臉數據的三個主軸所構成的坐標系，三個主軸分別對應人臉 的朝向軸Z軸、過人臉對稱平面和Z軸垂直的軸Y軸，以及垂直於對稱平面的軸X軸，三 個軸符合右手坐標系，坐標系的原點取在鼻尖點。在該坐標系下，人臉均為相同的正面姿態。PCA (Principal Component Analysis)坐標軸轉換的具體步驟為對於點集Z(XpX,，…，x》，x,為m維向量，計算其均值o,進而計算其協方差矩陣cov:求得協方差矩陣cov的特徵值(A,;i2,…,;L)和對應的特徵向量(A，"2,…,^)。0/1,"2,—，、)即為點集1(;^^2, ，^)的主軸。對嚴格對稱分布的數據，PCA可以求得其對稱軸。假設三維人臉數據嚴格對稱，PCA求得的三個特徵向量^,^，^)將分別對應人臉主軸坐標系的XYZ軸。PCA方法的主要原理是利用人臉在其主軸坐^^系下均呈相同正面姿態的 特點，對標準模型和待配準模型，計算其精確的主軸坐標系，並將其坐標都轉換到主軸坐標 系下，使得標準模型和待配準模型均為正面姿態，從而實現三維人臉模型的粗配準。2. 特徵區域篩選計算掃描數據點的Shape Index值，對Shape Index值進行區域分割，對分割區域進行標 記，得到候選區域，具體方法如下採用Shape Index特徵來表示掃描數據中每一點的凹凸程度。點；？的Shape Index是由它的最大最小曲率計算的。Shape Index的定義式如下2 /^0)-*:20) 其中，^為最大曲率，^為最小曲率。Shape Index特徵真實的反映了人臉表面的凹凸特徵，在內眼角、外眼角、鼻尖這些標誌 區域，Shape Index特徵均呈現一定的聚集性，很容易和其周圍區域分開，因而可對Shape Index 特徵採用閾值分割的方法分離出這些標誌區域。3. 標誌區域定位通過分割和區域標記，已經獲得了內眼角、外眼角和鼻尖的候選區域，但是分割結果中 還存在很多幹擾區域，需要從這些區域中篩選出真正的標誌區域。由於人臉表面上各個器官 的相對分布是一致穩定的，而幹擾區域的分布則是不穩定的，因此可以利用相對分布特徵來約束區域的篩選，由此，我們採用一種基於幾何形狀約束的區域選擇方法，該方法的基本思 路是首先建立一個統一的人臉標誌區域分布模型，對一幅新的三維人臉圖像，尋找最符合 分布模型的連通區域作為標誌區域。 建立分布模型-選擇m幅具有代表性的正面三維人臉模型作為訓練樣本建立分布模型。對每個人臉模型，手工標記出兩個內眼角、兩個外眼角和鼻尖區域，生成分布圖，並計算圖的各個參數。在圖2中，Dl為右眼內眼角區域中心，D2為左眼內眼角區域中心，D3為右外眼角區域 中心，D4為左外眼角區域中心，D5為鼻尖區域中心。獲得了這些區域中心就可以計算各個 中心連線的參數、連線夾角的參數來建立模型。為了保證各種姿態下都能夠準確定位標誌點， 所選的參數必須具有旋轉平移不變性。為了表述方便，將這些參數統一表示成 "、l，…,附j-l,…,10。對所有m個模型求得參數後，便可得到這些參數的均值和方差，這些參數均值及方差即為統一的人臉標誌區域分 布模型。標誌區域篩選對一個新的三維人臉模型，首先通過閾值分割及區域標記，獲得各標誌區域的候選區域， 然後從中選出最符合標誌區域分布模型的區域。採用分布篩選法，具體步驟為-1) 分析分割結果中的眼窩候選區域，兩個眼窩處的連通域面積絕大多數情況下是最大 的，因此首先通過比較眼窩候選區域所有連通域的面積，取面積最大的兩個作為眼窩區域；2) 遍歷所有鼻尖點候選區域中的連通域，計算到標誌區域分布模型相對應的參數的距 離，取距離最小的作為鼻尖區域；3) 遍歷所有外眼角候選區域中的連通域，計算到標誌區域分布模型相對應的參數的距 離，取距離最小的作為外眼角區域；通過分步篩選，可以有效利用先驗知識，降低計算複雜度。對於正面模型，篩選結果非 常理想；對於姿態偏轉情況，由於存在數據缺失，會產生缺失區域定位錯誤情況，但其他區 域均定位準確。為排除定位錯誤的區域，對篩選後的結果進行後處理。對每個標誌區域，計算區域中心 到其他標誌區域中心的距離，如果這些距離與標誌區域分布模型中的對應距離相差超過某一
閾值，則認為是區域丟失，定位錯誤的區域。閾值取為分布模型中3"。4. ICP配準對定位出的5個標誌區域，通過ICP進行進一步的精確配準。ICP是最為常用的三維數 據配準方法，該方法在每次迭代過程中，對待配準模型上的每個點，在標準模型中尋找最相 近的點，利用這組對應點，計算出相應的旋轉矩陣和平移向量，將其作用在待配準模型上， 得到新的模型代入下次迭代過程。對於偏轉角度較大模型，標誌區域為4個。5. 整體掃描數據進行坐標轉換特徵區域通過ICP方法進行迭代運算，得到一組最優的配準參數，旋轉和平移向量，將 整體模型採用得到的配準參數進行坐標變換，完成配準。ICP存在配準速度慢、可能陷入局部最優、無法找到對應點等缺點。本發明採用對待配 準模型定位出的標誌區域中的點，在標準模型上尋找最近點。該方法大大降低了計算量，提 高配準速度。
權利要求
1、一種多視角三維人臉掃描數據自動配準方法，其特徵在於包括以下步驟(a)將多視角三維人臉掃描數據用PCA方法進行坐標軸轉換，轉換到與正面標準模型同樣的坐標系下；(b)對轉換後的模型計算其Shape Index值，並採用閾值分割的方法分離出內眼角、外眼角、鼻尖這些標誌區域；(c)建立人臉標誌區域分布模型，找出最符合分布模型的連通區域作為標誌區域，計算模型參數xij，i＝1，…，m，j＝1，…，10；對所有m個模型求得參數後，由
2、 根據權利要求l所述的多視角三維人臉掃描數據自動配準方法，其特徵在於還包括 對每個標誌區域，計算區域中心到其他標誌區域中心的距離，當這些距離與標誌區域分布模 型中的對應距離相差超過某一闞值，則認為是區域丟失，定位錯誤的區域。
3、 根據權利要求l所述的多視角三維人臉掃描數據自動配準方法，其特徵在於還包括 當ICP配準速度慢、可能陷入局部最優、無法找到對應點時，採用對待配準模型定位出的標誌 區域中的點，在標準模型上尋找最近點來解決。
全文摘要
本發明公開了一種多視角三維人臉掃描數據自動配準方法，其特點是包括以下步驟將多視角三維人臉掃描數據用PCA方法進行坐標軸轉換，對轉換後的模型計算其Shape Index值，並採用閾值分割的方法篩選出若干特徵區域；利用區域相對分布特徵來約束區域的篩選，最終定位出標誌區域眼睛內、外眼角及鼻尖點區域；對標誌區域採用ICP方法進行配準；將整體掃描數據採用區域配準得到的轉換參數進行坐標平移和旋轉變換，完成配準。由於本發明粗配準採用對坐標軸進行轉換的方法，以整體特徵代替個體點特徵，降低了特徵點檢測所帶來的誤差；精配準僅對提取出的特徵區域進行配準迭代運算，降低了運算複雜度，實現了多姿態三維掃描數據的自動配準。
文檔編號G06K9/00GK101127075SQ20071001878
公開日2008年2月20日 申請日期2007年9月30日 優先權日2007年9月30日
發明者張豔寧, 林增剛, 哲 郭 申請人:西北工業大學