一種基於ASM的人臉特徵點檢測方法與流程

2023-05-24 19:49:16

本發明涉及圖像處理及模式識別
技術領域：
，尤其涉及一種基於asm的人臉特徵點檢測方法。
背景技術：
：隨著當今社會對快速高效的自動身份驗證技術的迫切需求，人臉識別技術因具有非接觸性、採集設備簡單等優點而成為當前的研究熱點。人臉識別技術可分為人臉檢測、特徵提取和分類識別三個階段，其中人臉檢測、特徵提取是人臉識別算法的基礎，人臉檢測過程中面部定位的精度和特徵信息提取的豐富性直接決定了人臉識別的最終效果。人臉檢測可以使用基於haar特徵的人臉檢測器進行粗略檢測。haar特徵(haar-likefeature)是人臉檢測領域常用的一種手段，技術較為成熟，具有較好的適用性。人臉特徵包含人臉的形狀信息，以及眉毛、眼睛、鼻子和嘴巴等器官的位置和輪廓信息。人臉特徵點則是用於描述上述人臉特徵的點位，這些點位的檢測直接關係到圖像中人臉位置的定位和識別。因此，人臉特徵點檢測既是人臉識別研究的一個關鍵問題，也是計算機視覺和圖形學領域的一個基本問題。人臉特徵點的檢測為人臉圖像的處理與分析提供了重要的幾何信息，特徵點定位的準確與否直接關係到後續應用的可靠性。目前，檢測人臉特徵點的理論模型主要有snake模型、可變模板、點分布模型(pdm)、主動形狀模型(asm)和主動外觀模型(aam)等等。主動形狀模型(activeshapemodel，asm)由timcootes和christaylor於1995年提出，是一種基於統計學、灰度和形狀分離的可變形模型，該模型能夠在約束條件的限制下進行一定程度的形變，同時還能保證形變後的形狀與原形狀屬於同一個類別，因此asm實際上描述了同一類形狀的共同特徵。asm的應用主要具有兩個過程：首先利用物體的形狀信息學習形狀變化的模式並建立表徵人臉形狀特徵的模型，然後通過形變以實現模型與目標的匹配，即完成人臉特徵點的檢測。asm是目前效果較好、應用廣泛的一種人臉特徵點提取方案。該方法具有算法簡單、計算量小的優點。但是，特徵點定位時通常採用局部紋理特徵進行搜索匹配，而局部紋理特徵只包含當前特徵點的部分鄰域信息，從而極易造成匹配過程中的局部最優問題，致使人臉特徵點提取的失敗，影響了人臉特徵點檢測的準確性。技術實現要素：鑑於此，本發明提供了一種基於asm的人臉特徵點檢測方法，提高了人臉特徵點檢測的速度和精度，進而有利於提高後續的人臉校正、人臉識別或表情分析等過程的精確度。本發明是這樣實現的：一種基於asm的人臉特徵點檢測方法，該方法使用asm對初始人臉形狀進行匹配，並輸出匹配結果；asm以n張人臉圖像作為訓練樣本，每張人臉圖像中標記有n個有序的特徵點；asm包含形狀模型x、模型參數b，以及特徵描述子集合g中的元素為第k個特徵點的特徵描述子所述特徵描述子中：gkj為第j幅樣本圖像中第k個特徵點的特徵描述向量，gkj的組成中包含hog特徵向量和紋理特徵向量。本發明在傳統asm算法的基礎上增加了對面部特徵點的額外特徵描述，即在局部紋理特徵的基礎上增加了鄰域的hog(梯度方向直方圖)信息，將hog特徵向量與紋理特徵向量融合形成了具有更強分辨力的特徵描述子，從而可以快速、準確地進行候選特徵點的篩選，有效地提高了人臉特徵點檢測的速度和精度，同時保持了算法的簡潔性。本發明方法易於實現，效果良好，相對於現有技術取得了明顯的進步。附圖說明為了更清楚地說明本發明實施例中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。圖1是本發明實施例的流程圖。具體實施方式下面結合本發明實施例及其附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明的一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。在下面的描述中闡述了很多具體細節以便於充分理解本發明，但是本發明還可以採用其他不同於在此描述的其它方式來實施，本領域技術人員可以在不違背本發明內涵的情況下做類似推廣，因此本發明不受下面公開的具體實施例的限制。實施例一：一種基於asm的人臉特徵點檢測方法，其包括模型建立部分和模型匹配部分，其中模型建立部分按照如下步驟進行，模型建立部分的流程圖如圖1左側部分所示：(1)標記訓練樣本：使用n張人臉圖像作為訓練樣本，在每張人臉圖像中標記出n個有序的特徵點，則第i張圖像的所有特徵點可以表示為一個特徵向量：xi＝(xi1,yi1,xi2,yi2,…,xin,yin)t，其中(xia，yia)為第i張圖像中第a個特徵點的坐標，t表示矩陣的轉置。(2)設定特徵點權重：由於人臉的所有特徵點中每個特徵點的穩定性不同(如鼻子、下巴、臉頰等輪廓上的特徵點隨著面部表情變化的幅度較小，因而特徵點的位置相對穩定；而眼睛、嘴唇輪廓上的特徵點較容易發生大幅移動)，因此，需要對特徵點設置權重，以增加形狀模型的表徵能力。設特徵點權重矩陣為對角矩陣w，其第d個對角元素為wd，wd表示第d個特徵點的權重。設第h張圖像中第d個特徵點到第l個特徵點的距離為並令：則可定義：從以上表達式可以看出，表示第d個特徵點相對於第l個特徵點的穩定程度，而則表示第d個特徵點相對於其他所有特徵點(也就是整個人臉圖像)的穩定程度，因此，使用如上定義的wd作為權重以表示第d個特徵點的重要性是合理的。(3)對齊特徵向量：在訓練樣本中，由於人臉在圖像中的位置不一致，為得到一個統一的形狀模型，需要將訓練樣本進行對齊處理。本例採用procrusts方法對訓練樣本進行旋轉、尺度變化和平移等剛性變換，剛性變換可以用剛性變換矩陣表示，其中旋轉參量θ、尺度變化參量s和平移參量(tx,ty)共同構成剛性變換矩陣的姿態參數。具體來說，給定任意兩個特徵向量xi和xj，並令e表示與xi的距離，當e取得最小值時有則t′xj就表示xj向xi對齊的向量；其中e由下式計算：注意：實際上是一個單元素矩陣(即一行一列矩陣)，因此e實際上表示矩陣中唯一元素的代數值。由於特徵點的個數遠大於姿態參數的個數，所以本例採用最小二乘法求解姿態參數θ、s、tx和ty。下面，以迭代方式對所有特徵向量進行對齊：(a)設對齊模板為xcurmean，第一個訓練樣本的特徵向量為x1，為xcurmean賦初值x1；同時令x′q表示第q個訓練樣本的中間對齊向量(1≤q≤n)，並給x′q賦初值xq，xq表示第q個訓練樣本的特徵向量；(b)將x′q向xcurmean對齊，並將對齊後的向量重新賦給x′q；(c)計算對齊後所有向量的均值，並用均值為xcurmean重新賦值：(d)重複(b)(c)步驟，直至xcurmean收斂，此時得到的x′q的最終值即為對齊特徵向量。(4)主成分分析(principalcomponentanalysis，pca)：設特徵向量xi經迭代對齊後得到的對齊特徵向量為則可得協方差矩陣sm：其中，假設sm共有k個特徵值，將k個特徵值從大到小進行排序，令λv為sm的第v個特徵值，pv為相應的特徵向量，即：smpv＝λvpv；分析可知，λv越大則其對應pv所描述的信息變化模式就越重要，因此，可以取前t個特徵值所對應的特徵向量作為協方差矩陣sm的主成分向量，並將它們組成矩陣p，則最終得到的形狀模型x可由下式表示：其中，t為滿足的最小值，比例係數f通常取0.95；b用於控制形狀模型的變化，b＝(b1,b2,…,bt)t。為了確保由b的變化而產生的各種形狀均與訓練樣本中的形狀相似，就需要對b中各分量的取值加以約束，即要求：至此，已經由訓練樣本得到了形狀模型x和模型參數b，其中參數b用於調整模型x的形狀，以使x與目標匹配。(5)構建特徵描述子：為了快速、準確的實現模型匹配，還需要為每個特徵點構建局部特徵，即特徵描述子。對於第k個特徵點，其特徵描述子的創建過程如下：(a)找到第j幅樣本圖像中第k個特徵點的前後兩個特徵點：k-1和k+1；沿k-1和k+1兩點連線的法線方向，在k點的兩側分別找m個像素點，連同k點本身共有2m+1個像素點；令gkj＝(gkj1,gkj2,...,gkj(2m+1))t表示第j幅樣本圖像中第k個特徵點的灰度向量，其中gkjc表示第c個像素點的灰度值，對gkj歸一化得到紋理特徵向量g′kj：其中gkj0＝gkj1。(b)使用opencv(opensourcecomputervisionlibrary)求取梯度方向直方圖(histogramoforientedgradients，hog)：在以第j幅樣本圖像中第k個特徵點為中心的m*m鄰域中，計算每個像素點的梯度方向和梯度幅值，然後將梯度方向劃分為18份(bins)，統計該區域內像素點的梯度信息，接著對梯度方向直方圖進行歸一化，即得18維的hog特徵向量。將該hog特徵向量連接在紋理特徵向量的尾部，即得第j幅樣本圖像中第k個特徵點的特徵描述向量gkj。假設gkj服從多元高斯分布，則以表示第k個特徵點的平均特徵，s′k表示該多元高斯分布的協方差矩陣：匹配目標圖像中的人臉時，需要計算每個特徵點的新的移動位置，此時可計算候選特徵點的特徵描述向量g′k與平均特徵之間的相似度fsim，並鎖定相似度最高的點作為新位置。fsim可用馬氏距離度量：至此，整個asm構建完成，該asm可以表示為三元組(x,b,g)，其中在應用asm進行人臉特徵點檢測時，首先給定一個初始模型，將模型參數b初始化為0，則然後通過haar檢測器(基於haar特徵的人臉檢測器)檢測人臉，得到目標人臉的初始特徵向量y，並按照下式估計出初始模型的剛性變換矩陣：接著，需要調整模型參數b使得x中特徵點與y中對應特徵點之間的距離最小化，即最小化下式：最小化過程可以迭代方式進行。根據如上原理，模型匹配部分的具體步驟描述如下，模型匹配部分的流程圖如圖1右側部分所示：(一)初始化模型參數b為零向量；(二)採用特徵點更新算法更新特徵點位置，即更新特徵向量y，y的初始值由haar檢測器檢測人臉得出；(三)為x賦初值(四)根據對齊特徵向量的方法求取姿態參數θ、s、tx和ty，並進一步根據下式計算剛性變換矩陣：以使x向y最佳對齊；(五)使用剛性變換矩陣對特徵向量y進行逆變換：(六)根據更新模型參數b，並對b的各分量進行約束檢查；(七)如果模型參數b收斂，則輸出模型參數b和剛性變換矩陣及y的最終值，否則重複步驟(二)至(七)直至b收斂；y的最終值即為通過模型匹配從目標圖像中得出的人臉形狀，同時y也表徵從目標圖像中檢測出的人臉特徵點。為了檢驗本實施例方法的效果，從lfw人臉資料庫中隨機選擇1500張250x250大小的人臉圖像作為測試對象，並將測試對象分為3組，對於每組測試對象均採用傳統asm算法和本實施例改進asm算法進行特徵點檢測。每組均採用留一驗證法進行實驗，即將其中1個作為檢測對象，其餘499個作為訓練樣本，測試並統計傳統asm算法和本實施例改進asm算法的檢測誤差。所謂傳統asm算法，其實施方式與本實施例的流程大體相同，區別在於：傳統asm算法的特徵描述子只包含局部紋理特徵，不包含梯度方向直方圖信息，即gkj僅由紋理特徵向量構成。對每組中的檢測對象進行手工標記特徵點，並使用手工標記特徵點與算法檢測特徵點之間的歐氏距離作為人臉特徵點檢測誤差的度量，令一個檢測對象中所有特徵點的檢測誤差的平均值為對應組的平均誤差，則改進asm算法與傳統asm算法的誤差如下表1所示：傳統asm算法改進asm算法第一組平均誤差9.347.24第二組平均誤差10.037.89第三組平均誤差9.886.51表1改進asm與傳統asm對比結果。可見，本實施例改進asm算法的檢測誤差明顯小於傳統的asm檢測算法，因此，本實施例改進的asm算法具有比傳統asm算法更高的檢測精度，進而可以有效提高後續的人臉校正、人臉識別或表情分析等過程的計算精度。本發明實施例在傳統asm算法的基礎上增加了對面部特徵點的額外特徵描述，即在局部紋理特徵的基礎上增加了鄰域的hog(梯度方向直方圖)信息，將hog特徵向量與紋理特徵向量融合形成了具有更強分辨力的特徵描述子，從而可以快速、準確地進行候選特徵點的篩選，有效地提高了人臉特徵點檢測的速度和精度，同時保持了算法的簡潔性。本發明方法易於實現，效果良好，相對於現有技術取得了明顯的進步。當前第1頁12