基於GaborEye模型的人眼定位方法
2023-10-09 02:33:39 1
專利名稱：基於GaborEye模型的人眼定位方法
技術領域：
本發明涉及模式識別與人工智慧技術，特別是一種自動定位人臉圖像中人眼中心位置的方法。
定位眼睛等面部關鍵特徵點的方法主要包括模板匹配、灰度積分投影法、Snake方法、可變形模板方法、Hough變換、彈性圖匹配、區域增長搜索方法、主動形狀模型(Active Shape Models，簡寫為ASMs)和主動外觀模型(Active Appearance Models，AAMs)等。其中，灰度積分投影法是最早被提出但也是最常被採用的特徵定位方法，利用的是灰度變化的分布特徵。可變形模板方法則把眼睛特徵定義為有兩條拋物線(上下眼瞼)和一個圓(虹膜)構成的幾何圖形，通過優化的方法來調整其參數以達到最佳的匹配，其主要缺點是優化速度較慢，而且固定的幾何圖形並不能很好的建模實際千差萬別的眼睛形狀。主動形狀模型(ASMs)和主動外觀模型(AAMs)是基於形狀、面部紋理的統計模型來對人臉圖像的結構或者光學屬性(如皮膚反射率)進行建模然後進行參數優化的方法。儘管ASMs，AAMs等方法本身具有眼睛定位能力，但如果能夠加入其他算法提供的眼睛位置作為初始值並作為一個強約束，還可以大大提高他們對人臉其他關鍵特徵點的搜索效率和定位精度。
儘管已經有一些眼睛定位算法的方法，但多數仍然對光照、姿態、飾物等比較敏感，因此，研究在各種非理想成像條件下都具有魯棒性能的面部關鍵特徵點定位方法具有重要的現實意義，針對該問題，本發明提出了一種新的眼睛定位方法。
為達到上述目的，本發明的技術解決方案是提供一種基於GaborEye模型的人眼定位方法，其包括以下步驟第一步，通過人臉檢測方法採集人臉圖像，根據人臉檢測模塊獲取到的人臉圖像的大小，採用適當的Gabor核對人臉圖像進行卷積，定義這個卷積後的人眼所在區域為GaborEye；第二步，基於GaborEye模型進行眼部區域分割，對分割後的結果進行合理性判定，確定兩眼各自所在的區域；第三步，在確定的區域中採用積分投影的方法精確確定人眼的中心位置；第四步，結束，完成對整個人臉圖像中人眼的定位，將定位結果輸出。
所述的人眼定位方法，其第一步中根據人臉檢測模塊獲取的人臉圖像的大小，採用適當的Gabor核進行卷積，是選擇合適的Gabor核最有效的體現人眼的局部特徵，其步驟如下a、採用水平方向的Gabor核；b、根據人臉圖像的高h選擇合適的尺度s，其經驗公式如下s=[h64]]]>其中s為所需要的Gabor核的尺度參數，h為檢測模塊給出的人臉區域圖像的高度，[.]表示取整操作。
所述的人眼定位方法，其為了保證第一步中所得到的區域GaborEye將原人臉圖像中的眼眉區域完全包括在內，採用了形態學上的膨脹處理方法將圖像中的GaborEye區域擴大，而得到GaborEye模型。
所述的人眼定位方法，其第二步中，對經過特定Gabor核卷積後的圖像GaborEye模型進行人眼區域分割，將有效分開左右眼，並分割出眼睛所在區域，其步驟如下a、基於人眼位於人臉圖像上半部分[h/4，2h/3]的區域的前提，對此區域進行垂直方向積分投影；分析積分投影曲線，找到兩個最大波峰，並以這兩個波峰之間的波谷所對應的X坐標作為左右眼的分界線；b、在左右眼區域選取適當域值對兩個區域進行二值化操作，分割出眼睛所在區域，按如下方法選擇域值Tl＝a*GLmax，Tr＝a*GRmax，其中GLmax和GRmax是左右眼睛區域中的灰度最大值，其中a為經驗權係數，取為0.85。
所述的人眼定位方法，其第二步中，對分割後的結果進行合理性判定判斷是否滿足人眼分布特徵對得到的兩個眼睛區域進行判別，利用兩區域中心構成的直線的斜率進行判定，斜率位於[-1，1]之間，認為分割結果合理，可進行下一步定位；如果位於此範圍之外，則修改先驗假設的人眼分布區域，返回第二步初始，重新進行分割；如果Tl或者Tr小於15，則認為此區域不存在眼睛，檢測結果有誤，則返回第一步重新檢測。
所述的人眼定位方法，其第三步中，精確定位眼睛中心的方法，其步驟如下a、在經過分割後得到的矩形區域中進行垂直方向邊緣提取，然後進行水平方向積分投影，以積分投影曲線中的最大值點對應的坐標作為眼睛的Y縱坐標；b、根據獲得的縱坐標，確定兩眼區域中心的距離為d，取0.3d為眼睛的高度，以獲得的縱坐標為中心，上下各取0.15d，在縮小的空間中對原圖像作垂直方向的積分投影，取投影曲線的最小點對應的橫坐標作為眼睛中心的X橫坐標。
所述的人眼定位方法，其所述修改分割區域，是對分割錯誤的結果進行修正，縮小人眼位於人臉圖像中的區域分布，其策略如下假設人眼位於人臉圖像上半部分[h/4，2h/3～h/10]的區域中，然後進行分割。
從基於GaborEye模型的人眼定位流程來看，此方法充分運用了人眼的水平方向上的頻率分布特性，經過選擇適當的Gabor核對人臉圖像卷積之後，人眼區域得到凸現，從而可以有效地將人眼區域分割出來，本發明的人眼定位方法具有良好的定位性能，對於光照、姿態和眼鏡等飾物的變化都有較強的適應性，可以滿足多數人臉識別系統的需要，從而提高整個系統的識別性能。本發明方法的一般思想可以擴展到人臉的其他特徵點定位，例如鼻尖，嘴角。通過本發明方法定位特徵點後，可以獲取高可信度的歸一化圖像，提高識別算法的性能，從而可以使人臉識別實際應用能力得到提高。
圖7求取眼睛中心縱坐標，(a)Sobel算子，(b)眼眉區域垂直方向邊緣提取，(c)水平方向積分投影曲線；
圖8求取眼睛中心橫坐標，(a)積分區域的選擇，(b)平滑後的積分投影曲線。
這裡給出一個人臉圖像進行Gabor變換後的示例，如圖2，以供參考。本發明將人臉圖像中眼眉區域經過上述Gabor核卷積的幅值圖像定義為GaborEye模型。圖3給出了不同姿態下，採用相應方向的Gabor核進行變換後的效果，說明GaborEye模型的普遍意義。GaborEye的計算如前所述，計算GaborEye存在一個Gabor核函數的方向和尺度選擇的問題。在人臉檢測模塊，一般都會給出關於檢測到的人臉的有關屬性信息，比如人臉大小、偏轉角度等等。這些信息可以被利用來指導Gabor核函數的方向和尺度選擇。在實際系統中，為了提高系統效率，本發明首先把檢測到的人臉旋轉到水平方向來，這樣就避免了選擇核函數方向的問題。對於尺度選擇，主要與人臉大小有關，經過實驗，本發明總結出一個經驗公式選擇合適的尺度來計算GaborEyes=[h64]]]>其中s為所需要的Gabor核的尺度參數，h為檢測模塊給出的人臉區域圖像的高度，[.]表示取整操作。之所以不採用人臉寬度是因為眼睛區域的欄柵特性主要是由豎直方向形成的，水平方向較小。另外，由於尺度只能夠選擇整數，因此採用了四捨五入取整的策略，讓s取整數。需要注意的是對於不同的人臉檢測方法，該公式需要進行調整。圖4給出了一個經過尺度選擇後對圖像進行Gabor變換的結果。圖4(a)人臉圖像大小為184×224，根據公式所選擇的結果，Gabor核函數的尺度為4。圖4(b)是經過水平方向、尺度為4的核函數變換後的幅值部分可視化結果，圖4(c)是將b疊加在a上的結果。不難看出變換後圖像中眼眉區域形成了「凸顯」的高亮區域，這就是本發明定義的GaborEye。基於GaborEye的眼眉區域分割基於GaborEye在人臉上的「凸顯」特性，本發明採用下述過程分割眼眉區域1、形態學膨脹預處理。為了保證GaborEye將原人臉圖像中的眼眉區域完全包括在內，採用了形態學上的膨脹處理方法將圖像中的GaborEye區域擴大。
2、對膨脹後GaborEye進行區域積分投影。首先，根據人臉結構先驗知識及其對人臉檢測算法的結果分析，本發明認為眼睛一般位於距分割出的人臉圖像上半部分[H/4，2H/3]的區域內(H為檢測到的人臉區域高度)。在這個根據先驗知識獲得的區域中，對GaborEye圖像進行垂直方向的灰度積分投影，可以得到一條投影曲線，典型的情況如圖5所示。
3、分析上述積分投影曲線，分割左右眼睛區域。方法為計算該曲線的極值點求得兩個極大值位置以及位於二者之間的極小值位置Gmin。根據Gmin可以將左右眼睛分開，分別標記為區域El，ET。
4、分別搜索GaborEye的E1和Er區域內的最大響應幅值，記為GLmax和GRmax，分別取 T1＝a*GLmax和Tr＝a*GRmax作為E1和Er區域二值化的閾值對它們進行二值化，其中a為經驗權係數，本發明的系統中取為0.85。典型的二值化結果如圖6(a)所示。
5、分割眼眉區域。對上述二值化的E1和Er區域分別求取其最大連通區，分別計算它們的重心C1和Cr，及其外界矩形R1和Rr，示例見圖6(b)，並設這兩個矩形的高度分別為H1和Hr。如前所述，這兩個連通域的重心位置未必是眼睛中心，一般位於眉毛和上眼瞼之間。同樣，本發明的實驗也表明R1和Rr並不能完全包括眼睛區域，尤其是在眉毛比較濃重時。為了確保分割出的眼眉區域包含眼睛，本發明進一步採用了如下的策略擴展眼眉區域，將R1和Rr分別向下擴展H1和Hr大小，示例結果如圖6(c)所示。本發明的實驗表明，這樣可以確保眼睛被分割出來。需要注意的是，考慮到實際眼睛中心與GaborEye的重心在水平方向基本沒有偏移，所以，矩形的寬度不需要進行擴展。眼眉區域中精確定位眼睛中心位置。
在用上述方法分割出眼眉區域的基礎上，採用傳統的積分投影方法來精確定位眼睛的位置。該過程描述如下1、分析眼眉區域垂直方向Sobel邊緣積分投影曲線(沿水平方向積分)求取眼睛中心縱坐標。
如前所述，分割出的眼眉區域包括了眼睛，但同時可能包括了眉毛。因此，必須首先在垂直方向上區分眼睛和可能存在的眉毛。很顯然，由於瞳孔、眼白、眼瞼甚至睫毛的影響，眼睛區域是一個各種方向邊緣非常豐富的區域。而眉毛則基本是水平邊緣，因此本發明選擇在垂直方向上計算邊緣。本發明採用了垂直Sobel算子，模板如圖7(a)所示。對提取的垂直邊緣圖像進行水平方向積分投影，得到積分投影曲線並進行適當平滑，計算該曲線的極大值位置，即可以得到兩隻眼睛中心的的縱坐標y1和yr，以確定兩眼區域中心的距離為d，如圖7(b)和(c)所示。
2、分析眼睛區域垂直方向灰度積分投影曲線，求取眼睛中心橫坐標。
確定了眼睛中心的縱坐標後，可以進一步採用對眼睛區域進行垂直方向灰度積分投影的方法求取眼睛中心的橫坐標。這其中有兩個關鍵問題需要注意(1)積分區域選擇。本發明的策略是根據計算得到的眼睛縱坐標位置，根據統計的先驗知識，以及前面求取的雙眼之間的距離d，來決定投影區域。每個眼睛區域的寬度仍然採用眼眉分割結果區域的寬度，而高度則取為雙眼距離的0.3倍(y1和yr上下各取0.15d)。
(2)積分曲線平滑。由於瞳孔的鏡面反射以及眼影等原因，積分投影曲線可能出現小的鋸齒狀波動，為了通過微分計算極值點，需要對其進行平滑。本發明採用高斯濾波來完成該功能。其中，高斯濾波的方差經驗性的取為雙眼距離的0.1倍。
圖8給出該過程的一個實例，其中(a)為投影區域的選擇，(b)為經高斯平滑後的積分投影曲線。通過這樣的策略，可以獲得眼睛中心的橫坐標x1和xr。
權利要求
1.一種基於GaborEye模型的人眼定位方法，其特徵在於，包括以下步驟第一步，通過人臉檢測方法採集人臉圖像，根據人臉檢測模塊獲取到的人臉圖像的大小，採用適當的Gabor核對人臉圖像進行卷積，定義這個卷積後的人眼所在區域為GaborEye；第二步，基於GaborEye模型進行眼部區域分割，對分割後的結果進行合理性判定，確定兩眼各自所在的區域；第三步，在確定的區域中採用積分投影的方法精確確定人眼的中心位置；第四步，結束，完成對整個人臉圖像中人眼的定位，將定位結果輸出。
2.如權力要求1所述的人眼定位方法，其特徵在於，第一步中根據人臉檢測模塊獲取的人臉圖像的大小，採用適當的Gabor核進行卷積，是選擇合適的Gabor核最有效的體現人眼的局部特徵，其步驟如下a、採用水平方向的Gabor核；b、根據人臉圖像的高h選擇合適的尺度s，其經驗公式如下s=[h64]]]>其中s為所需要的Gabor核的尺度參數，h為檢測模塊給出的人臉區域圖像的高度，[.]表示取整操作。
3.如權力要求1所述的人眼定位方法，其特徵在於，為了保證第一步中所得到的區域GaborEye將原人臉圖像中的眼眉區域完全包括在內，採用了形態學上的膨脹處理方法將圖像中的GaborEye區域擴大，而得到GaborEye模型。
4.如權力要求1所述的人眼定位方法，其特徵在於，第二步中，對經過特定Gabor核卷積後的圖像GaborEye模型進行人眼區域分割，將有效分開左右眼，並分割出眼睛所在區域，其步驟如下a、基於人眼位於人臉圖像上半部分[h/4，2h/3]的區域的前提，對此區域進行垂直方向積分投影；分析積分投影曲線，找到兩個最大波峰，並以這兩個波峰之間的波谷所對應的X坐標作為左右眼的分界線；b、在左右眼區域選取適當域值對兩個區域進行二值化操作，分割出眼睛所在區域，按如下方法選擇域值Tl＝a*GLmax，Tr＝a*GRmax，其中GLmax和GRmax是左右眼睛區域中的灰度最大值，其中a為經驗權係數，取為0.85。
5.如權力要求1所述的人眼定位方法，其特徵在於，第二步中，對分割後的結果進行合理性判定判斷是否滿足人眼分布特徵對得到的兩個眼睛區域進行判別，利用兩區域中心構成的直線的斜率進行判定，斜率位於[-1，1]之間，認為分割結果合理，可進行下一步定位；如果位於此範圍之外，則修改先驗假設的人眼分布區域，返回第二步初始，重新進行分割；如果Tl或者Tr小於15，則認為此區域不存在眼睛，檢測結果有誤，則返回第一步重新檢測。
6.如權力要求1所述的人眼定位方法，其特徵在於，第三步中，精確定位眼睛中心的方法，其步驟如下a、在經過分割後得到的矩形區域中進行垂直方向邊緣提取，然後進行水平方向積分投影，以積分投影曲線中的最大值點對應的坐標作為眼睛的Y縱坐標；b、根據獲得的縱坐標，確定兩眼區域中心的距離為d，取0.3d為眼睛的高度，以獲得的縱坐標為中心，上下各取0.15d，在縮小的空間中對原圖像作垂直方向的積分投影，取投影曲線的最小點對應的橫坐標作為眼睛中心的X橫坐標。
7.如權力要求5所述的人眼定位方法，其特徵在於，所述修改分割區域，是對分割錯誤的結果進行修正，縮小人眼位於人臉圖像中的區域分布，其策略如下假設人眼位於人臉圖像上半部分[h/4，2h/3～h/10]的區域中，然後進行分割。
全文摘要
本發明涉及模式識別與人工智慧技術，特別是一種自動定位人臉圖像中人眼中心位置的方法。本發明方法採用人臉檢測算法通過攝像頭採集人臉圖像，對獲取的初始人臉圖像，根據人臉圖像的大小，選擇合適Gabor核函數對人臉圖像進行卷積，再進行形態學上的膨脹處理，得到本發明提出的GaborEye模型；基於GaborEye模型，分割出人臉圖像中兩眼所在的區域；針對分割出來的結果進行合理性分析，如果不符合，重新進行分割；如果分割合理，則利用積分投影的方法精確定位人眼中心的準確位置。本發明方法可以滿足多數人臉識別系統的需要，定位特徵點後，可獲取高可信度的歸一化圖像，提高識別算法的性能，使人臉識別實際應用能力得到提高。
文檔編號G06T7/60GK1475961SQ0314747
公開日2004年2月18日 申請日期2003年7月14日 優先權日2003年7月14日
發明者楊澎, 山世光, 高文, 楊 澎 申請人:中國科學院計算技術研究所