基於圖像的超現實主義三維臉部建模的方法和設備的製作方法

2023-05-18 01:47:51 2

專利名稱：基於圖像的超現實主義三維臉部建模的方法和設備的製作方法
技術領域：
本發明涉及圖像處理，具體而言，涉及基於圖像的超現實主義三維臉部建模的方法和設備。
背景技術：
在計算機圖形領域中，自動的超現實主義三維臉部建模因其在各種領域的廣泛應用而被認為是非常重要的工作，所述領域諸如虛擬空間創建、計算機遊戲、視頻會議和卡通製作。
儘管用於從複雜的對象中抓取精確的三維圖像的雷射掃描器以及使用結構光的測距設備是目前普遍使用的，但是它們的成本很高，並且不易於使用。計算機輔助有源臉部間建模技術需要專家指導及艱苦的工作。因此，集中的工作已經致力於允許普通PC用戶更加容易地重建更逼真的人臉模型。換言之，需要開發一種算法，所述算法易於由普通的PC用戶控制，根據不完善的輸入數據能夠自動構造合乎需要的臉部，所述輸入數據可以使用經濟的成像裝置獲得，諸如數位照相機。
根據所使用的三維臉部形狀數據源，可以將用於自動臉部模型重建的系統大致分為幾類。開發技術的一些研究人員通過雷射掃描器或者結構光設備來獲得臉部數據。採用這些技術出現了這樣的問題，即設備昂貴並且難以使用。
許多工作已經致力於根據正面和側視圖來創建臉部模型。然而，在沒有專用輔助裝置的情況下使用普通的手持式照相機時，難以實現兩個圖像之間的絕對正交關係，因此根據不同視圖直接獲得的形狀信息具有一些衝突。此問題仍沒有解決。
一些系統依賴於用戶在幾幅圖中指定的特徵點，這需要集中勞力進行人工操作並且需要很多時間。連同其它方法一樣，使用光流的方法以及立體方法似乎朝重建過程的全自動化邁出了深遠的一步，但是由此形成的模型包括相當多的噪聲並且臉部表面也變形的不自然。
為了避免臉部模型的不合需要的人為因素並且提高穩定性，一些研究人員使用允許使用有限數目的特徵點的可變形的(morphable)臉部模型。將可變形的臉部模型與重構的三維點或者源圖像匹配，並且要求基於模型的光束調整以便形狀復原。這些方法極大地依賴於特徵點集合的精確度和廣度。
在利用立體重構獲得精確模型的另一種方法中，形狀復原僅限於對符合強加的附加約束的可變形模型，由此降低了模型的精確度。
一些研究人員基於有關深度的先驗信息、已經試圖僅根據一個正面圖像來構建模型。然而，在該情況下形成的模型質量距離超現實主義甚遠。
在臉部建模中的重要問題是自動提取臉部特徵。已經提出了諸如基於外貌的臉部特徵建模、基於人類視覺的算法、特定邊緣以及低亮度像素模式的搜索、形態學操作器的使用等各種臉部特徵檢測方法。儘管在此領域中已有顯著的發展，但是仍然需要大量的工作來提高創建「人類品質」臉部分析算法的精確度以及穩定性。

發明內容
本發明提供了一種基於圖像的超現實主義三維臉部建模的方法和設備，其使用包括正面和側面圖像的兩個圖像或者包括正面、接近正面以及側面圖像的三個圖像來實現。
根據本發明的一方面，提供了一種創建三維超現實主義頭部模型的方法，所述方法包括(a)在輸入的正面和側面圖像中檢測正面和側面特徵；(b)通過使用檢測到的臉部特徵擬合三維通用模型來生成三維頭部模型；(c)根據輸入的正面和側面圖像生成逼真的紋理；以及(d)將所述紋理映射到三維頭部模型上。
根據本發明的特定實施例，在(b)中生成三維頭部模型還可以包括根據正面圖像和接近正面圖像生成深度信息，其中所述通用模型使用臉部特徵來擬合，以確定特殊臉部的三維形狀，並且使用所述深度信息擬合所生成的三維頭部模型。
在(a)中檢測正面特徵可以包括檢測皮膚區域；檢測臉部區域；檢測眼睛邊框；檢測虹膜；標準化所述正面圖像，檢測眼睛輪廓，檢測眉毛，檢測嘴唇輪廓，檢測鼻子輪廓並且檢測下巴和面頰輪廓。
標準化所述正面圖像可以包括旋轉所述正面圖像，使得虹膜中心之間的線變成水平，並且將所述正面圖像重新縮放為預定解析度。
在(a)中檢測側面特徵可以包括檢測側面區域；檢測側面曲線；檢測基準點；以及檢測耳朵輪廓。
根據正面以及接近正面圖像生成深度信息可以包括確定正面圖像中的特徵點；對所述特徵點執行基於模型的Lucas-Kanade(盧卡斯-卡那德)跟蹤，以得到接近正面圖像中的對應點；使用匹配對應關係、通過數據內插來獲得密度差異映射(disparity map)；以及將差異映射轉換為所述深度信息。在該情況下，將所述差異映射轉換為深度信息可以包括獲得極大和極小差異值之間的差值；通過用頭部寬度除所述差值並且將除得的結果乘以預定常量來確定係數；以及通過將所述係數乘以從測量的差異值中減去最小差異值所獲得的值來獲得像素的深度值。
在(b)中擬合所述通用模型可以包括對應於在三維通用模型中定義的特徵、使用三維通用模型的臉部特徵曲線上的特徵點長度比，將在圖像中檢測到的特徵曲線轉換為二維點；以及基於圖像特徵和三維通用模型的特徵點之間的對應關係，通過基於3步基於半徑函數(RBF)變形來擬合三維通用模型。
在(c)中生成逼真紋理可以包括對輸入的圖像執行色彩校正，以補償不同照明條件或者照相機之間的色彩平衡變化；基於三維模型頂點和投射的二維位置之間的對應關係、通過將正面和側面圖像映射到公共UV平面上來生成正面和側面紋理；以及使用多解析度樣條算法來組合正面和側面紋理以及人造的紋理，以便完成組構。
根據本發明的另一方面，提供了一種用於創建三維超現實主義頭部模型的設備，所述設備包括臉部特徵檢測單元，用於在輸入的正面和側面圖像中檢測正面和側面特徵；臉部模型擬合單元，用於通過使用檢測到的臉部特徵擬合三維通用模型來生成三維頭部模型；紋理生成單元，用於根據輸入的正面和側面圖像生成逼真的紋理；以及映射單元，用於將所述紋理映射到在臉部模型擬合單元中生成的三維頭部模型上。
根據本發明的具體實施例，所述臉部模型擬合單元可以包括深度信息生成部件，用於從正面圖像和接近正面圖像中提取深度信息，並且通過使用在臉部特徵檢測單元中檢測到的臉部特徵以及在深度信息生成部件中生成的深度信息擬合通用模型來生成三維頭部模型。
所述臉部特徵檢測單元可以包括用於檢測正面特徵的正面特徵檢測部件；以及用於檢測側面特徵的側面特徵檢測部件。所述正面特徵檢測部件可以包括用於檢測皮膚區域的皮膚區域檢測部件；用於檢測臉部區域的臉部區域檢測部件；用於檢測眼睛邊框的眼睛邊框檢測部件；用於檢測虹膜的虹膜檢測部件；以及用於標準化所述正面圖像的正面圖像標準化部件。
所述正面特徵檢測部件還可以包括眼睛輪廓檢測部件、眉毛檢測部件、嘴唇輪廓檢測部件、鼻子輪廓檢測部件以及下巴及臉頰輪廓檢測部件中的至少一個。
所述側面特徵檢測部件可以包括側面區域檢測部件、側面曲線檢測部件、基準點檢測部件以及耳朵輪廓檢測部件。
所述深度信息生成單元可以包括特徵點檢測部件，用於確定正面圖像中的特徵點，並找到在接近正面圖像中對應的特徵點；差異獲得部件，用於使用匹配對應關係、通過數據內插來獲得密度差異映射；以及差異到深度信息轉換部件，用於將差異映射轉換為深度信息。
所述通用模型擬合單元可以包括二維點轉換部件，用於對應於在三維通用模型中定義的特徵、使用三維通用模型的臉部特徵曲線上的特徵點的長度比，將在圖像中檢測到的特徵曲線轉換為二維點；以及網格模型擬合部件，用於基於圖像特徵和三維通用模型的特徵點之間的對應關係，通過基於3步的基於半徑函數(RBF)變形來擬合三維通用模型。
所述紋理生成單元可以包括輸入圖像補償部件，用於通過對輸入的圖像執行色彩校正來補償不同照明條件或者照相機之間的色彩平衡變化；正面/側面紋理生成部件，用於基於三維模型頂點和投射的二維位置之間的對應關係、通過將正面和側面圖像映射到公共UV平面來生成正面和側面紋理；以及組構完成部件，用於使用多解析度樣條算法來組合正面和側面紋理以及人造紋理，以便完成組構。
根據本發明另一方面，提供了一種計算機可讀介質，其中具有實現上述基於圖像的超現實主義三維頭部建模方法的電腦程式。


通過參照附圖詳細說明本發明的示例性實施例，將使本發明的上述及其他特徵和優點變得更加明顯，其中
圖1是根據本發明的基於圖像的超現實主義三維臉部建模方法的流程圖；圖2示出了用照片建模的詳細過程；圖3示出了通用模型的正面和側面視圖；圖4示出了代表性的輸入的正面、接近正面以及側面圖像；圖5是根據本發明的基於圖像的超現實主義三維臉部建模設備的框圖；圖6示出了臉部特徵檢測單元的詳細結構；圖7示出了正面特徵檢測部件的詳細結構；圖8和9是詳細的正面特徵檢測(提取)的流程圖；圖10示出了皮膚似然圖像和臉部區域檢測的例子，其中較小的橢圓對應於初始區域，而較大橢圓對應於檢測到的結果；圖11示出了皮膚似然圖像和臉部區域檢測的另一個例子；圖12A是圖7的臉部區域檢測部件的框圖；圖12B是臉部區域檢測的流程圖；圖13示出了用於臉部區域檢測的橢圓模型；圖14A是圖7的眼睛邊框檢測部件的框圖；圖14B是眼睛邊框檢測的流程圖；圖15示出了示範性的眼睛變化圖像；圖16示出了另一個示範性的眼睛變化圖像；圖17示出了眼睛邊框檢測結果；圖18A是圖7的虹膜檢測部件的框圖；圖18B是檢測虹膜的中心和半徑的流程圖；圖19示出了檢測到的虹膜的例子；圖20是用於眼睛輪廓檢測的近似法的流程圖；圖21是用於眼睛輪廓檢測的在眼睛區域沿水平方向中紅色通道強度的圖表；圖22示出了用於眼睛輪廓檢測的點以及檢測到的眼睛輪廓；圖23示出了垂直眉毛位置的檢測；圖24示出了眉毛邊框；圖25示出了檢測到的眉毛；圖26是上下嘴唇檢測的流程圖；
圖27示出了嘴唇矩形的迭代細化；圖28示出具有初始化嘴唇點的嘴唇函數圖像；圖29示出了作用在嘴唇輪廓點的力；圖30示出了嘴唇輪廓更新的一步；圖31是在鼻子側輪廓檢測過程中鼻翼檢測的流程圖；圖32示出了鼻翼模板；圖33示出了在圖像中檢測到的鼻翼候選者；圖34示出了鼻部曲線的主要特徵點的位置；圖35示出了檢測到的鼻部曲線；圖36A是圖7的下巴及臉頰輪廓檢測部件的框圖；圖36B是下巴及臉頰輪廓檢測的流程圖；圖37示出了下巴/臉頰可變形的模型；圖38示出了下巴模型擬合過程；圖39示出了在正面圖像中全部檢測到的特徵；圖40是側面特徵檢測部件的詳細框圖；圖41是側面特徵檢測的流程圖；圖42示出了檢測側面區域已經失敗並且出現不連續的皮膚以及鼻部區域的情況；圖43示出了檢測側面區域已經失敗並且出現不完善的鼻部區域的另一種情況；圖44示出了檢測側面區域已經失敗並且出現不完善的皮膚區域的另一種情況；圖45是用來解釋一種典型的側面函數的圖像；圖46示出了鼻梁頂端以及鼻子下面點的檢測；圖47示出了下巴以及頸部基準點的檢測；圖48示出了嘴唇基準點的估算；圖49示出了自動地檢測側面特徵(不包括耳朵)；圖50是耳朵輪廓檢測的流程圖；圖51是耳朵初始化的流程圖；圖52示出了用於側面耳朵檢測的曲線模板；圖53示出了在耳朵輪廓檢測中用於耳朵位置初始化的標準化圖像、標定點以及耳朵搜索區域。
圖54示出了在臉部區域接近耳朵區域中的皮膚和頭髮邊界；圖55示出了使用彩色信息進行耳朵初始化的結果，其中紅色部分與耳朵模板匹配；圖56示出了使用耳朵邊緣信息進行耳朵初始化的結果，當只使用彩色信息進行側面耳朵檢測失敗時可以執行它；圖57示出了側面耳朵檢測結果；圖58示出了用於模型擬合的輸入的臉部特徵曲線；圖59是圖5的臉部模型擬合單元的框圖；圖60是在臉部模型擬合單元中初始模型擬合的流程圖；圖61示出了從正面特徵曲線中抽取的關鍵點；圖62示出了通用的(上一行)以及創建的臉部模型(下一行)；圖63是圖5的紋理生成單元的框圖；圖64是紋理生成的流程圖；圖65示出了UV平面上的正面紋理圖像；圖66示出了UV平面上的側面紋理圖像；圖67示出了根據輸入圖像以及人造紋理獲得的最終紋理圖像；圖68示出了使用組構模型以及人造耳紋理獲得的改善了的圖像；圖69示出了示範性的臉部的立體像對；圖70是圖5的深度信息生成單元的框圖；圖71是根據正面以及接近正面圖像生成深度信息的流程圖。
具體實施例方式
將參考

本發明的實施例。
在詳細說明本發明之前，先描述根據本發明的基於圖像的超現實主義三維臉部建模的方法以及設備的要點，即涉及臉部特徵檢測、臉部模型擬合、紋理生成以及使用立體圖像對進行三維重構。
根據本發明的建模設備使用兩三個臉部的圖像來生成超現實主義三維多項式臉部模型，所述臉部圖像可以是正面和側面兩個圖像、或者是正面、接近正面和側面三個圖像。
圖像獲取條件很簡單好的對比度和銳度以及在臉部區域中足夠的照明。
圖1是根據本發明的基於圖像的超現實主義三維臉部建模方法的流程圖。圖2示出了用照片建模的詳細過程。
如圖1和2所示，所述建模過程包括以下操作。首先，執行自動的正面特徵檢測和半自動的側面特徵檢測(操作100)。第二，將通用三維頭部模型(通用網格)變形以擬合正面臉部特徵(操作120)。接下來，執行自動的基於模型的立體估算，以獲得正面照片的深度圖；並且再次將所述模型變形以擬合側面特徵和估算的立體深度圖(操作140)。最後，根據正面和側面照片以及在一些區域的人造皮膚創建模型紋理(操作160)。將所創建的紋理與匹配的頭部模型一起映像，以生成三維頭部模型(操作180)。
深度圖和側面特徵兩者的使用對於模型擬合來說似乎是多餘的。然而，所述深度圖提供了豐富的並且詳細的幾何信息，這使得最終模型看起來更逼真。
如果所述接近正面圖像不可用，那麼在根據本發明的三維臉部建模方法中可以省略使用接近正面圖像的過程。在該情況下也可以獲得合理的結果。
在根據本發明的三維臉部建模方法中，在通用模型擬合框架下創建新模型。也就是說，通過將通用模型與所輸入的主題數據進行擬合來創建特殊的臉部。在圖2中被稱作「通用網格」的通用模型可以作為關於人類臉部的先驗知識而獲得，這樣使得自動化處理更為容易，並且提高了臉部建模方法的穩定性。不包括眼球和頭髮，圖3中所示的通用模型包括7,138個頂點和14,096個三角形。
將所述通用模型沿標準正面方位設置。也就是說，X軸是從右到左方向，Z軸是眼睛相切的方向，而Y軸是從底部向頂端的方向，由此形成了右手坐標系幀。如果沒有特別說明，這種軸的方向將遍及以下描述使用。圖4示出了具有代表性的正面、接近正面以及側面輸入圖像。
圖5是根據本發明的基於圖像的超現實主義三維臉部建模設備的框圖。所述設備包括臉部特徵檢測單元500、臉部模型擬合單元510、紋理生成單元520和映射單元530。所述設備還可以包括深度信息生成單元540。
所述臉部特徵檢測單元500檢測正面和側面輸入圖像的臉部特徵。所述臉部模型擬合單元510通過使用檢測到的臉部特徵擬合預定的通用模型來生成三維臉部模型。當還包括所述深度信息生成單元540時，所述臉部模型擬合單元510通過使用在臉部特徵檢測單元500中檢測到臉部特徵和深度信息生成單元540生成的臉部深度信息、擬合所述通用模型來生成三維臉部模型。
所述紋理生成單元520根據輸入圖像生成逼真的紋理。如果需要，所述紋理可以是人造紋理。所述映射單元530將所述紋理映射到臉部模型擬合單元510生成的三維臉部模型上。所述深度信息生成單元540從正面以及接近正面圖像中提取臉部深度信息。
1.臉部特徵檢測如圖6所示，所述臉部特徵檢測單元500包括正面特徵檢測部件600、其檢測正面臉部的特徵；以及側面特徵檢測部件650，其檢測側面的特徵。
1.1.正面特徵檢測參見圖7，所述正面特徵檢測部件600包括皮膚區域檢測部件700、臉部區域檢測部件705、眼睛邊框檢測部件710、虹膜檢測部件715以及正面圖像標準化部件720。
如果需要，正面特徵檢測部件600還可以包括眼睛輪廓檢測部件725、眉毛檢測部件730、嘴唇輪廓檢測部件735、鼻子輪廓檢測部件740以及下巴及臉頰輪廓檢測部件745。
將描述所述正面特徵檢測過程。圖8和9是正面特徵檢測(提取)的流程圖。所述正面特徵檢測過程包括皮膚區域檢測(操作800)、臉部區域檢測(操作810)、眼睛邊框檢測(操作820)、虹膜檢測(操作830)、正面圖像標準化(操作840)、眼睛輪廓檢測(操作900)、眉毛檢測(操作910)、嘴(嘴唇)輪廓檢測(操作920)、鼻子輪廓檢測(操作930)以及臉部(下巴以及臉頰)輪廓檢測(操作940)。
每個步驟是依照這樣的假設來執行，即假定先前的步驟已經成功並且先前檢測到的特徵具有合理的精確度。為此目的，如果在特徵檢測中存在誤差，那麼允許用戶在每個步驟之後人工地修正特徵檢測誤差。
1.1.1.皮膚檢測在標準化的r-g色度彩色空間中使用預先訓練的最大似然貝葉斯分類器(Maximum Likelihood Bayes classfier)來進行膚色建模和檢測。選擇標準化的r-g彩色空間，是因為它允許快速並且簡單地根據RGB空間進行轉換，並且因為貝葉斯ML分類器在膚色建模中公知的良好性能。
通過引入兩個統計量來執行訓練，所述統計量是——p((r，g)| skin(皮膚))和p((r，g)|﹁skin)，根據訓練圖像的臉部和非臉部區域、使用皮膚和非皮膚直方圖構造來進行計算。通過計算輸入幀的每個像素的此測量值來構造皮膚似然圖像，公式為Skin(r,g)=p((r,g)|skin)p((r,g)|-,skin)...................(1)]]>當假定先驗皮膚和非皮膚可能性等同時，其滿足Bayes最大似然準則。圖10和11中示出了由此形成的皮膚似然圖像。
1.1.2.臉部區域檢測圖12A是圖7的臉部區域檢測部件705的框圖。所述臉部區域檢測部件705包括臉部區域初始化部件1230，其初始化最大膚色連接部分作為臉部區域；橢圓穩定化部件1240，其基於初始化的臉部區域、通過移動橢圓的邊界點來初始化並且進化橢圓，直到所述橢圓穩定為止；以及臉部區域確定部件1250，其將穩定的橢圓的邊框確定為臉部區域。
圖12B是臉部區域檢測的流程圖。根據本發明，使用橢圓區域和基於可變形橢圓模型的技術來檢測臉部區域。參見圖13，在期待的臉部區域初始化橢圓模型(操作1200)。期待的臉部區域可以是最大的膚色連接部分，或者具有可比尺寸的最大二個部分中比較接近圖像中心的一個。
基於初始化的臉部區域移動橢圓的邊界點，以便初始化和進化待穩定的橢圓(操作1210)。將詳細說明此操作。
使用設置在橢圓邊界上的許多矩形探針來控制處於橢圓邊緣的膚色分布和模型變形。根據以下規則確定每個探針的位移量。
首先，如下計算兩個值Pin=2NinsideS,Pout=2NoutsideS............(2)]]>其中Ninside是位於探針和橢圓兩者內的皮膚像素的數目；Noutside是位於探針內和橢圓以外的皮膚像素的數目；而S是探針區域。如果所述探針位於臉部區域內部，則Pin而Pout具有較大值。如果所述探針位於臉部區域以外，則Pin而Pout具有較小的值。如果所述橢圓位於臉部區域的邊界上，那麼Pin具有較大值又Pout具有較小值。
如果Pin＜Tin(Tin是閾值)，那麼將所述探針以速度Vin向內移動。否則，如果Pout＞Tout(Tout是閾值)，則將所述探針以速度Vout向外移動。也就是說，如果在探針內部鄰域中存在少數皮膚像素，那麼所述探針存在於臉部區域以外，以便探針向內移動；而如果探針鄰域內部和外部的皮膚像素的數目足夠多，則向外移動探針。
模型變形過程包括計算所有探針的位移，並且將所述橢圓與再定位的探針的中心擬合(fit)。所述橢圓只限於具有固定方位(沿垂直主軸)。將作為結果產生的穩定的橢圓邊框確定為臉部區域(操作1220)。
圖10和11示出了來自於所述臉部區域檢測的一些結果。在圖10和11中，較小的橢圓對應於初始區域，而較大橢圓對應於檢測結果。
1.1.3.眼睛邊框檢測圖14A是圖7的眼睛邊框檢測部件710的框圖。參見圖14A，所述眼睛邊框檢測部件710包括模糊圖像生成部件1450，其通過低通濾波生成模糊圖像；圖像二元化部件1460，其計算通過從原始圖像中減去模糊圖像而獲得的圖像中每一像素及其相鄰像素的平均值來生成新的圖像，並且使用預定閾值來二元化新的圖像；眼睛候選者搜索部件1470，其尋找在圖像二元化部件中二元化的圖像的連接部分作為眼睛候選者；以及眼睛邊框確定部件1480，其通過按照形狀、大小和相對位置評估所述眼睛候選者來確定眼睛邊框。
圖14B是眼睛邊框檢測的流程圖。
通過低通濾波創建模糊圖像(操作1400)。將所述模糊圖像從原始圖像中減去(操作1410)。計算作為結果產生的圖像中的每一像素及其相鄰像素的平均值。使用所述平均值創建新的圖像，並且使用預定閾值進行二元化(操作1420)。找到連接部分以作為眼睛候選者(操作1430)。通過按照形狀、大小和相對位置評估眼睛候選者來確定眼睛邊框(操作1440)。
具體來講，依照本發明的眼睛邊框檢測取決於以幾個比例對彩色臉部圖像的紅色通道中的近似眼睛形狀和眼睛大小變化的檢測。選擇紅色通道是因為眼睛虹膜、乃至在淺色眼睛(藍色、綠色)情況下具有較小的紅色成分值，而眼白和周圍皮膚具有相對較大的紅色成分值。實驗證明使用紅色通道比使用基於灰階圖像的方法具有更佳的結果。
首先，預處理原始的R通道圖像以僅僅保持臉部部分，所述臉部部分由在先前過程中檢測的橢圓邊界矩形限定並且縮放到固定寬度。在此步驟中，還將紅色通道亮度擴展為最大範圍。
第二，通過以下公式計算變化圖像Vn，a(x，y)，其表示每個點作為眼睛的似然性
Vn,(x,y)=1|Rn,x,y|rRn,x,y[I(r)-1|Pn,r|pPn,rI(p)]2*....(3)]]>其中p和r表示像素位置；I是在預處理之後的紅色通道圖像；Rn，x，y是以(x，y)為中心、大小(n×5)的矩形；Pn，r是以r為中心、大小(n×n/2)的橢圓；α是比例係數，n表示眼睛特徵的預期大小。
使用『n』和α的4個組合計算變化圖像，以消除在臉部檢測中可能的錯誤，並且解決眼睛形狀方面的變化。圖15和16示出了使用係數的以下不同組合獲得的示範性的眼睛變化圖像n＝OPTIMAL_FACE_WIDTH(最佳臉部寬度)/30，α＝0.6，n＝OPTIMAL_FACE_WIDTH/25，α＝0.6，n＝OPTIMAL_FACE_WIDTH/30，α＝1.4.以及n＝OPTIMAL_FACE_WIDTH/25，α＝1.4.
第三，測試在閾偏差圖像中的連接部分，以滿足形狀、大小和相對位置標準，以便獲得最佳匹配的眼框。根據以下策略、將根據不同變化圖像獲得的結果合併，所述策略為步驟1.從最小比例開始(上文列出的第一結構)；步驟2.是否以當前比例顯示眼睛候選者a)如果不是，以先前的比例檢測候選者，將所述眼睛設置為當前候選者，並且進入步驟3；b)如果早已發現候選者，那麼比較當前比例候選者與先前的候選者。如果候選者的尺寸和位置沒有顯著地改變，那麼以當前比例利用所述候選者來更新所述眼睛。
步驟3.採用下一個(更大的)比例並且進入步驟2。
圖9的眼睛邊框是檢測結果。
1.1.4.眼睛虹膜檢測在紅色通道圖像中從眼睛邊框檢測虹膜。圖18A是圖7的虹膜檢測部件715的框圖。參見圖18A，所述虹膜檢測部件715包括高亮搜索部件1860，其通過將紅色通道圖像中每個眼睛邊框中具有最高亮度值的像素數目與閾值相比較，來確定是否存在高亮部分；虹膜中心初始化部件1870，如果沒有發現高亮部分，那麼其初始化最暗像素集合的中心以作為虹膜中心，而如果存在高亮部分，那麼其初始化接近高亮部分的高對比度區域的中心以作為虹膜中心；虹膜中心/半徑測量部件1880，當增大初始圓圈時，其沿處於虹膜中心的初始圓圈重複地測量像素的梯度；以及虹膜確定部件1890，其將具有最大梯度的區域確定為虹膜的中心和虹膜的半徑。
圖18B是檢測虹膜的中心和半徑的流程圖。將紅色通道圖像的眼睛邊框中的具有最大亮度值的像素數目與閾值比較，以確定是否存在高亮部分(操作1800)。如果沒有找到高亮部分，那麼初始化最暗像素集合(mass)的中心以作為虹膜中心(操作1820)。如果高亮部分存在，那麼初始化接近高亮部分的高對比度區域的中心以作為虹膜中心(操作1810)。
增大虹膜中心處的初始圓圈、並且測量沿所述圓圈的像素的梯度(操作1830)。使用鄰近於初始虹膜中心的像素重複梯度測量(操作1840)。將具有最大梯度的區域選為虹膜中心，並且獲得虹膜的半徑(操作1850)。
將詳細說明眼睛虹膜檢測過程。首先近似估計虹膜中心，然後在虹膜半徑檢測期間精煉。
在虹膜中心估計過程中，如果在眼睛邊框內部沒有找到高亮部分，那麼將最暗像素集合的中心初始化以作為虹膜中心；而如果高亮部分存在，那麼初始化高亮部分周圍的高對比度區域的中心，以作為虹膜中心。使用在先前階段預先處理的R通道圖像如下來執行虹膜中心檢測。
1)使用3×3中值濾波器過濾眼睛區域以消除噪聲；2)通過將眼睛邊框內部具有最大亮度值的像素數目與預定閾值進行比較，來確定是否存在高亮部分；3)檢測虹膜中心(根據在虹膜中是否存在高亮部分而使用不同的方法)；a)當在虹膜內部找到強烈的高亮部分時，使用模板匹配方法掃描眼睛邊框的中心區。將具有固定半徑的圓形模板移入搜索區域內部，並且在每個位置檢驗下文所列條件，以便檢測虹膜中心，所述條件為i)搜索窗內部的局部最小值(dLocalMinVal)不應該太接近於搜索窗內部的局部最大值(dLocalMaxVal)(因為這樣可以確定最暗像素和高亮部分兩者都存在於搜索窗中)；ii)局部最小值(dLocalMinVal)應該足夠暗；iii)局部最大值(dLocalMaxVal)應該足夠亮。
利用滿足這些條件的所有位置，將預期的虹膜中心確定為這些位置的中心。
4)當沒有找到強烈的高亮部分時a)將5×5最小函數應用於所述眼睛區域以消除弱的高亮部分；b)利用以下公式卷積眼睛區域W(x,y,c)=sin((X2+y2)/c)(x2+y2)/c...(4)]]>在卷積期間，將正相權重分配給處理塊的中心部分，同時將負相權重分配給其邊界部分。參數c控制被分配了正權重的區域的半徑。
c)與預定閾值相比最暗的點被平均，以找到虹膜中心。
接下來，通過利用環繞它的全部像素(x，y)執行以下過程來精煉在先前步驟中初始化的虹膜中心(xc，yc)。還在此過程中檢測虹膜半徑R。
1)對接近虹膜中心(xc，yc)的全部像素(x，y)執行以下計算a)對於R＝MinR到R＝MaxR來說i)計算位於具有R-1半徑、以(x，y)為中心的圓圈的左右邊界的像素亮度和；頂部和底部部分很可能被眼瞼遮蔽，所以沒有使用它們。
ii)計算位於具有半徑R、以(x，y)為中心的圓圈的左右邊界的像素亮度和；沒有使用頂部和底部部分。
iii)計算這兩個和之間的差(D(R，x，y))。
b)選擇最大D(R，x，y)，並且將對應的半徑R記錄為Rmax(x，y)。
2)在全部像素(x，y)的值當中選擇最大D(Rmax(x，y)，x，y)，並且使對應的像素(x，y)作為虹膜中心，並且使Rmax(x，y)作為虹膜半徑。圖19示出了虹膜檢測的一些結果。
1.1.5.臉部圖像標準化在虹膜檢測之後，旋轉臉部圖像，使得虹膜中心之間的線絕對地水平。還利用涉及臉部尺寸和兩個虹膜中心距離之間的比率的先驗知識來調節臉部邊框的尺寸。然後，修剪輸入圖像，以僅僅包含臉部區域，並且將其縮放到預定寬度。
1.1.6.眼睛輪廓檢測利用上下眼瞼的兩個多項式來近似表示眼睛輪廓。圖20是用於眼睛輪廓檢測的近似法的流程圖。根據虹膜的中心和半徑預先確定搜索區域(操作2000)。將搜索區域的紅色通道圖像中的每個水平掃描行上的像素選為左右眼瞼點(操作2010)，在所述搜索區域中局部最小值或者亮度突然地改變。將在剩餘眼瞼點中的最左邊和最右邊的點選為眼角(操作2020)。通過最小平方方法、利用連接眼角的線上的點來估計上眼瞼曲線(操作2030)。利用所選擇的眼角以及虹膜的較低點來估計下眼瞼曲線(操作2040)。
將詳細說明眼睛輪廓檢測過程。一個眼睛輪廓模型包括用於上眼瞼(x和y的立方)和下眼瞼(x和y的平方)的兩個多項式。在估計了虹膜的中心和半徑之後，根據低亮度像素區域(眼白和皮膚之間的邊緣)近似表示上眼瞼。不需要對下眼瞼進行另外的檢測，而根據眼角和虹膜的較低點直接近似表示下眼瞼。
最初，在檢測上眼瞼以前，利用中值濾波器過濾紅色通道眼睛圖像並將其高斯平滑以較低噪聲等級。根據虹膜的中心和半徑預先確定眼瞼點的搜索區域。
第二，利用以下算法檢測上眼瞼點。
1)對於搜索區域內部的每個垂直位置來說2)如果在當前垂直位置，虹膜被皮膚覆蓋(在此行的平均亮度大於閾值)，那麼過程前進到1；3)將所述當前行中的像素亮度值從虹膜的左側邊緣向眼睛邊框的左側邊緣掃描，以尋找其中局部最小值或者明亮度顯著地增加的區域(參見圖21)。這些區域對應於上眼瞼左側部分；4)對右側執行相同過程。也就是說，將當前行中的像素亮度值從虹膜的右側邊緣向眼睛邊框的右側邊緣掃描，以尋找其中局部最小值或者明亮度顯著增加的區域(參見圖21)。這些區域對應於上眼瞼右側部分。
上述算法給出一組點，這些點被假設位於上眼瞼上。為了排除錯誤地檢測的點，眼睛邊框的左右兩半邊如下進行處理。
1)通過霍夫(Hough)變換將所述點近似表示為線；2)選擇具有合理的方位並且具有最大數目的接近於它的點的線；3)去除遠離估計的線的所有點；在剩餘點之中，挑選最左邊和最右邊的作為眼角，使用位於連接眼角的線之上的點來估計上眼瞼曲線(參見圖22)。
1.1.7.眉毛檢測在前額區域中，將垂直眉毛位置近似為像素的標準化水平積分投影(H(y)下面)中的全局最小值(參見圖23)
H(y)=xFace(y)(gray(x,y))Wdt(y)....(5)]]>其中Face(y)是滿足(x，y)在臉部橢圓之內的一組x；Wdt(y)是在位置y處臉部橢圓的寬度；而gray(x，y)是在(x，y)處的灰度值的亮度。
如果發現垂直眉毛位置距離眼睛很遠，那麼根據臉部大小和虹膜中心位置將垂直眉毛位置設定為預定值。然後，基於有關眉毛位置的經驗信息確定眉毛邊框(參見圖24)。
然後，使用三次冪(立方)多項式近似表示眉毛。首先，沿眉毛矩形內部的每個垂直部分，將灰度值大於預定值的點收集以作為眉毛點，並且計算這些點的平均位置。利用平均位置來估計眉毛曲線(參見圖25)。
1.1.8.嘴唇輪廓檢測所述嘴唇輪廓檢測包括上嘴唇檢測和下嘴唇檢測。圖26是上下嘴唇檢測的流程圖。
上下嘴唇被如下檢測。最初，初始化嘴唇矩形(操作2600)。通過分析非膚色像素的矩(moment)來精煉最初的嘴唇邊框，以使其更小(操作2610)。創建嘴唇函數圖像，並且計算精煉的嘴唇邊框中的每一像素屬於嘴唇還是皮膚的概率(操作2620)。計算具有很大嘴唇函數值的像素的二階中心矩，並且利用橢圓初始化嘴唇輪廓(操作2630)。通過向內和向外的力來動態地進化嘴唇輪廓(操作2640)。利用進化的輪廓點、通過近似法獲得表示嘴唇輪廓的多項式(操作2650)。
向外的力是向嘴唇-皮膚邊界移動輪廓點的力。向內的力包括內部成形力，其形成橢圓輪廓，並且包括內部平滑力，其通過預定係數確定，包括禁止輪廓點向邊界外移動的力。
將詳細說明嘴唇輪廓檢測過程。在嘴唇輪廓檢測中的第一步在於估計相當地精確的邊界矩形。此估計步驟包括以下步驟1)在皮膚檢測階段期間，構造個人特定膚色直方圖。
2)以所期待的滑鼠位置附近為中心的矩形被設置為最初的嘴唇邊界矩形。
3)在當前矩形中，具有較小個人特定膚色直方圖值的像素集合的中心和二階矩被迭代地計算，以便更加精確地精煉嘴唇框(參見圖27)。
將嘴唇框細化執行若干次，例如大約六次，通常這對於相當精確的嘴唇邊框計算是足夠的。
接下來，生成嘴唇函數圖像以測量每一像素的色彩屬於嘴唇還是膚色的可能性。在(r＝R/G，b＝B/G)的空間中，由二維高斯概率密度函數表示兩種顏色的類。在嘴唇邊界矩形中具有較低個人特定皮膚直方圖值的像素用於嘴唇色類計算；在皮膚檢測期間標記為皮膚的像素用於膚色類估計。在計算了兩個顏色類之後，利用以下公式生成嘴唇函數圖像lip_func(x，y)＝α1P1(r(x，y)，b(x，y))-a2Ps(r(x，y)，b(x，y))…(6)其中p1(r(x，y)，b(x，y))是在像素位置(x，y)處的嘴唇顏色類的概率密度值；ps(r(x，y)，b(x，y))是在像素位置(x，y)處膚色類的概率密度值；而α1和α2是係數。因此，lip_func(x，y)表示像素屬於嘴唇顏色類的概率與像素屬於膚色類的概率之間的差。
第三步包括計算具有大嘴唇函數值的像素的二階中心矩，並且利用橢圓近似表示嘴唇輪廓。
第四步包括通過對嘴唇函數圖像重複地運用所述算法來生成精確的嘴唇輪廓。可以將嘴唇輪廓初始化為閉合的多邊形，其在橢圓的邊界上包括多個點，所述點以相同間隔和角度進行採樣(參見圖28的嘴唇函數圖像和初始化的嘴唇輪廓點)。在每個迭代，根據一組簡單法則來移動輪廓點pi。在本發明的實施例中，通過力移動輪廓點pi的方向是vc(參見圖29)。將輪廓點的移動方向Fi確定為由下面等式(7)給出的三個力的和Fi=Fidata+Fiform+Fism....(7)]]>其中 Fiform=kform(-vsum)*vc|-vsum|,]]>其中vsum＝vp+vn；Fism=-ksm(1+vp*vn/(|vp||vn|))*sign((pi+1-pi-1)*(-vp1));]]>Pi-1，pi和pi+1是三個順時針方向連續的輪廓點，而所有的k*是預定正係數。ksm是根據輪廓點位置以及輪廓點移動方向而改變的係數，同時其它係數恆定。
實際上，為了允許算法與拐角匹配，稍後描述的橢圓約束條件Fism應該給予嘴唇拐角點比Fi更少的貢獻。所以，ksm(i)相對於在先前迭代步驟中於橢圓的角附近發現的點更小。嘴唇輪廓的下部比上部平滑，當計算ksm(i)時應用它。
f是嘴唇函數圖像中的位置(pi)處的值；T是預定閾值；Vp和Vn是從當前點Pi朝向在前和下一輪廓點的向量(參見圖29)；Vc是從橢圓中心朝向Pi的標準化方向；V1p是通過將Vp順時針轉π/2生成的。
概括地說，Fidata是控制輪廓擴大或者縮小以擬合在點pi處的實際數據的力，而Fiform迫使輪廓形狀接近於橢圓。為了允許力Fiform作用於全局輪廓形狀，根據接下來的(在前)幾個點的平均獲得Vn和Vp。Fism通過不許任何單個點超出邊界來控制輪廓的平滑度。
在大約30次迭代之後終止上述算法。圖30中示出了一個嘴唇輪廓更新過程。接下來，將多項式(對於上下嘴唇兩者都是四階)擬合為根據迭代產生的點，以便生成嘴唇輪廓曲線。
1.1.9.鼻子輪廓檢測所述鼻子輪廓檢測包括鼻側檢測。圖31是在鼻子輪廓檢測過程中鼻側檢測的流程圖。所述鼻側檢測如下執行。首先，對預定搜索區域中的邊緣圖像執行與具有預定形狀的模板的匹配(操作3100)。在具有較大匹配值的檢測到的候選者中，選擇滿足對稱要求的一對候選者，並且確定為鼻翼位置(操作3110)。利用四次方多項式曲線來表示每個鼻側。將此多項式曲線與檢測到的鼻翼模板以及三個點擬合(操作3120)，其中所述三個點依照預定係數內插在鼻翼和眼角之間。最後，利用預先確定的插值係數來定位鼻尖和鼻子下部曲線(操作3130)。
將詳細地描述鼻子輪廓檢測過程。很難構造可以不顧成像和照明條件來使用的通用鼻子檢測技術。當然，在正面照明和良好銳度的條件下，因為明顯的邊緣圖案出現在鼻子區域中，所以不會出現重大的問題。然而，在照片模糊、或者其是在沒有方向性、類似外界照明的一些情況下，鼻子邊緣區域噪聲很大以至於無法識別邊緣圖案。在該情況下，可以利用定向邊緣映射模板來檢測鼻翼，所述定向邊緣映射模板用於對不同類圖像提供優良的穩定性。此鼻子輪廓檢測算法可以根據以下步驟實現1)修剪鼻子區域圖像(在眼睛中心之間橫向地以及從眼睛的底部到滑鼠邊框的頂端垂直地範圍內)，並且將其縮放到固定解析度。
2)對鼻子區域圖像應用中值濾波器來去除噪聲並且保護邊緣信息。
3)利用Prewitt邊緣檢測器來計算邊緣梯度圖像；
4)將定向的鼻翼模板與鼻子區域圖像匹配以便檢測鼻翼。
鼻翼模板以固定標尺表示鼻翼的代表性形狀(參見圖32)。將擬合精確度測量為像素的邊緣數值的和，所述像素位於鼻翼模板的邊緣上，並且具有接近於模板切線的邊緣方向。根據具有最大10％的擬合精度的位置獲得鼻子候選者，並且根據以下三個標準來測試成對候選者(左右鼻翼候選者)，以便確定最可能的鼻子位置(參見圖33)。
首先，重疊條件一對候選者應該具有類似高度。
第二，獨立的條件一對候選者沿X軸方向不應該過於彼此靠近。
第三，沿X軸方向對稱沿X軸方向從候選者到臉部中心之間的距離差不應該過大。
其次，將四次方多項式與圖34中標記的6個點擬合，其中點1、2和3在預定位置根據檢測到的模板被採樣，利用預定係數將其它點內插在鼻子模板和眼睛矩形之間。
當應用於在不同照明條件下拍攝的不同質量的圖像時，上述鼻翼輪廓檢測方法產生了非常良好的穩定性以及精確度。圖35中示出了鼻側輪廓檢測的例子。
鼻尖是兩個邊翼模板中心的中點。利用預定係數將較低的鼻部曲線(參見圖38和39)定位在兩個鼻翼之間。
1.1.10.下巴及臉頰輪廓檢測圖36A是圖7的下巴及臉頰輪廓檢測部件745的框圖。參見圖36A，下巴及臉頰輪廓檢測部件745包括梯度計算部件3640，其計算紅色通道圖像上的梯度向量場；下巴和臉頰輪廓擴大部件3650，其在由兩個多項式曲線限定的臉部區域中定位最初的輪廓模板，所述兩個多項式曲線在下巴點相交，並向外擴大下巴和臉頰輪廓、直到下巴和臉頰輪廓沿曲線的切線達到強邊緣為止；以及下巴和臉頰輪廓確定部件3660，當下巴和臉頰輪廓已經達到曲線切線上的強邊緣時，其停止擴大下巴和臉頰輪廓。
圖36B是下巴及臉頰輪廓檢測的流程圖。所述下巴及臉頰輪廓檢測過程如下執行。
首先，計算紅色通道圖像上的梯度向量場(操作3600)。將最初的輪廓模板定位在臉部區域中，所述臉部區域由在下巴點交叉的兩個多項式曲線定義(操作3610)。沿曲線的切線向外擴大下巴和臉頰輪廓直到強邊緣(操作3620)。當達到非常亮的谷值時，停止擴大下巴和臉頰輪廓(操作3630)。
將詳細說明下巴及臉頰輪廓檢測過程。通過在底部下巴點交叉的兩個連續的四次方多項式來表示下巴和臉頰輪廓。所述兩個多項式在上端具有固定的Y坐標值。將由多項式定義的曲線分為多個區段(參見圖37)。所述下巴及臉頰輪廓檢測過程包括以下步驟。
1)如下初始化邊緣圖像和下巴曲線。
a)通過以下步驟生成水平和垂直邊緣圖像i)縮放原始的紅色通道圖像以擬合OPTIMAL_FACE_WIDTH，對縮放的圖像執行高斯平滑，並且利用中值濾波器過濾所述圖像；和ii)利用Sobel(索貝)邊緣檢測器檢測所述邊緣。
b)根據底部點、左上方點和右上方點的三個點來初始化左右曲線，以便使其對稱。利用檢測到的眼睛和嘴唇位置的先驗知識來確定這三個點。
2)通過重複以下過程來精煉所述曲線a)對於每個區段i來說(從0到N，其中N是區段總數)i)將擬合精度設定為0；ii)對於區段i中的每個採樣點(x，y)來說如果曲線的切線和在(x，y)的圖像邊緣方向之間的角度小於60度，並且在(x，y)處的邊緣數值不小於預定閾值，那麼提高擬合精度；並且iii)如果所述擬合精度小於另一個給定的閾值，那麼沿曲線法線向量「向外」移動所述區段。否則，將所述區段「向內」稍微移動。
b)重修(refit)所述曲線直到所有區段。
在2.a.iii)中，沿曲線的法線向外擴大曲線的所有區段(參見圖38的下巴擬合過程的中間階段)。然而，當達到顯著的亮度谷值時，應該停止在曲線下部向外移動所述區段，這是因為在較低的下巴區域中，邊緣通常非常淺。這裡，可以將以下決策規則應用於曲線的下部c)對於曲線下部的每個區段i來說i)將擬合精度設定為0；ii)計算區段i的像素(x，y)的平均亮度(CurBrt(i))；iii)沿曲線的法線向外移動區段i，並且計算像素的平均亮度(MovedBrt(i))。
iv)如果MovedBrt(i)＜CurBrt(i)，那麼將區段「向外」移動。
否則，將所述區段i「向內」稍微移動到陰影區中。
圖39中示出了正面圖像中的所有特徵。上述算法是完全自動的，並且對不同的圖像和各種照明條件都很穩定。
1.2側面特徵檢測圖40是側面特徵檢測部件650的詳細框圖。所述側面特徵檢測部件650包括側面區域檢測部件4000、側面曲線檢測部件4020、基準點檢測部件4040和耳朵輪廓檢測部件4060。
所述側面區域檢測部件4000將像素歸類為皮膚像素和非皮膚像素，並且選擇最大膚色連接部分作為側面區域。
所述側面曲線檢測部件4020檢測正面圖像中用戶規定邊框的臉部區域最右邊邊界以作為側面曲線。
所述耳朵輪廓檢測部件4060通過將曲線模板與側面圖像相匹配來初始化耳朵位置。利用輪廓跟蹤算法來使初始化的耳朵模板變形，以便得到更加精確的耳朵輪廓。
圖41是側面特徵檢測的流程圖。所述側面特徵檢測過程可以包括側面區域檢測(操作4100)，側面曲線檢測(操作4110)，基準點檢測(操作4120)和耳朵輪廓檢測(操作4130)。可以基於例如從前額、鼻子、嘴唇、下巴、頸區等檢測到的基準點，將檢測到的側面曲線劃分為各個區段。
遍及側面區域檢測過程，在以後的步驟中檢驗先前步驟的結果。如果發現來自於先前步驟的中間結果是錯誤的，那麼算法自動地返回到先前步驟，以利用大量圖像信息來校正錯誤。
目前，側面特徵檢測需要與用戶進行交互。作為第一個例子，如果臉部大小不足夠大，並且臉部圖像背景很複雜且包括膚色對象，那麼要求所述用戶定義臉部邊界矩形。然而，這是不尋常的實例。在幾乎所有的測試圖像中可以完全自動地檢測臉部區域。
作為第二個例子，在基於先驗統計數據設置了頭頂和背後、眼點和嘴唇點的初始位置之後，可以要求用戶校正所述位置。
1.2.1.臉部區域檢測所述臉部區域檢測過程包括將像素歸類為皮膚像素和非皮膚像素，並且選擇最大膚色連接部分作為臉部區域。當存在具有相近尺寸的兩個最大連接部分時，將更接近於圖像中心的其中一個部分選為臉部區域。
具體來講，按用於正面圖像過程的類似方式，利用標準化r-g彩色空間和訓練的膚色模型來確定像素是皮膚像素還是非皮膚像素。將最大膚色連接部分或者具有相近尺寸的兩個最大膚色部分中更接近圖像中心的一個選為臉部區域。
在一些情況下，鼻部區域和臉部區域可以是不連續的(參見圖42)。這種有問題的情況可以通過檢驗相鄰膚色的連接部分檢測到，並且將鼻部區域和臉部區域合併。存在另外兩種有問題的情況。第一個實例是如果照明太強，那麼無法獲得整個鼻部區域(參見圖43)。第二實例是如果照明稍暗或者如果包括了鬍子，則無法檢測到整個下巴區域(參見圖44)。第一實例在檢測到鼻尖之後、在鼻梁跟蹤過程中被識別。第二實例在檢測到下巴和頸部點之後被判定。
當皮膚檢測失敗時，利用基於稜形(pyramid)的區域分段算法來檢測臉部區域。基於稜形的區域分段算法的輸入圖像是在原始圖像的HSV轉換中的一個通道。此通道是基於根據穿過鼻梁的背景鑑別皮膚的性能而選擇的。
1.2.2.側面曲線檢測根據正面圖像獲得的用戶規定邊框中的臉部區域最右邊邊界被檢測以作為側面曲線。
具體來講，當通過皮膚檢測檢測到臉部區域時，如下對側面曲線檢測用戶規定邊框內部的最右邊臉部區域像素。
1)所述輸入是皮膚檢測的二進位結果(1指的是所述像素屬於皮膚，而0指的是相反的情況)，以及得到的臉部區域(連接部分)；2)所述用戶手動地規定臉部邊框(此步驟對於大多數的圖像來說是不必要的)；3)得到側面輪廓的粗略近似。所述算法構造「側面函數」x＝x(y)，其中y沿垂直方向改變，而x對應於臉部邊框內部y行中的最右邊的皮膚像素。如果在此行中沒有皮膚像素，那麼將x(y)設定為零；4)利用1D高斯濾波器來平滑所述側面函數，以便消除隨機噪聲(參見圖45的示範性的側面函數)。
將所述圖像裁剪到僅僅包括側面函數的程度，並且縮放到固定高度以便允許更為容易地進行後續處理。
2.2.3.基準點檢測通過分析側面函數的形狀來檢測側面曲線的基準點。
1)鼻尖是側面函數的全局最大值。在檢測到鼻尖之後，在所述鼻尖之上，利用強邊緣像素將鼻梁部分以線條近似表示。在原始圖像的HSV轉換中，利用不同的通道審查將皮膚從穿過鼻梁的背景中分離的性能。此外，當鼻梁線條太遠離側面曲線時，將認定皮膚檢測失敗，並且所述算法返回以便利用區域分段算法來檢測臉部區域。
2)前額上方的點(「前額頂端」)是最頂端的皮膚像素。
3)利用七次方多項式來近似表示側面函數x＝x(y)的上部(從前額頂端到鼻尖)(參見圖46)。執行多項式的自底向上掃描，以便找到多項式的一次導數小於固定閾值的位置。此點對應於鼻梁頂端；4)對側面函數的下部(鼻尖下面)執行分段線性近似法。
a)由函數的最初3個點計算線段的方向。b)計算從連續點到當前區段的距離。c)如果計算出的距離太大(大於固定閾值)，那麼啟動新的區段並且所述過程前進到步驟a)。d)執行步驟(a)。
5)在預定區域的線段的連接點之中，得到相鄰區段之間具有大角度(大約90度)的連接點。此點對應於「鼻子點下方」(參見圖46)。
6)對於「鼻子點下方」下面的點來說，通過利用自適應多線擬合算法估計的線段來近似表示側面函數。此算法的每個步驟如下。
a)由開頭兩個點計算新的線段方向。b)將下一個點添加到區段近似點的集合中。c)通過擬合所有點的最小二乘法來重新計算區段方向。d)計算每個點與近似區段的偏差。e)如果任一點太遠離所述區段，那麼所述過程前進到a)。否則，過程前進到b)。
根據自適應多線(polyline)擬合結果來檢測下巴和頸部點(參見圖47中標記的三個點)。如果下巴太接近於鼻尖，那麼將認定皮膚檢測失敗，並且算法返回以便重新檢測臉部區域。
7)特別是當成像條件被極大地改變時，很難可靠地找到上下嘴唇基準點。在該情況下，通過判斷總體臉部大小來合理地近似表示所述基準點。下面將描述圖48中的一些區段。
a)「I」是從「鼻子點下方」到頸部起點的垂直距離。
b)「a」＝0.225*I。
c)「b」＝0.125*I。
d)「c」＝0.125*I。
在找到基準點之後，利用多項式來近似表示基準點之間的側面曲線區段。不直接檢測頭部的後面和頂端以及眼睛，而是根據人類頭部的合理的比率來估計。圖49中示出了所有由此產生的特徵。
1.2.4.耳朵輪廓檢測圖50是耳朵輪廓檢測的流程圖。所述耳朵輪廓檢測過程包括通過匹配曲線模板與側面圖像(操作5000)來初始化耳朵位置，並且通過利用輪廓跟蹤算法變形初始化的耳朵模板來得到更加精確的耳朵邊界(操作5020)。
圖51是耳朵初始化的流程圖。參見圖51，耳朵初始化過程包括確定耳朵模板的移位(translation)向量，旋轉原始圖像使得鼻梁頂端和下巴點之間的區段變成垂直，並且將所述區段的長度縮放為預定值(操作5100)；定義耳朵搜索區域(操作5110)；將臉部區域和頭髮區域之間的邊緣與曲線模板匹配，以便根據兩個曲線得到具有類似形狀的相應子區段(操作5120)；如果匹配區段的長度小於預定閾值，那麼通過將利用邊緣檢測器檢測到的邊緣和耳朵模板匹配來檢測具有類似形狀的區段(操作5130)；並且利用最小二乘法計算從模板區段到匹配圖像點的移位向量(操作5140)。
將詳細說明耳朵輪廓檢測過程。可以將耳朵輪廓檢測過程大致分為兩個步驟。在第一步中，將曲線模板(參見圖52)與色彩或者邊緣信息匹配，並且將模板變形以擬合局部圖像信息。
具體來講，在耳朵位置初始化步驟中，標準化原始圖像的方位和比例。選擇兩個標定點、即鼻梁頂端和下巴點來用於標準化。旋轉所述原始圖像，使得連接這兩個點的區段變得絕對地垂直，而且縮放原始圖像，使得兩個點之間的距離具有固定值。定位先驗矩形，以便在標準化的圖像中定義耳朵搜索區域。圖53中示出了標準化的圖像、標定點和搜索區域。
為了找到成功地初始化耳朵模板位置的移位向量，使用了皮膚檢測的結果。總的來說，皮膚區域邊界與耳朵邊界在一些部分上重合，如圖54所示。基於曲線梯度信息的相似性、利用簡單曲線匹配算法來將模板與皮膚區域邊界匹配，以便發現這樣的區段，在所述區段上，兩條曲線實現最佳匹配。接下來，利用最小二乘法、用匹配區段估計移位向量。圖55中示出了耳朵位置初始化的結果。將在皮膚區域邊界中與模板匹配的區段標記為紅色。
在一些情況下，所述皮膚區域邊界未必與所述耳朵邊界重合，例如，當頭髮太短或者照明非常強時(參見圖56)。通過評估搜索區域中匹配區段的長度和變換的耳朵模板的位置，用於本發明的算法可以自動地檢測這種故障情況。利用局部邊緣信息初始化所述耳朵位置。
將Nevatia-Batu邊緣檢測器用於從灰度圖像提取邊緣信息。利用與在前耳朵初始化算法中所使用的相同的曲線匹配算法來測試長邊緣區段，以便找到與耳朵模板最佳配合的一個邊緣區段。在匹配評估的組合中使用了相關的係數。所述相關係數包括邊緣區段中的匹配長度和搜索區域中基於區段的耳朵模板的位置。
實驗證明，基於邊緣的耳朵初始化比利用基於臉部區域算法的耳朵初始化更加穩定，但是對於在耳朵邊界上找到初始區段來說，還不夠精確。因此，基於邊緣的算法用於補充基於臉部區域的算法，由此總體上增強了算法的穩定性。圖56中示出了基於邊緣的耳朵初始化的幾個例子。
在第二步驟中，使變換的(translated)模板變形，以便與耳朵邊界匹配。利用在初始化步驟中獲得的耳朵邊界點(從臉部區域邊界或者Nevatia-Batu邊緣的區段)，根據輪廓跟蹤方案來將模板與耳朵擬合。詳細過程如下。
1)從早已與圖像耳朵邊界匹配的耳朵模板點開始，將此點記錄為Contn，其中Cont是耳朵模板(以二維點列表採樣的)，n是所述列表中此點的下標。
2)找到滿足以下約束條件的第一連續點Contn和Contnext之間的一些模板點離與最小二乘方擬合到點集{Conti，i＝n，...，next}的線條足夠遠；next應該至少是n+5；如果next達到模板端點，那麼終止輪廓跟蹤算法；3)在某一範圍中從Contn和Contnext旋轉所述區段，以Contn為中心；並且將旋轉的區段與局部信息匹配，以便得到具有極大匹配值的「最佳」角度；如果在所述角度範圍中沒有找到正確的匹配，那麼終止所述算法，並通知故障；4)在Contn之後，利用最佳角度旋轉所有模板點，設置n＝next，進入步驟1；基於兩種信息的組合來執行區段和圖像之間的匹配評估。一個信息是作為穿過所述區段的亮度差的和評估的局部邊緣強度。另一個信息是區段相似性。換言之，區段的所有像素的亮度值的和不應該與在前區段有很大的不同。如果基於兩個因素的匹配評估結果是「差」，那麼確定所述匹配是錯誤的。
對耳朵頂端和耳朵底部執行兩次輪廓跟蹤算法。當終止輪廓跟蹤算法並通知故障時，這通常是因為頭髮遮蔽了耳朵而發生的，如圖57所示，那麼直接使用初始化結果。
對於耳朵底部來說，模板長度可以不用很長來擬合耳朵邊界，因此將模板的「尾部」替換為長區段。通過沿匹配的模板測量邊緣強度來得到耳朵的實際底部位置。在一些圖像中，耳朵邊界從底部朝向頂端延伸。此情況可以利用局部邊緣信息檢測到，並且由此產生的耳朵邊界包括朝向頂端擴展的尾部，如圖57所示。
2.頭部模型擬合獲得去掉從正面和側面照片和/或三維立體深度圖中提取的臉部特徵的全集。稍後將描述立體深度提取。
圖59是圖5的臉部模型擬合單元510的框圖。臉部模型擬合單元510包括二維(2D)點轉換部件5900和網格模型擬合部件5950。圖60是在臉部模型擬合單元510中初始模型擬合的流程圖。
最初，對應於在三維通用頭部模型中定義的特徵、利用三維通用頭部模型的臉部特徵曲線上的特徵點長度比，將在圖像中檢測到的特徵多項式轉換為二維點(操作6000)。根據基於3步的基於半徑函數(RBF)變形、利用檢測到的圖像的特徵和三維通用網格模型的特徵點，來變形所述三維通用網格模型(操作6050)。
基於3步RBF的變形過程如下執行。首先，將置換的模型關鍵點的X和Y坐標設定為對應圖像特徵位置，Z坐標保留在通用網格模型中，以便對正面特徵執行RBF內插。第二，考慮到側面特徵的Y坐標調節側面圖像的比例，並且將側面特徵用作RBF內插的輸入。最後，利用所有可用特徵來執行RBF內插。
基於RBF的變形可以如此來執行，使得將通用網格的頂點轉移到在深度信息恢復過程中獲得的相應三維點。
將詳細說明頭部模型擬合過程。將檢測到的臉部特徵用於變形通用模型以便擬合輸入圖像。為此目的，將特徵檢測步驟中獲得的臉部特徵轉換為對應於在通用模型中預先確定的特徵的點的位移量，並且利用數據內插算法置換模型中所有頂點，以便變形通用模型。檢測到的特徵(曲線和點)和模型頂點之間的對應關係應該手動地預先設置。某個通用模型的對應關係是固定的，如此不需要與用戶交互。
將描述建立一個特徵曲線的對應關係的過程。圖61中示出了模型上的「關鍵」頂點和沿臉部特徵曲線分布的位置。示出了在通用網格模型上對應於在輸入圖像中檢測到的臉部特徵曲線的臉部特徵。以相同長度比從兩個曲線採樣所述特徵點。對所述側面特徵重複兩次此過程，以便生成模型「關鍵」點的兩組二維位移量。
根據對應圖像特徵點來確定「關鍵」頂點的三維位移量。依照直接的方法，x和y位移量根據正面特徵獲得，而z位移量根據側面特徵獲得。然而，因為一些正面特徵(較低的下巴部分、前後頭部分等)缺少y位置信息，並且正面和側面特徵位置之間存在衝突，所以無法利用此方法獲得似乎真實的結果。因為無法同時獲得輸入的畫面圖像，並且臉部的方位和表情至少總是稍微改變，因此數據衝突是不可避免的。即便可以同時獲取正面和側面畫面，正面和側面圖像通常也不標準。換言之，難以將兩個照相機的焦軸調整得彼此垂直。
為解決這些問題，使用了基於RBF的三步變形過程。
2.1.RBF數據內插將簡短地描述在本發明中使用的基於RBF的數據內插方法。如果輸入兩個對應的數據集{ui，i＝1，...，N}R3和{ui，，i＝1，...，N}R3，其分別表示變形過程前後的三維採樣，那麼如下確定三維空間中的形變函數f(p) 其中p是任意的三維向量；φi是ui的RBF，其中在φi(r)＝e-r/ki的實施例中，Ki是預定的係數，其定義ui，的位移量作用的下降；c0，c1，c2，c3和λi，i＝1，...，N是係數，它們是根據下面的方程式(9)確定的所有三維點(f(u_i)=u_i)i=1,...Ni=1N_i=0i=1Nu_i,x_i=0i=1Nu_i,y_i=0i=1Nu_i,z_i=0....(9)]]>
利用此數據內插方法，可以確定形變函數f(p)，條件是建立通用模型和特定個人之間的「關鍵」點的對應關係。據此，通過將所有通用模型頂點帶入函數f(p)，可以生成輸入圖像的理想的特定模型。
2.2三步變形(morph)過程將詳細說明所述模型擬合過程。
1)利用正面特徵執行RBF內插。將置換的模型關鍵點的X和Y坐標設定為對應的圖像特徵位置，而Z坐標保留在通用模型中。在此步驟中，模型和圖像之間的正面特徵彼此理想地匹配。此步驟是精確的紋理映射所必須的。
2)利用側面特徵執行RBF內插。將側面關鍵點的Y和Z坐標設定為它們相應的側面圖像位置，而X坐標保留與通用模型中相同。在此步驟期間，我們只確定所有模型頂點的Z軸數值。很可能在鼻尖、鼻梁頂端和嘴唇發生的正面和側面特徵之間的衝突，可以通過縮放和變換側面特徵曲線來刪去，使得Y坐標擬合變形的模型的相應點。
3)最後，將所有關鍵點用作RBF內插輸入，以確定由此產生的頭部形狀。在此步驟中，在步驟2的內插結果模型中，所述側面關鍵點保持它們的位置。就正面關鍵點而言，我們根據步驟2結果來設置它們的Z坐標，並且將X和Y坐標設置為步驟1結果。如果接近正面圖像是有效的，那麼可以再一次執行RBF內插，以便獲得利用立體信息重建的點作為輸入數據。圖63中示出了示範性生成的臉部模式。
3.紋理生成由於紋理對模型的外觀有著極為重要的作用，所以生成頭部模型的高質量紋理比模型擬合更加重要。將正面和側面紋理映射到模型，並且將多解析度樣條紋理組合方案用於組合不同的照片。此外，例如生成顎和耳朵背面閉合而成的下巴或者頸部區域的人造紋理。
圖63是圖5的紋理生成單元520的框圖。所述紋理生成單元520包括輸入圖像補償部件6300、正面/側面紋理生成部件6320和組構(texturing)完成部件6340。圖64是紋理生成的流程圖。將參照圖63和64描述紋理生成過程。
所述輸入圖像補償部件6300對輸入圖像執行色彩校正，以便補償不同的照明條件或者相機之間的色彩平衡變化(操作6400)。所述正面/側面紋理生成部件6320基於三維模型頂點和在照片上投射的二維位置之間的匹配、通過將正面和側面圖像映射到公共UV平面上來生成正面和側面紋理(操作6420)。組構完成部件6040利用多解析度樣條算法組合正面、側面和人造紋理，以完成組構(操作6440)。將詳細說明紋理生成過程。
3.1.紋理坐標映射和紋理生成為了組合從不同觀測角度獲得的紋理，需要有包含模型頂點的紋理坐標的公共UV平面。此公共UV平面是二維平面，其中將所述點與三維模型位置匹配。所述平面具有由M＝{(u，v)|u，v∈
}表示的標準化坐標空間。
為確保在紋理坐標空間上均勻分布模型頂點，考慮到人類頭部類似球體的形狀，通過球形映射創建UV平面。手動地修改生成的空間，以解決UV平面上的重疊問題，特別是在耳朵區域中。一旦已經建立了對應關係，所述UV平面就專用於個體模型並且保持恆定，所以不需要進一步與用戶進行交互。
為創建紋理模型，需要將臉部圖像映射到UV平面上。由於模型已經與圖像特徵擬合，所以可以容易地獲得模型頂點和畫面位置之間的對應關係。因此，可以容易地將圖像位置映射到UV平面上的紋理坐標。
圖65和66分別是UV平面上的正面和側面紋理圖像，其中出現了重疊的紋理坐標。
3.3.紋理融合在此步驟中，融合UV平面中的正面和側面紋理圖像以及耳朵的人造皮膚紋理，以便生成一個圖像，將所述圖像著色(render)為三維模型表面。對於UV平面中每個點p∈{(x，y)|x，y∈
}來說，其在融合圖像中的顏色可以使用下面的公式(10)來計算C(p)＝kf(p)Cf(p)+ks(p)Cs(p)+kart(p)Cart(p)....(10)其中Cf，Cs，Cart分別是正面、側面以及人造皮膚紋理的點p的色彩；對於每個p來說，kf，ks，kart是不同紋理的權重，並且被標準化，以便滿足kf(p)+ks(p)+kart(p)＝1。
紋理融合的權重利用多解析度樣條算法計算。基於高斯稜形分解，在沒有模糊或者惡化優良的圖像細節的情況下，在本發明中使用的眾所周知的圖像融合算法可以實現圖像之間的平滑過渡。所述算法可被用於具有任何形狀的融合邊界。
3.4.人造皮膚紋理基於側面區域中接近區域的色彩統計量，生成用於填充下巴和頸部區域的人造紋理。清除不常見的色彩，基於剪輯的色彩統計量選擇區域中的每一像素的色彩，並且通過高斯平滑去除不勻粒度(grain)。
圖67中示出了最終的紋理圖像。圖68中示出了示範性的紋理模型。耳朵背面沒有用重疊紋理進行映射是顯而易見的。圖68中最後兩個畫面分別示出了使用人工紋理的耳朵部分以及沒有使用紋理的耳朵部分4.利用立體圖像對的三維重構在大多數情況下，當只利用一個正面圖像或者增加的側面圖像時，三維重構的結果是合理的。然而，當待重建的輸入臉部圖像非典型地出現時，即當主觀事物極大地不同於通用頭部模型時，算法無法正常地運行。
在這種情況下，為了進一步地精煉頭部模型，將基於立體分析的模塊併入該系統。可以利用專業化立體重構算法分析以稍微不同的視角度抓取的兩個或更多臉部圖像，以為頭部的可視部分生成更加精確的三維信息。圖69中示出了為此用途抓取的示範性的立體圖像對。
圖70是圖5的深度信息生成單元540的框圖。所述深度信息生成單元540包括特徵點檢測部件7000、差異獲得部件7020以及差異到深度信息轉換部件7040。圖71是根據正面以及接近正面圖像生成深度信息的流程圖。將參照圖70以及71描述深度信息生成過程。
所述特徵點檢測部件7000確定正面圖像中的圖像特徵點(操作7100)，並且對特徵點執行基於模型的Lucas-Kanade跟蹤，以便在接近正面圖像中找到相應點(操作7110)。
所述差異獲得部件7020利用匹配對應關係、通過數據內插來獲得密度差異映射(操作7120)。最後，差異到深度信息轉換部件7040將差異映射轉換為深度信息(操作7130)。
基於最大和最小差異值之間的差值實現從差異映射到深度信息的轉換。差值除以頭部寬度並且乘以預定常量以便獲得係數。通過將所述係數乘以通過從測量的差異值中減掉最小差異值所獲得的值，以獲得給定像素的深度值。將詳細說明這些過程。
4.1根據立體圖像對的差異估計將描述通過特徵跟蹤的立體匹配。三維對象重構的基本概念是「立體匹配」—在整個立體圖像中發現「相同」點的過程(這裡「相同」指的是這些二維投影對應於唯一的三維點)。在立體匹配之後，可以恢復三維位置。
儘管基礎概念很簡單，但是立體匹配是非常複雜的工作。當對明顯不同的立體圖像執行立體匹配時，將出現許多問題。此外，因為橫穿立體圖像的所有可能的對應關係必須計算以完成匹配過程，所以立體匹配引起了計算上的複雜性。
然而，根據本發明，利用以下思想在臉部建模過程中可以獲得符合需要的匹配結果。由於立體對的視角沒有顯著地不同(正面和接近正面)，所以可以將立體匹配當做立體圖像之間的目標跟蹤過程。據此，可以使用特徵跟蹤算法。
大多數的特徵跟蹤算法對從第一圖像中挑選出來的一組獨立的點起作用。其目標在於在連續圖像中跟蹤這些點的位置。在該情況下，跟蹤和匹配是同一過程。與全面逐點的極面(epipolar)匹配相比較，特徵跟蹤可以導致額外的失配，但是不需要校正階段。可以獨立地處理所有點以便構造所有極面幾何。因此，此特徵跟蹤可以當利用非校準照相機時使用。為此，在實施例中執行利用特徵跟蹤的立體匹配。將描述使用的跟蹤算法。
當假定A(x，y)和B(x，y)是兩個二維灰度級圖像時，考慮第一圖像中的像點A(px，py)。特徵跟蹤的目標在於從第二圖像中找到位置B(px+vx，py+vy)，使得A(px，py)和B(px+dx，py+dy)相似。向量v＝[vx vy]是圖像速率，並且亦稱在點[px，py]的光流。將圖像速率v定義為這樣一個向量，其使點[px，py]的附近(2ωx+1)×(2ωy+1)中的餘項函數ε最小(v)=(vx,vy)=x=px-xpx+xy=py-ypy+y(A(x,y)-B(x+vx,y+vy))2....(11)]]>利用以下標準Lucas-Kanade公式可以得到用於最小化上述餘項函數的記錄為Vopt的速率，所述公式為vopt＝G-1b ....(12)其中Gx=px-xpx+xy=py-ypy+yIx2IxIyIxIyIy2,bx=px-xpx+xy=py-ypy+yIIxIIy....(13)]]>Ix(x,y)=A(x,y)x=A(x+1,y)-A(x-1,y)2....(14)]]>Iy(x,y)=A(x,y)y=A(x,y+1)-A(x,y-1)2....(15)]]>δ|(x，y)≡A(x，y)-B(x，y) ....(16)在三維重構之後，利用上述模型擬合算法、將通用模型與所述圖像擬合。
如上所述，在根據本發明的基於圖像的超現實主義三維臉部建模的設備和方法中，利用諸如數位照相機的相對廉價的設備獲得的數據可以依照自動方式進行處理，並且甚至可以根據不完善的輸入數據獲得令人滿意的效果。換言之，根據本發明，可以依照自動的方式提取臉部特徵，並且使用穩定的「人類質量」臉部分析算法。
雖然已經參考本發明的示範性實施例詳細地示出並且描述了本發明，但是本領域普通技術人員應該理解的是，在不脫離本發明的精神和範圍的情況下，可以對其做出在形式上以及細節上的各種變化，本發明的精神和範圍如隨後的權利要求書定義。
權利要求
1.一種用於創建三維超現實主義頭部模型的方法，所述方法包括(a)在輸入的正面和側面圖像中檢測正面和側面特徵；(b)通過使用檢測到的臉部特徵擬合三維通用模型來生成三維頭部模型；(c)根據輸入的正面和側面圖像生成逼真的紋理；以及(d)將所述紋理映射到三維頭部模型上。
2.如權利要求1所述的方法，其中(b)生成三維頭部模型還包括根據正面圖像和接近正面圖像生成深度信息，利用臉部特徵來擬合通用模型，以確定特定臉部的三維形狀，並且利用所述深度信息擬合所生成的三維頭部模型。
3.如權利要求1所述的方法，其中(c)還包括融合人造紋理。
4.如權利要求1所述的方法，其中(a)檢測所述正面特徵包括檢測皮膚區域；檢測臉部區域；檢測眼睛邊框；檢測虹膜；以及標準化所述正面圖像。
5.如權利要求1所述的方法，其中(a)檢測所述正面特徵包括以下至少一個步驟檢測眼睛輪廓；檢測眉毛；檢測嘴唇輪廓；檢測鼻子輪廓；以及檢測下巴和臉頰輪廓。
6.如權利要求6所述的方法，其中利用預先訓練的最大似然貝葉斯分類器來執行檢測所述皮膚區域，所述貝葉斯分類器在標準化r-g色度彩色空間中將圖像像素分類為皮膚像素和非皮膚像素。
7.如權利要求6所述的方法，其中檢測所述臉部區域包括(i)初始化最大膚色連接部分作為所述臉部區域；(ii)基於初始化的臉部區域、通過置換橢圓的邊界點來初始化和進化橢圓，直到所述橢圓穩定；(iii)將穩定的橢圓邊框確定為臉部區域。
8.如權利要求7所述的方法，其中，當存在具有相近尺寸的兩個最大連接部分時，(i)包括選擇兩個最大連接部分中更接近於圖像中心的一個作為臉部區域。
9.如權利要求7所述的方法，其中(ii)初始化以及進化所述橢圓包括基於初始化的臉部區域定義以橢圓邊界點為中心的矩形探針；計算位於探針和橢圓兩者內的皮膚像素的數目；如果計算的皮膚像素數目少於預定閾值，則將橢圓的邊界點向內移動預定距離；如果計算的皮膚像素數目不少於預定閾值，則計算位於探針內部和橢圓以外的皮膚像素數目；並且如果計算出位於探針內部和橢圓以外的皮膚像素數目大於預定閾值，則將橢圓的邊界點向外移動預定距離。
10.如權利要求6所述的方法，其中檢測所述眼睛邊框包括通過低通濾波生成模糊圖像；通過從原始圖像中減去模糊圖像來獲得圖像；通過計算所獲得的圖像中每一像素及其鄰近像素的平均值來生成新的圖像，並且利用預定閾值將所述新的圖像二元化；找到連接部分作為眼睛候選者；並且通過按照形狀、大小和相對位置評估眼睛候選者來確定眼睛邊框。
11.如權利要求4所述的方法，其中檢測所述虹膜包括在紅色通道圖像中的眼睛邊框內檢測虹膜。
12.如權利要求11所述的方法，還包括檢測虹膜的中心和半徑，檢測所述虹膜的中心和半徑包括將紅色通道圖像的每個眼睛邊框中具有最大亮度值的像素數目與閾值進行比較，以確定是否存在高亮部分；如果沒有找到高亮部分，則將最暗像素集合的中心初始化為虹膜的中心；如果存在高亮部分，則將接近高亮部分的高對比度區域的中心初始化為虹膜的中心；放大虹膜中心處的初始圓圈，並且沿所述圓圈測量像素的梯度；並且放大虹膜中心處的初始圓圈，並且沿所述圓圈重複地測量像素的梯度；並且將具有最大梯度的區域選為虹膜中心，並確定虹膜的半徑。
13.如權利要求4所述的方法，其中標準化所述正面圖像包括旋轉所述正面圖像，使得虹膜中心之間的線變成水平，並且將所述正面圖像縮放為預定解析度。
14.如權利要求5所述的方法，其中檢測所述眼睛輪廓包括利用上下眼睛輪廓的兩個多項式來近似表示眼睛輪廓，所述近似表示眼睛輪廓包括根據虹膜的中心和半徑預先確定搜索區域；在搜索區域的紅色通道圖像中選擇每個水平掃描線上局部最小值或者亮度突然地改變的像素作為左右眼瞼點；在剩餘眼瞼點中選擇最左邊和最右邊點作為眼角；通過最小平方法、利用連接眼角的線上的點來估計上眼瞼；並且利用所選擇的眼角和虹膜的較低點來估計下眼瞼曲線。
15.如權利要求5所述的方法，其中檢測所述眉毛包括利用多項式近似表示所述眉毛，其中所述多項式在自適應二元化之後、在眼睛邊框上方的預定區域中擬合暗像素。
16.如權利要求5所述的方法，其中檢測所述嘴唇輪廓包括檢測上下嘴唇，檢測上下嘴唇包括初始化嘴矩形；通過分析非膚色像素的一階矩和二階矩來精煉嘴矩形，以使其更小；生成嘴唇函數圖像，並且計算精煉的嘴矩形中每一像素屬於嘴唇或者皮膚的概率；通過測量具有較大嘴唇函數值的像素的二階中心矩、利用橢圓初始化嘴唇輪廓；通過向內和向外的力動態地移動嘴唇輪廓；並且利用移動的輪廓點、通過近似法生成表示嘴唇輪廓的多項式。
17.如權利要求16所述的方法，其中所述向外的力是將輪廓點移動到嘴唇和皮膚邊界的力，向內的力包括用於形成橢圓輪廓的形狀的內部成形力，以及內部平滑力，其由預定的因素確定，所述因素包括抑制輪廓點被移動出邊界的力。
18.如權利要求5所述的方法，其中檢測鼻子輪廓包括檢測鼻側，檢測鼻側包括在預定搜索區域的邊緣圖像上執行與具有預定形狀的模板的匹配；在檢測到的具有較大匹配值的候選者之中選擇滿足對稱要求的一對候選者，並且將所選的一對候選者確定為鼻翼位置；並且利用與檢測到的鼻翼模板擬合的多項式、以及採用預定係數內插在鼻翼和眼角之間的三個點來表示每個鼻側。
19.如權利要求5所述的方法，其中檢測所述下巴和臉頰輪廓包括計算紅色通道圖像上的梯度向量場；在由交叉在下巴點的兩個多項式曲線定義的臉部區域中定位初始輪廓模板；向外擴展所述下巴和臉頰輪廓，直到下巴和臉頰輪廓沿曲線的切線達到強邊緣；並且當所述下巴和臉頰輪廓已經沿曲線的切線達到強邊緣時，停止向外擴展所述下巴和臉頰輪廓。
20.如權利要求1所述的方法，其中(a)檢測所述側面特徵包括檢測側面區域；檢測側面曲線；檢測基準點；並且檢測耳朵輪廓。
21.如權利要求20所述的方法，其中檢測所述側面區域包括將像素分類為膚色像素和非膚色像素；並且選擇最大的膚色連接部分作為側面區域。
22.如權利要求21所述的方法，其中，當存在具有相近大小的兩個最大連接部分時，將兩個最大連接部分中更接近於圖像中心的一個選為側面區域。
23.如權利要求20所述的方法，其中檢測所述側面曲線包括檢測根據正面圖像定義的用戶規定邊框中的臉部區域的最右邊邊界作為側面曲線。
24.如權利要求20所述的方法，其中檢測所述耳朵輪廓包括通過將曲線模板與側面圖像匹配來初始化耳朵位置；以及通過利用輪廓跟蹤算法變形初始化的耳朵模板來得到更加精確的耳朵邊界。
25.如權利要求24所述的方法，其中初始化所述耳朵位置包括旋轉原始圖像，使得鼻梁頂端和下巴點之間的區段變成垂直，並且將所述區段長度縮放為預定值；定義耳朵搜索區域；將側面區域和頭髮區域之間的邊緣與曲線模板匹配，以根據所述兩條曲線找到具有類似形狀的相應子區段；如果匹配區段的長度小於預定閾值，那麼通過匹配利用邊緣檢測器檢測到的邊緣和耳朵模板來檢測具有類似形狀的區段；和利用最小二乘法計算從模板子區段到匹配圖像點的變換向量。
26.如權利要求2所述的方法，其中根據正面以及接近正面圖像生成深度信息包括確定正面圖像中的特徵點；對特徵點執行基於模型的Lucas-Kanade跟蹤，以在接近正面圖像中找到對應點；利用匹配對應關係、通過數據內插獲得密度差異映射；並且將差異映射轉換為深度信息。
27.如權利要求26所述的方法，其中將差異映射轉換為深度信息包括獲得極大和極小差異值之間的差值；通過將所述差值除以頭部寬度並將除得的結果乘以預定常量來確定係數；並且通過將所述係數乘以通過從測量的差異值中減掉最小差異值獲得的值，來獲得像素的深度值。
28.如權利要求1所述的方法，其中(b)中的擬合所述通用模型包括對應於在三維通用模型中定義的特徵，利用三維通用模型的臉部特徵曲線上的特徵點的長度比、將在圖像中檢測到特徵曲線轉換為二維點；並且基於圖像特徵和三維通用模型的特徵點之間的對應關係，通過基於3步基於半徑的函數(RBF)的變形來擬合三維通用模型。
29.如權利要求28所述的方法，其中基於3步RBF的變形包括將置換的模型關鍵點的X和Y坐標設置為對應的圖像特徵點，並且保持Z坐標與三維通用模型中一樣，以對正面特徵執行RBF內插；考慮到所述側面特徵調節側面圖像的比例，並且當限制它們的X坐標以留在通用模型中它們的位置處時，利用縮放的側面特徵作為RBF內插的輸入；並且利用在先前步驟中獲得的Z坐標對正面和側面特徵執行RBF內插。
30.如權利要求29所述的方法，其中執行基於3步RBF的變形，使得將通用網格的頂點置換為在深度信息恢復過程中獲得的相應的三維點。
31.如權利要求1所述的方法，其中(c)生成逼真的紋理包括對輸入的圖像執行色彩校正，以補償不同的照明條件或者照相機之間的色彩平衡變化；通過基於三維模型頂點和投射的二維位置之間的對應關係將正面和側面圖像映射到公共UV平面上，來生成正面和側面紋理；並且利用多解析度樣條算法來組合正面和側面紋理以及人造紋理，以便完成組構。
32.一種用於創建三維超現實主義頭部模型的設備，所述設備包括臉部特徵檢測單元，用於在輸入的正面和側面圖像中檢測正面和側面特徵；臉部模型擬合單元，用於通過使用檢測到的臉部特徵擬合三維通用模型來生成三維頭部模型；紋理生成單元，用於根據輸入的正面和側面圖像生成逼真的紋理；以及映射單元，用於將所述紋理映射到在臉部模型擬合單元中生成的三維頭部模型上。
33.如權利要求32所述的設備，其中所述臉部模型擬合單元包括深度信息生成部件，用於從正面圖像和接近正面圖像中提取深度信息，並且通過使用在臉部特徵檢測單元中檢測到的臉部特徵以及在深度信息生成部件中生成的深度信息擬合通用模型，來生成三維頭部模型。
34.如權利要求32所述的設備，其中所述紋理生成單元融合逼真的紋理以及人造紋理。
35.如權利要求32所述的設備，其中所述臉部特徵檢測單元包括用於檢測正面特徵的正面特徵檢測部件；以及用於檢測側面特徵的側面特徵檢測部件。
36.如權利要求35所述的設備，其中所述正面特徵檢測部件包括用於檢測皮膚區域的皮膚區域檢測部件；用於檢測臉部區域的臉部區域檢測部件；用於檢測眼睛邊框的眼睛邊框檢測部件；用於檢測虹膜的虹膜檢測部件；以及用於標準化所述正面圖像的正面圖像標準化部件。
37.如權利要求36所述的設備，其中所述皮膚區域檢測部件利用預先訓練的最大似然貝葉斯分類器來檢測所述皮膚區域，所述貝葉斯分類器在標準化r-g色度彩色空間中將圖像像素分類為皮膚像素和非皮膚像素。
38.如權利要求36所述的設備，其中所述臉部區域檢測部件包括臉部區域初始化部件，用於將最大膚色連接部分初始化為臉部區域；橢圓穩定化部件，用於基於初始化的臉部區域、通過置換橢圓的邊界點來初始化和進化橢圓，直到所述橢圓穩定；以及臉部區域確定部件，用於將穩定的橢圓邊框確定為臉部區域。
39.如權利要求36所述的設備，其中所述眼睛邊框檢測部件包括模糊圖像生成部件，用於通過低通濾波生成模糊圖像；圖像二元化部件，通過計算在從原始圖像中減去模糊圖像獲得的圖像中的每一像素及其鄰近像素的平均值來生成新的圖像，並且利用預定閾值將所述新的圖像二元化；眼睛候選者搜索部件，用於在圖像二元化部件中二元化的圖像中找到連接部分作為眼睛候選者；以及眼睛邊框確定部件，用於通過按照形狀、大小和相對位置評估眼睛候選者來確定眼睛邊框。
40.如權利要求36所述的設備，其中虹膜檢測部件在紅色通道圖像中的眼睛邊框內檢測虹膜。
41.如權利要求40所述的設備，其中所述虹膜檢測部件包括高亮部分搜索部件，用於通過將紅色通道圖像的每個眼睛邊框中具有最大亮度值的像素數目與閾值進行比較，來確定是否存在高亮部分；虹膜中心初始化部件，用於如果沒有找到高亮部分，則初始化最暗像素集合的中心以作為虹膜中心，如果存在高亮部分，則初始化接近高亮部分的高對比度區域的中心以作為虹膜中心；虹膜中心/半徑測量部件，用於當放大初始圓圈時，沿虹膜中心處的初始圓圈重複地測量像素的梯度；以及虹膜確定部件，用於將具有最大梯度的區域確定為虹膜中心，並確定虹膜半徑。
42.如權利要求36所述的設備，其中所述正面圖像標準化部件通過旋轉所述正面圖像來標準化所述正面圖像，使得虹膜中心之間的線變成水平，並且將所述正面圖像縮放為預定解析度。
43.如權利要求35所述的設備，其中所述正面特徵檢測部件還包括眼睛輪廓檢測部件、眉毛檢測部件、嘴唇輪廓檢測部件、鼻子輪廓檢測部件以及下巴及臉頰輪廓檢測部件中的至少一個。
44.如權利要求43所述的設備，其中所述眼睛輪廓檢測部件利用上下眼睛輪廓的兩個多項式來近似表示眼睛輪廓，所述近似表示眼睛輪廓包括根據虹膜的中心和半徑預先確定搜索區域；在搜索區域的紅色通道圖像中選擇每個水平掃描線上局部最小值或亮度突然地改變的像素，作為左右眼瞼點；在剩餘眼瞼點中選擇最左邊和最右邊的點作為眼角；通過最小平方法、利用連接眼角的線上的點來估計上眼瞼；並且利用所選擇的眼角和虹膜的較低點來估計下眼瞼曲線。
45.如權利要求43所述的設備，其中所述眉毛檢測部件利用多項式、通過近似法檢測所述眉毛，其中所述多項式在自適應二元化之後、在眼睛邊框上方的預定區域中擬合暗像素。
46.如權利要求43所述的設備，其中所述嘴唇輪廓檢測部件檢測上下嘴唇，所述檢測上下嘴唇包括初始化嘴矩形；通過分析非膚色像素的一階矩和二階矩來精煉嘴矩形，以使其更小；生成嘴唇函數圖像，並且計算精煉的嘴矩形中每一像素屬於嘴唇或者皮膚的概率；通過測量具有較大嘴唇函數值的像素的二階中心矩、利用橢圓來初始化嘴唇輪廓；通過向內和向外的力動態地移動嘴唇輪廓；並且利用移動的輪廓點、通過近似法生成表示嘴唇輪廓的多項式。
47.如權利要求43所述的設備，其中所述鼻子輪廓檢測部件檢測鼻側，所述檢測鼻側包括在預定搜索區域的邊緣圖像上執行與具有預定形狀的模板的匹配；在檢測到的具有較大匹配值的候選者之中選擇滿足對稱要求的一對候選者，並且將所選的一對候選者確定為鼻翼位置；並且利用與檢測到的鼻翼模板擬合的多項式、以及採用預定係數內插在鼻翼和眼角之間的三個點來表示每個鼻側。
48.如權利要求43所述的設備，其中所述下巴及臉頰輪廓檢測部件包括梯度計算部件，用於計算紅色通道圖像上的梯度向量場；下巴和臉頰輪廓擴展部件，用於在由交叉在下巴點的兩個多項式曲線定義的臉部區域中定位初始輪廓模板，並且向外擴展下巴和臉頰輪廓，直到所述下巴和臉頰輪廓沿曲線切線達到強邊緣為止；以及下巴和臉頰輪廓確定部件，用於當下巴和臉頰輪廓沿曲線切線已經達到強邊緣時，停止擴展所述下巴和臉頰輪廓。
49.如權利要求35所述的設備，其中所述側面特徵檢測部件包括側面區域檢測部件、側面曲線檢測部件、基準點檢測部件以及耳朵輪廓檢測部件。
50.如權利要求49所述的設備，其中所述側面區域檢測部件通過將像素分類為膚色像素以及非膚色像素、並且選擇最大膚色連接部分作為側面區域，來檢測側面區域。
51.如權利要求49所述的設備，其中所述側面曲線檢測部件檢測根據正面圖像定義的用戶規定邊框中的臉部區域的最右邊邊界作為側面曲線。
52.如權利要求49所述的設備，其中所述耳朵輪廓檢測部件通過將曲線模板與側面圖像匹配而初始化耳朵位置來檢測耳朵輪廓；並且通過利用輪廓跟蹤算法變形初始化的耳朵模板來得到更加精確的耳朵邊界。
53.如權利要求33所述的設備，其中所述深度信息生成單元包括特徵點檢測部件，用於確定正面圖像中的特徵點，並在接近正面圖像中找到相應的特徵點；差異獲得部件，用於利用匹配對應關係、通過數據內插獲得密度差異映射；以及差異到深度信息轉換部件，用於將差異映射轉換為深度信息。
54.如權利要求32所述的設備，其中所述通用模型擬合單元包括二維點轉換部件，用於對應於在三維通用模型中定義的特徵，利用三維通用模型的臉部特徵曲線上的特徵點的長度比、將在圖像中檢測到特徵曲線轉換為二維點；以及網格模型擬合部件，用於基於圖像特徵和三維通用模型的特徵點之間的對應關係，通過基於3步基於半徑的函數(RBF)變形來擬合三維通用模型。
55.如權利要求32所述的設備，其中所述紋理生成單元包括輸入圖像補償部件，用於通過對輸入圖像執行色彩校正來補償不同的照明條件或者照相機之間的色彩平衡變化；正面/側面紋理生成部件，用於基於三維模型頂點和投射的二維位置之間的對應關係、通過將正面和側面圖像映射到公共UV平面上來生成正面和側面紋理；以及組構完成部件，用於利用多解析度樣條算法來組合正面和側面紋理以及人造紋理，以便完成組構。
全文摘要
提供了一種用於基於圖像的三維超現實主義頭部建模的設備和方法。用於創建三維超現實主義頭部模型的方法包括在輸入的正面和側面圖像中檢測正面和側面特徵；通過使用檢測到的臉部特徵擬合三維通用模型來生成三維頭部模型；根據輸入的正面和側面圖像生成逼真的紋理；以及將所述紋理映射到三維頭部模型上。在所述設備和方法中，利用諸如數字相機的相對廉價的設備獲得的數據可以自動方式進行處理，並且甚至可以從不完善的輸入數據獲得令人滿意的效果。換言之，可以自動的方式提取臉部特徵，並且使用穩定的「人類品質」臉部分析算法。
文檔編號G06T15/00GK1607551SQ20041009819
公開日2005年4月20日 申請日期2004年8月30日 優先權日2003年8月29日
發明者樸仁圭, 曹熺根, 弗拉迪米爾·維茲尼韋茨, 張輝 申請人:三星電子株式會社