一種基於視頻的人臉美麗評價方法

2023-06-03 11:38:06

專利名稱：：一種基於視頻的人臉美麗評價方法
技術領域：
：本發明涉及計算機圖像數據處理及模式識別技術，特別涉及一種計算機客觀評價人臉美麗程度的系統。
背景技術：
：評價一個人是否美麗，不可避免的要受到評判人主觀因素的影響，一般認為這是一個較抽象的任務。不同的民族有著自己評價的標準，以女人為例，歐洲以嘴大為美，但東方人卻認為嘴巴小巧才是美麗的。而同一個民族，在不同時期的審美標準也大相逕庭，漢朝的人喜歡像趙飛燕那樣的痩，到了唐朝卻喜歡楊玉環般的豐滿。即使是同一個民族，同一個時代，不同的個體對美麗的評價也是千差萬別，因此，對美麗的評價難以產生一個統一的標準。然而，人們對於美麗的欣賞還是有一定的共性的因素，一張美麗的人的臉上總是存在著某些特徵，這些特徵承載著"美麗密碼"。因此，美麗標準並非絕對抽象，隨著人們對於人體美學研究的深入，對於人臉的美麗度，已經產生了一些量化的成果。這些量化的標準使得利用計算機對人臉是否美麗作一個客觀的測評成為可能。然而，如何讓計算機客觀的評價一個人的美麗程度，目前這方面國內外相關的研究還比較少，有做過類似的研究也只是在基於靜態圖片上，基於視頻的動態人臉美麗評價系統目前在國內尚沒有先例。
發明內容本發明的目的在於克服現有技術的不足，提供一種基於視頻的人臉美麗評價方法，具體通過建立人臉美麗程度的客觀評價系統，該系統使得計算機通過視頻捕獲人臉圖像，並結合大量的人臉樣本，訓練出美麗分類的標準，從而實現實時的人臉美麗程度的評價。為了實現上述發明目的，採用的技術方案如下-一種基於視頻的人臉美麗評價方法，通過如下步驟實現(1)、視頻捕捉人臉信息；(2)、對視頻捕捉到的信息進行人臉檢測，採用基於類haar特徵的級聯分類器實現對人臉的有效檢測；(3)、在人臉檢測的基礎上，進行眼睛和嘴唇定位，包括採用Sobel邊緣檢測算子和區域生長的方法來檢測眼睛，以及利用人臉圖像中的紅色像素點的投影來確定嘴唇邊界；(4)、臉部輪廓提取，採用Snake模型進行輪廓的提取；(5)、將提取到的信息與人臉美麗標準庫進行比對，以確定人臉美麗評價結果。上述技術方案中，所述步驟步驟(3)對嘴唇的定位具體操作如下設一個閾值Thresh，以及一個用於表徵紅色比例的變量RedProp，RedProp=((R-G)+(R-B))/(G+B)，其中R、G和B分別為像素點的紅、綠和藍色分量值，當RedProp〉Thresh時判定該點為紅色像素點，並作標記；定義紅色像素點的垂直投影圖的縱坐標為圖像一列上所有被判斷為紅色的像素點個數之和，橫坐標為列號，縱坐標長度為N，橫坐標長度為M，它反映了圖像在水平方向上紅色像素點的變化，設紅色點的標記由函數I(x，y)表示，則紅色像素點垂直投影函數為formulaseeoriginaldocumentpage7紅色象素點的水平投影函數為formulaseeoriginaldocumentpage7得到投影函數後，通過查找函數波峰，再往波谷方向擴展的方法來得到嘴唇區域的坐標。所述步驟(3)對閾值Thresh大小的確定具體如下設人臉下半臉圖像的高度為Height寬度為Width,在每次垂直投影的計算後，都計算由垂直投影波峰MaxRow到MaxRow/10的寬度LipHeight，即由波峰向兩邊擴展，若LipHeight大於Height/2，則增大閾值，並重新計算投影行投影計算，直到取到合適的閾值，在使用合適的閾值進行計算後便可採用從波峰向兩側波谷擴展的辦法來獲取嘴唇區域的上、下兩個縱坐標及左、右兩個橫坐標o所述步驟(4)還包括對Snake模型進行改進以進行下巴輪廓提取，具體採用了分段拋物線的初始曲線進行逼近，通過修改能量函數，以及讓曲線在整幅圖像中進行遍歷伸縮，尋找到最匹配的曲線。所述步驟(5)的人臉美麗標準庫的制定如下採集多張標準的美麗臉部圖片，對每一幅照片的眉，目艮，鼻，嘴，耳特徵點進行採集，並計算得到一組用于衡量美麗程度的特徵值，即將每一幅圖片映射到特徵空間的一個點，再對這些特徵值數據進行整理分析，以機器學習算法進行分類，得出各個部位美麗的標準指標。本發明可運用到如下應用領域K輔助醫院進行美容整形，給出人臉各部分改進的最佳方案；2、給動畫、遊戲設計人員設計虛擬人提供參照；3、輔助進行選美賽事，使選美比賽多了一個客觀評價標準；除了上述的領域，還可以應用到醫學，娛樂，生活等各個方面。與現有技術相比，本發明具有如下的優點1、提出了人臉美麗度的量化方法，使得運用技術手段客觀地評價一個人的美麗程度成為可能；2、綜合視頻處理、圖像處理等技術手段穩定提取人臉的五官特徵，為相應的分類算法提供用於分類的幾何特徵；3、採用灰度熵用於度量人臉的皮膚粗糙度；4、採用改進的Snake模型提取人臉的輪廓；5、採用機器學習的方法，以一定規模的樣本為訓練集，基於上述皮膚信息和五官結構，臉形等結構信息，建立評判的標準。圖l為本發明的流程圖；圖2為本發明的類Haar特徵示意圖。具體實施方式下面結合附圖對本發明做進一步的說明。本發明的流程示意圖如附圖1所示，通過視頻捕捉人臉信息後，進行人臉檢測，再根據人臉檢測的數據進行眼睛定位、眉毛定位、嘴唇定位、臉部輪廓提取、皮膚粗糙度計算，然後將處理後的數據通過識別分類與評價與標準人像數據進行比對，得出人臉美麗評價結果。具體包括如下主要技術點1、視頻捕獲本發明的第一步是建立實時視頻捕獲系統。為提高視頻採集的速度，滿足實時的要求，本發明採用DirectShow技術進行視頻採集。MicrosoftDirectShow應用程式界面(API)是MicrosoftWindows平臺的一種媒體流體系。它提供高品質的媒體流捕捉和回放並支持寬鬆的格式變化，包括高級流格式(ASF)，MotionPictureExpertsGroup(MPEG)，Audio-VideoInterleaved(AVI),MPEG聲音層-3(MP3)和WAV文件。此外，它還支持使用Windows驅動模塊(WDM)或老的Windows視屏驅動捕捉。採用DirectShow技術後，視頻採集速度得到了提高，可以更好地滿足實時性要求。2、人臉檢測為實現有效的人臉檢測，本發明採用基於類haar特徵的級聯分類器的檢測方法。類Haar特徵是由Papageo巧iou等人在利用Haar小波變換從人臉中提取特徵時，提出的局部Haar特徵。類Haar特徵通常由2至4個矩形組成，分別檢測邊界、細線或對角線特徵，如附圖2所示。該算法的檢測效果很穩定，可以容忍人臉一定角度的傾斜以及複雜背影的幹擾。3、眼睛定位根據對圖像灰度的分析可知，眼睛區域的灰度和周圍像素的灰度有較大差異，因此在定位出人臉的基礎上將人臉分成四個區域，採用Sobd邊緣檢測算子和區域生長的方法來檢測眼睛，實驗效果比較理想，即使是戴著眼鏡也能很好地檢測到眼睛的位置。具體採用分層接近的方法，即在先定位出人臉的基礎上，再在人臉中可能出現眼睛的地方尋找眼睛的位置。先用參數可變形模板進行眼睛位置的粗匹配，匹配結果作為SnaJce模型的初值，再對眼睛位置進行精匹配，以達到精確匹配眼睛輪廓的目的。眼睛位置的粗匹配，首先，對可能包含眼睛的區域(人臉上2/3的區域)進行同態濾波，以最大限度減少光照對圖像輪廓的影響。接著用動態閾值進行二值化，閾值應儘量使虹膜部分標記為l，而眼球的其餘部分標記為O。接著根據人臉區域的位置和大小，確定圖像中包含第一隻眼睛的位置。這個位置為人臉區域的上2/3區域，左l/2區域，在這個區域裡面調用參數可變形模板進行眼睛位置的粗匹配，即讓模板遍歷每一個位置，計算模板和圖像在每個位置的相似程度，相似程度最大的模板的坐標即標記為眼睛的位置。標記出第一隻眼睛位置後，根據第一隻眼睛匹配的位置和角度，運用視角圖像組合的方法，確定另一隻眼睛的可能的位置，在這些可能的位置再進行匹配。眼睛位置的精匹配，上述眼睛位置粗匹配的結果可能跟實際眼睛輪廓還會存在一些誤差，為了更精準地匹配眼睛輪廓，將上述模板匹配的結果作為Snake模型的初值，運用Snake算法再進行精匹配。實驗結果表明，採用這種算法後可能更精準地匹配到眼睛輪廓，而且誤匹配率很低。4、眉毛定位在連續視頻抓幀的測試過程中，該算法的快速性得到了很好的體現，能夠達到實時提取嘴唇區域，並且識別正確率比經典算法有了很大提高。在定位出眼睛的區域後，在眼睛的上方採用區域生長的方法搜索眉毛區域，並定位出眉毛的幾個特徵點。5、嘴唇定位嘴唇區域的定位方面，為了將光線強度的影響也考慮進來，本發明設一閾值Thresh，再設一變量RedProp用於表徵紅色比例，RedProp=((R-G)+(R-B))/(G+B)，其中R、G和B分別為像素點的紅、綠和藍色分量值，當RedProp>Thresh，時則判定該點為紅色像素點，並作標記。然後利用圖像中的紅色像素點的投影來確定嘴唇邊界。定義紅色像素點的垂直投影圖的縱坐標為圖像一列上(長度為N)所有被判斷為紅色的像素點個數之和，橫坐標為列號(長度為M)，它反映了圖像在水平方向上紅色像素點的變化。設紅色點的標記由函數I(x,y)表示，則紅色像素點垂直投影函數為同理有紅色象素點的水平投影函數為-.在得到投影函數後，便可通過查找函數波峰，再往波谷方向擴展的方法來得到嘴唇區域的坐標。此算法中最重要的一步在於閾值的確定，本發明採取的方法是設人臉下半臉圖像的高度為Height寬度為Width,在每次垂直投影的計算後，都計算由垂直投影波峰MaxRow到MaxRow/10的寬度LipHeight(由波峰向兩邊擴展)，由於正常人的嘴唇高度不可能大於Height/2，因此若LipHeight大於Height/2，則增大閾值，並重新計算投影行投影計算，直到取到合適的閾值。在使用合適的閾值進行計算後便可採用從波峰向兩側波谷擴展的辦法來獲取嘴唇區域的上、下兩個縱坐標及左、右兩個橫坐標。6、臉部輪廓提取輪廓提取的方法很多，比如先通過邊緣檢測，二值化，再進行輪廓跟蹤等。但是很多方法受光照影響比較大，且人臉信息豐富，要準確提取各部位輪廓用傳統算法顯得十分困難。人臉下巴和脖子的對比度比較小，很多時候檢測不出邊緣，有效的輪廓跟蹤難以實現。本發明採用改進後的Snake模型來進行輪廓的提取。Snake模型又稱為主動輪廓模型，是一種能量函數最小化的變形輪廓線，簡單的來說，Snake是一條可變型的曲線，它的控制點在圖象力，自身剛性力和自身彈性力共同約束下移動，最終使得三力平衡。但是傳統的Snake模型存在一些缺點，如對初始曲線比較敏感，對假邊緣的抗幹擾能力不夠強，這些都最終影響了輪廓的準確提取。為實現有效的輪廓跟蹤，本發明對Snake模型進行了一些改進。對於下巴輪廓提取，採用了分段拋物線的初始曲線進行逼近。通過修改能量函數，以及讓曲線在整幅圖像中進行遍歷伸縮，尋找到最匹配的曲線。7、皮膚粗糙度的計算皮膚的粗糙度表徵為其圖像上紋理的複雜度，我們使用了計算圖像局部熵再求和的方法來計算皮膚的粗糙度。根據熵的計算公式其中代表皮膚象素點的灰度，屍(.)為皮膚象素點的灰度的分布概率；直接計算全局圖像灰度熵的方法只能體現出灰度分布的複雜性而無法體現出空間上的複雜性。因此我們對計算方法進行了改進。為了去除光照影響，我們先使用同態濾波器對圖像進行濾波。為了使統計結果能夠表徵圖像的空間複雜度，我們對圖像進行分塊，並分別計算每一塊的熵，最後將所有塊的熵值累加起來，作為描述粗糙度的統計量。由於粗糙的皮膚會在局部圖像上造成灰度級的複雜分布，故進行分塊統計後，粗糙皮膚的求和熵值會明顯高於光滑皮膚的熵。8、人臉美麗標準的制訂人臉主觀上美麗程度可通過一些科學的量化標準來衡量，如理想瓜子臉的長寬比為1.619:1，眼裂高寬比29%~42%等等。本發明搜集了三百多張標準的美女臉部圖片，每一幅均對眉，目艮，鼻，嘴，耳等21個特徵量進行採集，通過計算獲得一組用于衡量美麗程度的特徵值，即將每一幅圖片映射到特徵空間的一個點。接下來我們要做的就是對這些數據進行整理分析，以機器學習算法進行分類，以得出各個部位美麗的標準指標。21個特徵量如下表所示:tableseeoriginaldocumentpage13本發明可根據不同的審美標準，賦予上述21個特徵的具體取值範圍，並將檢測到的人臉相關信息與之比對，來進行美麗評價，從而可以適應不同審美觀的美麗評價。權利要求1、一種基於視頻的人臉美麗評價方法，其特徵在於通過如下步驟實現(1)、視頻捕捉人臉信息；(2)、對視頻捕捉到的信息進行人臉檢測，採用基於類haar特徵的級聯分類器實現對人臉的有效檢測；(3)、在人臉檢測的基礎上，進行眼睛和嘴唇定位，包括採用Sobel邊緣檢測算子和區域生長的方法來檢測眼睛，以及利用人臉圖像中的紅色像素點的投影來確定嘴唇邊界；(4)、臉部輪廓提取，採用Snake模型進行輪廓的提取；(5)、將提取到的信息與人臉美麗標準庫進行比對，以確定人臉美麗評價結果。2、根據權利要求1所述的基於視頻的人臉美麗評價方法，其特徵在於所述步驟(1)採用DirectShow技術進行視頻採集。3、根據權利要求1所述的基於視頻的人臉美麗評價方法，其特徵在於所述步驟步驟(3)對嘴唇的定位具體操作如下設一個閾值Thresh,以及一個用於表徵紅色比例的變量RedProp，RedProp=((R-G)+(R-B))/(G+B)，其中R、G和B分別為像素點的紅、綠和藍色分量值，當RedProp〉Thresh時判定該點為紅色像素點，並作標記；定義紅色像素點的垂直投影圖的縱坐標為圖像一列上所有被判斷為紅色的像素點個數之和，橫坐標為列號，縱坐標長度為N，橫坐標長度為M，它反映了圖像在水平方向上紅色像素點的變化，設紅色點的標記由函數I(x,y)表示，則紅色像素點垂直投影函數為formulaseeoriginaldocumentpage3紅色象素點的水平投影函數為似屍力)二》"，力得到投影函數後，通過査找函數波峰，再往波谷方向擴展的方法來得到嘴唇區域的坐標。4、根據權利要求3所述的基於視頻的人臉美麗評價方法，其特徵在於所述步驟(3)對閾值Thresh大小的確定具體如下設人臉下半臉圖像的高度為Height寬度為Wi她，在每次垂直投影的計算後，都計算由垂直投影波峰MaxRow到MaxRow/10的寬度LipHeight，即由波峰向兩邊擴展，若LipHeight大於Height/2，則增大閾值，並重新計算投影行投影計算，直到取到合適的閾值，在使用合適的閾值進行計算後便可採用從波峰向兩側波谷擴展的辦法來獲取嘴唇區域的上、下兩個縱坐標及左、右兩個橫坐標。5、根據權利要求1所述的基於視頻的人臉美麗評價方法，其特徵在於所述步驟(4)還包括對Snake模型進行改進以進行下巴輪廓提取，具體採用了分段拋物線的初始曲線進行逼近，通過修改能量函數，以及讓曲線在整幅圖像中進行遍歷伸縮，尋找到最匹配的曲線。6、根據權利要求1所述的基於視頻的人臉美麗評價方法，其特徵在於所述步驟(5)的人臉美麗標準庫的制定如下採集多張標準的美麗臉部圖片，對每一幅照片的眉，眼，鼻，嘴，耳特徵點進行採集，並計算得到一組用于衡量美麗程度的特徵值，即將每一幅圖片映射到特徵空間的一個點，再對這些特徵值數據進行整理分析，以機器學習算法進行分類，得出各個部位美麗的標準指標。7、根據權利要求6所述的基於視頻的人臉美麗評價方法，其特徵在於所述步驟(5)所述的衡量美麗程度的特徵值採用如下21個左眉的厚度與長度之比、右眉的厚度與長度之比、左眉頭與內眼角在X方向上的距離、右眉頭與內眼角在X方向上的距離、眉峰與眉梢之間距離與眉峰眉頭之間距離之比、眉厚度與眉峰下點到上眼瞼點之間距離之比、左眉長與眼瞼長度之比、右眉長與眼瞼長度之比、左眼瞼長與高之比、右眼瞼長與高之比、臉寬與臉長之比、兩內眼角距離與眼瞼長度之比、臉長與眼瞼長度之比、兩瞳孔與兩嘴角在X方向上之比、兩嘴角與鼻寬在X方向上長度之比、內眼角到鼻底在Y方向上距離廣底到下巴點在Y方向上的距離、內眼角到鼻底點在Y方向上距離廣寬、瞳孔間距離/瞳孔到鼻底在Y方向上距離、嘴角線上面頰寬度/嘴角線與下巴點在Y方向上的距離、張開的牙齒高度/眼瞼長度、嘴唇高度/嘴唇長度。8、根據權利要求1所述的基於視頻的人臉美麗評價方法，其特徵在於所述步驟(3)還包括眉毛定位操作，所述眉毛定位操作在定位出眼睛的區域後，在眼睛的上方採用區域生長的方法搜索眉毛區域，並定位出眉毛。9、根據權利要求1所述的基於視頻的人臉美麗評價方法，其特徵在於所述步驟(4)臉部輪廓提取後還進行皮膚粗糙度的計算操作，具體如下對圖像進行分塊，並分別計算每一塊的熵，最後將所有塊的熵值累加起來，作為描述粗糙度的統計量，熵的計算公式為H(。一i屍(^)log^("》，其中^代formulaseeoriginaldocumentpage4表皮膚象素點的灰度，屍(",)為皮膚象素點的灰度的分布概率。全文摘要本發明提供了一種基於視頻的人臉美麗評價方法，通過如下步驟實現(1)視頻捕捉人臉信息；(2)對視頻捕捉到的信息進行人臉檢測，採用基於類haar特徵的級聯分類器實現對人臉的有效檢測；(3)在人臉檢測的基礎上，進行眼睛和嘴唇定位，包括採用Sobel邊緣檢測算子和區域生長的方法來檢測眼睛，以及利用人臉圖像中的紅色像素點的投影來確定嘴唇邊界；(4)臉部輪廓提取，採用Snake模型進行輪廓的提取；(5)將提取到的信息與人臉美麗標準庫進行比對，以確定人臉美麗評價結果。本發明使得計算機通過視頻捕獲人臉圖像，並結合大量的人臉樣本，訓練出美麗分類的標準，從而實現實時的人臉美麗程度的評價。文檔編號A61B5/103GK101305913SQ20081002942公開日2008年11月19日申請日期2008年7月11日優先權日2008年7月11日發明者馮振華,李旭濤,金連文,陳伊力,陳澤濤,黃楚加申請人:華南理工大學