一種人臉視頻圖像的漫畫式動畫生成方法
2023-07-12 06:59:36 1
一種人臉視頻圖像的漫畫式動畫生成方法
【專利摘要】一種人臉視頻圖像的漫畫式動畫生成方法，讀入待處理人臉視頻並對其提取關鍵幀得到讀入關鍵幀圖像並對其進行插圖畫處理得到插圖畫圖像；讀入插圖畫圖像並對其進行人臉特徵定位，得到面部特徵點集合，並根據面部特徵點計算人臉面部各部位的比例，對人臉進行特徵發現；對插圖畫圖像進行整體變形得到圖像fti(x,y)；對圖像fti(x,y)進行局部誇張得到最終漫畫圖像；對S～逐幀進行處理得到具有漫畫效果的關鍵幀序列圖像；讀入關鍵幀序列D，在每兩個關鍵幀之間採用交叉分解法進行中間幀生成，即得。本發明採用整體和局部相結合的方法，使生成的漫畫具有喜感且不失原有的神韻，解決了現有漫畫風格不一致、面部位置比例失調的問題，使生成的插圖畫更加自然、富有藝術感。
【專利說明】—種人臉視頻圖像的漫畫式動畫生成方法
【技術領域】
[0001]本發明屬於數字圖像處理【技術領域】，涉及一種人臉視頻圖像的漫畫式動畫生成方法。
【背景技術】
[0002]目前人臉漫畫生成技術僅對人臉進行簡單的漫畫合成，但與藝術家手繪效果相t匕，對特定風格的人臉誇張與合成不太成熟，雖然提出了許多方法，但都有不盡人意的地方，大多數無法應用於實際需求以形成有特色的人臉漫畫動畫。
[0003]人臉漫畫繪製的關鍵技術可以概括為:肖像的自動生成和肖像的變形誇張。肖像自動生成大致可以分為基於圖像的人臉肖像繪製、基於人臉檢測的人臉肖像繪製兩大類，雖然可以生成特定風格的人臉圖像，但臉部仍有較大冗餘，立體感欠缺，具有一定的局限性，因此還不能生動的描繪人臉。肖像的變形誇張大致可以分為四類:基於人機互動的方法；基於樣本模板的方法；基於繪畫規則的方法；基於統計學習的方法。基於人機互動的方法對於缺乏經驗的普通用戶很難操作。基於樣本模板的方法只能代表平均水平，不能誇張的表現出人臉特徵。基於繪畫規則的方法和基於統計學習的方法工作量大耗時長。這些方法都能在一定的程度上生成具有漫畫效果的人臉圖像，但沒有考慮到人臉整體的比例關係，使得誇張失去了原有的神韻，藝術感欠缺，較難獲得滿意的處理結果。
【發明內容】
[0004]本發明的目的是提供一種人臉視頻圖像的漫畫式動畫生成方法，使生成的插圖畫更加自然、富有藝術感。
[0005]本發明所採用的技術方案是，一種人臉視頻圖像的漫畫式動畫生成方法，具體按照以下步驟實施:
[0006]步驟I,讀入待處理的人臉視頻S = (F1 (χ, y)，F2 (x, y)，…，Fn(x, y)},並對其提取關鍵幀得到歹={./;(.r,y), /；(.r,y),...,(x, j)}，其中η為人臉視頻幀序列的長度,m為提取的關鍵幀的個數；
[0007]步驟2，讀入關鍵幀圖像4(1，7)，並對其進行插圖畫處理得到插圖畫圖像f/ U，y)；
[0008]步驟3，讀入插圖畫圖像f/ (x, y)，並對其進行人臉特徵定位，得到面部特徵點集合P = (X1, Y1, X2, y2,…，xp, yp),並根據面部特徵點計算人臉面部各部位的比例,對人臉進行特徵發現；
[0009]步驟4，對插圖畫圖像f/ (x，y)進行整體變形，得到圖像fti(x，y)；
[0010]步驟5，對圖像fti(x，y)進行局部誇張，得到最終漫畫圖像fpi(x，y)；
[0011]步驟6，對及逐幀進行處理，得到具有漫畫效果的關鍵幀序列圖像:D ={fpi (χ, y)，fp2 (χ, y)，…，fpm (χ, y) I ；
[0012]步驟7，讀入關鍵幀序列D，在每兩個關鍵幀之間採用交叉分解法進行中間幀生成，即得到人臉視頻圖像的漫畫式動畫序列圖像。
[0013]本發明的特點還在於，
[0014]步驟I的具體方法為，設待處理的人臉視頻圖像序列為S= (F1 (x, y),F2(x, y),...，Fn(x，y)}，對S採用雙閾值算法進行關鍵幀提取，得到關鍵幀序列圖像
【權利要求】
1.一種人臉視頻圖像的漫畫式動畫生成方法，其特徵在於，具體按照以下步驟實施: 步驟1，讀入待處理的人臉視頻S = (F1 (X，y)，F2 (X，y)，…，Fn(x, y)},並對其提取關鍵幀得到5 =η為人臉視頻幀序列的長度，m為提取的關鍵幀的個數； 步驟2，讀入關鍵幀圖像4(1，7)，並對其進行插圖畫處理得到插圖畫圖像f/ (x, y)；步驟3，讀入插圖畫圖像f/ (x, y)，並對其進行人臉特徵定位，得到面部特徵點集合P=(X1, Yi, X2, y2,..., Xp, yp)，並根據面部特徵點計算人臉面部各部位的比例，對人臉進行特徵發現； 步驟4，對插圖畫圖像f/ (x, y)進行整體變形，得到圖像fti(x，y)； 步驟5，對圖像fti(x，y)進行局部誇張，得到最終漫畫圖像fpi(x，y)； 步驟6，對穿逐幀進行處理，得到具有漫畫效果的關鍵幀序列圖像為:D ={fPi (x，y)，fp2 (χ, y)，…，fpm (χ, y) I ； 步驟7，讀入關鍵幀序列D，在每兩個關鍵幀之間採用交叉分解法進行中間幀生成，即得到人臉視頻圖像的漫畫式動畫序列圖像。
2.根據權利要求1所述的人臉視頻圖像的漫畫式動畫生成方法，其特徵在於，步驟I的具體方法為，設待處理的人臉視頻圖像序列為S = (F1 (x, y),F2(x, y),...，Fn(x，y)}，對S採用雙閾值算法進行關鍵幀提取，得到關鍵幀序列圖像S = {/；(Λ% V),./；(X, V),...,./；?(.V, V)}。
3.根據權利要求1或2所述的人臉視頻圖像的漫畫式動畫生成方法，其特徵在於，步驟2的具體方法為， 步驟2.1，對圖像fi(x，y)進行USM銳化處理，按照式(I)求銳化後的圖像為t (x，y)；
IHx, V) =./； {X, V) * g(x, V) \t(^, v) = (1 + d)j\(χ,少』)-{d-1])h(x, v)^ ； 式⑴中g(x，y) = exp(-(x2+y2)/202)，σ為平滑尺度參數；d取4.0，是調整從fi(x，y)中減去的平滑圖片的量；n取0.3，是調整用經驗係數； 步驟2.2，遍歷銳化後的人臉圖像t(x，y)的每個像素，將128作為全局閾值，大於閾值的像素設置為255,在O和閾值之間的像素設置為該像素值的σ次方,等於O的像素值不變，。取值為1.21，得到插圖畫圖像f/ (x，y)。
4.根據權利要求3所述的人臉視頻圖像的漫畫式動畫生成方法，其特徵在於，步驟3的具體方法為: 步驟3.1，將步驟2中得到的f/ (x, y)，使用Adaboost算法進行人臉檢測，確定出人臉區域；然後使用基於主動形狀模型ASM的開源的人臉特徵部位檢測軟體STASM對人臉面部區域特徵點進行定位，得到面部特徵點集合P = (X1, Y1, x2,12,..., Xp, yp)，其中P =1，2，…，77; 步驟3.2，根據點集P計算人臉面部各部位的比例，包括人臉寬width = X12-Xtl，人臉長length = y6_y14，人眼寬eyew = χ3(ι-χ34,人嘴巴寬度mouthw = X65-X59,與嘴巴同一水平的臉部寬度facew = X9-X3,人臉長寬比kf = length/width,人眼寬度佔同一水平臉部寬度比值ke = eyew/width,嘴巴寬度佔同一水平臉部寬度的比值km = mouthw/facew,人臉三庭中的上庭長為 top = J22-Jli,中庭長為 middle = y55-y22，下庭長為 bottom = y6-y55 ； 步驟3.3，特徵發現:設標準人臉長寬比為5/4，並設df = kf-5/4，df為人臉長寬比與標準人臉長寬比的偏離度，如果df < 0.073，為寬臉；如果0.073 ^ df middle 且 top > bottom ;c、中庭長，即 middle > top 且middle > bottom ；d、下庭長，即 bottom > top 且 bottom > middle ； 設標準人眼寬佔同一水平臉部寬比值為3/10，並設de = ke-3/10, de為人眼寬佔同一水平臉部寬比值與標準值的偏離度，如果-0.5<de< -0.4，為小眼睛，否則為大眼睛； 設標準嘴巴寬度佔同一水平臉部寬比值為丨/^並設七二匕-丨/^七為嘴巴寬度佔同一水平臉部寬比值與標準值的偏離度，如果-0.07 < dm < -0.05，為小嘴巴，否則為大嘴巴。
5.根據權利要求4所述的人臉視頻圖像的漫畫式動畫生成方法，其特徵在於，步驟4的具體方法為: 根據不同的臉型及三庭情況，對插圖畫圖像f/ (χ, y)進行整體變換得到圖像fti (χ, y)，變換方法是使用雙線性插值和仿射變換，具體的變換情況如下: 步驟4.1，如果是寬臉，則對臉部進行整體壓縮，即保持圖像寬度不變，高為源圖像的0.618 倍； 步驟4.2，如果是長臉且是三庭等長的情況，則對臉部進行整體拉伸，保持圖像寬度不變，高為源圖像的1.618倍； 步驟4.3，如果是長臉且上庭長的情況，對圖像整體進行縱向梯形上底長拉伸，SP對圖像進行四點仿射變換，具體是將f/ (x, y)的四個頂點分別為(0，0)、(width, 0),(O, length)、(width, length)圖像變換到(O,0)、(width, 0)、(0.2Xwidth, length)、(0.8Xwidth, length)構成的梯形區域中，剩餘部分用白色填充； 步驟4.4，如果是長臉且中庭長的情況，對圖像整體進行申字拉伸，即上三分之一下底長拉伸，中三分之一均勻拉伸，下三分之一上底長拉伸，具體是:上三分之一下底長拉伸是將四個頂點分別為(0，0)、(width, 0)、i^-xlcngth、V3；{width,-xlength 構成的圖像區域變換到四點為(0.2 X width, 0)、(0.8 X width, 0)、V3 JO,χ length 1、{ width, length丨構成的區域；中三分之一均勻拉伸是將四個頂V^J V 3J(I^ ( IΛ ( 2λ ( 2A點分另|J 為 I length、 width, —xlength 、 Ql^xlength、 width, —length\ 3 )3 y V 3 J V 3 Jf I^ f I^構成的圖像區域變換到的四點為Oqx/ra挪 、u'idth.-xlength 、
VJ V 3J
構成的區域；下三分之一上底長拉伸是將四個頂點分別為
構成的圖像區域變換到的四點為
構成的區域； 步驟4.5，如果是長臉且下庭長的情況，則對圖像整體進行整體縱向梯形下底長拉伸，即對圖像進行四點仿射變換，具體是將f/ (x, y)的四個頂點分別為(0，0)、(width，O)、(0，length)、(width, length)變換到(0.2 X width, O) > (0.8 X width, O) > (0，length)、(width, length)構成的梯形區域中，剩餘部分用白色填充。
6.根據權利要求5所述的人臉視頻圖像的漫畫式動畫生成方法，其特徵在於，步驟5的具體方法為: 步驟5.1，根據步驟4中整體變換前後的四點對應坐標，計算出整體變換中所採用的仿
射變換用的變換矩陣
步驟5.2，從特徵點集合P中分別找出整體變換前的眼睛和嘴巴的上、下、左、右四點坐標構成的矩形區域； 步驟5.3，找出整體變形後的眼睛和嘴巴所在的矩形區域，具體為:對於寬臉情況，保持原眼睛和嘴巴矩形區域寬度不變，高變為原來的0.618倍；對於長臉且三庭等長的情況，保持原眼睛和嘴巴矩形區域寬度不變，高變為原來的1.618倍；對於梯形拉伸和申字拉伸情況，根據式(2)計算變換後的坐標:
式(2)中(x，y)為變換前的坐標，(X' ,Y')為變換後的坐標，求變換後的四個點的外接矩形，作為整體變形後的眼睛和嘴巴所在的矩形區域； 步驟5.4，得到了整體變換後的眼睛和嘴巴所在的矩形區域坐標，對眼睛和嘴巴所對應的矩形區域進行拉伸或壓縮，以實現這些區域的局部誇張變形；對於大眼睛或大嘴巴，保持矩形寬度不變，將矩形的長除以0.8 ;對於小眼睛或小嘴巴，保持矩形寬度不變，將矩形的長乘以0.8 ;實現了對眼睛和嘴巴這些局部區域的誇張變形，得到最終的漫畫圖像fpi (χ，y)。
7.根據權利要求1所述的人臉視頻圖像的漫畫式動畫生成方法，其特徵在於，步驟6的具體方法為對歹逐幀進行處理，即對於輸入的40^，7)，40^7)，"％乙0^7)逐一進行步驟2至步驟5的處理,分別得到對應的fpl(x, y), fp2 (x, y),…，fpm(x, y),即具有漫畫效果的關鍵巾貞序列為:D = {fpl (x, y), fp2 (x, y),...，fpm(x, y)}。
8.根據權利要求6所述的人臉視頻圖像的漫畫式動畫生成方法，其特徵在於，步驟7的具體方法為，讀入關鍵幀序列D，在每兩個關鍵幀採用交叉分解方法進行中間幀生成，計算公式如式(3):
Fpu(x, y) = (l-t)fpi (x, y) +tfp(i+1) (x, y) (3) 式⑶中Fpu(x，y)為在關鍵巾貞fpi(x, y)和關鍵巾貞fp(i+1) (x, y)之間生成的中間巾貞圖像，其中t的取值是從O到I。
【文檔編號】G06T13/40GK104200505SQ201410427423
【公開日】2014年12月10日 申請日期:2014年8月27日 優先權日:2014年8月27日
【發明者】張二虎, 劉夢琨 申請人:西安理工大學