參數化3d臉部生成的製作方法
2023-10-17 07:14:34
參數化3d臉部生成的製作方法
【專利摘要】描述系統、設備和方法，其包括：接收臉部控制參數的語義描述和相關聯的測量準則；獲得主成分分析（PCA）係數；響應PCA係數，生成3D臉部；基於測量準則，確定每個3D臉部的測量值；以及基於測量值，確定臉部控制參數的回歸參數。
【專利說明】參數化3D臉部生成
【背景技術】
[0001]人臉特徵的3D建模普遍用於創建人的真實感3D表示。例如，諸如虛擬化身(avatar)的虛擬人表示常常利用這樣的模型。生成的臉部表示的一些常規應用允許用戶通過直接修改基本的3D模型的各種要素來自定義臉部特徵以反映不同的臉部類型、種族等。例如，常規的解決方案可以允許修改臉部形狀、紋理、性別、年齡、種族等。但是，現有的方法不允許以允許發展全局3D臉部模型的方式操縱語義臉部形狀或其部分。
【專利附圖】
【附圖說明】
[0002]附圖中以舉例的方式而非限制的方式示出本文所描述的題材。為了簡單、清楚地說明，圖中示出的元件不一定按比例繪製。例如，為清楚起見，一些元件的尺寸可能相對於其它元件有所誇大。此外，在認為合適時，附圖中重複使用附圖標記來指示對應或類似的元件。圖中:
圖1是實例系統的說明性圖；
圖2示出實例過程；
圖3示出實例過程；
圖4示出實例平均臉部；
圖5示出實例過程；
圖6示出實例用戶界面；
圖7、8、9和10示出實例臉部控制參數方案；以及 圖11是全都按照本公開的至少一些實現布置的實例系統的說明性圖。
【具體實施方式】
[0003]現在參考附圖描述一個或多個實施例或實現。儘管論述了特定的配置和布置，但是應了解，這樣做只是為了說明的目的。本領域技術人員將意識到，在不偏離本描述的精神和範圍的情況下，可以採用其它配置和布置。本領域技術人員將明白，也可以在不同於本文所描述的各種其它系統和應用中採用本文所描述的技術和/或布置。
[0004]儘管以下描述例如闡述了可在諸如晶片上系統(SoC )架構的架構中證明的各種實現，但是本文描述的技術和/或布置的實現不限於特定的架構和/或計算系統，並且出於類似的目的，可以由任何架構和/或計算系統來實現。例如，採用例如多個集成電路(IC)晶片和/或封裝的各種架構、和/或諸如機頂盒、智慧型電話等的各種計算設備和/或消費型電子(CE)設備均可實現本文所描述的技術和/或布置。此外，儘管以下描述可能會闡述諸如系統組件的邏輯實現、類型和相互關係、邏輯分區/集成選擇等的眾多具體細節，但是在沒有這些具體細節的情況下也可以實踐要求權利的主題。例如，在其它情況下，可能沒有詳細示出諸如控制結構和全軟體指令序列的一些題材，以免使本文所公開的題材晦澀難懂。
[0005]本文所公開的題材可以用硬體、固件、軟體或其任意組合來實現。本文所公開的題材也可以作為存儲在機器可讀介質上的指令來實現，這些指令可以由一個或多個處理器讀取並執行。機器可讀介質可以包括用於存儲或傳送可由機器(例如，計算設備)讀取的形式的信息的任何介質和/或機構。例如，機器可讀介質可以包括:只讀存儲器(ROM);隨機存取存儲器(RAM);磁碟存儲介質；光存儲介質；閃速存儲器設備；電、光、聲或其它形式的傳播信號(例如，載波、紅外信號、數位訊號等)；以及其它。
[0006]說明書中提到「一個實現」、「實現」、「實例實現」等時表示所描述的實現可以包括特定特徵、結構或特性，但不是每個實現都一定要包含該特定特徵、結構或特性。而且，這些短語不一定指相同的實現。此外，當結合一個實現描述特定特徵、結構或特性時，認為本領域技術人員知道結合其它實現來實施該特徵、結構或特性，而不管本文是否進行了明確描述。
[0007]圖1示出根據本公開的實例系統100。在各種實現中，系統100可以包括3D形變臉部模型102，它能夠響應存儲在模型3D臉部的資料庫104中的模型3D臉部並響應由控制模塊106所提供的控制數據來進行參數化3D臉部生成。根據本公開，存儲在資料庫104中的每個模型臉部可以對應於一個或多個主成分分析(PCA)係數形式的臉部形狀和/或紋理數據。形變臉部模型102可以通過將由資料庫104提供的形狀和/或紋理數據變換為向量空間表示而得到。
[0008]如將在下文更詳細地解釋的，模型102可以響應資料庫104中的臉部而獲悉形變模型臉部，其中可以將形變臉部表示為平均臉部與PCA本徵值和本徵向量的線性組合。如還將在下文更詳細地解釋的，控制模塊106可以包括用戶界面(UI)108，它提供可以配置成控制模型102的輸出的一個或多個臉部特徵控制項(例如，滑塊)。
[0009]在各種實現中，系統100的模型102和控制模塊106可以由在計算系統的一個或多個處理器核上執行的一個或多個軟體應用來提供，而與計算系統相關聯的一個或多個存儲設備(例如，物理存儲器設備、盤驅動器等)可以提供資料庫104。在其它實現中，系統100的各種組件可以在地理上分散，並利用各`種有線或無線聯網技術中的任何技術在通信上耦合在一起，從而使得資料庫104和/或控制模塊106可以在物理上遠離模型102。例如，遠離模型102的一個或多個伺服器可以提供`資料庫104，並且可以通過例如網際網路將臉部數據傳送到模型102。類似地，控制模塊106的至少部分(例如，UI 108)可以由計算系統的網絡瀏覽器中的應用來提供，而模型102可以寄宿在遠離該計算系統並經由網際網路耦合到模塊106的一個或多個伺服器。
[0010]圖2示出根據本公開的各種實現用於生成模型臉部的實例過程200的流程圖。在各種實現中，過程200可以用於生成即將存儲在諸如系統100的資料庫104的資料庫中的模型臉部。過程200可以包括如圖2的方框202、204、206、208和210中的一個或多個方框所示的一個或多個操作、功能或動作。以非限制性實例的方式，本文將參考圖1的實例系統來描述過程200。過程200可以在方框202開始。
[0011]在方框202，可以接收3D臉部圖像。例如，方框202可以涉及接收採用該圖像的每個點或頂點的形狀數據(例如，就笛卡爾坐標來說的X、1、Z)和紋理數據(例如，8位深度的紅色、綠色和藍色)來指定臉部的數據。例如，在方框202接收的3D臉部圖像可以利用諸如雷射掃描等已知技術來生成，並且可以包括數千個頂點。在各種實現中，在方框202接收的臉部圖像的形狀和紋理可以分別用列向量S=U1, Y1, Z1, X2, y2, z2,…，xn, yn, Zjt和T= (R1, G1, B1, R2, G2, B2,…，Rn, Gn, Zjt (其中，η是臉部的頂點_來表示。[0012]在方框204，可以檢測或標識3D圖像的預定義的臉部標誌點(landmark)。例如，在各種實現中，在方框204，可以對3D圖像運用已知技術以便提取標誌點(例如，參見Wuand Trivedi, 「Robust facial landmark detection for intelligent vehicle system(智能車輛系統的穩健的臉部標誌點檢測)」，International Workshop on Analysis andModeling of Faces and Gestures, 2005年10月)。在各種實現中，方框204可以涉及利用已知技術來標識預定義的標誌點及其相關聯的形狀和紋理向量(例如，參見Zhang et al.，「Robust Face Alignment Based On Hierarchical Classifier Network (基於分層的分類器網絡的穩健的臉部對齊)」，Proc.ECCV Workshop Human-Computer Interaction,2006，下文稱為「Zhang」)。例如，「Zhang」利用八十八(88)個預定義的標誌點，包括例如利用八個預定義標誌點來標識眼睛。
[0013]在方框206，可以將臉部圖像(如在方框204所標識的標誌點所指定)對齊，並且在方框208，可以從對齊的臉部圖像形成網格。在各種實現中，方框206和208可以涉及運用已知的3D對齊和網格化技術(例如，參見Kakadiaris et al., 「3D face recognition(3D臉部識別)」，Proc.British Machine Vision Conf., pages 200-208 (2006))。在各種實現中，方框206和208可以涉及將臉部圖像的標誌點對齊到特定的參考臉部網格，以使得普通的坐標系統可以允許採用圖像的標誌點相對於參考臉部的形狀和紋理差異來指定由過程200所生成的任意數量的模型臉部。
[0014]過程200可以在方框210結束，在方框210，可以生成對齊的臉部圖像標誌點的PCA表示。在各種實現中，方框210可以涉及利用已知技術(例如，參見M.A.Turk and A.P.Pentland, 「Face Recognition Using Eigenfaces (使用本徵臉部的臉部識別)」，IEEEConf.0n Computer Vision and Pattern Recognition, pp.586-591，1991)來將臉部圖像表示為:
X =(I)
其中，X0對應於平均列向量，Pi是第i個PCA本徵向量，並且\ i是對應的第i個本徵向量值或係數。
[0015]圖3示出根據本公開的各種實現用於指定臉部特徵參數的實例過程300的流程圖。在各種實現中，過程300可用於指定與系統100的控制模塊106的臉部特徵控制項相關聯的臉部特徵參數。過程300可以包括如圖3的方框302、304、306、308、310、312、314、316、318和320中的一個或多個方框所示的一個或多個操作、功能或動作。以非限制性實例的方式，本文將參考圖1的實例系統來描述過程300。過程300可以在方框302開始。
[0016]在方框302，臉部控制參數的語義描述和相關聯的測量準則。在各種實現中，在方框302接收的語義描述可以對應於臉部的任何方面、部分或特徵，例如:年齡(例如，範圍從年輕到年老)，性別(例如，範圍從女性到男性)，形狀(例如，橢圓形、長形、心形、方形、圓形、三角形和菱形);種族(例如，東亞、亞洲次大陸、白種人等);表情(例如，生氣、高興、驚訝等)。在各種實現中，在方框302接收的對應的測量準則可以包括確定性的和/或離散的測量準貝U。例如，對於性別語義描述，測量準則可以是男性或女性。在各種實現中，在方框302接收的對應的測量準則可以包括可由特定關鍵點測量的數值和/或概率測量準則，例如臉部形狀、眼睛大小、鼻子高度等。[0017]接著，過程300可以繼續如循環303所表示的那樣在PCA空間中對實例臉部進行採樣，其中在方框304，可以將索引k設置為1，並且可以為循環303確定即將採樣的實例臉部的總數m。例如，可以確定，對於在方框302接收的臉部控制參數描述，可以對總共m=100個實例臉部進行採樣以便生成臉部控制參數的測量值。因此，在該實例中，如將在下文更加詳細地描述的，循環303可進行總共一百次以便生成一百個實例臉部以及臉部控制參數的對應數量的測量值。
[0018]在方框306，可以隨機獲得PCA係數，並且在方框308，利用這些PCA係數來生成實例3D臉部。接著，可以通過下式來表示在方框308生成的3D臉部:
【權利要求】
1.一種計算機實現的方法，包括: 接收臉部控制參數的語義描述和相關聯的測量準則； 獲得多個主成分分析(PCA)係數； 響應所述多個PCA係數，生成多個3D臉部； 響應所述測量準則，確定所述多個3D臉部中的每個臉部的測量值；以及 響應所述測量值，確定所述臉部控制參數的多個回歸參數。
2.如權利要求1所述的方法，其中獲得所述多個PCA係數包括從存儲器隨機獲得所述PCA係數。
3.如權利要求1所述的方法，其中所述語義描述包括對臉部形狀的語義描述。
4.如權利要求3所述的方法，其中所述臉部形狀包括橢圓形、長形、心形、方形、圓形、三角形或菱形之一。
5.如權利要求1所述的方法，還包括: 將所述多個回歸參數存儲在存儲器中。
6.如權利要求5所述的方法，其中所述多個回歸參數包括第一回歸參數，所述方法還包括: 從所述存儲器接收所述第一回歸參數； 接收所述臉部控制參數的值； 響應所述值確定第一 PCA係數，`其中所述多個PCA係數包括所述第一 PCA係數；以及 響應所述第一 PCA係數，生成3D臉部。
7.如權利要求6所述的方法，其中所述臉部控制參數的值包括響應對特徵控制項的操縱而生成的所述臉部控制參數的值。
8.如權利要求7所述的方法，其中所述特徵控制項包括滑塊。
9.如權利要求7所述的方法，其中所述特徵控制項包括多個臉部形狀控制項之一。
10.如權利要求9所述的方法，其中所述多個臉部形狀控制項包括對應於長形臉部形狀、橢圓形臉部形狀、心形臉部形狀、方形臉部形狀、圓形臉部形狀、三角形臉部形狀和菱形臉部形狀中的每個臉部形狀的單獨的特徵控制項。
11.一種計算機實現的方法，包括: 接收臉部控制參數的回歸參數； 接收所述臉部控制參數的值； 響應所述值，確定主成分分析(PCA)係數；以及 響應所述PCA係數，生成3D臉部。
12.如權利要求11所述的方法，其中所述臉部控制參數的值包括響應對特徵控制項的操縱而生成的所述臉部控制參數的值。
13.如權利要求12所述的方法，其中所述特徵控制包括滑塊。
14.如權利要求12所述的方法，其中所述特徵控制項包括多個臉部形狀控制項之一。
15.如權利要求14所述的方法，其中所述多個臉部形狀控制項包括對應於長形臉部形狀、橢圓形臉部形狀、心形臉部形狀、方形臉部形狀、圓形臉部形狀、三角形臉部形狀和菱形臉部形狀中的每個臉部形狀的單獨的特徵控制項。
16.—種系統,包括:處理器和耦合到所述處理器的存儲器，其中所述存儲器中的指令將所述處理器配置成: 接收臉部控制參數的回歸參數； 接收所述臉部控制參數的值； 響應所述值，確定主成分分析(PCA)係數；以及 響應所述PCA係數，生成3D臉部。
17.如權利要求16所述的系統，還包括用戶界面，其中所述用戶界面包括多個特徵控制項，並且其中所述存儲器中的所述指令將所述處理器配置成響應對所述多個特徵控制項中的第一特徵控制項的操縱而接收所述臉部控制參數的值。
18.如權利要求17所述的系統，其中所述多個特徵控制項包括多個滑塊控制項。
19.如權利要求17所述的系統，其中所述多個特徵控制項包括多個臉部形狀控制項。
20.如權利要求19所述的系統，其中所述多個臉部形狀控制項包括對應於長形臉部形狀、橢圓形臉部形狀、心形臉部形狀、方形臉部形狀、圓形臉部形狀、三角形臉部形狀和菱形臉部形狀中的每個臉部形狀的單獨的特徵控制項。
21.一種物品，包括其中存儲有指令的電腦程式產品，所述指令在執行時導致: 接收臉部控制參數的語義描述和相關聯的測量準則； 獲得多個主成分分析(PCA)係數； 響應所述多個PCA係數，生成多個3D臉部； 響應所述測量準則，確定所述多個3D臉部中的每個臉部的測量值；以及 響應所述測量值，確定所述臉部控制參數的多個回歸參數。
22.如權利要求21所述的物品，其中獲得所述多個PCA係數包括從存儲器隨機獲得所述PCA係數。
23.如權利要求21所述的物品，其中所述語義描述包括對臉部形狀的語義描述。
24.如權利要求23所述的物品，其中所述臉部形狀包括橢圓形、長形、心形、方形、圓形、三角形或菱形之一。
25.如權利要求21所述的物品，所述電腦程式產品中還存儲有指令，所述指令在執行時導致: 將所述多個回歸參數存儲在存儲器中。
26.如權利要求25所述的物品，其中所述多個回歸參數包括第一回歸參數，所述電腦程式產品中還存儲有指令，所述指令在執行時導致: 從所述存儲器接收所述第一回歸參數； 接收所述臉部控制參數的值； 響應所述值確定第一 PCA係數，其中所述多個PCA係數包括所述第一 PCA係數；以及 響應所述第一 PCA係數，生成3D臉部。
27.如權利要 求26所述的物品，其中所述臉部控制參數的值包括響應對特徵控制項的操縱而生成的所述臉部控制參數的值。
28.如權利要求27所述的物品，其中所述特徵控制項包括滑塊。
29.如權利要求27所述的物品，其中所述特徵控制項包括多個臉部形狀控制項之一。
30.如權利要求29所述的物品，其中所述多個臉部形狀控制項包括對應於長形臉部形狀、橢圓形臉部形狀、心形臉部形狀、方形臉部形狀、圓形臉部形狀、三角形臉部形狀和菱形臉部形狀中 的每個臉部形狀的單獨的特徵控制項。
【文檔編號】G06T17/00GK103765480SQ201180073150
【公開日】2014年4月30日 申請日期:2011年8月9日 優先權日:2011年8月9日
【發明者】X.童, W.胡, Y.杜, Y.張 申請人:英特爾公司