人臉特徵添加方法、裝置及設備與流程

2023-05-23 07:00:11 1

本發明涉及人臉特徵添加技術領域，更具體地涉及一種人臉特徵添加方法、裝置及設備。

背景技術：

目前，一種人臉特徵添加方法是通過多張不同角度二維照片生成三維模型，然後在三維模型上添加特徵，諸如眼鏡、劉海、口罩等，最後再渲染得到新的二維圖像。另一種人臉特徵添加方法是通過貼圖註解在二維照片上貼上特徵素材，從而得到新的二維圖像。

然而，基於三維模型得到新的二維圖像的方法，超時較大，效率較低，而且需要利用同一個體的諸多不同角度照片來進行三維建模，這在實際應用中往往不能得到滿足。另一方面，二維貼圖的方法雖然簡便，但是得到的圖像與真實照片存在明顯差異。

因此，需要一種新的人臉特徵添加方法和裝置。

技術實現要素：

考慮到上述問題而提出了本發明。本發明提供了一種。

根據本發明一方面，提供了一種人臉特徵添加方法，包括：基於給定人臉圖像和在給定人臉圖像上要添加的特徵，生成待疊加圖像；以及將待疊加圖像與所述給定人臉圖像疊加，生成合成人臉圖像。

根據本發明實施例，所述人臉特徵添加方法還包括：利用人臉判定深度卷積網絡，基於所述合成人臉圖像，生成第一人臉滿足度評分；計算所述待疊加圖像的L1範數；以及根據所述第一人臉滿足度評分和所述待疊加圖像的L1範數，更新所述人臉特徵圖像提取網絡和所述合成特徵圖像生成網絡的係數。

根據本發明實施例，所述人臉特徵添加方法還包括：利用人臉判定深度卷積網絡，基於帶有所述要添加的特徵的真實圖像，生成第二人臉滿足度評分；以及根據所述第一人臉滿足度評分和所述第二人臉滿足度評分，更新所述人臉判定深度卷積網絡的係數。

根據本發明另一方面，提供了一種人臉特徵添加裝置，包括：待疊加圖像生成模塊，被配置為：基於給定人臉圖像和在給定人臉圖像上要添加的特徵，生成待疊加圖像；以及合成人臉圖像生成模塊，被配置為：將待疊加圖像與給定人臉圖像疊加，生成合成人臉圖像。

根據本發明實施例，所述人臉特徵添加裝置還包括：人臉判定模塊，被配置為：利用人臉判定深度卷積網絡，基於所述合成人臉圖像，生成第一人臉滿足度評分；範數計算模塊，被配置為：計算所述待疊加圖像的L1範數；以及第一參數調整模塊，被配置為：基於所述第一人臉滿足度評分和所述待疊加圖像的L1範數，更新所述人臉特徵圖像提取網絡和所述合成特徵圖像生成網絡的係數。

根據本發明實施例，所述人臉判定模塊還被配置為：利用人臉判定深度卷積網絡，基於帶有所述要添加的特徵的真實圖像，生成第二人臉滿足度評分。所述人臉特徵添加裝置還包括：第二參數調整模塊，被配置為：基於所述第一人臉滿足度評分和所述第二人臉滿足度評分，更新所述人臉判定深度卷積網絡的係數。

根據本發明又一方面，提供了一種人臉特徵添加設備，包括：一個或多個處理器；一個或多個存儲器；其中存儲了程序指令，在所述處理器執行所述程序指令時：基於給定人臉圖像和在給定人臉圖像上要添加的特徵，生成待疊加圖像；以及將待疊加圖像與給定人臉圖像疊加，生成合成人臉圖像。

根據本發明實施例的人臉特徵添加方法及裝置，通過基於給定人臉圖像和在給定人臉圖像上要添加的特徵生成待疊加圖像並將待疊加圖像與給定人臉圖像疊加，可以得到在給定人臉圖像上包含要添加的特徵的合成人臉圖像。此外，通過利用人臉判定深度卷積網絡基於合成人臉圖像和帶有所述要添加的特徵的真實圖像生成第一和第二人臉滿足度評分，並且通過計算所述待疊加圖像的L1範數，可以構建人臉特徵圖像提取網絡和合成特徵圖像生成網絡的損失函數、以及人臉判定深度卷積網絡的損失函數，從而實現了人臉特徵圖像提取網絡、合成特徵圖像生成網絡、以及人臉判定深度卷積網絡的同步訓練。

附圖說明

通過結合附圖對本發明實施例進行更詳細的描述，本發明的上述以及其它目的、特徵和優勢將變得更加明顯。附圖用來提供對本發明實施例的進一步理解，並且構成說明書的一部分，與本發明實施例一起用於解釋本發明，並不構成對本發明的限制。在附圖中，相同的參考標號通常代表相同部件或步驟。

圖1是根據本發明實施例的人臉特徵添加方法的示意性流程圖；

圖2是根據本發明實施例的基於給定人臉圖像和要添加的特徵生成合成人臉圖像的示意性原理圖；

圖3是根據本發明實施例的基於給定人臉圖像和要添加的特徵生成合成人臉圖像的另一示意性原理圖；

圖4是根據本發明實施例的人臉特徵圖像提取網絡的示意性結構圖；

圖5A是根據本發明實施例的合成特徵圖像生成網絡的一個示意性結構圖；

圖5B是根據本發明實施例的合成特徵圖像生成網絡的另一示意性結構圖；

圖6A是根據本發明實施例的與圖5A對應的集成卷積神經網絡的示意性結構圖；

圖6B是根據本發明實施例的與圖5B對應的集成卷積神經網絡的一個示意性結構圖；

圖6C是根據本發明實施例的與圖5B對應的集成卷積神經網絡的另一示意性結構圖；

圖7是根據本發明實施例的人臉特徵添加方法的進一步示意性流程圖；

圖8是根據本發明實施例的合成人臉圖像判定及網絡訓練方法的示意性原理圖；

圖9是根據本發明實施例的人臉判定深度卷積網絡的示意性結構圖；

圖10是根據本發明實施例的人臉特徵添加裝置的示意性框圖；

圖11是根據本發明實施例的待疊加圖像生成模塊的示意性框圖；以及

圖12是用於實現根據本發明實施例的人臉特徵添加及判定裝置的電子設備的示意性框圖。

具體實施方式

為了使得本發明的目的、技術方案和優點更為明顯，下面將參照附圖詳細描述根據本發明的示例實施例。顯然，所描述的實施例僅僅是本發明的一部分實施例，而不是本發明的全部實施例，應理解，本發明不受這裡描述的示例實施例的限制。基於本公開中描述的本發明實施例，本領域技術人員在沒有付出創造性勞動的情況下所得到的所有其它實施例都應落入本發明的保護範圍之內。

圖1是根據本發明實施例的人臉特徵添加方法100的示意性流程圖。

在步驟S110，基於給定人臉圖像和在給定人臉圖像上要添加的特徵，生成待疊加圖像。所述待疊加圖像是要與所述給定人臉圖像進行疊加的圖像，並且所述待疊加圖像的尺寸可以與所述給定人臉圖像的尺寸相同或不同。所述給定人臉圖像的通道數量與所述待疊加圖像的通道數量相同，例如均為R、G、B三通道。

在步驟S120，將待疊加圖像與給定人臉圖像疊加，生成合成人臉圖像。所述合成人臉圖像的通道數量與所述給定人臉圖像的通道數量相同，所述合成人臉圖像的尺寸與所述給定人臉圖像的尺寸相同或不同。

例如，所述待疊加圖像的尺寸可以與所述給定人臉圖像的尺寸相同，所述合成人臉圖像的尺寸與所述給定人臉圖像的尺寸相同，在此情況下，所述待疊加圖像中的像素與所述給定人臉圖像中的像素一一對應，並且通過將所述待疊加圖像與所述給定人臉圖像中的對應像素的像素值直接求和或者將對應像素的像素值進行加權求和，可以得到合成人臉圖像。

再例如，所述待疊加圖像的尺寸可以小於所述給定人臉圖像的尺寸，所述合成人臉圖像的尺寸與所述給定人臉圖像的尺寸相同，在此情況下，所述給定人臉圖像的部分圖像中的像素與所述待疊加圖像中的像素一一對應，通過將所述待疊加圖像與所述給定人臉圖像的部分圖像中的對應像素的像素值直接求和或者將對應像素的像素值進行加權求和，並且保持所述給定人臉圖像的其餘部分圖像的像素不變，可以得到合成人臉圖像。

圖2示出了根據本發明實施例的基於給定人臉圖像和要添加的特徵生成合成人臉圖像的示意性原理圖。

首先，根據在給定人臉圖像上要添加的特徵，從所述給定人臉圖像中裁剪出與所述要添加的特徵相關的部分圖像，所述部分圖像的通道數量與所述給定人臉圖像的通道數量相同，並且所述部分圖像的尺寸小於等於所述給定人臉圖像的尺寸。所述要添加的特徵包括N個特徵，每個特徵的取值都為在(－1，1)範圍內的實數或者為在(0，1)範圍內的實數，N為大於等於1的整數。例如，要添加的特徵可以包括但不限於是否戴眼鏡，是否有劉海，光照強度，臉部旋轉角度等等。

接下來，利用人臉特徵圖像提取網絡，基於裁剪出的所述部分圖像，提取出人臉特徵圖像，所述人臉特徵圖像的尺寸小於所述部分圖像的尺寸，並且所述人臉特徵圖像的通道數量大於所述部分圖像的通道數量。例如，所述人臉特徵圖像可以為M通道的4×4或8×8的小圖像。

然後，利用合成特徵圖像生成網絡，基於所述人臉特徵圖像和與所述要添加的特徵相對應的需求特徵圖像，生成所述待疊加圖像，其中所述需求特徵圖像的尺寸與所述人臉特徵圖像的尺寸相同，所述待疊加圖像的通道數量與所述給定人臉圖像的通道數量相同。例如，在所述要添加的特徵包括N個特徵的情況下，所述需求特徵圖像包括N個通道，並且所述N個通道的需求特徵圖像與所述N個要添加的特徵一一對應，例如，N個要添加的特徵中某一特徵的取值為a，則與其對應的需求特徵圖像的每個像素的取值均為a，並且該需求特徵圖像的尺寸與所述人臉特徵圖像的尺寸相同。

最後，將待疊加圖像與所述給定人臉圖像疊加，生成合成人臉圖像。所述合成人臉圖像的通道數量與所述給定人臉圖像的通道數量相同，所述合成人臉圖像的尺寸與所述給定人臉圖像的尺寸相同或不同。

可選地，可以對裁剪得到的部分圖像進行線性變換，以將所述部分圖像變換至第一預定尺寸的中間圖像，所述中間圖像的通道數量與所述部分圖像的通道數量相同。例如，所述第一預定尺寸可以為128×128，或256×256，所述中間圖像的通道數量可以為3，例如R、G、B三個通道。在此情況下，利用人臉特徵圖像提取網絡，基於所述第一預定尺寸的中間圖像，提取出第二預定尺寸的人臉特徵圖像，所述第二預定尺寸小於所述第一預定尺寸，並且所述人臉特徵圖像的通道數量大於所述中間圖像的通道數量。例如，所述第二預定尺寸可以為4×4或8×8，並且所述人臉特徵圖像的通道數量可以為128等。

相應地，所述合成特徵圖像生成網絡生成第三預定尺寸的合成特徵圖像，所述合成特徵圖像的通道數量與所述給定人臉圖像的通道數量相同，並且所述第三預定尺寸大於所述第二預定尺寸並且可以與所述第一預定尺寸相同或不同。可選地，可以對所述第三預定尺寸的合成特徵圖像進行與裁剪處理之後的線性變換相對應的逆線性變換，以生成部分待疊加圖像，所述待疊加圖像的通道數量與所述合成特徵圖像的通道數量相同，並且所述部分待疊加圖像的尺寸與裁剪出的所述部分圖像的尺寸相同。進一步，可選地，可以對所述部分待疊加圖像進行與所述裁剪操作相對應的填充操作，從而生成待疊加圖像，所述待疊加圖像的尺寸與所述給定人臉圖像的尺寸相同。

圖3示出了根據本發明實施例的包括上述裁剪、線性變換和填充操作的人臉特徵添加方法的示意性原理圖。

根據本發明實施例，可以對所述第三預定尺寸的合成特徵圖像進行線性變換，以生成所述部分待疊加圖像，其中，所述部分待疊加圖像的尺寸可以與所述裁剪出的所述部分圖像相同，所述部分待疊加圖像的通道數量與所述給定人臉圖像的通道數量相同，並且所述部分待疊加圖像的任一通道唯一地與所述給定人臉圖像的一個通道相對應。

可選地，可以將所述部分待疊加圖像用作待疊加圖像。在此情況下，可以與對所述給定人臉圖像進行的裁剪相對應地，將待疊加圖像與所述給定人臉圖像中對應的通道在裁剪位置處逐像素地疊加，或者將待疊加圖像與所述給定人臉圖像中對應的通道在裁剪位置處逐像素地進行加權疊加，以生成合成人臉圖像，所述合成人臉圖像的通道數量與所述給定人臉圖像的通道數量相同。

可選地，根據本發明實施例，進一步地，可以與對所述給定人臉圖像進行的裁剪相對應地，對所述部分待疊加圖像進行圖像填充，以生成所述待疊加圖像，其中，所述待疊加圖像的尺寸與所述給定人臉圖像的尺寸相同，所述待疊加圖像的通道數量與所述給定人臉圖像的通道數量相同，並且所述待疊加圖像的任一通道唯一地與所述給定人臉圖像的一個通道相對應。此外，將待疊加圖像與所述給定人臉圖像中對應的通道逐像素地疊加，或者將待疊加圖像與所述給定人臉圖像中對應的通道逐像素地進行加權疊加，以生成合成人臉圖像，所述合成人臉圖像的通道數量與所述給定人臉圖像的通道數量相同。

圖4示出了根據本發明實施例的人臉特徵圖像提取網絡的示意性結構圖。

如圖4所示，根據本發明實施例的人臉特徵圖像提取網絡包括：級聯的P層卷積神經網絡，其中P為大於等於2的整數。第p層卷積神經網絡的輸出圖像的尺寸小於其輸入圖像的尺寸，並且其輸出圖像的通道數量大於其輸入圖像的通道數量，其中p為大於等於1且小於等於P的整數。

例如，與圖2相對應地，利用所述P層卷積神經網絡中的第一層卷積神經網絡接收所述部分圖像，所述部分圖像例如為三個(通道)尺寸為128×128的圖像，例如R通道、G通道和B通道的尺寸為128×128的圖像，第一層卷積神經網絡輸出的中間圖像的通道數量大於所述部分圖像的通道數量並且尺寸小於所述部分圖像的尺寸，第P層卷積神經網絡輸出多個小圖像，例如128個尺寸為4×4或8×8的小圖像。

例如，與圖3相對應地，利用所述P層卷積神經網絡中的第一層卷積神經網絡接收所述第一預定尺寸的中間圖像，利用第P層卷積神經網絡輸出所述第二預定尺寸的人臉特徵圖像。例如，所述第一預定尺寸為128×128或256×256，所述第二預定尺寸為4×4或8×8，所述人臉特徵圖像的通道數量為128等。

圖5A和圖5B示出了根據本發明實施例的合成特徵圖像生成網絡的示意性結構圖。

如圖5A和圖5B所示，根據本發明實施例的合成特徵圖像生成網絡包括至少一層全連接神經網絡和K層集成卷積神經網絡，其中K為大於等於2的整數。所述集成卷積神經網絡的層數K由所述合成特徵圖像的尺寸決定，所述合成特徵圖像的尺寸越大，所述集成卷積神經網絡的層數K越多。例如，所述合成特徵圖像的尺寸為256×256，所需的集成卷積神經網絡的層數K為3層；所述合成特徵圖像的尺寸為128×128，所需的集成卷積神經網絡的層數K為2層。

如圖5A所示，利用所述至少一層全連接神經網絡接收M通道的人臉特徵圖像和N通道的需求特徵圖像，所述人臉特徵圖像的尺寸與所述需求特徵圖像的尺寸相同，所述至少一層全連接神經網絡基於所述M通道的人臉特徵圖像和N通道的需求特徵圖像生成初始合成圖像。然後，第一層卷積神經網絡接收所述至少一層全連接神經網絡輸出的初始合成圖像並生成第一層的合成圖像；第k層卷積神經網絡接收第k-1層卷積神經網絡輸出的第k-1層合成圖像並生成第k層合成圖像，其中k為大於等於2且小於等於K的整數，所述第k層合成圖像的尺寸大於第k-1層合成圖像的尺寸，並且所述第k層合成圖像的通道數量小於第k-1層合成圖像的通道數量；最後，利用第K層卷積神經網絡接收第K-1層卷積神經網絡輸出的第K-1層合成圖像並生成第K層合成圖像，並且該第K層合成圖像作為所述第三預定尺寸的合成特徵圖像。

如圖5B所示，利用所述至少一層全連接神經網絡接收M通道的人臉特徵圖像和N通道的需求特徵圖像，所述人臉特徵圖像的尺寸與所述需求特徵圖像的尺寸相同，所述至少一層全連接神經網絡基於所述M通道的人臉特徵圖像和N通道的需求特徵圖像生成初始合成圖像。然後，第一層集成卷積神經網絡不僅可以從所述至少一層全連接神經網絡接收所述初始合成圖像，而且還可以接收N通道的初始映射圖像，並且基於所述初始合成圖像和所述初始映射圖像生成第一層合成圖像，其中，所述N通道的初始映射圖像與所述N個要添加的特徵一一對應，例如，N個要添加的特徵中某一特徵的取值為a，則與其對應的初始映射圖像的每個像素的取值均為a，並且該初始映射圖像的尺寸與所述初始合成圖像的尺寸相同，下面，為了表述簡單和統一，將初始合成圖像稱為第0層合成圖像，並將初始映射圖像稱為第0層映射圖像。類似地，第k層集成卷積神經網絡不僅可以從第k-1層集成卷積神經網絡接收所述第k-1層合成圖像，而且還可以接收N通道的第k-1層映射圖像，並且基於所述第k-1層合成圖像和所述第k-1層映射圖像生成第k層合成圖像，其中，所述N通道的第k-1層映射圖像與所述N個要添加的特徵一一對應，所述第k-1層映射圖像的尺寸與第k-1層合成圖像的尺寸相同，所述第k層合成圖像的尺寸大於第k-1層合成圖像的尺寸，並且所述第k層合成圖像的通道數量小於第k-1層合成圖像的通道數量；最後，第K層卷積神經網絡接收第K-1層卷積神經網絡輸出的第K-1層合成圖像，而且還可以接收N通道的第K-1層映射圖像，並且基於所述第K-1層合成圖像和所述第K-1層映射圖像生成第K層合成圖像，並且該第K層合成圖像作為所述合成人臉圖像，其中，所述N通道的第K-1層映射圖像與所述N個要添加的特徵一一對應，所述第K-1層合成圖像的尺寸與第K-1層映射圖像的尺寸相同，所述第K層合成圖像的尺寸大於第K-1層合成圖像的尺寸，並且所述第K層合成圖像的通道數量小於第K-1層合成圖像的通道數量。

應了解，所述K層集成卷積神經網絡中的任一層(第k層，k為大於等於1且小於等於K的整數)的集成卷積神經網絡都可以僅基於其接收的合成圖像來生成該層的合成圖像，或者也可以基於其接收的第k-1層合成圖像和第k-1層映射圖像來生成該層的合成圖像。此外，應了解，第k-1層映射圖像包括N通道的第k-1層映射圖像，所述N通道的第k-1層映射圖像與所述N個要添加的特徵一一對應。

圖6A示出了根據本發明實施例的與圖5A對應的集成卷積神經網絡的示意性結構圖。

如圖6A所示，每一層集成卷積神經網絡包括放大網絡和J層卷積神經網絡，其中J為大於等於2的整數。下面，為描述方便，將圖6A所示的集成卷積神經網絡稱為第k層集成卷積神經網絡。

與圖5A所示的人臉生成深度卷積網絡相對應，圖6A所示的第k層集成卷積神經網絡接收第k-1層合成圖像，k為大於等於1且小於等於K的整數。

具體地，在k等於1的情況下，利用第一層集成卷積神經網絡的放大網絡接收所述全連接神經網絡的輸出圖像(初始合成圖像，即第0層合成圖像)；在k大於1的情況下，利用第k層集成卷積神經網絡的放大網絡接收第k-1層集成卷積神經網絡的輸出圖像(第k-1層合成圖像)。放大網絡將所接收的輸入圖像(第k-1層合成圖像)放大以生成放大圖像，然後第一層卷積神經網絡接收該放大圖像並生成第一層中間圖像，類似地，第j層卷積神經網絡從第j-1層卷積神經網絡接收第j-1層中間圖像並生成第j層中間圖像，其中，第j層中間圖像的尺寸與第j-1層中間圖像的尺寸相同，第j層中間圖像的通道數量可以大於、等於或小於第j-1層中間圖像的通道數量，其中，j為大於等於2且小於等於J的整數；最後第J層卷積神經網絡接收第J-1層中間圖像並生成第J層中間圖像，該第J層中間圖像作為該第k層集成卷積神經網絡輸出的第k層合成圖像。

例如，所述放大網絡將所接收的第k-1層合成圖像放大兩倍，即假設第k-1層合成圖像的尺寸為32×32，則所述放大網絡所生成的放大圖像的尺寸為64×64。應了解，所述放大網絡所生成的放大圖像的通道數量與所述第k-1層合成圖像的通道數量相同，並且所述第k層集成卷積神經網絡生成的第k層合成圖像的通道數量小於所述第k-1層合成圖像的通道數量。例如，所述第k層集成卷積神經網絡生成的第k層合成圖像的通道數量為所述第k-1層合成圖像的通道數量的1/2、1/3等。

圖6B示出了根據本發明實施例的與圖5B對應的集成卷積神經網絡的示意性結構圖。

如圖6B所示，每一層集成卷積神經網絡包括放大網絡和J層卷積神經網絡，其中J為大於等於2的整數。下面，為描述方便，仍將圖6B所示的集成卷積神經網絡稱為第k層集成卷積神經網絡。

與圖5B所示的人臉生成深度卷積網絡相對應，圖6B所示的第k層集成卷積神經網絡接收第k-1層合成圖像並且還接收第k-1層映射圖像，k為大於等於1且小於等於K的整數。

具體地，在k等於1的情況下，利用第一層集成卷積神經網絡的放大網絡接收所述全連接神經網絡的輸出圖像(初始合成圖像，即第0層合成圖像)和初始映射圖像(即第0層映射圖像)；在k大於1的情況下，利用第k層集成卷積神經網絡的放大網絡接收第k-1層集成卷積神經網絡的輸出圖像(第k-1層合成圖像)和第k-1層映射圖像。放大網絡接收第k-1層合成圖像和第k-1層映射圖像並將該第k-1層合成圖像和第k-1層映射圖像放大以生成放大圖像，然後第一層卷積神經網絡接收該放大圖像並生成第一層中間圖像，類似地，第j層卷積神經網絡從第j-1層卷積神經網絡接收第j-1層中間圖像並生成第j層中間圖像，第j層中間圖像的尺寸與第j-1層中間圖像的尺寸相同，並且第j層中間圖像的通道數量可以大於、等於或小於第j-1層中間圖像的通道數量，其中j為大於等於2且小於等於J的整數；最後第J層卷積神經網絡接收第J-1層中間圖像並生成第J層中間圖像，該第J層中間圖像作為該第k層集成卷積神經網絡輸出的第k層合成圖像。

圖6C示出了根據本發明實施例的與圖5B對應的集成卷積神經網絡的另一示意性結構圖。

與圖6B所示的將第k-1層映射圖像輸入至放大網絡不同，在圖6C中，第k-1層映射圖像被輸入至第一層卷積神經網絡。在此情況下，每個第k-1層映射圖像的尺寸與放大網絡輸出的放大圖像的尺寸相同。第一層卷積神經網絡接收該放大圖像和第k-1層映射圖像並生成第一層中間圖像，類似地，第j層卷積神經網絡接收第j-1層中間圖像並生成第j層中間圖像，最後第J層卷積神經網絡接收第J-1層中間圖像並生成第J層中間圖像，該第J層中間圖像作為該第k層集成卷積神經網絡輸出的第k層合成圖像。

可選地，除了第一層卷積神經網絡之外，第k-1層映射圖像還可以被輸入至J層卷積神經網絡中的任一層。應注意，無論第k-1層映射圖像被輸入至哪一層卷積神經網絡，輸入至該層的第k-1層映射圖像的尺寸都與輸入至該層的中間圖像的尺寸相同。

根據本發明實施例，在生成了所述合成人臉圖像之後，還進一步對所生成的合成人臉圖像進行評估，並且可選地根據評估結果來更新所述人臉特徵圖像提取網絡以及所述合成特徵圖像生成網絡的參數。

圖7示出了根據本發明實施例的人臉特徵添加方法的進一步示意性流程圖。

在步驟S710，基於給定人臉圖像和在給定人臉圖像上要添加的特徵，生成待疊加圖像。步驟S710的操作與步驟S110的操作相似，在此不再贅述。

在步驟S720，將待疊加圖像與給定人臉圖像疊加，生成合成人臉圖像。所述合成人臉圖像的通道數量與所述給定人臉圖像的通道數量相同，所述合成人臉圖像的尺寸與所述給定人臉圖像的尺寸相同或不同。步驟S720的操作與步驟S110的操作相似，在此不再贅述。

然後，在步驟S730，利用人臉判定深度卷積網絡，基於所述合成人臉圖像，生成人臉滿足度評分。所述人臉滿足度評分用於表示所述合成人臉圖像是否為人臉圖像，並且其取值範圍為0到1的實數。

在步驟S740，計算所述待疊加圖像的L1範數。例如，所述待疊加圖像的通道數量為3，對於每個通道而言，將該通道的待疊加圖像的全部像素值求和以得到該通道的待疊加圖像的像素值和，然後將各個通道的待疊加圖像的像素值和再求和，以得到所述待疊加圖像的L1範數。通過使用L1範數，可以使得所述生成的待疊加圖像中值為零的像素點儘量多，以保證經過疊加後照片中任務的身份信息不變。

在步驟S750，根據所述第一人臉滿足度評分和所述待疊加圖像的L1範數，更新所述人臉特徵圖像提取網絡和所述合成特徵圖像生成網絡的係數。

作為示例，可以首先利用第一線性組合函數，基於所述人臉滿足度評分和所述待疊加圖像的L1範數，計算第一組合評分。例如，所述第一線性組合函數可以為Sg1＝a1*Sf1+b1*L1，其中Sg1表示所述第一組合評分，Sf1表示所述人臉滿足度評分，L1表示所述待疊加圖像的L1範數，a1和b1表示加權係數。

然後，再根據所述第一組合評分，更新所述人臉特徵圖像提取網絡和所述合成特徵圖像生成網絡的係數。例如，可以利用梯度下降方法等更新各網絡的參數，例如可以利用反向傳導法則計算各參數的梯度。

此外，本發明實施例的人臉特徵添加方法還可以進一步利用人臉判定深度卷積網絡對帶有所述要添加的特徵的真實圖像進行評估，從而根據評估結果來更新所述人臉判定深度卷積網絡的參數。

在步驟S760，利用人臉判定深度卷積網絡，基於帶有所述要添加的特徵的真實圖像，生成第二人臉滿足度評分。

在步驟S770，根據所述第一人臉滿足度評分和所述第二人臉滿足度評分，更新所述人臉判定深度卷積網絡的係數。

作為示例，首先，可以利用第二線性組合函數，基於所述第一人臉滿足度評分和所述第二人臉滿足度評分，計算第二組合評分。例如，所述第二線性組合函數可以為Sg2＝a2*Sf1+b2*Sf2，其中Sg2表示所述第二組合評分，Sf1表示所述第一人臉滿足度評分，Sf2表示所述第二人臉滿足度評分，a2和b2表示加權係數。可選地，a2＝b2＝1。

然後，再根據所述第二組合評分，更新所述人臉判定深度卷積網絡的係數。例如，可以利用梯度下降方法等更新各網絡的參數，例如可以利用反向傳導法則計算各參數的梯度。

圖8示出了根據本發明實施例的合成人臉圖像判定及網絡訓練方法的示意性原理圖。

圖9示出了根據本發明實施例的人臉判定深度卷積網絡的示意性結構圖。

如圖9所示，所述人臉判定深度卷積網絡包括：L層卷積神經網絡和至少一層全連接神經網絡。利用第一層卷積神經網絡接收輸入圖像，所述至少一層全連接神經網絡接收第L層卷積神經網絡的輸出圖像並輸出所述人臉滿足度評分。

具體地，利用第一層卷積神經網絡接收所述合成人臉圖像，所述至少一層全連接神經網絡接收第L層卷積神經網絡的輸出圖像並輸出所述第一人臉滿足度評分；利用第一層卷積神經網絡接收所述帶有所述要添加的特徵的真實圖像，所述至少一層全連接神經網絡接收第L層卷積神經網絡的輸出圖像並輸出所述第二人臉滿足度評分。

此外，在本發明實施例的一個示例性實施例中，在上述人臉特徵圖像提取網絡、合成特徵圖像生成網絡、集成卷積神經網絡、人臉判定深度卷積網絡中，在各網絡中的最後一層卷積神經網絡上嵌套非線性函數層，並且除了各網絡中最後一層卷積神經網絡之外，在各網絡中的各層卷積網絡上都嵌套歸一化與非線性函數層。本領域技術人員可以採用現有技術中的相關方法來實現這樣的非線性函數層以及歸一化與非線性函數層，在此不再贅述，並且本發明不受具體的歸一化方法和非線性函數的限制。採用本示例性實現方式的實施例，相對其他實施例具有更好的技術效果，即合成的人臉更滿足具體需求。

圖10示出了根據本發明實施例的人臉特徵添加裝置的示意性框圖。

如圖10所示，所述人臉特徵添加裝置1000包括：待疊加圖像生成模塊1010以及合成人臉圖像生成模塊1020。

所述待疊加圖像生成模塊1010被配置為基於給定人臉圖像和在給定人臉圖像上要添加的特徵，生成待疊加圖像。

所述合成人臉圖像生成模塊1020被配置為將待疊加圖像與所述給定人臉圖像疊加，生成合成人臉圖像。

此外，所述人臉特徵添加裝置1000還可以包括：人臉判定模塊1030、範數計算模塊1040、第一參數調整模塊1050、以及第二參數調整模塊1060。

所述人臉判定模塊1030被配置為利用人臉判定深度卷積網絡，基於所述合成人臉特徵添加第一人臉滿足度評分，並且可選地還基於帶有所述要添加的特徵的真實圖像生成第二人臉滿足度評分。

所述範數計算模塊1040被配置為計算所述待疊加圖像的L1範數。

所述第一參數調整模塊1050被配置為基於所述第一人臉滿足度評分和所述待疊加圖像的L1範數，更新所述人臉特徵圖像提取網絡和所述合成特徵圖像生成網絡的係數。

所述第一參數調整模塊1050可以包括第一組合模塊和第一參數更新模塊。所述第一組合模塊被配置為利用第一線性組合函數，基於所述人臉滿足度評分和所述待疊加圖像的L1範數來計算第一組合評分，並且所述第一參數更新模塊被配置為根據所述第一組合評分，更新所述人臉特徵圖像提取網絡和所述合成特徵圖像生成網絡的係數。

所述第二參數調整模塊1060被配置為基於所述第一人臉滿足度評分和所述第二人臉滿足度評分，更新所述人臉判定深度卷積網絡的係數。

所述第二參數調整模塊1060可以包括第二組合模塊和第二參數更新模塊。所述第二組合模塊被配置為利用第二線性組合函數，基於所述第一人臉滿足度評分和所述第二人臉滿足度評分來計算第二組合評分。所述第二參數更新模塊被配置為根據所述第二組合評分，更新所述人臉判定深度卷積網絡的係數。

圖11示出了根據本發明實施例的待疊加圖像生成模塊的示意性框圖。

如圖11所示，所述待疊加圖像生成模塊1010包括：圖像裁剪模塊1011、特徵提取模塊1012以及待疊加圖像合成模塊1013。

所述圖像裁剪模塊1011被配置為根據在給定人臉圖像上要添加的特徵，從所述給定人臉圖像中裁剪出與所述要添加的特徵相關的部分圖像，所述部分圖像的通道數量與所述給定人臉圖像的通道數量相同。

所述特徵提取模塊1012被配置為利用人臉特徵圖像提取網絡，基於裁剪出的所述部分圖像，提取出人臉特徵圖像，所述人臉特徵圖像的尺寸小於所述部分圖像的尺寸，並且所述人臉特徵圖像的通道數量大於所述部分圖像的通道數量。

所述待疊加圖像合成模塊1013被配置為利用合成特徵圖像生成網絡，基於所述人臉特徵圖像和與所述要添加的特徵相對應的需求特徵圖像，生成所述待疊加圖像，所述待疊加圖像的通道數量與所述給定人臉圖像的通道數量相同。

可選地，所述特徵提取模塊1012可以包括第一線性變換子模塊和特徵圖像提取子模塊，並且所述待疊加圖像合成模塊1013可以包括特徵圖像合成子模塊和第二線性變換子模塊。

所述第一線性變換子模塊被配置為：對裁剪出的所述部分圖像進行線性變換，得到第一預定尺寸的中間圖像，所述中間圖像的通道數量與所述部分圖像的通道數量相同。

所述特徵圖像提取子模塊被配置為：利用人臉特徵圖像提取網絡，基於所述第一預定尺寸的中間圖像，提取出第二預定尺寸的人臉特徵圖像，所述第二預定尺寸小於所述第一預定尺寸，並且所述人臉特徵圖像的通道數量大於所述中間圖像的通道數量。

所述特徵圖像合成子模塊被配置為：利用合成特徵圖像生成網絡，基於所述人臉特徵圖像和所述需求特徵圖像，生成第三預定尺寸的合成特徵圖像，所述第三預定尺寸大於所述第二預定尺寸，並且所述第三預定尺寸與所述第一預定尺寸相同或不同。

所述第二線性變換子模塊被配置為：對所述第三預定尺寸的合成特徵圖像進行線性變換，以生成部分待疊加圖像，所述部分待疊加圖像的尺寸與裁剪出的所述部分圖像的尺寸相同，所述部分待疊加圖像的通道數量與所述給定人臉圖像的通道數量相同，並且所述部分待疊加圖像的任一通道唯一地與所述給定人臉圖像的一個通道相對應。

在此情況下，可以將所述部分待疊加圖像作為所述待疊加圖像，並且與對所述給定人臉圖像進行的裁剪相對應地，所述合成人臉圖像生成模塊將待疊加圖像與所述給定人臉圖像中對應的通道在裁剪位置處逐像素地疊加，或者將待疊加圖像與所述給定人臉圖像中對應的通道在裁剪位置處逐像素地進行加權疊加，以生成合成人臉圖像，所述合成人臉圖像的通道數量與所述給定人臉圖像的通道數量相同。

此外，可選地，所述待疊加圖像生成模塊1010還可以包括：圖像填充模塊1014。

所述圖像填充模塊1014被配置為：與對所述給定人臉圖像進行的裁剪相對應地，對所述部分待疊加圖像進行圖像填充，以生成所述待疊加圖像。所述待疊加圖像的尺寸與所述給定人臉圖像的尺寸相同，所述待疊加圖像的通道數量與所述給定人臉圖像的通道數量相同，並且所述待疊加圖像的任一通道唯一地與所述給定人臉圖像的一個通道相對應。

在此情況下，所述合成人臉圖像生成模塊將待疊加圖像與所述給定人臉圖像中對應的通道逐像素地疊加，或者將待疊加圖像與所述給定人臉圖像中對應的通道逐像素地進行加權疊加，以生成合成人臉圖像，所述合成人臉圖像的通道數量與所述給定人臉圖像的通道數量相同。

圖12示出了用於實現根據本發明實施例的人臉特徵添加及判定裝置的電子設備的示意性框圖。

所述電子設備包括：一個或多個處理器1210、存儲裝置1220、輸入裝置1230和輸出裝置1240，這些組件通過總線系統1280和/或其它形式的連接機構(未示出)互連。應當注意，圖12所示的電子設備的組件和結構只是示例性的，而非限制性的，根據需要，所述電子設備也可以具有其他組件和結構。

所述處理器1210可以是中央處理單元(CPU)或者具有數據處理能力和/或指令執行能力的其它形式的處理單元。

所述存儲裝置1220可以包括一個或多個電腦程式產品，所述電腦程式產品可以包括各種形式的計算機可讀存儲介質，例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機存取存儲器(RAM)和/或高速緩衝存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(ROM)、硬碟、快閃記憶體等。在所述計算機可讀存儲介質上可以存儲一個或多個電腦程式指令，處理器1210可以運行所述程序指令，以實現上文所述的本發明實施例中(由處理器實現)的功能以及/或者其它期望的功能。在所述計算機可讀存儲介質中還可以存儲各種應用程式和各種數據，例如給定人臉圖像、合成人臉圖像、需求特徵向量等以及所述應用程式使用和/或產生的各種數據等。

所述輸入裝置1230可以包括鍵盤等可供輸入給定人臉圖像或要添加的特徵的裝置。

所述輸出裝置1240可以包括顯示器以輸出合成人臉圖像和/或各種評分結果，並且還可以包括揚聲器等以輸出各種評分結果。

通過處理器1210執行存儲在存儲裝置1220中的電腦程式指令可以實現如上所述的人臉特徵添加方法及裝置、以及如上所述的人臉特徵添加及判定方法及裝置，並且具體地可以實現如上所述的人臉特徵圖像提取網絡、合成特徵圖像生成網絡以及人臉判定深度卷積網絡。

應了解，根據本發明實施例，通過利用合成特徵圖像生成網絡基於人臉特徵圖像和需求特徵圖像生成待疊加圖像，無需利用三維模型，可以快速地生成包含要添加的特徵的待疊加圖像，然後通過將待疊加圖像與給定人臉圖像疊加便可以得到在給定人臉圖像上包含要添加的特徵的合成人臉圖像。

此外，根據本發明實施例，在生成了合成人臉圖像之後，通過利用人臉判定深度卷積網絡判定所生成的合成人臉圖像是否是人臉並生成相應的第一人臉滿足度評分，並且通過計算所述待疊加圖像的L1範數，可以利用該人臉滿足度評分和L1範數的線性組合構建人臉特徵圖像提取網絡和合成特徵圖像生成網絡的損失函數，由此更新所述人臉特徵圖像提取網絡和合成特徵圖像生成網絡的參數。

此外，根據本發明實施例，在生成了合成人臉圖像之後，通過利用人臉判定深度卷積網絡判定帶有所述要添加的特徵的真實圖像的第二人臉滿足度評分，並且可以利用第一和第二人臉滿足度評分的線性組合構建人臉判定深度卷積網絡的損失函數，由此更新所述人臉判定深度卷積網絡的參數。

通過上述參數更新，可以將人臉特徵圖像提取網絡、合成特徵圖像生成網絡和人臉判定深度卷積網絡同步地訓練。

儘管這裡已經參考附圖描述了示例實施例，應理解上述示例實施例僅僅是示例性的，並且不意圖將本發明的範圍限制於此。本領域普通技術人員可以在其中進行各種改變和修改，而不偏離本發明的範圍和精神。所有這些改變和修改意在被包括在所附權利要求所要求的本發明的範圍之內。