修圖怎麼把白髮p成黑髮（最強GAN修圖魔術師）

2023-05-08 07:52:56

【新智元導讀】作為一個設計師，是否整天因為繁瑣枯燥的修圖工作不勝其煩？現在，一款基於GAN的AI修圖大師可以將你從這類工作中解放出來。修輪廓、改表情、生發、加耳環、去眼鏡、補殘圖，你能想到的它都能一鍵搞定。

這可能是史上最牛的AI修圖大師。

在一張人臉圖片上畫上幾筆，比如說勾出一個眉毛的輪廓，它就能自動把草圖修正成真實的圖片，即使你毫無藝術細胞，也沒關係，只要能夠大致表明想修哪裡，剩下的活兒就都交給它好了。

這款工具由韓國電子與電信通訊研究所的Youngjoo Jo和Jongyoul Park開發，它比一般的臉部圖片編輯工具或應用程式更高級，可以改變髮型、把嚴肅臉改成笑臉，甚至可以加入原本沒有的配飾，比如耳環、耳釘等。還可以在一張被部分遮擋的面部圖像上生成完整的臉部圖像，還能把圖中的人戴的太陽鏡去掉等等。

改變臉部輪廓特徵和瞳孔顏色

生發（劃重點）、變笑臉、加頭飾，都不在話下

加個耳環、耳墜什麼的，只要劃出大致位置就行了

強大的自動補全功能

草繪秒變真人，畫風誇張也沒問題

這款「神器」的開發者之一Youngjoo Jo表示：我們認為這個程序可以讓設計師不用做那麼多枯燥的勞動，讓他們把更多的精力集中在創造性的工作上，不過這並不是說只有設計師才能使用這款工具，用戶不需要具備設計上的專業知識。

機器學習研究人員Alex Champandard表示，這款工具與過去基於GAN的面部圖片編輯程序相比實現了一次重大進步。

「當你面對這樣的技術創新時，不免會在激動之餘感到一絲害怕。」這種工具將不可避免地改變設計師的日常工作節奏和內容，但他並不認為這類工具會讓設計師面臨失業。

「現在的一個重要問題是，我們接下來要怎樣做，才能讓這一工具更好地服務於那些工作內容可能出現重大改變的人們？如何讓這款工具成為這些人的好幫手，而不是威脅？」

要達到這個神奇的效果，離不開SC-FEGAN。

SC-FEGAN是一種基於神經網絡的人臉圖像編輯系統，並提供了實現批量輸入數據的方法。該網絡可以端到端地進行訓練，並生成具有逼真紋理細節的高質量合成圖像。

該研究成果由韓國團隊發表於arXiv：

論文地址：

https://arxiv.org/pdf/1902.06838.pdf

訓練數據

恰當的訓練數據有助於提高網絡訓練性能。

在訓練本模型時，作者在幾個預處理步驟之後使用CelebA-HQ數據集：

為了更好的表達人臉圖像中眼睛的複雜性，作者採用基於眼睛位置的free-from mask來訓練網絡。

此外，還使用了free from mask和人臉分割GFC創建了適當的草圖域和顏色域。

這是非常關鍵的一步。因為它使得系統能夠為手繪用戶輸入案例產生有說服力的結果。

網絡結構

該網絡同樣也可以同時訓練生成器和鑑別器。

生成器接收帶有用戶輸入的不完整圖像，在RGB通道中創建輸出圖像，並將輸出圖像的掩碼區域插入到不完整輸入圖像中，以創建完整圖像。

鑑別器接收完成的圖像或原始圖像（沒有掩蔽）以確定給定輸入是真實的還是假的。

在對抗訓練中，識別器的額外用戶輸入也有助於提高性能。 此外，團隊還發現與一般GAN損失不同的額外損失對於恢復大的擦除部分是有效的。

該網絡架構如下圖所示：

圖註：SC-FEGAN的網絡架構。除了輸入和輸出，LRN應用於所有卷積層之後。使用tanh作為發生器輸出的激活函數。採用SN卷積層作為鑑別器。

生成器

生成器是基於U-net，所有卷積層使用3x3大小核的門控卷積。在除了其他soft gate之外的特徵映射卷積層之後應用局部信號歸一化（LRN）。LRN適用於除輸入層和輸出層之外的所有卷積層。

生成器的編碼器接收尺寸為512×512×9的輸入張量：具有在編輯時要被去除區域的不完整RGB通道圖像，描述被去除部分結構的二進位草圖、RGB顏色筆劃圖、二元掩模和噪音（如下圖所示）。

草圖和顏色域數據集以及批處理的輸入。我們使用HED邊緣檢測器提取草圖。使用GFC ，通過分割區域的中間顏色生成顏色圖。 網絡的輸入包括不完整的圖像、掩模、草圖、顏色和噪聲。

編碼器使用2個步幅內核卷積對輸入進行7次下採樣，然後在上採樣之前進行擴張卷積。

解碼器使用轉置的卷積進行上採樣。然後，添加跳躍連接(skip connection)以允許與具有相同空間解析度的先前層連接。

除了使用tanh函數的輸出層之外，我們在每一層之後都使用了leaky ReLU激活函數。

總的來說，我們的發生器由16個卷積層組成，網絡的輸出是相同大小的輸入(512×512)的RGB圖像。

在將損失函數應用於輸入圖像之前，用輸入圖像替換了掩模外部的圖像的剩餘部分。這種替換允許發電機專門在編輯區域上進行訓練。發生器受到了PartialConv中引入的損失的訓練：每像素損失、感知損失、風格損失和總方差損失。還使用通用GAN損失函數。

鑑別器

該鑑別器有SNPatchGAN結構。同時，也使用3×3大小卷積內核，並應用了gradient penalty損失。還增加了額外的一項，避免了鑑別器輸出patch的值接近於零。

總體損失函數如下：

其中，發生器用LG進行訓練，鑑別器用LD進行訓練。D(I)是鑑別器給定輸入I的輸出。

而當編輯大面積區域時，額外損失(如Lstyle和Lpercept)是非常關鍵的。

那麼，這款AI修圖大師的修圖結果如何呢？

首先將結果與Coarse-Refined net結構和U-net結構網絡進行了比較。在測試Coarse-Refined net結構時，注意到細化階段模糊了輸出。而下圖便展示了在Coarse-Refined net上使用本文方法後的結果。

在U-net和Coarse-Refined net上使用本文方法後的結果

本文的系統不僅在上述細節方面，在大面積區域修改方面也是具有優勢的。

有/沒有VGG損失的訓練結果

在處理自由形狀遮掩情況時，本文系統所產生的結果也較好。

與Celebf-HQ驗證集上的Deepfillv1進行定性比較

下圖顯示了使用草圖和顏色輸入的各種結果。實驗結果表明，該系統能夠使用戶很直接地編輯人臉圖像的髮型、臉型、眼睛、嘴巴等特徵。

系統的面部圖像編輯結果。 它表明系統可以正確地改變面部的形狀和顏色。 還表明可以用於改變眼睛的顏色或擦除不必要的部分。 特別是右下角的兩個結果表明系統也可以用於新的髮型修飾。

GAN生成的圖像結果通常顯示出對訓練數據集的高度依賴性。在本研究中，研究人員將HED應用於所有的區域，通過調度它來擴展掩蔽區域，能夠獲得特殊的結果，產生面部圖像和耳環。

下圖顯示了這些有趣結果的選擇。這些例子表明，該網絡能夠學習小細節，即使是很小的輸入也能產生合理的結果。

特別的結果

本文提出了一種基於端到端可訓練生成網絡的自由形狀掩模、草圖、顏色輸入的圖像編輯系統。

實驗結果表明，與其他研究相比，該網絡架構和損失功能顯著改善了修復效果。並在許多情況下顯示了各種成功和逼真的編輯結果。

該系統在一次性修復大面積區域方面表現極佳，使用者不需要費力就可以產生高質量和逼真的效果。

堪稱AI修圖大師！

參考連結：

https://www.newscientist.com/article/2194768-picture-editing-ai-lets-you-easily-alter-a-celebritys-face/

Github資源：

https://github.com/JoYoungjoo/SC-FEGAN

論文地址：

https://arxiv.org/pdf/1902.06838.pdf