ai線稿智能上色（自動給漫畫線稿上色的超火AI已出新版）

2023-04-28 09:08:41 18

夏乙安妮編譯整理
量子位出品 | 公眾號 QbitAI
給喜歡的動漫形象建個了收藏夾，裡面收集她的各種圖片……懂，誰沒幾個喜歡的動漫萌妹呢。
一些手繪線稿也很可愛，但黑白配色總會略顯單調。
△ 請記住這張線稿
半年前線稿上色AI style2paints的破殼曾讓自動上色火了一陣。好消息是，昨天，升級版本style2paints 2.0也問世了！
Demo也一併放出，用戶可以隨意試玩~
△ 上面線稿的轉換效果
贊贊的！不僅如此，換一張其他的彩色參考圖，也能將線稿轉化成另一種顏色風格。
比如我們輸入下面這張參考圖：
上面那張示例圖就變成了下面的效果——
還可以從參考圖中選取顏色，然後用筆在線稿的某個區域上點一下，AI就會按你的提示去重新填充——
支持微調的線稿上色軟體不止一家，不過作者介紹說，和同類軟體相比，style2paints的「提示筆」是最精確的，用戶可以用3×3的筆跡，在1024×2048的畫面上，控制13×13的區域。
為了確保最終畫作顏色協調，style2paints還玩了一點小心機：用戶不能自己輸入顏色，只能從參考圖上選。
△ 使用教程
並不簡單
玩得盡興之後，你可能會說，風格遷移嘛，我們見得多了~
但是，把黑白照片變成彩色照片，和把沒有陰影高光的線稿變成彩色圖畫難度不同。
這種由純線條構成的草圖不包含圖案的明暗和紋理。也就是說，AI需要自動腦補出這些信息。
何況style2paints作者對線稿上色的期望，實在是比較高，並不是在線條之間填一些顏色就完事了：
在一幅好漫畫裡，妹紙的眼睛要像星系一樣閃亮，臉頰要瀰漫著紅暈，皮膚要精緻迷人。
△ 大概是這個效果吧
這怎麼做得到！
style2paints 2.0目前還沒有相關論文放出，只有代碼可供參考。不過，今年6月問世的第一版其實效果還可以，實現了基於語義信息遷移的顏色提示，讓上色效果更加和諧。
具體的原理可以看當時的論文Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN
，來自蘇州大學的三位作者Lvmin Zhang, Yi Ji, Xin Lin介紹了怎樣將集合的剩餘U-Net樣式應用到灰度圖中，並藉助分類器生成的對抗網絡(AC-GAN)自動為圖像上色。生成過程迅速，效果尚好。
論文地址：
https://arxiv.org/abs/1706.03319
不一樣的2.0
style2paints第一版推出之後非常火，量子位的不少朋友都上手玩過。
不過，他們的主要競品paintschainer不停迭代，後來，上色的效果漸漸超越了style2paints 1.0，於是，作者們也坐不住了，開始研究新方法，更新了一版出來。
那麼，2.0和1.0有什麼不一樣嗎？
巧了，國外的網友也很關心。作者在Reddit上回答說，和上一版相比，style2paints 2.0大部分訓練都是純粹無監督，甚至無條件的。
也就是說，在這個模型的訓練過程中，除了對抗規則之外沒有添加其他的人工定義規則，沒有規則來強迫生成器神經網絡照著線稿畫畫，而是靠神經網絡自己發現，如果遵照線稿，會更容易騙過鑑別器。
pix2pix、CycleGAN等同類模型為了確保收斂，會對學習對象添加l1 loss，鑑別器接收到的數據是成對的[input, training data]和[input, fake output]。而style2paints 2.0模型的學習目標和經典DCGAN完全相同，沒有添加其他規則，鑑別器收到的也不是成對的輸出。
作者說，讓這樣一個模型收斂其實是很難的，何況神經網絡這麼深。
不過你看，結果還不錯。
線稿上色的江湖
線稿上色的程序，其實有很多，比如說：
Paintschainer
https://paintschainer.preferred.tech/index_en.html
Deepcolor
https://github.com/kvfrans/deepcolor
Auto-painter
https://arxiv.org/abs/1705.01908
除了paintschainer，其他的同類產品其實作者是不太看得上的。
他說，很多亞洲論文都號稱能遷移漫畫風格，但是仔細看論文，會發現他們所謂的「新方法」就是個調整過的VGG，雖說VGG在風格遷移任務上普遍表現不錯，但是用在漫畫上，效果總是不怎麼好。
還是得靠GAN，而且得允許用戶上傳風格參考圖，像Prisma那樣從莫奈梵谷裡選可不行，莫奈梵谷又不會畫漫畫。
試試不？
上手玩一下Demo：
http://paintstransfer.com/
論文還沒出來，不過可以看原始碼呀：
https://github.com/lllyasviel/style2paints
作者對上一版的介紹：
https://zhuanlan.zhihu.com/p/29331219
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。
量子位 QbitAI · 頭條號籤約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
,