明星AI換臉直播（AI換臉虛擬主播智能影像生產）

2023-07-06 14:53:31 2

安妮 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

這還是蘇大強？

有網友將最近播出的電視劇《都挺好》中讓人恨得牙痒痒的蘇大強，用AI換臉變成了眉清目秀的吳彥祖，場景竟毫無違和感。

被AI調戲不止蘇大強，楊冪、朱茵、徐錦江、洪世賢、梁非凡，B站名場面全被AI換臉調戲了一遍。在AI時代，眼見不一定為實。

其實，也不僅僅是AI換臉，AI已經滲透進整個文娛行業。

在這篇文章中，我們以視頻製作為例，盤點文娛產業中用到的AI技術。看完之後，可能你會產生「這個世界是不真實的」錯覺。

AI的文娛之旅，馬上就要發車了。

Step 1：定劇本

前期策劃是個技術活，視頻質量最終如何，拍攝劇本、創意方案、解說詞等關鍵內容就在一開始決定了一半成敗。

要不考慮下用AI進行文字創作？

寫稿機器人DreamWriter就是一位AI記者，2015年，其處女作《8月CPI漲2% 創12個月新高》一經發出就引發轟動，這個機器人能根據算法在第一時間自動生成稿件，一分鐘出成稿……這手速人類記者還是望塵莫及。

騰訊的DreamWriter開了先河後，國內媒體也陸續試水，新華社的寫稿機器人、阿里巴巴的「DT稿王」、今日頭條的「xiaomingbot」都來了。

目前寫稿機器人主要集中在財經股票、體育賽事等對失效要求高且不需要額外添加素材的領域。從速度與準確性來說，人類記者的優勢開始down down down了。

AI為文字工作者省了不少工夫，不僅僅寫出新聞報導，創造性的工作也不在話下。

微軟小冰就是這樣一個寫稿機器人，任何人可以在官網上給她投餵任意照片 幾個關鍵詞，不出幾秒，少女詩人小冰就會為你作出一首詞句優美的詩來。

微軟表示，小冰所有的詩歌都沒有版權，任何人可以在此基礎上隨意改動變成自己的創作。雖說內涵可能不及人類詩人，但人類創作可以在其中獲取靈感。

除了短篇幅的小詩，AI寫的長篇小說讀者反應還不錯。

美國Botnik工作室的AI就續寫了《哈利·波特》的新故事。研究人員先將整個系列7部小說輸入至系統，用自然語言處理技術模仿原作，生成了新篇章：

《哈利·波特與看起來像一大坨灰燼的肖像》（Harry Potter and the Portrait of What Looked Like a Large Pile of Ash）。

網友表示，新篇章中有情節、有人物、有對話，而且還夠神經病……如果出版一定能大賣。

有這樣的AI文學家，還不怕創造不出來腦洞大開的好玩劇本？

Step 2：拍視頻

有了劇本，那就可以開始拍攝了。

拍攝的場景、分鏡頭腳本、任務的站位……拍攝過程中需要考慮的事情頗多。

不過，AI帶來了一種簡便做法，比如用AI來合成虛擬主播。

這位AI主播不僅能「坐在」演播室，替代人類播報新聞。還能「手舞足蹈」，運用起肢體語言豐富表達了。男主播「新小浩」以新華社主播邱浩倍為原型創建，而「新小萌」以屈萌為原型。

虛擬主播通過對真人主播聲音、唇形、表情動作等特徵進行提取，通過語音合成、唇形合成、表情合成以及深度學習等技術，能具備和真人主播一樣的播報能力。

還在擔心拍攝過程困難麼，未來自動合成技術將越來越完美。

除了合成真人主播，動畫合成也可以考慮一下，迪士尼早已試水了。

此前為了改善影視動畫中人物口型與臺詞不一致的的情況，迪士尼提出一種自動生成語音動畫的深度學習方法，根據輸入的臺詞，自動匹配嘴型。

現在，迪士尼的最新研究在此基礎上更進一步，其論文顯示，與美國羅格斯大學研發的端對端系統已經實現AI看電影劇本後，創建粗略的劇情更改圖和視頻描述文本。

可以說，AI重新定義了「拍攝」這項體力活。

Step 3：後期合成

俗話說得好，三分靠拍攝，七分靠後期，所有大片都離不開強大的後期製作。

後期是個耗時間燒顯卡的活，非線性剪輯、畫面渲染調色、特效合成等哪一樣都是創造 體力活。

AI加持下，並非所有的工作都需要人類完成。就比如說，剪輯這項體力活AI已經能幫上大忙了。

剪輯師經常遇到一個問題：把視頻剪成不同的長寬比，比如把橫向的視頻剪成縱向，通常很災難。

Adobe的Project Smooth Operator的功能，可以利用Adobe Sensei人工智慧和機器學習框架，自動追蹤視頻裡主角的位置智能裁剪。

如果主角不止一位呢？當然是根據各自的動作，自動鎖定每一幀的重點：

是不是很贊？

除了自動剪輯，AI已經可以做到在理解內容及場景的基礎上，富有邏輯的生產新的視頻內容。

在2019兩會期間，光明網與中國政協傳媒網聯合推出的「委員全息履職」節目就藉助影譜科技的智能影像生產技術，可視化、智能化地呈現政協委員履職作業，不僅讓政協委員履職內容更加直觀易懂，相比普通視頻承載的內容也更加豐富有趣。

可以看出，AI可以根據視頻內的語義場景，嘗試匹配邏輯吻合的影像素材，從而讓視頻內的信息更加豐富直觀。

並且，隨著表情、語義、手勢等變化，視頻畫面也隨之同步演繹。

這樣的智慧媒體技術方案，為媒體平臺提供了一個新的內容生產和實現方式，媒體可依靠大數據平臺基礎，藉助可視化模型技術，以數據地圖、時間線、氣泡圖、交互性圖表、人物關係圖等方式呈現多維數據信息，實現新聞可視化加工生產。

在國內融媒體加速建設的當下以及5G即將普及的未來，視頻越來越將成為媒體內容的主要載體，這樣的智慧媒體解決方案將會起到更大的作用。

此外，還可以進行虛擬演播室、虛擬主播等創新報導模式的探索，通過VR、AR、人臉特徵提取、人臉重構、情感遷移等多項前沿技術，對視頻內容的呈現形式和交互模式進行創新。

顯然，此類技術的應用正在幫助媒體和視頻平臺更好地管理其內容庫及信息生產加工方式，優化成本結構，進一步提高視頻內容開發及生產效率。

也有一些非常規的操作，比如前一陣子嗶哩嗶哩上爆火的AI換臉模型deepfakes。

無需會寫代碼，只需要手握一個fakeapp等軟體應用，「投餵」想要換成的主角的視頻進行訓練，就能自己訓練一個AI模型出來。

隨後，把《射鵰英雄傳》裡的朱茵換成楊冪，簡直看不出是人造的：

把直播中的馮提莫換成趙麗穎，播放量也近百萬：

不過，現在換臉也有一定的法律風險了。上周六全國人大常委會審議的《民法典人格權編(草案)》裡，正式加了一條：

任何組織和個人不得以利用信息技術手段偽造的方式侵害他人的肖像權。

AI換臉一時爽，一直換臉可能就得體驗一把違法的酸爽了。

Step 4：添加音效

連畫面內容都能搞定，音軌上選擇的那條BGM也肯定少不了AI。

現在，作曲、作詞甚至演唱，都全部可以由AI完成。說不定哪一天，虛擬偶像就在偶像界攻城略地。

比如，不少宅男群體心水的AI虛擬歌姬洛天依：

這個採用語音合成技術的虛擬角色，聲音根據中國配音演員山新和日本歌手鹿乃的音色合成，人物被設定成了一名15歲的少女，產出過不少魔性的歌曲，比如《小雞嗶嗶》《達拉蹦躂》《花落兮》等。

除了當偶像，AI技術還能協助人類歌手作詞作曲。

世界首張AI作曲專輯《I AM AI》是美國網紅歌手Taryn Southern上傳的作品，通過AI音樂創作公司Amper Music的軟體，Southern只需調整情緒、風格、速度等參數，AI即可生成一首曲子，還會選擇最合適的和弦和器演奏出來。

雖還不能與格萊美獲獎曲目相媲美，但和國外音樂平臺Spotify上的熱門歌曲相差不大，還多了幾分金屬感和未來感。

放眼國內，也有不少青年才子將AI與音樂結合起來。

去年的《中國好聲音》中，清華學霸宿涵用一曲《止戰之殤》一戰成名，這首歌中的主歌歌詞，就是AI生成的。

宿涵表示，利用深度學習算法，AI已經掌握了華語樂壇近幾千首作品，根據輸入歌詞的風格無線創作歌詞。輸入「深淵、噩夢、絕望、戰爭」，AI就能輸出「諷刺掛滿美麗的太陽」。作詞作曲，何不讓AI助你一臂之力。

從內容撰寫、視頻「拍攝」、後期特效到音效添加，AI參與了整個視頻創作的所有流程，現在看這個世界是不是覺得不太真實了？

而這只是AI在文娛大產業中應用的一小部分。

手遊王者榮耀裡王者段位的AI對手，網易雲音樂裡的個性化推薦、阿里「魯班」系統一秒生成8000張海報……AI 文娛的結合已經遍布了你沒有發覺到的區域，科技感已經遍布到生活的方方面面。

未來，已來。

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

量子位 QbitAI · 頭條號籤約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態