電影解說的ai配音（不再擔心配音毀）

2023-06-26 18:05:13 2

英國《泰晤士報》網站近日報導稱，人工智慧技術將助益電影配音方式的改進。

阿甘的母親告訴他，生活就像一盒巧克力，你永遠不知道你會得到什麼——除了電影被拙劣地譯製成另外一種語言的時候。

如今，一位英國電影導演正在嘗試利用人工智慧（AI）技術徹底改變我們觀看外國電影的方式：通過對演員的面部進行數字編輯，讓他們看起來就好像在說一部電影將要被配音的那種外語一樣。

斯科特·曼在2015年執導了由羅伯特·德尼羅主演的驚悚片《雙面劫匪》，卻被影片的一個配音版本驚得目瞪口呆。他由此受到啟發，創建了自己的初創企業「無瑕」（Flawless）公司。

通過AI技術改進，電影配音能夠更加擬真

這位導演說，在拍攝期間，德尼羅會花費數周時間討論某一個場景，詢問角色會戴什麼樣的袖扣或穿什麼樣的襪子。然而當影片進行配音時，他的表演卻受到了玷汙。41歲的斯科特·曼驚訝地發現，影片中整段整段的對話都經過了修改，以便使外語臺詞更接近於德尼羅的口型。

他說：「這令人心碎。我們為劇本糾結了幾個月，爭論哪些臺詞應該說和應該怎麼說，然後卻看到它的一個外語版本，臺詞全被改了。一切都感覺糟透了。」

人工智慧讓配音效果走向「無瑕」

在尋找更好解決辦法的過程中，斯科特·曼受到了德國馬克斯·普朗克信息研究所的啟發，後者一直致力於通過數位化手段重新生成面部形象。

這項研究促成了「無瑕」公司的創建。該公司使用一種人工智慧系統研究演員的頭部、頸部和嘴部動作中數以百萬計的細微變化，能夠從每一幀畫面中積累知識。

這種人工智慧工具從影片中提取演員的2D面部圖像，將它複製成3D形象。新的頭部形象結合了我們對於人們在使用影片配音語言時嘴部動作的現有了解。

這種工具能夠計算出某名特定演員在說那種語言時的嘴部動作，從而創建出一個新的3D頭部模型用於每一幀畫面。

一旦實現了這一步，配音演員的錄音就會被輸入系統，而圖像也會被重新轉換為2D。接下來的潤色工作則交由一個特效團隊來完成。「無瑕」公司公布的剪輯顯示，湯姆·漢克斯在電影《阿甘正傳》片段中的口型能夠與用日語、西班牙語和德語配音的臺詞實現無縫對接，而傑克·尼科爾森在《義海雄風》中與湯姆·克魯斯聊天的口型也幾乎與法語配音完美同步。斯科特·曼說：「這將改變我們以全球化模式消費內容的方式。」

他說：「我們將能夠欣賞到多種語言版本的電影電視，而甚至不會意識到它們原本使用的語言。語言障礙將會消失。」

該公司的聯合創始人尼克·萊恩斯說，這個過程不同於「深度偽造」（deepfake）技術，後者是提取名人的面部2D圖像，然後用它置於其他人的身體和頭部之上。現年46歲的萊恩斯說：「人工智慧技術能夠計算出每一位表演者在使用另外一種語言時嘴部動作的特定方式，但會保留他們的獨特風格。」

斯科特·曼說，當他向演員們展示經過人工智慧配音後的表演時，他們都被驚呆了。他說：「每個看過我展示的人都說：『哇，我能說法語。』」

「無瑕」公司說，它正在與電影公司進行接洽，而且正在與最大的流媒體平臺之一展開合作。

隨著奈飛等流媒體平臺的出現，人們對配音的需求激增。在這些平臺上，講英語的受眾可以觀看到外國節目，比如法語的《找我經紀人》、西班牙的《紙鈔屋》和丹麥的《權力的堡壘》。

人工智慧如何一幀一幀地消除語言障礙

這套系統是通過人工智慧結合特效的方式運作的。

人工智慧系統會掃描電影中的每一幀畫面，觀察一名演員在說話時的頭部、頸部和嘴部動作。

在了解了這名演員說話的獨特方式後，該系統會創建一個他的頭部3D模型。

然後，工程師們會運行一項程序，該程序了解人們在使用配音語言時的典型嘴部動作，而且能夠計算出這名演員在使用這種特定語言時的獨特嘴部動作。

一名配音演員使用這種新語言的錄音會被輸入該系統。

接下來，該系統會創建一個新的演員頭部3D模型，用於這名演員與這種新語言同步的嘴部和面部動作的每一幀畫面，以確保能夠覆蓋每一個展現他們說話的攝像角度。

這些畫面隨後被置於真人表演的版本上。最後的潤色工作則可以交由一個特效團隊來完成。（編譯/王雷）

來源：參考消息網