就算用合成的嗓音改造視頻主角，也可以把人物口型調(diào)的宛如原生。

功能3：隨意刪除信息

即使你刪掉視頻中的部分關(guān)鍵詞，也可以保持語音和圖像的連貫。

有些話你說了么？你覺得說了，但看起來就是沒說~

功能4：擴(kuò)充視頻背景

AI將視頻里沒有拍到的內(nèi)容進(jìn)行補(bǔ)充，窺一斑而見全豹：

功能5：連貫視頻

此外，這項(xiàng)技術(shù)還能把磕磕巴巴的演講/對話等視頻，拆開后重新拼接，變成流暢畫面。

結(jié)巴的救星、鏡頭恐懼患者的福音就是它了。

研究人員進(jìn)行了不同維度的測評，發(fā)現(xiàn)這項(xiàng)技術(shù)的效果在同類產(chǎn)品中領(lǐng)先了不少。

將此方法與深度視頻人像（Deep Video Portraits，DVP）方法輸出的人物渲染圖像相比，新技術(shù)終于看起來不那么詭異了。

比如牙齒的合成效果：

比如衣服細(xì)節(jié)的合成效果：

與傳統(tǒng)刪除視頻場景的MorphCut技術(shù)對比，MorphCut在第2、3、4幀的場景刪除任務(wù)中失敗了，而新技術(shù)可以成功切除：

與Face2Face的面部改造技術(shù)相比，新技術(shù)避免了畫面中出現(xiàn)的“鬼影”，合成畫面也更加高清、穩(wěn)定。

最后，研究人員還邀請了138位志愿者，來評估這種方法的真實(shí)性如何。

這些志愿者去判別“這個(gè)視頻是不是真實(shí)”，如果同意真實(shí)則給5分，完全確信是假的就給1分，結(jié)果顯示，這項(xiàng)技術(shù)在很多時(shí)候，已經(jīng)讓喪失了對視頻真假的準(zhǔn)確判斷。

AI對口型

自動合成某個(gè)人的語音，已經(jīng)有許多算法可以做到。這里，團(tuán)隊(duì)使用了原本視頻主角的錄音，而在不需要原聲的部分，用了Mac自帶的語音合成工具。暫不贅述。

這項(xiàng)研究最閃亮的部分，是流暢自然的“對口型”。

左手拿著視頻，右手拿著文本，團(tuán)隊(duì)使用了五步法：

第一步：視頻和文本要對齊

這里需要的是非常細(xì)致的對齊，精確到音位?(Phoneme) 。

音位是什么？那是人類語言里能夠區(qū)分語義的最小聲音單位，分成元音和輔音。

找到特定的元音輔音，就能組成你要的單詞，或者句子。

每種音位，又有各自對應(yīng)的口型。所以在對口型任務(wù)里，視頻和文本之間的精準(zhǔn)對齊很有必要。

團(tuán)隊(duì)用的對齊工具叫P2FA：除了分辨出各種音位，還會把每個(gè)音位開始和停止的時(shí)間標(biāo)記出來。

當(dāng)然，如果手頭數(shù)據(jù)只有視頻沒有文本的話，也可以用自動語音轉(zhuǎn)錄工具來生成文本，這類應(yīng)用已經(jīng)很常見了。

第二步：3D人臉追蹤和重構(gòu)

要為視頻的每一幀，注冊一個(gè)3D參數(shù)人臉模型 (3D Parametric Face Model) 。

模型里的各種參數(shù)，會在后面的步驟中混合 (Blending) ，發(fā)生奇妙的反應(yīng)：

比如，用某一幀的面部表情，搭配另一幀的頭部姿勢/朝向，組成新的一幀。

為了獲得3D參數(shù)模型，團(tuán)隊(duì)從前輩的研究里借鑒了單目的、基于模型的人臉重構(gòu)算法 (Monocular Model-Based Face Reconstruction) 。

這類算法，可以把頭部姿勢參數(shù)化，把臉部幾何參數(shù)化，還有臉部的反射率、表情，以及場景中的光線，都可以參數(shù)化。

于是，視頻的每一幀都獲得了257個(gè)參數(shù)的向量。

第三步：唇形搜索

剛才的精細(xì)對齊，現(xiàn)在派上用場了。

就像上文提到的，每種音位對應(yīng)了各自的唇形。但不同音位也可以有相似的唇形，可以通用。

比如，想把蜘蛛 (Spider) 改成狐貍 (Fox) ，原本需要“f”的唇形和“ox”的唇形。

不過，“v”和“f”從視覺上看并沒有太大差別。如果，視頻里講過毒蛇 (Viper) ，只要把“v”的唇形提取出來，和“ox”的唇形拼到一起，也能組成“fox”的動作。

根據(jù)文本，可以從視頻里面，把需要拼接的片段，從視頻里面抽出來。

第四步：重新定時(shí)，參數(shù)混合

可四下提取出來的片段，還不能直接拼到一起。有兩個(gè)重要的問題需要解決：

一是，音位視頻里提取的音位，可能動作滿足要求，但時(shí)長就不一定跟新臺詞吻合了。

二是，兩個(gè)需要連在一起的片段，可能在原始視頻里相距很遠(yuǎn)，說話人頭部的位置、姿勢都會發(fā)生變化，直接拼起來就會不連貫了 (下圖右) 。

想生成連貫自然的視頻，前面做好的3D人臉參數(shù)模型，就是這里的大招：

把頭部姿勢、面部表情、反射率、場景光線等等參數(shù)，都放在一個(gè)參數(shù)空間里面去混合 (Blend) 。

這個(gè)過程，包括給各個(gè)片段重新設(shè)定時(shí)長，也包括把頭部動作變連貫。

除此之外，為了避免攝像頭移位帶來的背景變化，還需要選擇一個(gè)背景序列。

這樣，一個(gè)流暢的背景視頻就做好了。

之所以叫“背景視頻”，是因?yàn)樵谶@個(gè)步驟里，嘴部動作被提前摳掉了，所以還有下一步。

第五步，臉部渲染

最后一步，訓(xùn)練一個(gè)循環(huán)網(wǎng)絡(luò) (RNN) 作為GAN的生成器，加上一個(gè)時(shí)間空間判別器：

讓GAN把嘴部動作 (下半張臉) 和背景視頻，無縫混合到一起。

到這里，跟著新臺詞對口型的視頻，就愉快地生成了。

作者介紹

這篇研究的作者共有10人，都帶著閃閃發(fā)光的履歷。

他們來自較為知名的機(jī)構(gòu)，包括斯坦福大學(xué)的Ohad Fried、Michael Zollh?fer、Maneesh Agrawala，普林斯頓大學(xué)的dam Finkelstein、Kyle Genova，馬克斯·普朗克信息學(xué)研究所的Ayush Tewari、 Christian Theobalt和Adobe的Eli Shechtman、Zeyu Jin，此外還有DAN B GOLDMAN。

一作Ohad Fried為現(xiàn)在為斯坦福大學(xué)的博士后，與印度裔教授Maneesh Agrawala合作，主要研究計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺和人機(jī)交互。

Fried小哥本科和研究生畢業(yè)于希伯來大學(xué)，博士去普林斯頓進(jìn)行深造，隨后在谷歌、Adobe等實(shí)習(xí)過。

二作Ayush Tewari目前是馬克斯·普朗克信息學(xué)研究所博士三年級在讀，此前有多篇論文被頂會收錄，包括一篇ECCV 18、兩篇CVPR 18和一篇ICCV 17。

作者團(tuán)隊(duì)中還有一位華裔成員，是來自Adobe的研究科學(xué)家ZEYU JIN。

ZEYU JIN的個(gè)人主頁顯示， ZEYU主要研究方向是語音和音樂合成，視頻中用到的音頻處理軟件Adobe Project VoCo就是ZEYU主導(dǎo)的項(xiàng)目。

技術(shù)“太嚇人”

最后，在這個(gè)項(xiàng)目的主頁地址，里面還有研究人員的專門聲明：

這個(gè)基于文本的視頻編輯方法，為更好的電影后期編輯打下了基礎(chǔ)。

原本，電影里的對話要重新定時(shí)或者修改，需要繁瑣的手動工作。但現(xiàn)在AI可以依靠文本，更好地調(diào)整視頻里的圖像和音頻。

除了影視作品，技術(shù)也可以用于教學(xué)視頻，或者給兒童講故事的應(yīng)用。

但這種技術(shù)，也有被濫用的隱患。行為不良的人可能用這樣的方法來來偽造個(gè)人陳述，誹謗知名人士。

所以，視頻中要有明顯證據(jù)表明它是合成的，這一點(diǎn)至關(guān)重要。比如在視頻里直接陳述，或者加入水印標(biāo)明這一點(diǎn)。

并且，技術(shù)社區(qū)應(yīng)該繼續(xù)發(fā)開發(fā)識別假視頻的技術(shù)，在減少濫用的同時(shí)，為有創(chuàng)造性的合法使用提供空間。

最后，我們認(rèn)為有必要進(jìn)行強(qiáng)有力的公開討論，建立適當(dāng)?shù)姆ㄒ?guī)，平衡這類工具的濫用風(fēng)險(xiǎn)與創(chuàng)造力的重要性。

他們強(qiáng)調(diào)，這項(xiàng)技術(shù)一旦被濫用會造成可怕的后果。

到底多可怕？不光顛覆一行一業(yè)，也對現(xiàn)有的倫理和法律提出新挑戰(zhàn)，隨便舉幾例：

在deepfake剛剛興起的時(shí)候，就有不少人評論稱，娛樂行業(yè)，靠臉吃飯的流量小生，使用好這項(xiàng)技術(shù)，結(jié)合換臉AI deepfake和語音合成，真的就能靠臉吃飯。

臺詞功力？表情演技？都不重要，甚至有個(gè)替身方便換臉就好。

現(xiàn)在，利用這一技術(shù)篡改的人物口型幾乎一般人難辨真假，如果有人借新聞主播之口制造一段假新聞，就可能引起大眾的恐慌。

在安防監(jiān)控領(lǐng)域，視頻里的人說了什么、做了什么，真的就可信嗎？這項(xiàng)技術(shù)可怖不在于讓視頻中的人和事“從有變無”，而是有能力“無中生有”。

AI技術(shù)進(jìn)展太快，現(xiàn)有倫理道德和法律法規(guī)，是時(shí)候重新考量了。

你說呢？

最后，附上論文傳送門

論文Text-based Editing of Talking-head Video地址：

https://arxiv.org/abs/1906.01524

— 完 —

誠摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請?jiān)诹孔游还娞?QbitAI)對話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號簽約作者

?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動態(tài)