英偉達(dá)讓AI“演技”再上臺(tái)階：僅靠語(yǔ)音驅(qū)動(dòng)1張照片說(shuō)話，驚訝恐懼表情狠狠拿捏
視頻清晰度也有提升
Pine 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
輸入一段臺(tái)詞，讓照片“演戲”又進(jìn)階了！
這次的AI直接讓“演技”整體上了一個(gè)臺(tái)階，表演生氣、開(kāi)心、可憐……各種情緒都不在話下。
并且，口型、眼神、頭部動(dòng)作也都讓這個(gè)AI狠狠拿捏住了！
甚至還能調(diào)節(jié)喜怒哀樂(lè)的程度。
這是英偉達(dá)最新推出的一款A(yù)I，名為SPACEx?（此SPACEx非馬斯克的SpaceX），全稱是可控表達(dá)的語(yǔ)音驅(qū)動(dòng)肖像動(dòng)畫(huà)（Speech-driven Portrait Animation with Controllable Expression）。
其實(shí)，在英偉達(dá)推出SPACEx之前，已經(jīng)有不少語(yǔ)音驅(qū)動(dòng)照片的AI問(wèn)世，那相較于之前那些AI，SPACEx有什么優(yōu)勢(shì)呢？
人臉動(dòng)作更穩(wěn)定，更注重細(xì)節(jié)
此前，最常使用的語(yǔ)音驅(qū)動(dòng)照片的AI主要有三個(gè)：PC-AVS、MakeItTalk和Wav2Lip。
但這三個(gè)AI都或多或少有些缺陷之處，并且要么只能對(duì)口型，要么就只是整體面部控制的比較好，多個(gè)功能往往不能兼顧。
先來(lái)說(shuō)說(shuō)PC-AVS，它在對(duì)圖像和語(yǔ)音進(jìn)行處理時(shí)，會(huì)對(duì)輸入圖像進(jìn)行嚴(yán)格的剪裁，甚至還會(huì)改變姿勢(shì)，此外，生成的人臉動(dòng)作很不穩(wěn)定。
而MakeItTalk，在對(duì)口型方面效果不是很好，有時(shí)候生成的視頻中還會(huì)出現(xiàn)空白的地方。
Wav2Lip的功能則比較單一，它主要是配音AI，只改變唇部的動(dòng)作，唇部之外的面部表情毫無(wú)變化。
而這些問(wèn)題，在SPACEx身上通通都被解決掉了，話不多說(shuō)，直接看看它們之間的效果對(duì)比！
可以看出，無(wú)論是細(xì)節(jié)的口型、眼神，還是整體的面部動(dòng)作，SPACEx都會(huì)更加自然一些。
而細(xì)分到各個(gè)具體的功能，SPACEx都集成了哪些功能呢？
下面這個(gè)表格給出了答案，情緒控制、標(biāo)記面部landmark、頭部轉(zhuǎn)動(dòng)和動(dòng)作生成，SPACEx都能很好地兼顧，不會(huì)像以往的模型顧此失彼。
值得注意的是，SPACEx生成視頻的質(zhì)量也整體上升了一個(gè)臺(tái)階，以往同類型的AI最高只能達(dá)到384的分辨率，而SPACEx這次已經(jīng)達(dá)到了512X512。
兼顧這么多功能還能生成高質(zhì)量視頻，SPACEx又是怎樣做到的呢？
具體原理
其中，很大一部分功勞是face-vid2vid貢獻(xiàn)的，它是英偉達(dá)兩年前公布的一個(gè)AI算法。
它不僅能壓縮視頻的流量，還能保證視頻的畫(huà)質(zhì)。
并且，face-vid2vid還能讓視頻中的人物隨意扭頭。
不過(guò)它要求輸入的是一個(gè)視頻，而SPACEx則是一個(gè)圖片，它倆又是怎么關(guān)聯(lián)到一起的？
這得從SPACEx生成視頻的過(guò)程來(lái)看，主要分三個(gè)階段。
第一個(gè)階段可以概括為Speech2Landmarks，即從輸入的語(yǔ)音中來(lái)預(yù)測(cè)各個(gè)音節(jié)所對(duì)應(yīng)的標(biāo)準(zhǔn)面部landmarks。
在預(yù)測(cè)的過(guò)程中，還會(huì)插入對(duì)應(yīng)的情緒標(biāo)簽。
預(yù)測(cè)好面部landmarks后，來(lái)到第二步：Landmarks2Latents，輸入各個(gè)圖像的face-vid2vid關(guān)鍵點(diǎn)，以控制整個(gè)面部表情。
然后將這些關(guān)鍵點(diǎn)對(duì)應(yīng)到上一步輸出的標(biāo)準(zhǔn)面部landmarks上。
最后一步便能通過(guò)face-vid2vid生成器來(lái)生成視頻了。
話說(shuō)回來(lái)，當(dāng)然SPACEx也不是個(gè)全能選手，當(dāng)輸入有較大的頭部旋轉(zhuǎn)時(shí)，現(xiàn)有的方法表現(xiàn)就不是很好了。
不過(guò)還是值得一試的，感興趣可以戳下文鏈接～
論文地址：
https://arxiv.org/pdf/2211.09809.pdf
參考鏈接：
https://deepimagination.cc/SPACEx/
— 完 —
相關(guān)閱讀
韓松賈揚(yáng)清之后，又一家清華系A(chǔ)I公司賣給英偉達(dá)，黃仁勛親自招募95后聯(lián)創(chuàng)
黃仁勛親自出馬招募幾位聯(lián)合創(chuàng)始人
螞蟻國(guó)產(chǎn)GPU訓(xùn)練大模型細(xì)節(jié)曝光！Ling模型研發(fā)負(fù)責(zé)人回應(yīng)
國(guó)產(chǎn)芯片的訓(xùn)練成本與英偉達(dá)相當(dāng)甚至更低，
