英偉達(dá)讓AI“演技”再上臺(tái)階：僅靠語音驅(qū)動(dòng)1張照片說話，驚訝恐懼表情狠狠拿捏
視頻清晰度也有提升
Pine 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
輸入一段臺(tái)詞，讓照片“演戲”又進(jìn)階了！
這次的AI直接讓“演技”整體上了一個(gè)臺(tái)階，表演生氣、開心、可憐……各種情緒都不在話下。
并且，口型、眼神、頭部動(dòng)作也都讓這個(gè)AI狠狠拿捏住了！
甚至還能調(diào)節(jié)喜怒哀樂的程度。
這是英偉達(dá)最新推出的一款A(yù)I，名為SPACEx?（此SPACEx非馬斯克的SpaceX），全稱是可控表達(dá)的語音驅(qū)動(dòng)肖像動(dòng)畫（Speech-driven Portrait Animation with Controllable Expression）。
其實(shí)，在英偉達(dá)推出SPACEx之前，已經(jīng)有不少語音驅(qū)動(dòng)照片的AI問世，那相較于之前那些AI，SPACEx有什么優(yōu)勢(shì)呢？
人臉動(dòng)作更穩(wěn)定，更注重細(xì)節(jié)
此前，最常使用的語音驅(qū)動(dòng)照片的AI主要有三個(gè)：PC-AVS、MakeItTalk和Wav2Lip。
但這三個(gè)AI都或多或少有些缺陷之處，并且要么只能對(duì)口型，要么就只是整體面部控制的比較好，多個(gè)功能往往不能兼顧。
先來說說PC-AVS，它在對(duì)圖像和語音進(jìn)行處理時(shí)，會(huì)對(duì)輸入圖像進(jìn)行嚴(yán)格的剪裁，甚至還會(huì)改變姿勢(shì)，此外，生成的人臉動(dòng)作很不穩(wěn)定。
而MakeItTalk，在對(duì)口型方面效果不是很好，有時(shí)候生成的視頻中還會(huì)出現(xiàn)空白的地方。
Wav2Lip的功能則比較單一，它主要是配音AI，只改變唇部的動(dòng)作，唇部之外的面部表情毫無變化。
而這些問題，在SPACEx身上通通都被解決掉了，話不多說，直接看看它們之間的效果對(duì)比！
可以看出，無論是細(xì)節(jié)的口型、眼神，還是整體的面部動(dòng)作，SPACEx都會(huì)更加自然一些。
而細(xì)分到各個(gè)具體的功能，SPACEx都集成了哪些功能呢？
下面這個(gè)表格給出了答案，情緒控制、標(biāo)記面部landmark、頭部轉(zhuǎn)動(dòng)和動(dòng)作生成，SPACEx都能很好地兼顧，不會(huì)像以往的模型顧此失彼。
值得注意的是，SPACEx生成視頻的質(zhì)量也整體上升了一個(gè)臺(tái)階，以往同類型的AI最高只能達(dá)到384的分辨率，而SPACEx這次已經(jīng)達(dá)到了512X512。
兼顧這么多功能還能生成高質(zhì)量視頻，SPACEx又是怎樣做到的呢？
具體原理
其中，很大一部分功勞是face-vid2vid貢獻(xiàn)的，它是英偉達(dá)兩年前公布的一個(gè)AI算法。
它不僅能壓縮視頻的流量，還能保證視頻的畫質(zhì)。
并且，face-vid2vid還能讓視頻中的人物隨意扭頭。
不過它要求輸入的是一個(gè)視頻，而SPACEx則是一個(gè)圖片，它倆又是怎么關(guān)聯(lián)到一起的？
這得從SPACEx生成視頻的過程來看，主要分三個(gè)階段。
第一個(gè)階段可以概括為Speech2Landmarks，即從輸入的語音中來預(yù)測(cè)各個(gè)音節(jié)所對(duì)應(yīng)的標(biāo)準(zhǔn)面部landmarks。
在預(yù)測(cè)的過程中，還會(huì)插入對(duì)應(yīng)的情緒標(biāo)簽。
預(yù)測(cè)好面部landmarks后，來到第二步：Landmarks2Latents，輸入各個(gè)圖像的face-vid2vid關(guān)鍵點(diǎn)，以控制整個(gè)面部表情。
然后將這些關(guān)鍵點(diǎn)對(duì)應(yīng)到上一步輸出的標(biāo)準(zhǔn)面部landmarks上。
最后一步便能通過face-vid2vid生成器來生成視頻了。
話說回來，當(dāng)然SPACEx也不是個(gè)全能選手，當(dāng)輸入有較大的頭部旋轉(zhuǎn)時(shí)，現(xiàn)有的方法表現(xiàn)就不是很好了。
不過還是值得一試的，感興趣可以戳下文鏈接～
論文地址：
https://arxiv.org/pdf/2211.09809.pdf
參考鏈接：
https://deepimagination.cc/SPACEx/
— 完 —
