楊凈 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

只需一段語音，就能生成說話視頻。

就像這樣。

可以看到，表情、動作、神情全都在線，還有不同的穿搭。

就連發(fā)型、甚至發(fā)際線，都可以不同。（手動狗頭）

視頻里的主人公，是美國一著名主持人John Oliver，這是他主持的一檔節(jié)目《Last Week Tonight with John Oliver 》。

而這樣一個視頻生成效果，在Reddit上熱度達580+。

不少網(wǎng)友表示：那這樣，是不是視頻博主就從此省事了？！

別著急，先康康研究怎么說。

論文詳情

能實現(xiàn)以上效果的，是一個NWT生成器，用表征學習來實現(xiàn)音視頻生成。

它由兩個模型組成。

一個用于離散潛在表示的視頻自動編碼器dVAE-Adv。另一個自回歸先驗模型，用來生成新視頻。

此外，這一生成器可以控制生成的視頻中的潛在屬性，這些屬性在數(shù)據(jù)中是沒有標注的。

首先，自動編碼器dVAE-Adv，將視頻幀從256×224壓縮到一個16×14的潛在空間。

生成的每個潛在網(wǎng)格元素稱為Memcode，每個Memcode在像素域中攜帶了大約768個元素的信息。

而自回歸模型則作為編解碼器模型，能從離散分類分布中自動采樣，將音頻轉(zhuǎn)化為視頻。

研究人員采用的數(shù)據(jù)集，則是來自這位主持人的節(jié)目——《Last Week Tonight with John Oliver (LWT)》組成。

不過這些視頻樣本是經(jīng)過處理的，研究人員將其分成了16127個視頻片段，平均長度為7.46秒。

最終在主觀評價測試中，這一方法都明顯優(yōu)于以往的唇語、臉部生成任務。

研究人員表示，這個研究是對話式人類視頻合成技術(shù)上的一個新突破，展現(xiàn)了未來將普遍應用的潛力。

srds（雖然但是），目前這個模型還是有一定局限性。

比如，不能用其他人聲音來生成。

對此作者回應道，嘗試過，但唇語同步會有影響。

還有網(wǎng)友注意到，視頻中人的手很奇怪。

作者則表示，跟GAN出現(xiàn)的問題不同，主要是由自回歸生成過程中的錯誤分類造成的。

接下來，他們將進一步擴大數(shù)據(jù)集和模型，來處理不同個體。還有一個想法就是，給定一個框架或部分圖像，模型能夠模仿一個特定的情節(jié)。

論文地址：
https://arxiv.org/pdf/2106.04283.pdf

參考鏈接：
[1]https://next-week-tonight.github.io/NWT_blog/
[2]https://www.youtube.com/watch?v=HctArhfIGs4