字節(jié)AI版小李子一開口：黃風(fēng)嶺，八百里
數(shù)字人不再一眼假
叨樂 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
字節(jié)和浙大聯(lián)合研發(fā)的項目Loopy火了！
只需一幀圖像，一段音頻，就能生成一段非常自然的視頻！
研究團隊還放出了Loopy和同類應(yīng)用的對比視頻：
網(wǎng)友下場齊夸夸：
Loopy背后的技術(shù)有點牛哦！感覺互動媒體有新未來了！
前途無量奧！
真這么牛？咱們一起來看一下！
Loopy的生成效果
研究團隊放出了一些DEMO視頻，內(nèi)容腦洞跨度有點大！
比如讓小李子唱《黑神話》靈吉菩薩的陜北說書（高音時還會皺眉）：
讓兵馬俑滿口英倫腔：
蒙娜麗莎張口說話：
梅梅自帶Bgm說古裝臺詞（甚至還有挑眉的小動作）：
狼叔的側(cè)顏照也難不倒它：
嘆息聲的細(xì)節(jié)也能處理得很好：
真人肖像的效果也很自然（甚至說話時眼睛還會順勢看向其他方向）：
Loopy如何“告別割裂感”？
看完這些毫無違和感DEMO視頻，咱們來研究一下Loopy是如何生成這類視頻的：
總的來說，Loopy是一個端到端的音頻驅(qū)動視頻生成模型。
它的框架可以由四部分構(gòu)成，分別是：
ReferenceNet：一個額外的網(wǎng)絡(luò)模塊，它復(fù)制了原始SD U-Net的結(jié)構(gòu)，以參考圖像的潛在表示作為輸入，來提取參考圖像的特征。
DenoisingNet：一個去噪的U-Net，負(fù)責(zé)從噪聲輸入生成最終的視頻幀。
在DenoisingNet的空間注意力層中，ReferenceNet提取的參考圖像特征會與DenoisingNet的特征在token維度上進(jìn)行拼接。
這樣做是為了讓DenoisingNet能夠選擇性地吸收ReferenceNet中與當(dāng)前特征相關(guān)的圖像信息，從而在生成過程中保持圖像的視覺一致性。
簡單來說，通過結(jié)合這兩個網(wǎng)絡(luò)的特征，DenoisingNet能夠更好地利用參考圖像的細(xì)節(jié)，提升生成結(jié)果的質(zhì)量和連貫性。
Apperance：Loopy的外觀模塊，主要接收參考圖像和運動幀圖像，然后將它們壓縮成特殊的數(shù)字編碼(潛在向量)。
運動幀的潛在向量經(jīng)過“時間序列模塊”處理，與參考圖像的潛在向量拼在一起。這樣就融合了參考信息和動作信息。
然后將拼接后的潛在向量輸入ReferenceNet模塊中，生成一張?zhí)卣鲌D，標(biāo)注著重要的視覺信息，方便供后續(xù)去噪模塊使用。
Audio：Loopy的音頻模塊。模型先是使用Wav2Vec網(wǎng)絡(luò)提取音頻特征，并將每層的特征連接起來，形成多尺度音頻特征。
然后對于每一幀視頻，將前兩幀和后兩幀的音頻特征連接，形成一個包含5幀音頻特征的序列，作為當(dāng)前幀的音頻信息。
最后在每個殘差塊中，使用“交叉注意力”機制，將音頻特征與視覺特征結(jié)合，計算出一個關(guān)注的音頻特征，并將其與視覺特征相加，生成新的特征。
值得一提的是，模型中也涉及到了一個Audio2Latent模塊，這個模塊可以將音頻信息映射到共享的運動潛在空間，進(jìn)一步幫助模型理解音頻與視頻中人物動作之間的關(guān)系。
研究團隊的實驗結(jié)果如下：
One more thing
值得一提的是，在Loopy之前，字節(jié)和浙大就已經(jīng)聯(lián)合研發(fā)出了一款類似的項目CyberHost。
但與Loopy不同的是，CyberHost是一個端到端音頻驅(qū)動的人類動畫模型。
- 在線可玩！智譜開源圖生視頻模型，網(wǎng)友直呼Amazing！2024-09-19
- 小心！AI能「看懂」你的唇語，悄悄話不再安全！2024-09-12
- 機器人也會系鞋帶了！斯坦福團隊賦予機器人新技能丨已開源2024-09-11
- 通用端到端OCR模型開源，拒絕多模態(tài)大模型降維打擊2024-09-10
相關(guān)閱讀
ChatGPT 九大插件在網(wǎng)上爆火：網(wǎng)頁制作神器，看圖寫菜譜、解析代碼等樣樣齊活兒
ChatGPT 又cos了這些角色
中關(guān)村壹號官蘭蘭：連接AI企業(yè)和傳統(tǒng)企業(yè)，打造硬科技服務(wù)聯(lián)盟 | MEET2020
“AI會給中國科技帶來更多的變化?！?/p>
DeepMind創(chuàng)始人最新訪談：AGI十年內(nèi)降臨，重塑醫(yī)療能源氣候…
DeepMind CEO：十年內(nèi)實現(xiàn)AGI，我一點都不驚訝
克10-EM-P-150x150.jpg)