湯曉鷗弟子帶隊(duì)：免調(diào)優(yōu)長視頻生成，可支持512幀！任何擴(kuò)散模型都能用｜ICLR’24

豐色 2024-01-25 13:58:02 來源：量子位

豐色 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

想要AI生成更長的視頻？

現(xiàn)在，有人提出了一個(gè)效果很不錯(cuò)的免調(diào)優(yōu)方法，直接就能作用于預(yù)訓(xùn)練好的視頻擴(kuò)散模型。

它最長可支持512幀（假設(shè)幀率按30fps算，理論上那就是能生成約17秒長的作品了）。

可應(yīng)用于任何視頻生成模型，比如AnimateDiff、LaVie等等。

以及還能支持多文本生成，比如可以讓駱駝一會(huì)跑一會(huì)停：

（提示詞：”A camel?running?on the snow field.” -> “……?standing?……”）

這項(xiàng)成果來自騰訊AI Lab、南洋理工大學(xué)以及港科大，入選了ICLR 2024。

值得一提的是，與此前業(yè)內(nèi)性能最佳的同類方法帶來255%的額外時(shí)間成本相比，它僅產(chǎn)生約17%的時(shí)間成本，因此直接可以忽略不計(jì)。

可以說是成本和性能兩全了～

具體來看看。

通過重新調(diào)度噪聲實(shí)現(xiàn)

該方法主要解決的是兩個(gè)問題：

一是現(xiàn)有視頻生成通常在有限數(shù)量的幀上完成訓(xùn)練，導(dǎo)致推理過程中無法生成高保真長視頻。

二是這些模型還僅支持單文本生成（即使你給了“一個(gè)人睡在桌子上，然后看書”這種提示詞，模型也只會(huì)響應(yīng)其中一個(gè)條件），而應(yīng)用到現(xiàn)實(shí)中其實(shí)是需要多文本條件，畢竟視頻內(nèi)容是會(huì)隨時(shí)間不斷變化的。

在此，作者首先分析視頻擴(kuò)散模型的時(shí)間建模機(jī)制，并研究了初始噪聲的影響，提出免調(diào)優(yōu)、實(shí)現(xiàn)更長視頻推理的FreeNoise。

具體而言，以VideoLDM模型為例，它生成的幀不僅取決于當(dāng)前幀的初始噪聲，還取決于所有幀的初始噪音。

這意味著，由于臨時(shí)注意力層負(fù)責(zé)促成整個(gè)交互，所以對任何幀的噪聲重新采樣都會(huì)顯著影響其它幀。

產(chǎn)生的問題就是我們要想保持原視頻主要內(nèi)容的同時(shí)引入新東西就很難。

在此，作者檢查VideoLDM的時(shí)間建模機(jī)制發(fā)現(xiàn)，其中的時(shí)間注意力模塊是順序無關(guān)的，而時(shí)間卷積模塊是順序相關(guān)的。

實(shí)驗(yàn)觀察表明，每幀噪聲是決定視頻整體外觀的基礎(chǔ)，而它們的時(shí)間順序會(huì)影響建立在該基礎(chǔ)上的內(nèi)容。

受此啟發(fā)，作者提出了FreeNoise，其關(guān)鍵思想是構(gòu)建一個(gè)具有長程相關(guān)性的噪聲幀序列，并通過基于窗口的融合對其進(jìn)行時(shí)間關(guān)注。

它主要包括兩個(gè)關(guān)鍵設(shè)計(jì)：局部噪聲去除和基于窗口的注意力融合。

通過將局部噪聲混洗應(yīng)用于固定隨機(jī)噪聲幀序列以進(jìn)行長度擴(kuò)展，作者實(shí)現(xiàn)了具有內(nèi)部隨機(jī)性和長程相關(guān)性的噪聲幀序列。

同時(shí)，基于窗口的注意力融合使預(yù)先訓(xùn)練的時(shí)間注意力模塊能夠處理任何較長的幀。

并且最重要的是，重疊窗口切片和合并操作只發(fā)生在時(shí)間注意力上，而不會(huì)給VideoLDM的其他模塊帶來計(jì)算開銷，這也大大提高了計(jì)算效率。

接下來，為了解決多文本條件問題，作者則提出了動(dòng)作注入（Motion Injection）方法。

其核心利用的是擴(kuò)散模型不同步驟在去噪過程中恢復(fù)不同級(jí)別信息（圖像布局、物體形狀和精細(xì)視覺細(xì)節(jié)）的特性。

在模型完成上一個(gè)動(dòng)作之后，該方法就在與物體形狀相關(guān)的時(shí)間步長內(nèi)逐漸注入新的運(yùn)動(dòng)。

這樣的操作，既保證多提示長視頻生成，又具備很好的視覺連貫性。

超越此前最先進(jìn)的無調(diào)優(yōu)方法

首先來看長視頻生成的結(jié)果。

可以看到，F(xiàn)reeNoise詮釋“宇航服吉娃娃”和“熊貓吃披薩”這兩個(gè)場景最為連貫自然。

相比之下，直接推理的（最左列）的狗有嚴(yán)重偽影且沒有生成背景，Gen-L-Video（此前最先進(jìn)的無調(diào)優(yōu)方法）則由于無法保持長距離的視覺一致性，存在明顯內(nèi)容突變。

定性結(jié)果也用數(shù)據(jù)證明了FreeNoise的效果：

其中CLIP-SIM的得分代表該方法做到了良好的內(nèi)容一致性。

其次是多文本條件生成效果。

可以看到該方法（中間列和最右列）可以實(shí)現(xiàn)連貫的視覺顯示和運(yùn)動(dòng)：

駱駝從奔跑逐漸變?yōu)檎玖ⅲ?strong>遠(yuǎn)處的山脈一直保持同樣的外觀。

定性結(jié)果如下：

可以看到該方法在內(nèi)容一致性、視頻質(zhì)量和視頻文本對齊都實(shí)現(xiàn)SOTA，且與第二名拉開的差距幾乎達(dá)到兩倍之多。

最后，再給大家展示一下FreeNoise用在潛視頻擴(kuò)散模型AnimateDiff、LaVie上的效果。

AnimateDiff：

第一列為原效果，第二列為應(yīng)用后的效果。

LaVie：

效果提升都是肉眼可見的～

哦對，還有生成的滿打滿算512幀的視頻，大家覺得效果如何呢：

，時(shí)長00:51

通訊作者之一是湯曉鷗弟子

本文一共7位作者。

一作為南洋理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院博士生邱浩楠。

他的研究方向?yàn)锳IGC、對抗性機(jī)器學(xué)習(xí)和深偽檢測，本科畢業(yè)于港中文。

通訊作者有兩位：

一位是騰訊AI Lab視覺計(jì)算中心研究員Menghan Xia。

他的研究方向?yàn)橛?jì)算機(jī)視覺和深度學(xué)習(xí)，尤其是圖像/視頻的生成和翻譯。

Menghan Xia博士畢業(yè)于港中文，本碩先后畢業(yè)于武漢大學(xué)的攝影測量與遙感學(xué)、模式識(shí)別與智能系統(tǒng)專業(yè)。

另一位是南洋理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院助理教授劉子緯。

他2017年博士畢業(yè)于港中文，師從湯曉鷗教授和王曉剛教授。

畢業(yè)后曾在UC伯克利做博士后、港中文擔(dān)任四年研究員。

論文：
https://arxiv.org/abs/2310.15169
Huggingface體驗(yàn)demo：
https://huggingface.co/spaces/MoonQiu/LongerCrafter