字節(jié)版Sora火爆24小時(shí)，同名論文再次被熱議

“不需要再等OpenAI的鴿王Sora了”。?

字節(jié)版Sora終于來(lái)了，這一次還憋了個(gè)大的——

一口氣推出Seaweed和PixelDance兩款豆包視頻模型，支持文生/圖生視頻，時(shí)長(zhǎng)可達(dá)10s。

以PixelDance為例，其最大特色在于多主體交互，一致性多鏡頭生成。

啥意思？？——直接來(lái)看幾個(gè)官方demo。

First kill，現(xiàn)在手上有這樣一張?jiān)瓐D：

若使用當(dāng)前大多視頻模型，一般只能進(jìn)行到“摘墨鏡”這個(gè)環(huán)節(jié)；而PixelDance能解鎖時(shí)序性多拍動(dòng)作指令。（摘完墨鏡還能站起來(lái)，并走向雕像）

還有類(lèi)似電視劇的飆戲名場(chǎng)面（多個(gè)主體），各自眼神、動(dòng)作，一整個(gè)拿捏。

Double kill，飽受吐槽的PPT動(dòng)畫(huà)有新解了。PixelDance擁有變焦、環(huán)繞、平搖、縮放、目標(biāo)跟隨等多鏡頭話語(yǔ)言能力。

提示詞：一名亞洲男子帶著護(hù)目鏡游泳，身后是另一名穿潛水服的男子

關(guān)鍵來(lái)了，在一致性方面，PixelDance號(hào)稱能10秒講述完整故事。

說(shuō)人話就是，在一句提示詞內(nèi)，實(shí)現(xiàn)多個(gè)鏡頭切換，同時(shí)保持主體、風(fēng)格和氛圍的一致性。

提示詞：一個(gè)女孩兒從汽車(chē)上下來(lái)，遠(yuǎn)處是夕陽(yáng)

另外，PixelDance支持多種風(fēng)格比例。（說(shuō)你呢Runway）

提示詞：水墨風(fēng)格的鳥(niǎo)，比例16:9

小結(jié)一下，字節(jié)版Sora這次主打多主體交互、酷炫運(yùn)鏡、一致性多鏡頭以及多風(fēng)格比例。

發(fā)布會(huì)一結(jié)束，網(wǎng)友們的期待值也是拉滿了，嗷嗷待哺內(nèi)測(cè)資格！

與此同時(shí)，字節(jié)研究團(tuán)隊(duì)一篇PixelDance同名論文，也被扒了出來(lái)，再次引發(fā)熱議。???

背后論文揭示「PixelDance」原型??

字節(jié)團(tuán)隊(duì)此前入選CVPR 2024的論文，就提出了名為一種PixelDance的模型。?

先劃重點(diǎn)，團(tuán)隊(duì)采用的方法可以概括為：

基于潛在擴(kuò)散模型，結(jié)合視頻片段的首幀和尾幀圖像指令與文本指令進(jìn)行視頻生成，并有效利用公開(kāi)視頻數(shù)據(jù)進(jìn)行訓(xùn)練。

首先，團(tuán)隊(duì)采用廣泛使用的2D UNet作為擴(kuò)散模型，該模型由一系列空間下采樣層和一系列空間上采樣層構(gòu)建，并插入了跳躍連接。

具體來(lái)說(shuō)，它由兩個(gè)基本模塊構(gòu)建，即2D卷積模塊和2D注意力模塊。

通過(guò)插入時(shí)間層將2D UNet 擴(kuò)展為3D變體，其中在2D卷積層之后插入1D時(shí)間卷積層，2D注意力層之后插入1D時(shí)間注意力層。

模型可以通過(guò)圖像和視頻聯(lián)合訓(xùn)練，在空間維度上保持高保真生成能力。

不過(guò)對(duì)于圖像輸入，1D時(shí)間操作被禁用。團(tuán)隊(duì)在所有時(shí)間注意力層中使用雙向自注意力。

其次是指令注入。具體來(lái)說(shuō)，PixelDance基于<文本，首幀，尾幀>指令。

• 文本指令源于使用詳細(xì)的文本注釋以精確描述視頻的幀和動(dòng)作
• 首幀圖像指令描述了視頻片段的主要場(chǎng)景
• 尾幀圖像指令（在訓(xùn)練和推理過(guò)程中可選使用）描繪了視頻片段的結(jié)尾，并提供了額外的控制

這里要插一句，與文本指令相比，圖像指令更加直接且易于獲取——使用真實(shí)視頻幀作為訓(xùn)練中的圖像指令。

據(jù)了解，文本指令由預(yù)訓(xùn)練的文本編碼器編碼，并通過(guò)交叉注意力融入擴(kuò)散模型。

圖像指令由預(yù)訓(xùn)練的VAE編碼器編碼，并與受擾的視頻潛變量或高斯噪聲一起作為擴(kuò)散模型的輸入。

在訓(xùn)練過(guò)程中，團(tuán)隊(duì)使用（真實(shí)的）首幀指令來(lái)強(qiáng)制模型嚴(yán)格遵循該指令，從而保持連續(xù)視頻片段之間的一致性。

當(dāng)然了，PixelDance獨(dú)特之處在于使用尾幀指令的方式。

簡(jiǎn)單說(shuō)，團(tuán)隊(duì)有意避免讓模型完全復(fù)制尾幀指令，因?yàn)樵谕评磉^(guò)程中提供一個(gè)完美的尾幀是很困難的，模型應(yīng)該能夠處理用戶提供的粗略草稿，并作為指導(dǎo)。

為了實(shí)現(xiàn)這一點(diǎn)，團(tuán)隊(duì)開(kāi)發(fā)了三項(xiàng)技術(shù)：

1、在訓(xùn)練過(guò)程中，尾幀指令是從視頻片段的最后三幀（真實(shí)的）中隨機(jī)選擇的。
2、向指令中引入了噪聲，以減少對(duì)指令的依賴性并提高模型的魯棒性。
3、在訓(xùn)練中以一定概率（例如 25%）隨機(jī)丟棄尾幀指令。

相應(yīng)地，團(tuán)隊(duì)提出了一種簡(jiǎn)單但有效的推理策略。

概括起來(lái)就是，在前τ次去噪步驟中，利用尾幀指令引導(dǎo)視頻生成朝向期望的結(jié)束狀態(tài)。

在剩余的步驟中，指令被丟棄，允許模型生成時(shí)間上更連貫的視頻。

通過(guò)調(diào)整τ，可以控制尾幀指令對(duì)生成結(jié)果的影響。

接下來(lái)，團(tuán)隊(duì)在WebVid-10M數(shù)據(jù)集上訓(xùn)練了視頻擴(kuò)散模型，該數(shù)據(jù)集包含大約1000萬(wàn)個(gè)短視頻片段——

平均時(shí)長(zhǎng)為18秒，分辨率通常為336 × 596，且每個(gè)視頻都附有與視頻內(nèi)容松散相關(guān)的文本描述。

不過(guò)WebVid-10M存在一個(gè)問(wèn)題，即所有視頻上都帶有水印，這導(dǎo)致生成的視頻中也會(huì)包含水印。

因此，團(tuán)隊(duì)將訓(xùn)練數(shù)據(jù)擴(kuò)展為另外自收集的50萬(wàn)個(gè)無(wú)水印視頻片段，它們包含真實(shí)世界的實(shí)體，如人類(lèi)、動(dòng)物、物體和風(fēng)景，并附有粗粒度的文本描述。

盡管這一額外數(shù)據(jù)集只占了很小比例，但團(tuán)隊(duì)驚訝地發(fā)現(xiàn)：

將該數(shù)據(jù)集與WebVid-10M結(jié)合訓(xùn)練后，如果圖像指令沒(méi)有水印，PixelDance就能夠生成無(wú)水印的視頻。

最終，PixelDance在視頻-文本數(shù)據(jù)集和圖像-文本數(shù)據(jù)集上進(jìn)行聯(lián)合訓(xùn)練。

對(duì)于視頻數(shù)據(jù)，從每個(gè)視頻中隨機(jī)采樣16個(gè)連續(xù)幀，每秒4幀。

此外，按照之前的工作，采用LAION-400M作為圖像-文本數(shù)據(jù)集；每8次訓(xùn)練迭代使用一次圖像-文本數(shù)據(jù)。

自論文發(fā)布之后，到產(chǎn)品上線這段時(shí)間具體又做了哪些改進(jìn)，目前還不得而知。

由于剛發(fā)布，目前只能簡(jiǎn)單看到官方提及：

感興趣的話可以親自上手試一試來(lái)感受一下，目前豆包視頻模型已在火山引擎開(kāi)啟企業(yè)用戶的邀請(qǐng)測(cè)試；個(gè)人用戶可在字節(jié)旗下的即夢(mèng)AI申請(qǐng)內(nèi)測(cè)。

官方聲稱，未來(lái)將逐步開(kāi)放給所有用戶。

那么，你期待這次的字節(jié)版sora嗎？