梵高大跳科目三，只需文字+火柴人動(dòng)效！可控視頻生成框架來(lái)了 | AAAI 2024

豐色 2024-01-31 14:06:45 來(lái)源：量子位

馬躍 投稿

量子位 | 公眾號(hào) QbitAI

視頻生成還可以這么玩？

來(lái)一個(gè)“火柴人”做做動(dòng)作示范，再加文本描述，即可讓各種形象惟妙惟肖地跟著動(dòng)起來(lái)。

比如男人在公園椅子上做遠(yuǎn)眺姿勢(shì)：

鋼鐵俠街邊起舞：

蝙蝠俠也不閑著，水上打拳：

形象數(shù)量可以隨意添加：

風(fēng)格也能任意切換（上：新海誠(chéng)，下：梵高）：

如此看下來(lái)，讓任意一個(gè)八桿子打不著的形象跳個(gè)科目三，也是簡(jiǎn)簡(jiǎn)單單了。

如上成果便是不久前入選了AAAI 2024的姿態(tài)全可控視頻生成框架：Follow-Your-Pose。

出自清華大學(xué)、香港科技大學(xué)、騰訊AI Lab以及中科院。

相關(guān)代碼已在GitHub攬獲800顆標(biāo)星。

有網(wǎng)友驚嘆，有了它：

TikTok/抖音的舞蹈將永遠(yuǎn)花樣百出。

那么以下，為作者投稿內(nèi)容，一起來(lái)看看它具體是如何做到的吧。

姿勢(shì)可控的角色視頻生成來(lái)了

現(xiàn)如今，生成文本可編輯和姿勢(shì)可控的角色視頻在創(chuàng)建各種數(shù)字人方面具有迫切的需求。

然而，由于缺乏一個(gè)全面的、具有成對(duì)的視頻-姿態(tài)-文本的生成數(shù)據(jù)集，從而使這項(xiàng)任務(wù)受到了限制。

在這項(xiàng)工作中，研究團(tuán)隊(duì)設(shè)計(jì)了一種新穎的兩階段訓(xùn)練方案，該方案可以利用易于獲得的數(shù)據(jù)集（即圖像姿勢(shì)對(duì)和無(wú)姿勢(shì)視頻）和預(yù)訓(xùn)練的文本到圖像（T2I）模型來(lái)獲得姿勢(shì)可控的角色視頻。

具體來(lái)說(shuō)，在第一階段，只有姿態(tài)圖像對(duì)僅用于可控的文本到圖像生成。

團(tuán)隊(duì)學(xué)習(xí)了一個(gè)零初始化的卷積編碼器來(lái)對(duì)姿態(tài)信息進(jìn)行編碼。

在第二階段通過(guò)添加可學(xué)習(xí)的時(shí)間自注意力和改革后的跨幀自注意力塊，用無(wú)姿勢(shì)視頻數(shù)據(jù)集對(duì)上述網(wǎng)絡(luò)的運(yùn)動(dòng)進(jìn)行微調(diào)。

在團(tuán)隊(duì)新設(shè)計(jì)的支持下，該方法成功地生成了連續(xù)的姿勢(shì)可控的角色視頻，同時(shí)保留了預(yù)訓(xùn)練的T2I模型的概念生成和合成能力。

具體來(lái)說(shuō)，該兩階段訓(xùn)練策略，可有效地從研究團(tuán)隊(duì)提出的LAION-Pose數(shù)據(jù)集中學(xué)習(xí)圖像姿勢(shì)對(duì)齊，并從沒(méi)有姿勢(shì)注釋的自然視頻中學(xué)習(xí)時(shí)間相干性。

在第一階段訓(xùn)練中，只有姿態(tài)編碼器Ep可以訓(xùn)練來(lái)學(xué)習(xí)姿態(tài)控制。

在第二階段訓(xùn)練中，只有時(shí)間模塊是可訓(xùn)練的，包括時(shí)間自注意力（SA）和跨幀自注意力。

在推理過(guò)程中，通過(guò)提供描述目標(biāo)角色和相應(yīng)外觀的文本以及表示運(yùn)動(dòng)的姿勢(shì)序列來(lái)生成時(shí)間連貫的視頻。

預(yù)訓(xùn)練穩(wěn)定擴(kuò)散的大多數(shù)參數(shù)都被凍結(jié)，包括偽 3D 卷積層以及交叉注意力（CA）和前饋網(wǎng)絡(luò)（FFN）模塊。具體框架結(jié)構(gòu)如下。

為了進(jìn)一步保持時(shí)間一致性，研究團(tuán)隊(duì)利用幀間自注意力（SA）來(lái)進(jìn)行交叉幀處理。

不同的是，他們通過(guò)簡(jiǎn)單地在DDIM的上一次采樣過(guò)程中重復(fù)使用每個(gè)時(shí)間步長(zhǎng)的噪聲，來(lái)生成更長(zhǎng)的視頻序列。

具體而言，假設(shè)每次采樣T幀，將最后T幀的噪聲添加到下一個(gè)2個(gè)循環(huán)中，作為先驗(yàn)知識(shí)。

需要注意的是，在整個(gè)去噪過(guò)程中，為了確保生成的長(zhǎng)視頻的時(shí)間一致性，會(huì)將每個(gè)時(shí)間步長(zhǎng)的噪聲添加到先驗(yàn)知識(shí)中。

如框架圖所示，所提出的方法僅調(diào)整了用于視頻生成的幀間自注意力和時(shí)間自注意力。

通過(guò)以上兩階段的訓(xùn)練，結(jié)合為每個(gè)階段精心設(shè)計(jì)的可調(diào)節(jié)模塊，研究團(tuán)隊(duì)所提出的方法可以從輕松獲得的數(shù)據(jù)集（例如人體和姿勢(shì)的圖像對(duì)以及隨機(jī)視頻）中生成連續(xù)的姿勢(shì)可控視頻。

總結(jié)

這篇工作主要解決了生成文本可編輯且姿勢(shì)可控制的角色視頻的問(wèn)題。

為實(shí)現(xiàn)這一目標(biāo)，作者重新設(shè)計(jì)和調(diào)整了預(yù)訓(xùn)練的文本到圖像模型，因?yàn)樗哂袕?qiáng)大的語(yǔ)義編輯和組合能力。

并設(shè)計(jì)了一個(gè)新的兩階段訓(xùn)練方案，可以利用大規(guī)模的圖像姿勢(shì)對(duì)和多樣化的無(wú)姿勢(shì)數(shù)據(jù)集。

具體而言，在第一訓(xùn)練階段，使用姿勢(shì)編碼器將姿勢(shì)信息注入網(wǎng)絡(luò)結(jié)構(gòu)，并從圖像-姿勢(shì)對(duì)中學(xué)習(xí)，以實(shí)現(xiàn)姿勢(shì)可控的文本到圖像生成。

在第二訓(xùn)練階段，研將圖像模型擴(kuò)展為3D網(wǎng)絡(luò)，從無(wú)姿勢(shì)視頻中學(xué)習(xí)時(shí)間上的連貫性。

通過(guò)研究團(tuán)隊(duì)的幾項(xiàng)新設(shè)計(jì)，所得框架可以生成具有新穎創(chuàng)意和時(shí)間上連貫的視頻，同時(shí)保留原始T2I模型的概念組合能力。

論文：
https://arxiv.org/abs/2304.01186
代碼：
https://github.com/mayuelala/FollowYourPose
更多效果：
https://follow-your-pose.github.io/