騰訊混元最新圖生視頻模型！想動(dòng)哪里點(diǎn)哪里，諸葛青睜眼原來(lái)長(zhǎng)這樣 | 開(kāi)源

衡宇 2024-03-16 13:25:26 來(lái)源：量子位

騰訊投稿扔向凹非寺

量子位 | 公眾號(hào) QbitAI

單擊畫(huà)面中的火箭，輸入“發(fā)射”prompt，瞬間起飛！

就連想要回收火箭，也只需要輸入“Launch down”，再輕輕一點(diǎn)擊：

馬斯克看了都要自我懷疑一下，這火箭發(fā)射這么簡(jiǎn)單，自家星艦成功進(jìn)入太空怎么那么難（開(kāi)個(gè)小玩笑）？？

以上效果來(lái)自一個(gè)新的圖生視頻模型Follow-Your-Click，由騰訊混元、清華大學(xué)和香港科技大學(xué)聯(lián)合推出。

食用方法非常友好：

任意一張照片輸入模型，只需要點(diǎn)擊對(duì)應(yīng)區(qū)域，加上少量簡(jiǎn)單的提示詞，就可以讓圖片中原本靜態(tài)的區(qū)域動(dòng)起來(lái)，一鍵轉(zhuǎn)換成視頻。

就連《一人之下》的諸葛青和《唐伯虎點(diǎn)秋香》里的星爺也……

相關(guān)研究論文已經(jīng)掛上了arXiv，GitHub上也放出代碼，首日就小有戰(zhàn)績(jī)，攬星280+。

想動(dòng)哪里點(diǎn)哪里，so easy

注意看這個(gè)樓梯上的動(dòng)畫(huà)小鼠形象，只需單擊小鼠腹部，再輸入“跳舞”，它就能瞬間扭動(dòng)起來(lái)。

同時(shí)，畫(huà)面的其他部分保持原有的靜止?fàn)顟B(tài)。

不只是人物、卡通形象可以控制，圖片的其余部分，通過(guò)點(diǎn)擊和輸入簡(jiǎn)短提示詞，也能動(dòng)起來(lái)。

，時(shí)長(zhǎng)00:08

進(jìn)一步測(cè)試，是可以實(shí)際感知到Follow-Your-Click對(duì)畫(huà)面動(dòng)態(tài)部分的精準(zhǔn)控制的。

同樣是鳥(niǎo)圖，點(diǎn)擊小鳥(niǎo)，輸入“動(dòng)動(dòng)腦袋”：

輸入“扇扇翅膀”：

輸入“跳個(gè)舞吧”：

輸入“不如搖擺”：

總結(jié)，就是想要哪里動(dòng)，就點(diǎn)哪里。

研究團(tuán)隊(duì)還將Follow-Your-Click和其他視頻生成模型進(jìn)行了同題對(duì)比，以下是實(shí)驗(yàn)效果：

一鍵點(diǎn)，萬(wàn)物動(dòng)

此前圖生視頻模型的生成方法，一般都需要用提示詞描述運(yùn)動(dòng)區(qū)域，并提供運(yùn)動(dòng)指令的詳細(xì)描述。

從生成效果來(lái)看，過(guò)往技術(shù)在指定圖像移動(dòng)部分缺乏控制，往往是讓整個(gè)場(chǎng)景動(dòng)起來(lái)，而不是具體到圖像上的某個(gè)區(qū)域。

為了解決這些問(wèn)題，騰訊混元大模型團(tuán)隊(duì)、清華和港科大聯(lián)合項(xiàng)目提出了更實(shí)用和可控的圖像到視頻生成模型Follow-Your-Click。

實(shí)現(xiàn)方式上，F(xiàn)ollow-Your-Click首先整合了圖像語(yǔ)義分割工具Segment-Anything，將用戶點(diǎn)擊轉(zhuǎn)換為二進(jìn)制區(qū)域Mask，將其作為網(wǎng)絡(luò)條件之一。

其次，為了更好地正確學(xué)習(xí)時(shí)間相關(guān)性，團(tuán)隊(duì)還引入了一種有效的首幀掩模策略。

這種方式對(duì)模型生成的視頻質(zhì)量有較大的性能提升，不論是在畸變還是首幀的重構(gòu)效果上都有很大的幫助。

此外，為了實(shí)現(xiàn)簡(jiǎn)短提示詞的文字驅(qū)動(dòng)能力，研究團(tuán)隊(duì)構(gòu)建了一個(gè)名為WebVid-Motion的數(shù)據(jù)集——利用大模型來(lái)過(guò)濾和注視視頻標(biāo)題，并強(qiáng)調(diào)人類(lèi)情感、動(dòng)作和常見(jiàn)物體的運(yùn)動(dòng)，通過(guò)數(shù)據(jù)集提升模型對(duì)動(dòng)詞的響應(yīng)和識(shí)別能力。

聯(lián)合研究團(tuán)隊(duì)還設(shè)計(jì)了一個(gè)運(yùn)動(dòng)增強(qiáng)模塊，主要用途一方面是更好地適應(yīng)數(shù)據(jù)集，一方面用來(lái)增強(qiáng)模型對(duì)運(yùn)動(dòng)相關(guān)詞語(yǔ)的響，同時(shí)理解簡(jiǎn)短提示指令。

在視頻中，不同類(lèi)型的物體可能表現(xiàn)出不同的運(yùn)動(dòng)速度。

以往的工作中，每秒幀數(shù)（FPS）主要作為全局的動(dòng)作幅度控制參數(shù)，間接調(diào)整多個(gè)物體的運(yùn)動(dòng)速度。然而，它無(wú)法有效控制移動(dòng)物體的速度。

舉個(gè)

，一個(gè)展示雕塑的視頻可能具有很高的FPS，但是沒(méi)有物體的運(yùn)動(dòng)速度。

為了實(shí)現(xiàn)對(duì)運(yùn)動(dòng)速度的準(zhǔn)確學(xué)習(xí)，研究團(tuán)隊(duì)提出了一種基于光流的運(yùn)動(dòng)幅度控制，使用光流模長(zhǎng)作為新的視頻運(yùn)動(dòng)幅度控制參數(shù)。

以上這些新提出的方法，加上各模塊的組合，F(xiàn)ollow-Your-Click大大提升了可控圖生視頻的效率和可控性，最終實(shí)現(xiàn)了用簡(jiǎn)單文本指令來(lái)實(shí)現(xiàn)圖像局部動(dòng)畫(huà)。

One More Thing

小道消息！

Follow-Your-Click聯(lián)合項(xiàng)目組中的騰訊混元大模型團(tuán)隊(duì)，正努力研究和探索多模態(tài)技術(shù)。

此前，該團(tuán)隊(duì)已經(jīng)作為技術(shù)合作伙伴，支持了《人民日?qǐng)?bào)》的原創(chuàng)視頻《江山如此多嬌》。

該說(shuō)不說(shuō)，2024年，一定是多模態(tài)卷到爆炸的一年……

項(xiàng)目主頁(yè)：https://follow-your-click.github.io/
論文鏈接：https://arxiv.org/pdf/2403.08268.pdf
GitHub：https://github.com/mayuelala/FollowYourClick