騰訊混元最新圖生視頻模型！想動哪里點哪里，諸葛青睜眼原來長這樣 | 開源
騰訊混元聯(lián)合清華和港科大推出
騰訊投稿扔向凹非寺
量子位 | 公眾號 QbitAI
單擊畫面中的火箭，輸入“發(fā)射”prompt，瞬間起飛！
就連想要回收火箭，也只需要輸入“Launch down”，再輕輕一點擊：
馬斯克看了都要自我懷疑一下，這火箭發(fā)射這么簡單，自家星艦成功進入太空怎么那么難（開個小玩笑）？？
以上效果來自一個新的圖生視頻模型Follow-Your-Click，由騰訊混元、清華大學和香港科技大學聯(lián)合推出。
食用方法非常友好：
任意一張照片輸入模型，只需要點擊對應區(qū)域，加上少量簡單的提示詞，就可以讓圖片中原本靜態(tài)的區(qū)域動起來，一鍵轉(zhuǎn)換成視頻。
就連《一人之下》的諸葛青和《唐伯虎點秋香》里的星爺也……
相關(guān)研究論文已經(jīng)掛上了arXiv，GitHub上也放出代碼，首日就小有戰(zhàn)績，攬星280+。
想動哪里點哪里，so easy
注意看這個樓梯上的動畫小鼠形象，只需單擊小鼠腹部，再輸入“跳舞”，它就能瞬間扭動起來。
同時，畫面的其他部分保持原有的靜止狀態(tài)。
不只是人物、卡通形象可以控制，圖片的其余部分，通過點擊和輸入簡短提示詞，也能動起來。
，時長00:08
進一步測試，是可以實際感知到Follow-Your-Click對畫面動態(tài)部分的精準控制的。
同樣是鳥圖，點擊小鳥，輸入“動動腦袋”：
輸入“扇扇翅膀”：
輸入“跳個舞吧”：
輸入“不如搖擺”：
總結(jié)，就是想要哪里動，就點哪里。
研究團隊還將Follow-Your-Click和其他視頻生成模型進行了同題對比，以下是實驗效果：
一鍵點，萬物動
此前圖生視頻模型的生成方法，一般都需要用提示詞描述運動區(qū)域，并提供運動指令的詳細描述。
從生成效果來看，過往技術(shù)在指定圖像移動部分缺乏控制，往往是讓整個場景動起來，而不是具體到圖像上的某個區(qū)域。
為了解決這些問題，騰訊混元大模型團隊、清華和港科大聯(lián)合項目提出了更實用和可控的圖像到視頻生成模型Follow-Your-Click。
實現(xiàn)方式上，F(xiàn)ollow-Your-Click首先整合了圖像語義分割工具Segment-Anything，將用戶點擊轉(zhuǎn)換為二進制區(qū)域Mask，將其作為網(wǎng)絡條件之一。
其次，為了更好地正確學習時間相關(guān)性，團隊還引入了一種有效的首幀掩模策略。
這種方式對模型生成的視頻質(zhì)量有較大的性能提升，不論是在畸變還是首幀的重構(gòu)效果上都有很大的幫助。
此外，為了實現(xiàn)簡短提示詞的文字驅(qū)動能力，研究團隊構(gòu)建了一個名為WebVid-Motion的數(shù)據(jù)集——利用大模型來過濾和注視視頻標題，并強調(diào)人類情感、動作和常見物體的運動，通過數(shù)據(jù)集提升模型對動詞的響應和識別能力。
聯(lián)合研究團隊還設計了一個運動增強模塊，主要用途一方面是更好地適應數(shù)據(jù)集，一方面用來增強模型對運動相關(guān)詞語的響，同時理解簡短提示指令。
在視頻中，不同類型的物體可能表現(xiàn)出不同的運動速度。
以往的工作中，每秒幀數(shù)（FPS）主要作為全局的動作幅度控制參數(shù)，間接調(diào)整多個物體的運動速度。然而，它無法有效控制移動物體的速度。
舉個
，一個展示雕塑的視頻可能具有很高的FPS，但是沒有物體的運動速度。
為了實現(xiàn)對運動速度的準確學習，研究團隊提出了一種基于光流的運動幅度控制，使用光流模長作為新的視頻運動幅度控制參數(shù)。
以上這些新提出的方法，加上各模塊的組合，F(xiàn)ollow-Your-Click大大提升了可控圖生視頻的效率和可控性，最終實現(xiàn)了用簡單文本指令來實現(xiàn)圖像局部動畫。
One More Thing
小道消息！
Follow-Your-Click聯(lián)合項目組中的騰訊混元大模型團隊，正努力研究和探索多模態(tài)技術(shù)。
此前，該團隊已經(jīng)作為技術(shù)合作伙伴，支持了《人民日報》的原創(chuàng)視頻《江山如此多嬌》。
該說不說，2024年，一定是多模態(tài)卷到爆炸的一年……
項目主頁：https://follow-your-click.github.io/
論文鏈接：https://arxiv.org/pdf/2403.08268.pdf
GitHub：https://github.com/mayuelala/FollowYourClick
- “智元機器人收購A股上市公司是創(chuàng)新需要…現(xiàn)金流能撐三年”2025-08-22
- 稚暉君新大招：機器人二次開發(fā)0門檻了！2025-08-22
- 賣酒的茅臺要學AI了！和奔馳麥當勞一起拜師百度2025-08-17
- VLA進化后降維打擊！雙手揀貨，漂移操作，還能批量化秀舞，太空艙直接開上街，被銀河通用卷到了2025-08-11
相關(guān)閱讀
終于！全球爆火AI視頻神器PixVerse發(fā)布國內(nèi)版——拍我AI
同步上線網(wǎng)頁端及移動端應用，并開放最新V4.5模型供用戶使用
