豆包團(tuán)隊(duì)視頻生成新突破：無需語言模型，僅憑“視覺”就能學(xué)習(xí)復(fù)雜任務(wù)

十三 2025-01-27 13:47:13 來源：量子位

豆包大模型團(tuán)隊(duì) 投稿

現(xiàn)有的視頻生成模型，大多依賴語言或標(biāo)簽數(shù)據(jù)學(xué)習(xí)知識(shí)，很少涉及純視覺信號(hào)的學(xué)習(xí)，比如Sora。

然而，語言并不能捕捉真實(shí)世界中的所有知識(shí)，例如，折紙、打領(lǐng)結(jié)等復(fù)雜任務(wù)難以通過語言清晰表達(dá)。

那么，模型能否不依賴語言模型，從純視覺視角學(xué)習(xí)知識(shí)、認(rèn)知世界進(jìn)而掌握推理和規(guī)劃等能力？

現(xiàn)在，豆包大模型團(tuán)隊(duì)聯(lián)合北京交通大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)提出了VideoWorld。

這是一種通用的視頻生成模型，無需依賴語言模型存在，便可統(tǒng)一執(zhí)行理解和推理任務(wù)。VideoWorld利用一種潛在動(dòng)態(tài)模型（Latent Dynamics Model，LDM），高效壓縮視頻幀間的視覺變化信息，顯著提升知識(shí)學(xué)習(xí)效率和效果。

最終，VideoWorld在不依賴任何強(qiáng)化學(xué)習(xí)搜索或獎(jiǎng)勵(lì)函數(shù)機(jī)制前提下，達(dá)到了專業(yè)5段9×9圍棋水平，并能夠在多種環(huán)境中，執(zhí)行機(jī)器人任務(wù)。

視頻地址：
https://mp.weixin.qq.com/s/C1NTUQeofJgJNwnY8hX0Xw?token=1813497773&lang=zh_CN

該工作在業(yè)內(nèi)已引起一定關(guān)注。

上的AI領(lǐng)域大V、科技評(píng)論網(wǎng)站ReadMultiplex創(chuàng)始人Brian Roemmele認(rèn)為：

這是機(jī)器人學(xué)習(xí)和推理的重大進(jìn)步。

論文作者則表示，盡管真實(shí)世界視頻的生成和泛化仍存在很大挑戰(zhàn)，視頻生成模型可以成為一種通用的知識(shí)學(xué)習(xí)方法，并充當(dāng)在現(xiàn)實(shí)世界中思考和行動(dòng)的人工大腦。

目前該項(xiàng)目代碼與模型已開源。

僅憑“視覺”，就能學(xué)習(xí)復(fù)雜任務(wù)

就像李飛飛教授9年前演講中提到“幼兒可以不依靠語言理解真實(shí)世界”一樣，在自然界中，大猩猩和其他靈長(zhǎng)類動(dòng)物主要通過視覺觀察來學(xué)習(xí)重要技能，如覓食和社交互動(dòng)。人類嬰幼兒同樣不需要語言便可以理解周圍環(huán)境。

那么，人工智能模型能否僅通過視覺輸入來學(xué)習(xí)知識(shí)？

為探索其中答案，團(tuán)隊(duì)構(gòu)建了兩個(gè)實(shí)驗(yàn)環(huán)境：視頻圍棋對(duì)戰(zhàn)和視頻機(jī)器人模擬操控。

研究者們認(rèn)為，圍棋可以很好地評(píng)估模型的規(guī)則學(xué)習(xí)、推理和規(guī)劃能力，且圍棋圖像可以將外觀、紋理等復(fù)雜細(xì)節(jié)與高級(jí)知識(shí)的評(píng)估相分離，非常適合對(duì)上述問題的探索。同時(shí)，機(jī)器人任務(wù)則考察了模型理解控制規(guī)則和規(guī)劃任務(wù)的能力。

模型訓(xùn)練使用一個(gè)包含大量視頻演示數(shù)據(jù)的離線數(shù)據(jù)集，以此，得到一個(gè)可以根據(jù)過往觀測(cè)預(yù)測(cè)未來幀的視頻生成器。

訓(xùn)練完成后，模型可以直接學(xué)習(xí)一個(gè)任務(wù)相關(guān)的映射函數(shù)，將生成的視頻幀轉(zhuǎn)換為任務(wù)執(zhí)行所需動(dòng)作。這使得視頻生成模型可以在不依賴任何動(dòng)作標(biāo)簽的情況下，學(xué)習(xí)和執(zhí)行具體任務(wù)。

首先使用樸素的自回歸模型實(shí)例化視頻生成器，包含一個(gè)VQ-VAE編碼器-解碼器和一個(gè)自回歸Transformer。編碼器將視頻幀轉(zhuǎn)換為離散的標(biāo)記，Transformer在訓(xùn)練期間使用這些標(biāo)記進(jìn)行下一標(biāo)記的預(yù)測(cè)。

在推理過程中，Transformer生成下一幀的離散標(biāo)記，這些標(biāo)記隨后由解碼器轉(zhuǎn)換回像素空間。

基于上述樸素的框架，他們觀測(cè)到，視頻生成模型可以掌握基本圍棋規(guī)則、走棋策略以及機(jī)器人操縱能力。

但團(tuán)隊(duì)也同時(shí)發(fā)現(xiàn)，視頻序列的知識(shí)挖掘效率顯著落后于以文本形式，具體如下圖所示。

團(tuán)隊(duì)將這歸因于——視頻中存在大量冗余信息，影響了模型的學(xué)習(xí)效率。

例如，棋子移動(dòng)可以僅通過狀態(tài)序列中的少量位置標(biāo)記進(jìn)行編碼，而在視頻中，則需要視覺編碼器產(chǎn)生多得多的標(biāo)記。這種差異不利于模型對(duì)復(fù)雜知識(shí)的快速學(xué)習(xí)。

壓縮視覺變化，讓視頻學(xué)習(xí)更加高效

根據(jù)上述觀測(cè)結(jié)果，團(tuán)隊(duì)提出了VideoWorld。它在保留豐富視覺信息的同時(shí)，對(duì)與關(guān)鍵決策和動(dòng)作相關(guān)的視覺變化進(jìn)行壓縮，以實(shí)現(xiàn)更有效的視頻學(xué)習(xí)。

VideoWorld引入了一個(gè)潛在動(dòng)態(tài)模型（Latent Dynamics Model, LDM），壓縮幀間視覺變化為緊湊的潛在編碼，提高模型對(duì)知識(shí)的挖掘效率。

例如，圍棋中的多步棋盤變化或機(jī)器人中的連續(xù)動(dòng)作表現(xiàn)出強(qiáng)時(shí)間相關(guān)性。通過將這些多步變化壓縮成緊湊嵌入，不僅可增加策略信息的緊湊性，還編碼了用于前向規(guī)劃的指導(dǎo)信息。

LDM采用了MAGVITv2風(fēng)格的編碼器-解碼器結(jié)構(gòu)，但取消了時(shí)間維度下采樣，以保留每幀細(xì)節(jié)。

接下來，LDM定義了一組注意力模塊和對(duì)應(yīng)可學(xué)習(xí)向量。通過注意力機(jī)制，每個(gè)向量捕捉第一幀至后續(xù)多幀的動(dòng)態(tài)變化信息，然后通過FSQ量化。

最后，解碼器使用第一幀的特征圖和幀之間的視覺變化編碼重建后續(xù)幀。

通過使用多個(gè)向量順序編碼第一幀到后續(xù)多幀的動(dòng)態(tài)變化，VideoWorld實(shí)現(xiàn)了緊湊且信息豐富的視覺表示，可以捕捉視覺序列中的短期和長(zhǎng)期依賴關(guān)系。

通過引入LDM，VideoWorld在僅有300M參數(shù)量下，達(dá)到專業(yè)5段的9×9圍棋水平，且不依賴任何強(qiáng)化學(xué)習(xí)中的搜索或獎(jiǎng)勵(lì)函數(shù)機(jī)制。在機(jī)器人任務(wù)上，VideoWorld也展現(xiàn)出了對(duì)多任務(wù)、多環(huán)境的泛化能力。

研發(fā)團(tuán)隊(duì)對(duì)LDM提高視頻學(xué)習(xí)效率的原因，得出以下結(jié)論：

• LDM建模了訓(xùn)練集的數(shù)據(jù)模式

UMAP可視化表明：LDM建模了訓(xùn)練集中常見的走棋模式，并有效地將短期和長(zhǎng)期數(shù)據(jù)模式壓縮至潛在空間中。右圖根據(jù)機(jī)械臂沿X/Y/Z軸運(yùn)動(dòng)方向可視化潛在編碼，同樣表明LDM可以建模多步動(dòng)態(tài)依賴關(guān)系。

• LDM幫助模型在測(cè)試時(shí)進(jìn)行前向規(guī)劃

研發(fā)者們還研究了LDM在模型推理中的作用。如下圖 UMAP可視化所示，在測(cè)試階段，模型生成的潛在編碼按照時(shí)間步（Time-step）進(jìn)行分組，使得模型能夠從更長(zhǎng)遠(yuǎn)視角做出圍棋決策。

在機(jī)器人場(chǎng)景中，研究者們也觀察到了類似現(xiàn)象。下圖展示了VideoWorld在不同機(jī)器人操控任務(wù)中預(yù)測(cè)的潛在編碼。不同時(shí)間步的潛在編碼根據(jù)任務(wù)類型進(jìn)行分組，突顯了模型逐步捕捉特定任務(wù)長(zhǎng)程變化的能力。

• LDM可以生成因果相關(guān)的編碼

為進(jìn)一步研究潛在編碼的影響，研發(fā)團(tuán)隊(duì)進(jìn)行了一項(xiàng)干預(yù)實(shí)驗(yàn)：用隨機(jī)標(biāo)記替換不同時(shí)間步的潛在編碼，并觀察其對(duì)模型性能的影響。

實(shí)驗(yàn)結(jié)果顯示，干預(yù)第一個(gè)編碼的影響最大，這可能由于編碼之間存在因果依賴，團(tuán)隊(duì)認(rèn)為：改變第一個(gè)編碼，即下一時(shí)間步的最佳決策，會(huì)影響所有未來的決策。

One More Thing

盡管VideoWorld在圍棋和模擬機(jī)器人操控環(huán)境中展現(xiàn)了優(yōu)秀的性能，團(tuán)隊(duì)同時(shí)也意識(shí)到，其在真實(shí)世界環(huán)境中的應(yīng)用，仍面臨著高質(zhì)量視頻生成和多環(huán)境泛化等挑戰(zhàn)。

未來，團(tuán)隊(duì)將著力解決這些難題，推動(dòng)視頻生成模型成為真實(shí)世界中的通用知識(shí)學(xué)習(xí)器。

關(guān)于豆包大模型團(tuán)隊(duì)：

字節(jié)跳動(dòng)豆包大模型團(tuán)隊(duì)成立于 2023 年，致力于開發(fā)業(yè)界最先進(jìn)的 AI 大模型技術(shù)，成為世界一流的研究團(tuán)隊(duì)，為科技和社會(huì)發(fā)展作出貢獻(xiàn)，團(tuán)隊(duì)研究方向涵蓋深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、LLM、語音、視覺、AI Infra、AI Safety 等。

了解這篇研究的詳情，可見以下鏈接：

論文鏈接：https://arxiv.org/abs/2501.09781
代碼鏈接：https://github.com/bytedance/VideoWorld
項(xiàng)目主頁：https://maverickren.github.io/VideoWorld.github.io