AI版《黑客帝國》：無限生成逼真視頻，3A畫質(zhì)，還能實時交互

十三 2024-11-21 12:17:32 來源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

人類離電影《黑客帝國》的場景，似乎又近了一步。

因為就在剛剛，一個與電影同名的、首個AI基礎(chǔ)世界模擬器——The Matrix問世。

它已經(jīng)可以實現(xiàn)生成無限長、高保真720p真實場景視頻，而且還是可以實時交互的那種！

話不多說，直接來看一個長達(dá)14分鐘的效果：

而這個時長還只是demo展示的長度，The Matrix可以做到在長達(dá)1個小時的時間里，穿梭沙漠、草原、水體和城市等景觀。

在此期間，還可以通過按鍵W（前）、S（后）、A（左）和D（右）來實時控制——

每秒16幀，幀幀可控。

The Matrix項目是由全華人團隊打造，作者分別來自阿里巴巴、香港大學(xué)、滑鐵盧大學(xué)和加拿大AI研究機構(gòu)Vector Insititute。

而之所以團隊將研究取名為The Matrix，是因為其效果和內(nèi)容與電影《黑客帝國》中的一句話類似：

這是你熟悉的世界；這是20世紀(jì)末的世界。它現(xiàn)在只存在于我們稱之為Matrix的神經(jīng)交互模擬系統(tǒng)中。
This is the world that you know; the world as it was at the end of the 20th century. It exists now only as part of a neural-interactive simulation that we call the Matrix.

網(wǎng)友們看罷，評論區(qū)已經(jīng)一片“crazy”、“amazing”的聲音：

但除了無限生成、效果逼真和實時可控之外，The Matrix還解鎖了一項能力。

零樣本，就可以直接泛化

The Matrix的訓(xùn)練數(shù)據(jù)主要由兩部分組成。

首先是通過像《極限競速：地平線》和《賽博朋克 2077》這樣的3A游戲的監(jiān)督數(shù)據(jù)來進行訓(xùn)練；其次再輔以大量的現(xiàn)實世界場景（如東京街頭）的無監(jiān)督視頻。

而與以往研究不同的是，The Matrix可以在沒有上述數(shù)據(jù)學(xué)習(xí)的情況下（零樣本），可以理解和預(yù)測不同環(huán)境中物體的行為和交互。

例如下面這個“寶馬X3在辦公環(huán)境中行駛”的場景，這是在游戲數(shù)據(jù)和現(xiàn)實世界數(shù)據(jù)中都未出現(xiàn)過的環(huán)境：

再如“車在水里游泳”：

The Matrix還支持以第一視角的方式來看世界：

就連真實世界中的物體，甚至人物，都是可控的：

從實驗結(jié)果上來看，與近期主流的游戲仿真生成模型比較，不論是時長還是效果等，The Matrix都已經(jīng)達(dá)到了領(lǐng)先的效果：

怎么做到的？

從技術(shù)角度來看，The Matrix的核心由三大模塊組成。

首先是交互模塊?（Interactive Module）。

這個模塊用于理解用戶的輸入（如鍵盤輸入）并將其整合到視頻生成中，實現(xiàn)幀級別的精確控制。

為了增強模型的交互性，研究人員對一個預(yù)訓(xùn)練的 Diffusion Transformer (DiT) 模型進行調(diào)優(yōu)，使得交互模塊不僅能夠應(yīng)對已知數(shù)據(jù)，還能泛化到無標(biāo)簽的數(shù)據(jù)。

其次是移窗去噪過程模型?（Shift-Window Denoising Process Model, Swin-DPM）。

這個新穎的擴散模型通過使用滑動的時間窗口來處理長時間依賴關(guān)系，從而實現(xiàn)無限長視頻的生成。

該模型能夠以連續(xù)、平滑的方式生成視頻，解決了傳統(tǒng)模型在長序列生成時遇到的記憶瓶頸。

最后是流一致性模型?（Stream Consistency Model, SCM）。

為了實現(xiàn)實時生成，The Matrix 集成了一種名為流一致性模型的技術(shù)，使得推理速度加快 10-20 倍，最終實現(xiàn) 8-16 FPS 的實時生成速度。

此外，研究人員還開發(fā)了一個名為GameData的平臺，用于自動捕獲游戲中的狀態(tài)數(shù)據(jù)和視頻幀，并生成標(biāo)注的動作幀數(shù)據(jù)集。

這個數(shù)據(jù)集結(jié)合了真實世界的視頻數(shù)據(jù)，既幫助模型學(xué)習(xí)具體動作控制，又增強了模型的視覺質(zhì)量和域泛化能力。

團隊介紹

正如我們剛才提到的，The Matrix的作者均為華人。

其中，項目負(fù)責(zé)人主要是兩位，分別是Hongyang Zhang和Ruili Feng。

Hongyang Zhang目前是滑鐵盧大學(xué)的助理教授，帶領(lǐng)SafeAI Lab；其主要研究方向包括基礎(chǔ)模型的研究。

另一位則是來自阿里巴巴的Ruili Feng。

若是大家對研究感興趣，可戳下方鏈接查看詳情。

參考鏈接：
[1]https://thematrix1999.github.io/
[2]https://thematrix1999.github.io/article/the_matrix.pdf
[3]https://x.com/hongyangzh/status/1859288829825515810
[4]https://x.com/SmokeAwayyy/status/1859369842647892325