Ilya觀點(diǎn)得證！僅靠預(yù)測下一個(gè)token統(tǒng)一圖像文本視頻，智源發(fā)布原生多模態(tài)世界模型Emu3

夢晨 2024-10-21 12:41:12 來源：量子位

夢晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

OpenAI前首席科學(xué)家、聯(lián)合創(chuàng)始人Ilya Sutskever曾在多個(gè)場合表達(dá)觀點(diǎn)：

只要能夠非常好的預(yù)測下一個(gè)token，就能幫助人類達(dá)到通用人工智能（AGI）。

雖然，下一token預(yù)測已在大語言模型領(lǐng)域?qū)崿F(xiàn)了ChatGPT等突破，但是在多模態(tài)模型中的適用性仍不明確。多模態(tài)任務(wù)仍然由擴(kuò)散模型（如Stable Diffusion）和組合方法（如結(jié)合 CLIP視覺編碼器和LLM）所主導(dǎo)。

2024年10月21日，智源研究院正式發(fā)布原生多模態(tài)世界模型Emu3。該模型只基于下一個(gè)token預(yù)測，無需擴(kuò)散模型或組合方法，即可完成文本、圖像、視頻三種模態(tài)數(shù)據(jù)的理解和生成。

Emu3在圖像生成、視頻生成、視覺語言理解等任務(wù)中超過了SDXL 、LLaVA、OpenSora等知名開源模型，但是無需擴(kuò)散模型、CLIP視覺編碼器、預(yù)訓(xùn)練的LLM等技術(shù)，只需要預(yù)測下一個(gè)token。

圖注：在圖像生成任務(wù)中，基于人類偏好評測，Emu3優(yōu)于SD-1.5與SDXL模型。在視覺語言理解任務(wù)中，對于12 項(xiàng)基準(zhǔn)測試的平均得分，Emu3優(yōu)于LlaVA-1.6。在視頻生成任務(wù)中，對于VBench基準(zhǔn)測試得分，Emu3優(yōu)于OpenSora 1.2。

Emu3提供了一個(gè)強(qiáng)大的視覺tokenizer，能夠?qū)⒁曨l和圖像轉(zhuǎn)換為離散token。這些視覺離散token可以與文本tokenizer輸出的離散token一起送入模型中。與此同時(shí)，該模型輸出的離散token可以被轉(zhuǎn)換為文本、圖像和視頻，為Any-to-Any的任務(wù)提供了更加統(tǒng)一的研究范式。而在此前，社區(qū)缺少這樣的技術(shù)和模型。

此外，受益于Emu3下一個(gè)token預(yù)測框架的靈活性，直接偏好優(yōu)化（DPO）可無縫應(yīng)用于自回歸視覺生成，使模型與人類偏好保持一致。

Emu3研究結(jié)果證明，下一個(gè)token預(yù)測可以作為多模態(tài)模型的一個(gè)強(qiáng)大范式，實(shí)現(xiàn)超越語言本身的大規(guī)模多模態(tài)學(xué)習(xí)，并在多模態(tài)任務(wù)中實(shí)現(xiàn)先進(jìn)的性能。通過將復(fù)雜的多模態(tài)設(shè)計(jì)收斂到token本身，能在大規(guī)模訓(xùn)練和推理中釋放巨大的潛力。下一個(gè)token預(yù)測為構(gòu)建多模態(tài)AGI提供了一條前景廣闊的道路。

目前Emu3已開源了關(guān)鍵技術(shù)和模型。（開源模型和代碼地址在文末）

Emu3一經(jīng)上線便在社交媒體和技術(shù)社區(qū)引起了熱議。

有網(wǎng)友指出，“這是幾個(gè)月以來最重要的研究，我們現(xiàn)在非常接近擁有一個(gè)處理所有數(shù)據(jù)模態(tài)的單一架構(gòu)?！?/p>

“Emu3 是一種非常新穎的方法（至少在我看來是這樣），它有機(jī)會(huì)將多模態(tài)合并為一，只需將它們都視為token即可。雖然還處于初期，但演示效果很不錯(cuò)。想象一下，我們可以無限擴(kuò)展視頻和生成多種模態(tài)?！?/p>

甚至有網(wǎng)友評價(jià)：“也許我們會(huì)得到一個(gè)真正開放的 OpenAI v2？”

對于Emu3的意義和影響，有評論指出：“Emu3 將徹底改變多模態(tài)AI領(lǐng)域，提供無與倫比的性能和靈活性?！?/p>

“Emu3在各行各業(yè)的廣泛適用性和開源靈活性將為開發(fā)者和企業(yè)解鎖人工智能創(chuàng)新能力的機(jī)會(huì)?！?/p>

“對于研究人員來說，Emu3意味著出現(xiàn)了一個(gè)新的機(jī)會(huì)，可以通過統(tǒng)一的架構(gòu)探索多模態(tài)，無需將復(fù)雜的擴(kuò)散模型與大語言模型相結(jié)合。這種方法類似于transformer在視覺相關(guān)任務(wù)中的變革性影響?！?/p>

“Emu3的統(tǒng)一方法將帶來更高效、更多功能的AI系統(tǒng)，簡化多模態(tài)AI的開發(fā)和應(yīng)用以及內(nèi)容生成、分析和理解的新可能性。”

“Emu3 改寫了多模態(tài)人工智能的規(guī)則…Emu3 重新定義了多模態(tài)AI，展示了簡單可以戰(zhàn)勝復(fù)雜。多模態(tài)AI的未來變得更加精煉與強(qiáng)大?！?/p>

效果展示

1. 視覺理解

Emu3 展現(xiàn)了強(qiáng)大的圖像及視頻的感知能力，能夠理解物理世界并提供連貫的文本回復(fù)。值得注意的是，這種能力是在不依賴于基礎(chǔ)LLM模型和CLIP的情況下實(shí)現(xiàn)的。

1.1 圖像輸入

1.2 視頻輸入

2. 圖像生成

Emu3通過預(yù)測下一個(gè)視覺token來生成高質(zhì)量的圖像。該模型自然支持靈活的分辨率和不同風(fēng)格。

3. 視頻生成

與使用視頻擴(kuò)散模型以從噪聲生成視頻的Sora不同，Emu3只是通過預(yù)測序列中的下一個(gè)token來因果性的生成視頻。

4. 視頻預(yù)測

在視頻的上下文中，Emu3可以自然地?cái)U(kuò)展視頻并預(yù)測接下來會(huì)發(fā)生什么。模型可以模擬物理世界中環(huán)境、人和動(dòng)物。

Emu3技術(shù)細(xì)節(jié)

1 數(shù)據(jù)

Emu3是在語言、圖像和視頻混合數(shù)據(jù)模態(tài)上從頭開始訓(xùn)練的。

語言數(shù)據(jù)：使用與Aquila模型相同的語言數(shù)據(jù)，一個(gè)由中英文數(shù)據(jù)組成的高質(zhì)量語料庫。

圖像數(shù)據(jù)：構(gòu)建了一個(gè)大型圖像文本數(shù)據(jù)集，其中包括開源網(wǎng)絡(luò)數(shù)據(jù)、AI生成的數(shù)據(jù)和高質(zhì)量的內(nèi)部數(shù)據(jù)。整個(gè)數(shù)據(jù)集經(jīng)過了分辨率、圖片質(zhì)量、類型等方面的過濾過程。訓(xùn)練了一個(gè)基于Emu2的圖像描述模型來對過濾后的數(shù)據(jù)進(jìn)行標(biāo)注以構(gòu)建密集的圖像描述，并利用vLLM庫來加速標(biāo)注過程。

視頻數(shù)據(jù)：收集的視頻涵蓋風(fēng)景、動(dòng)物、植物和游戲等多個(gè)類別。

整個(gè)視頻處理流程包括了場景切分、文本過濾、光流過濾、質(zhì)量評分等階段。并使用基于圖像描述模型微調(diào)得到的視頻描述模型來對以上過濾后的視頻片段打標(biāo)文本描述。

2 統(tǒng)一視覺Tokenizer

在SBER-MoVQGAN的基礎(chǔ)上訓(xùn)練視覺tokenizer，它可以將4×512×512的視頻片段或512×512的圖像編碼成4096個(gè)離散token。它的詞表大小為32,768。Emu3的tokenizer在時(shí)間維度上實(shí)現(xiàn)了4×壓縮，在空間維度上實(shí)現(xiàn)了8×8壓縮，適用于任何時(shí)間和空間分辨率。

此外，基于MoVQGAN架構(gòu)，在編碼器和解碼器模塊中加入了兩個(gè)具有三維卷積核的時(shí)間殘差層，以增強(qiáng)視頻token化能力。

3 架構(gòu)

Emu3保留了主流大語言模型（即 Llama-2）的網(wǎng)絡(luò)架構(gòu)。不同點(diǎn)在于，其擴(kuò)展了Llama-2架構(gòu)中的嵌入層，以容納離散的視覺token。網(wǎng)絡(luò)中使用RMSNorm進(jìn)行歸一化。其還使用了GQA注意力機(jī)制、SwiGLU激活函數(shù)和一維旋轉(zhuǎn)位置編碼（RoPE）等技術(shù)，并并去除了注意力模塊中QKV層和線性投影層中的偏置。此外，還采用了0.1的dropout率來提高訓(xùn)練的穩(wěn)定性，使用QwenTokenizer對多語言文本進(jìn)行編碼。詳細(xì)架構(gòu)配置表。

4 預(yù)訓(xùn)練

在預(yù)訓(xùn)練過程中，首先要定義多模態(tài)數(shù)據(jù)格式。與依賴外部文本編碼器的擴(kuò)散模型不同，Emu3 原生集成了用于生成圖像/視頻的文本條件信息。在視覺和語言的固有token中新增了五個(gè)特殊token來合并文本和視覺數(shù)據(jù)，以為訓(xùn)練過程創(chuàng)建類似文檔的輸入。生成的訓(xùn)練數(shù)據(jù)結(jié)構(gòu)如下：

[BOS] {caption text} [SOV] {meta text} [SOT] {vision tokens} [EOV] [EOS]

其中，[BOS]?和?[EOS]?是QwenTokenizer中的原始特殊token 。

額外新增的特殊token包括：

• [SOV]表示視覺輸入（包含圖像和視頻的meta信息部分）的開始
• [SOT]表示視覺token的開始
• [EOV]表示視覺輸入的結(jié)束。

此外，特殊token?[EOL]?和?[EOF]?作為換行符和換幀符插入到了視覺token中。元文本包含圖像的分辨率信息，視頻則包括分辨率、幀率和持續(xù)時(shí)間，均以純文本格式呈現(xiàn)。在構(gòu)建理解數(shù)據(jù)時(shí)，Emu3將部分?jǐn)?shù)據(jù)中的 “caption text”字段移至[EOV] token之后。

訓(xùn)練目標(biāo)：由于 Emu3 中的視覺信號(hào)已完全轉(zhuǎn)換為離散token，因此只需使用標(biāo)準(zhǔn)的交叉熵?fù)p失進(jìn)行下一個(gè)token預(yù)測任務(wù)的訓(xùn)練。為了防止視覺token在學(xué)習(xí)過程中占據(jù)主導(dǎo)地位，對與視覺token相關(guān)的損失加權(quán) 0.5。

訓(xùn)練細(xì)節(jié)：Emu3 模型在預(yù)訓(xùn)練期間利用非常長的上下文長度來處理視頻數(shù)據(jù)。 為便于訓(xùn)練，采用了張量并行（TP）、上下文并行（CP）和數(shù)據(jù)并行（DP）相結(jié)合的方法。同時(shí)將文本和圖像數(shù)據(jù)打包成最大上下文長度，以充分利用計(jì)算資源，同時(shí)需要確保在打包過程中不會(huì)分割完整的圖像。

預(yù)訓(xùn)練過程分為兩個(gè)階段，第一階段不使用視頻數(shù)據(jù)，訓(xùn)練從零開始，文本和圖像數(shù)據(jù)的上下文長度為 5,120；在第二階段，引入視頻數(shù)據(jù)，并使用 131,072 的上下文長度。

5 SFT階段

5.1 視覺生成

質(zhì)量微調(diào)：在預(yù)訓(xùn)練階段之后，對視覺生成任務(wù)進(jìn)行后訓(xùn)練，以提高生成輸出的質(zhì)量。使用高質(zhì)量數(shù)據(jù)進(jìn)行質(zhì)量微調(diào)。

直接偏好優(yōu)化：Emu3在自回歸多模態(tài)生成任務(wù)中采用直接偏好優(yōu)化（Direct Preference Optimization，DPO）技術(shù)，利用人類偏好數(shù)據(jù)來提高模型性能。

5.2 視覺語言理解

預(yù)訓(xùn)練模型經(jīng)過兩個(gè)階段的視覺語言理解后訓(xùn)練過程：1) 圖像到文本的訓(xùn)練以及 2) 指令調(diào)整。

第一階段：將圖像理解數(shù)據(jù)與純語言數(shù)據(jù)整合在一起，而與視覺token相關(guān)的損失則在純文本預(yù)測中被忽略。

第二階段：利用 LLaVA 數(shù)據(jù)集中的約 320 萬個(gè)問答對進(jìn)行指令微調(diào)。低于 512 × 512 或高于 1024 × 1024 的圖片將被調(diào)整到較低或較高的分辨率，同時(shí)保持相應(yīng)的長寬比，而其他圖片則保持原始分辨率。

開源地址

除了先前經(jīng)SFT的Chat模型和生成模型外，智源研究院還在近日開源了Emu3生成和理解一體的預(yù)訓(xùn)練模型以及相應(yīng)的SFT訓(xùn)練代碼，以便后續(xù)研究和社區(qū)構(gòu)建與集成。

代碼：https://github.com/baaivision/Emu3
項(xiàng)目頁面：https://emu.baai.ac.cn/
模型：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f

未來方向

Emu3為多模態(tài)AI指出了一條富有想象力的方向，有機(jī)會(huì)將AI基礎(chǔ)設(shè)施收斂到單一技術(shù)路線上，為大規(guī)模的多模態(tài)訓(xùn)練和推理提供基礎(chǔ)。統(tǒng)一的多模態(tài)世界模型未來有廣泛的潛在應(yīng)用，包括自動(dòng)駕駛、機(jī)器人大腦、智能眼鏡助手、多模態(tài)對話和推理等。預(yù)測下一個(gè)token有可能通往AGI。