字節(jié)把GPT-4o級(jí)圖像生成能力開源了！

衡宇 2025-05-24 15:39:12 來源：量子位

一水 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

字節(jié)最近真的猛猛開源啊……

這一次，他們直接開源了GPT-4o級(jí)別的圖像生成能力。

（輕松拿捏“萬物皆可吉卜力”玩法~）

不止于此，其最新融合的多模態(tài)模型BAGEL主打一個(gè)“大一統(tǒng)”， 將帶圖推理、圖像編輯、3D生成等功能全都集中到了一個(gè)模型。

雖然活躍參數(shù)只有7B（總計(jì)14B），但它已經(jīng)實(shí)現(xiàn)了圖像理解、生成、編輯等多冠王，實(shí)力超越或媲美一眾頂尖開源（如Stable Diffusion 3、FLUX.1）和閉源（如GPT-4o、Gemini 2.0）模型。

模型一經(jīng)發(fā)布，不僅迅速登上Hugging Face趨勢(shì)榜，還立即在引發(fā)熱議。

有網(wǎng)友見此連連感慨，“字節(jié)像領(lǐng)先了整整一代人”。

OpenAI研究員也公開贊賞， 字節(jié)Seed團(tuán)隊(duì)在他心目中已經(jīng)穩(wěn)居頂級(jí)實(shí)驗(yàn)室之列。

Okk，我們直接來看BAGEL模型有哪些玩法。

一個(gè)模型實(shí)現(xiàn)所有多模態(tài)功能

作為多模態(tài)模型，掌握帶圖推理算是如今的一個(gè)入門級(jí)挑戰(zhàn)。

扔給它疊放整齊的一塊布料，讓它想象出布料展開后的樣子。

可以看到，生成之前BAGEL模型會(huì)自動(dòng)進(jìn)行推理，并規(guī)劃出可行方案：

最終生成的圖片如下，一眼看去布料的拼圖和花紋沒有明顯錯(cuò)誤：

換成其他例子，還能看到BAGEL模型支持無縫多輪對(duì)話。

先是按照文字提示生成符合要求的圖片：

然后緊接著生成人物的公仔形象，并推出銷售口號(hào)。

當(dāng)然，除了上面這些，懂推理的BAGEL模型還支持復(fù)雜圖像編輯。

最方便的，當(dāng)屬一鍵試妝了：

展開其思考過程，不難發(fā)現(xiàn)它是真懂（doge）。

其他我們相對(duì)熟悉的技能，如人物表情轉(zhuǎn)換、憑空造物等更是不在話下。

最后，BAGEL模型超越傳統(tǒng)圖像編輯，還具備多視角合成和導(dǎo)航等“世界建模”能力。

360°全自動(dòng)觀賞裝在盒子里的手辦：

又或者開局一張圖，視角一步步推進(jìn)，沉浸式走進(jìn)小巷：

總之，正如字節(jié)團(tuán)隊(duì)所強(qiáng)調(diào)的，BAGEL模型已經(jīng)展現(xiàn)出統(tǒng)一多模態(tài)能力。

那么接下來的問題是——

它怎么做到的？

重新定義“涌現(xiàn)能力”

據(jù)論文介紹，BAGEL模型采用了MoT（Mixture-of-Transformer-Experts）架構(gòu)。

它由兩個(gè)Transformer專家組成，一個(gè)專注于多模態(tài)理解，另一個(gè)專注于多模態(tài)生成。作為對(duì)應(yīng)，模型也使用了兩個(gè)獨(dú)立的視覺編碼器，分別用于捕捉圖像的像素級(jí)和語義級(jí)特征。

簡(jiǎn)單來說，像素級(jí)編碼器專注于圖像的底層細(xì)節(jié)，如顏色、紋理等；語義級(jí)編碼器則關(guān)注圖像的高層語義，如物體的類別、場(chǎng)景的含義等。

整體框架遵循“下一個(gè)token組預(yù)測(cè)范式”，即模型根據(jù)已有的多模態(tài)輸入，學(xué)習(xí)預(yù)測(cè)后續(xù)的token，從而不斷優(yōu)化自身對(duì)多模態(tài)數(shù)據(jù)的理解和生成能力。

順便一提，BAGEL基礎(chǔ)模型是基于Qwen2.5-7B-Instruct和siglip-so400m-14-384-flash-attn2模型進(jìn)行微調(diào)，并使用了FLUX.1-schnell VAE模型。

基于上述架構(gòu)，團(tuán)隊(duì)在模型訓(xùn)練中得出了一項(xiàng)重要發(fā)現(xiàn)。

隨著規(guī)?；瘮?shù)據(jù)與模型參數(shù)的雙重?cái)U(kuò)展，BAGEL模型表現(xiàn)出了一種“涌現(xiàn)能力（Emerging Properties）”——多模態(tài)理解和生成能力較早出現(xiàn)，隨后是基礎(chǔ)編輯能力，而復(fù)雜的智能編輯能力則在后期顯現(xiàn)。

所謂的涌現(xiàn)能力，其實(shí)早已在大型視覺或語言模型中被廣泛探討。不過在論文中，聚焦于統(tǒng)一多模態(tài)基礎(chǔ)模型的背景下，團(tuán)隊(duì)重新定義了涌現(xiàn)能力：

當(dāng)某種能力在早期訓(xùn)練階段尚未出現(xiàn)，而在后續(xù)預(yù)訓(xùn)練中出現(xiàn)時(shí)，稱其為涌現(xiàn)能力。

結(jié)合BAGEL模型的表現(xiàn)，團(tuán)隊(duì)認(rèn)為其揭示了一種新興模式，即高級(jí)多模態(tài)推理是在完善的基礎(chǔ)技能之上逐步形成的，而非某種“突變”。

另外論文中提醒，將VAE（變分自編碼器）與ViT（視覺Transformer）特征相結(jié)合，可以顯著提升智能編輯能力。

最后，更多基準(zhǔn)測(cè)試結(jié)果也展現(xiàn)了BAGEL模型領(lǐng)先的圖像理解、生成、編輯能力。

例如在圖像理解任務(wù)中，在激活參數(shù)規(guī)模相當(dāng)（7B）的情況下，BAGEL模型優(yōu)于現(xiàn)有的統(tǒng)一模型Janus-Pro。

同時(shí)與專用理解模型（如Qwen2.5-VL和InternVL2.5）相比，BAGEL在大多數(shù)基準(zhǔn)測(cè)試上表現(xiàn)更優(yōu)。

在GenEval和WISE這兩個(gè)評(píng)估圖像生成能力的測(cè)試中，BAGEL實(shí)現(xiàn)了88%的整體得分，優(yōu)于專用生成模型（FLUX.1-dev：82%、SD3-Medium：74%）和統(tǒng)一模型（Janus-Pro：80%、MetaQuery-XL：80%）。

在圖片編輯能力測(cè)試中，BAGEL的表現(xiàn)可與Step1X-Edit（當(dāng)前領(lǐng)先的專用圖像編輯模型）相媲美，并且優(yōu)于Gemini 2.0。

當(dāng)然，也有更直觀的對(duì)比：

目前模型已在Hugging Face上架，采用相對(duì)寬松的Apache 2.0許可證。

項(xiàng)目主頁：
https://bagel-ai.org/
論文：
https://arxiv.org/abs/2505.14683
開源地址：
https://huggingface.co/ByteDance-Seed/BAGEL-7B-MoT

參考鏈接：
[1]https://x.com/_akhaliq/status/1925021633657401517
[2]https://x.com/giffmana/status/1925194650266354108