Llama也能做圖像生成！港大字節(jié)推出開源自回歸文生圖模型，在線體驗已開放

克雷西 2024-07-03 16:09:37 來源：量子位

LlamaGen團隊 投稿
量子位 | 公眾號 QbitAI

只需Image Tokenizer，Llama也能做圖像生成了，而且效果超過了擴散模型。

來自港大和字節(jié)的研究人員，提出了基于自回歸模型Llama的圖像生成方法。

目前該模型已經開源，并在GitHub斬獲了近900顆星標。

擴散模型出現(xiàn)后，取代了自回歸方法，一度成為圖像生成的主流技術路線。

但在ImageNet測試基準上，作者提出的LlamaGen表現(xiàn)超越了LDM、DiT等擴散模型。

作者的這一發(fā)現(xiàn)，證明了最原始的自回歸模型架構同樣可以實現(xiàn)極具競爭力的圖像生成性能。

△LlamaGen生圖示例，第一行為class調控生成，第二行為文生圖

那么，基于自回歸模型，或者說基于Llama的圖像生成，是如何實現(xiàn)的呢？

用自回歸模型做圖像生成

作者介紹，開源社區(qū)對自回歸模型做圖像生成的印象大多停留在2020年的VQ-GAN的ImageNet基準上取得的15左右的FID分數(shù)。

然而，早在2021年的ViT-VQGAN已經達到了FID 3.0左右的性能，DALL-E 1，Parti等更是在文生圖領域展現(xiàn)了巨大的潛力。

不過這些工作都沒有開源，于是，研究團隊將目標設定成了推出開源版的基于自回歸圖像生成模型。

針對現(xiàn)有的先進的圖像生成模型，作者總結出其成功的三點關鍵設計：

• 圖像壓縮/量化器（Image Compressors/Tokenizers）
• 可scale up的圖像生成模型（Scalable Image generation models）
• 高質量的訓練數(shù)據(jù)（High-quality Training Data）

于是，作者采用了與VQ-GAN同樣的CNN架構，將連續(xù)的圖像轉化成離散的Token。

相比2020年的VQ-GAN，作者對Image Tokenizer有了更多的認知：

一個優(yōu)秀的Tokenizer需要更大的Codebook Size，更低的Codebook Vector Dimension，同時，更好的圖像重建需要更多的Token數(shù)量。

△VQ-GAN架構，非本項目

架構方面，LlamaGen的模型架構主要基于Llama語言模型，包括使用RMSNorm的Pre-Normalization、SwiGLU和RoPE。

盡管圖像生成領域一些常用的技術（如AdaLN）可能進一步提高性能，但作者還是盡可能保持與Llama語言模型一模一樣的架構。

在Class-Conditional和Text-Conditional（文生圖）圖像生成模型中，作者采用了使用最簡單的實現(xiàn)：

Class或文本嵌入直接作為起始Token，后續(xù)的Image Token應用next-Token預測范式產生。

訓練的過程則分為兩個階段進行。

在第一階段，模型在LAION-COCO的50M子集上進行訓練，圖像分辨率為 256×256。

LAION-COCO原始數(shù)據(jù)集有6億圖文對，作者通過有效的圖像URL、美學分數(shù)、水印分數(shù)、CLIP圖文相似度分數(shù)和圖像大小來篩選這些圖像。

在第二階段，模型在1千萬規(guī)模的內部高美學質量圖像上進行微調，圖像分辨率為512×512。

這些美學圖像的文本描述由LLaVa產生。

到了部署階段，基于原生自回歸模型架構的圖像生成模型可以無縫采用現(xiàn)有的LLM部署框架，例如vLLM。這也是統(tǒng)一模型架構的一大優(yōu)勢。

同時，基于vLLM的框架部署方式，為LlamaGen帶來了326%-414%的加速。

效果不輸擴散模型

那么，作者研究出的這款模型效果究竟怎樣呢？

先說作者重新訓練的Image Tokenizer，它在ImageNet和COCO上優(yōu)于以前的Tokenizers，包括VQGAN，ViT-VQGAN和MaskGI等。

重要的是，基于離散表征的Tokenizer與基于連續(xù)表征的VAE性能持平（例如在擴散模型中被廣泛使用的SD VAE），這表明圖像量化的離散表征不再是圖像重建的一大瓶頸。

實際生成過程中，在ImageNet測試集上，LlamaGen在FID、IS、Precision和Recall等指標上都表現(xiàn)出了極強的競爭力。

其中，LlamaGen-3B模型優(yōu)于廣為流行的擴散模型 LDM和DiT。這表明最樸素的自回歸模型架構有能力作為先進圖像生成系統(tǒng)的基礎模型。

同時，與之前的自回歸模型相比，LlamaGen在各個參數(shù)量級上均優(yōu)于以前的模型。

作者分析，這樣的成績是得益于更好的Image Tokenizer和Llama架構更好的擴展性。

文生圖方面，經過第一階段的訓練，模型基本擁有了圖文對齊的能力，但其生成圖像的視覺質量有待提高。

第二階段的訓練顯著提高了生成圖像的視覺質量，作者認為這種提高來自兩個方面——

• 第二階段的訓練使用了高質量的美學圖像；
• 第一階段的圖像分辨率是256×256，第二階段是512×512，更大的圖像分辨率會帶來更好的視覺效果。

當輸入更長的文本時，LlamaGen也可以生成兼具圖文對齊與視覺質量的圖像。

不過作者也坦言，如果類比擴散模型的發(fā)展路線，目前的LlamaGen只是做到了Stable Diffusion v1階段，未來的改進方向包括SDXL（更大的分辨率，更多的Aspect Ratio），ControlNet（更高的可控性），Sora（視頻生成）。

從多模態(tài)大模型的視角看，自回歸模型分別實現(xiàn)理解任務和生成任務都被證明了可行性，下一步就是在同一個模型中聯(lián)合訓練。

目前該項目已經開源，而且還支持在線體驗，感興趣的話不妨一試。

在線體驗：
https://huggingface.co/spaces/FoundationVision/LlamaGen
論文地址：
https://arxiv.org/abs/2406.06525
項目主頁：
https://peizesun.github.io/llamagen/
GitHub：
https://github.com/FoundationVision/LlamaGen
Hugging Face：
https://huggingface.co/FoundationVision/LlamaGen