“甲方快樂模型”誕生，拿下平面設(shè)計(jì)新SOTA！多條件一鍵生成，還能獨(dú)立調(diào)整元素 | 復(fù)旦＆字節(jié)

不圓 2025-06-12 16:48:20 來源：量子位

CreatiDesign團(tuán)隊(duì) 投稿

量子位 | 公眾號 QbitAI

平面設(shè)計(jì)師有救了！

復(fù)旦大學(xué)和字節(jié)跳動團(tuán)隊(duì)聯(lián)合提出CreatiDesign新模型，可實(shí)現(xiàn)高精度、多模態(tài)、可編輯的AI圖形設(shè)計(jì)生成。

△CreatiDesign能生成各種類型的平面設(shè)計(jì)圖，如電影海報(bào)、品牌促銷、產(chǎn)品廣告和社交媒體圖。

AI雖然在文生圖領(lǐng)域已取得了很大的突破，但以往方法在處理圖形設(shè)計(jì)時(shí)，要么“偏科”，要么缺乏精準(zhǔn)的可控性。

而CreatiDesign推出了統(tǒng)一多條件控制的擴(kuò)散Transformer架構(gòu)，并配套構(gòu)建了40萬樣本的大規(guī)模多條件標(biāo)注數(shù)據(jù)集，滿足實(shí)際設(shè)計(jì)需求。

挑戰(zhàn)：需求多、數(shù)據(jù)少、控制難

在真實(shí)的平面設(shè)計(jì)場景中，用戶往往會同時(shí)提供：

• 主視覺元素：（如產(chǎn)品圖/LOGO，需保持高度一致性）
• 輔助裝飾元素：（如裝飾品，用于襯托主體，需按指定位置排版）
• 文本內(nèi)容（如Slogan，需按指定位置排版）

這種“多條件異質(zhì)融合”對先前的擴(kuò)散模型提出了三大挑戰(zhàn)：

1.多條件異質(zhì)信息的統(tǒng)一建模難
以往的可控?cái)U(kuò)散模型大多針對單一條件（如僅控制主體圖或僅控制布局或文本），缺乏將多種異質(zhì)條件（圖像、布局、文本等）進(jìn)行統(tǒng)一融合和協(xié)同建模的能力。

2.多條件之間的精細(xì)解耦與區(qū)域獨(dú)立控制難
即便部分最新模型初步實(shí)現(xiàn)了多條件輸入，依然難以確保每個(gè)子控制條件能夠精準(zhǔn)、獨(dú)立地控制其對應(yīng)的圖像區(qū)域。

3.缺乏大規(guī)模高質(zhì)量、多標(biāo)注的訓(xùn)練數(shù)據(jù)
開源的圖形設(shè)計(jì)數(shù)據(jù)集有限?，F(xiàn)有的數(shù)據(jù)集缺乏精細(xì)化、多條件的標(biāo)注，難以滿足模型對多樣性和高質(zhì)量數(shù)據(jù)的訓(xùn)練需求。

為此，CreatiDesign從模型架構(gòu)、數(shù)據(jù)構(gòu)造等角度出發(fā)，提出了系統(tǒng)性的解決方案，旨在賦能擴(kuò)散模型創(chuàng)意平面設(shè)計(jì)的能力

方法：條件協(xié)同、獨(dú)立可控、流程全自動

統(tǒng)一多模態(tài)條件驅(qū)動

CreatiDesign基于MM-DiT（Multimodal Diffusion Transformer）框架，采用極簡架構(gòu)調(diào)整，實(shí)現(xiàn)了多種異質(zhì)條件的協(xié)同控制：

多主體的圖像條件：用戶可以一次性輸入多個(gè)主視覺元素（如產(chǎn)品圖、LOGO等），并在空白畫布上任意擺布，得到多主體的圖像條件。然后將此圖像送入原生的VAE進(jìn)行編碼，得到一組主視覺token。這些token能完整保留每個(gè)主體的細(xì)粒度視覺特征，為后續(xù)生成提供主體約束。

語義布局條件：每個(gè)輔助元素或文本的語義描述，先由T5文本編碼器轉(zhuǎn)換為語義特征token，空間位置信息（bounding box坐標(biāo)）則經(jīng)過傅立葉變換后，和語義特征拼接，再通過MLP進(jìn)一步融合，最終得到集成了語義和空間信息的布局token。這種方式實(shí)現(xiàn)了對布局元素內(nèi)容和空間排布的雙重精準(zhǔn)控制。

全局描述：用戶還可以輸入整體的描述，同樣由T5編碼為全局描述token，為全局內(nèi)容和風(fēng)格把控提供指導(dǎo)。

最終，所有類型的token（主視覺token、布局token、全局描述token）被拼接后輸入到MM-DiT中。在每一層Transformer中，CreatiDesign采用多模態(tài)注意力（MM-Attention）機(jī)制，使不同模態(tài)的token進(jìn)行深度融合，從而實(shí)現(xiàn)多條件的聯(lián)合建模和控制。

多模態(tài)注意力掩碼機(jī)制

為提升每個(gè)條件的獨(dú)立可控性，CreatiDesign提出兩種專屬注意力掩碼：

Subject Attention Mask：主體token僅與其指定區(qū)域內(nèi)的圖像token進(jìn)行雙向交互，且與布局token、全局描述token及無關(guān)區(qū)域的圖像token完全隔離，確保主體內(nèi)容高度還原、獨(dú)立于其他條件。

Layout Attention Mask：每個(gè)布局token僅與其指定區(qū)域內(nèi)的圖像token交互，同時(shí)阻斷布局token之間、布局token與主視覺或全局描述token之間的交互，防止布局元素之間的語義串?dāng)_與不同條件之間的干擾。

這種顯式的掩碼機(jī)制，使每個(gè)條件都能精準(zhǔn)、獨(dú)立地調(diào)控對應(yīng)圖像區(qū)域，極大提升了生成結(jié)果的一致性與可控性，保證了多條件復(fù)雜設(shè)計(jì)意圖的嚴(yán)格還原。

自動化數(shù)據(jù)集生成流水線

CreatiDesign還提出了全自動的平面設(shè)計(jì)數(shù)據(jù)合成流程，包含：

主題生成：基于設(shè)計(jì)關(guān)鍵詞庫，使用LLM（如GPT-4）生成包含主視覺元素、布局元素和文本內(nèi)容的多要素設(shè)計(jì)主題；

文本圖層渲染：依據(jù)分層布局協(xié)議（HLG），通過渲染引擎自動生成帶精準(zhǔn)排版的文本前景圖層（RGBA）；

基于前景的圖像生成：借鑒LayerDiffuse范式，聯(lián)合LoRA模塊，實(shí)現(xiàn)基于文本前景和主題描述背景的高質(zhì)量平面設(shè)計(jì)圖像生成;

實(shí)體檢測與標(biāo)注：利用GroundingSAM2檢測所有實(shí)體（主視覺、輔助裝飾），并通過VLM生成細(xì)粒度屬性描述，實(shí)現(xiàn)全要素多條件的自動標(biāo)注。

最終，CreatiDesign開源了規(guī)模達(dá)40萬組、具備多條件高質(zhì)量標(biāo)注的平面設(shè)計(jì)樣本，為多條件可控模型的訓(xùn)練提供數(shù)據(jù)基礎(chǔ)。

實(shí)驗(yàn)：SOTA級性能展示

在多維度的評估基準(zhǔn)上，CreatiDesign在主體保持度、布局遵循度、文本正確率以及圖像整體質(zhì)量等關(guān)鍵指標(biāo)上均取得了領(lǐng)先的性能。

具體來說，CreatiDesign在主視覺元素的還原（如DINO-I、M-DINO分?jǐn)?shù)）、輔助元素的空間位置與屬性一致性、文本內(nèi)容的準(zhǔn)確率（Sen.Acc）和編輯距離（NED），乃至圖像整體質(zhì)量（IR、PickScore）等各項(xiàng)評價(jià)指標(biāo)上，在當(dāng)前主流的多主體圖像驅(qū)動、布局驅(qū)動及多條件驅(qū)動的SOTA模型中，位居第一梯隊(duì)。

從表格中可以看到，CreatiDesign的平均綜合得分高達(dá)69.28，相比基礎(chǔ)模型FLUX.1-dev的47.50分，提升幅度達(dá)到45.9%。這一顯著提升僅依賴于基礎(chǔ)模型4.1%的額外參數(shù)量，高效得提升了基礎(chǔ)模型在圖形設(shè)計(jì)上的能力。

上圖中紫色蒙版代表不一致或位置錯(cuò)誤的主體，紅色蒙版代表語義或位置不正確的實(shí)體，灰色蒙版代表不協(xié)調(diào)的背景或前景區(qū)域。

可視化結(jié)果進(jìn)一步驗(yàn)證了CreatiDesign在生成結(jié)果上的優(yōu)勢：與以往的多條件或單條件模型相比，CreatiDesign能夠更加嚴(yán)格地遵循用戶的設(shè)計(jì)意圖，具體體現(xiàn)在主體元素的高度還原、輔助元素及文本的精準(zhǔn)布局，以及整體畫面的和諧一致。

對比圖中可以清晰地看到，其他模型常常出現(xiàn)主體錯(cuò)位、內(nèi)容缺失、文本錯(cuò)誤等問題，而CreatiDesign能夠準(zhǔn)確保留各個(gè)輸入要素，并實(shí)現(xiàn)復(fù)雜多元素的協(xié)調(diào)排布。

此外，CreatiDesign無需額外訓(xùn)練即可支持多輪編輯：用戶可在已有平面設(shè)計(jì)結(jié)果上靈活插入新文本、新主體，或?qū)ξ谋緝?nèi)容進(jìn)行修改，模型能夠精準(zhǔn)編輯指定區(qū)域，同時(shí)保持非編輯區(qū)域的內(nèi)容不變。

相比Gemini2.0等主流大模型在編輯過程中常出現(xiàn)的非編輯區(qū)域變化、內(nèi)容漂移等問題，CreatiDesign展現(xiàn)出更強(qiáng)的編輯靈活性與保持性。

論文地址：https://arxiv.org/pdf/2505.19114
項(xiàng)目主頁：https://huizhang0812.github.io/CreatiDesign/
項(xiàng)目代碼：https://github.com/HuiZhang0812/CreatiDesign
數(shù)據(jù)集：https://huggingface.co/datasets/HuiZhang0812/CreatiDesign_dataset