質(zhì)量無(wú)損，算力砍半！達(dá)摩院開(kāi)源視覺(jué)生成新架構(gòu)，出道即SOTA｜ICLR 2025
DyDiT團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI
算力砍半，視覺(jué)生成任務(wù)依然SOTA！
達(dá)摩院在ICLR 2025上拋出的DyDiT架構(gòu)：通過(guò)時(shí)間步長(zhǎng)與空間區(qū)域的智能資源分配，將DiT模型的推理算力削減51%，生成速度提升1.73倍，而FID指標(biāo)幾乎無(wú)損！
更驚人的是，這一突破僅需3%的微調(diào)成本。
該方法通過(guò)引入動(dòng)態(tài)化調(diào)整機(jī)制，可精準(zhǔn)削減視覺(jué)生成任務(wù)中50%的推理算力，有效緩解傳統(tǒng)擴(kuò)散模型的計(jì)算冗余問(wèn)題，相關(guān)工作已開(kāi)源。
算力砍半效果依然SOTA
DiT架構(gòu)作為當(dāng)前主流的生成模型框架，有效實(shí)現(xiàn)了圖像與視頻的可控生成，推動(dòng)生成式AI走向應(yīng)用爆發(fā)。
然而，DiT架構(gòu)的多步生成策略存在推理效率低、算力冗余等問(wèn)題，在執(zhí)行視覺(jué)生成任務(wù)容易造成極高的算力消耗，限制其往更廣泛的場(chǎng)景落地。
業(yè)內(nèi)提出高效采樣、特征緩存、模型壓縮剪枝等方法嘗試解決這一問(wèn)題，但這些方法均針對(duì)靜態(tài)不變模型，又衍生出潛在的冗余浪費(fèi)問(wèn)題。
達(dá)摩院（湖畔實(shí)驗(yàn)室）、新加坡國(guó)立大學(xué)、清華大學(xué)等聯(lián)合研究團(tuán)隊(duì)在論文《Dynamic Diffusion Transformer》提出了動(dòng)態(tài)架構(gòu)DyDiT，能夠根據(jù)時(shí)間步長(zhǎng)和空間區(qū)域自適應(yīng)調(diào)整計(jì)算分配，有效緩解視覺(jué)生成任務(wù)中的算力消耗問(wèn)題。
具體而言，DyDiT能在簡(jiǎn)單的時(shí)間步長(zhǎng)使用較窄的模型寬度，減少計(jì)算資源；在空間維度上優(yōu)先處理含有詳細(xì)信息的主要對(duì)象，減少對(duì)背景區(qū)域的計(jì)算資源分配，提升推理效率與減少計(jì)算冗余的同時(shí)，保持生成質(zhì)量。
使用者更可根據(jù)自身的資源限制或者部署要求，靈活調(diào)整目標(biāo)的計(jì)算量，DyDiT將自動(dòng)適配模型參數(shù)，實(shí)現(xiàn)效果與效率的最佳平衡。
實(shí)驗(yàn)結(jié)果表明，DyDiT在多個(gè)數(shù)據(jù)集和生成模型下均表現(xiàn)出高穩(wěn)定性。
僅用不到3%的微調(diào)成本，將DiT-XL的浮點(diǎn)運(yùn)算次數(shù)（FLOPs）減少了51%，生成速度提高了1.73倍，在ImageNet測(cè)得的FID得分與原模型幾乎相當(dāng)（2.27vs2.07）。
據(jù)透露，DyDiT相關(guān)訓(xùn)練與推理代碼已開(kāi)源，并計(jì)劃適配到更多的文生圖、文生視頻模型上，目前基于知名文生圖模型FLUX調(diào)試的Dy-FLUX也在開(kāi)源項(xiàng)目上架。
據(jù)悉，達(dá)摩院今年共有13篇論文被ICLR 2025錄用，涵蓋了視頻生成、自然語(yǔ)言處理、醫(yī)療AI、基因智能等領(lǐng)域，其中3篇被選為Spotlight。
論文鏈接：
https://arxiv.org/abs/2410.03456
技術(shù)解讀：
https://mp.weixin.qq.com/s/yqYg272vIztflZ6NfX5zJw
開(kāi)源鏈接：
https://github.com/alibaba-damo-academy/DyDiT
— 完 —
相關(guān)閱讀
萬(wàn)萬(wàn)沒(méi)想到，釘釘居然是個(gè)AI平臺(tái)
釘釘，現(xiàn)在是阿里AI等前沿技術(shù)的用戶界面
達(dá)摩院開(kāi)放AI能力寶塔，萬(wàn)般法器助力新時(shí)代智能應(yīng)用
阿里云視覺(jué)智能開(kāi)放平臺(tái)（vision.aliyun.com）是基于阿里巴巴視覺(jué)智能技術(shù)實(shí)踐經(jīng)驗(yàn)，面向視覺(jué)智能技術(shù)的開(kāi)發(fā)與應(yīng)用用戶的平臺(tái)，為廣大企業(yè)和開(kāi)發(fā)者提供好用、易用且普惠的視覺(jué)AI能力，為用戶帶來(lái)視覺(jué)AI開(kāi)發(fā)的一站式體驗(yàn)，，幫助用戶快速對(duì)接視覺(jué)智能技術(shù)的應(yīng)用算法。
