DiT突遭怒噴，謝賽寧淡定回應(yīng)

時(shí)令 2025-08-20 16:05:07 來源：量子位

時(shí)令 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

什么？有人提出DiT是錯(cuò)的？

這個(gè)被認(rèn)為是擴(kuò)散模型領(lǐng)域核心基石的DiT，竟然被質(zhì)疑了。

這位網(wǎng)友表示，不僅數(shù)學(xué)上是錯(cuò)的，形式上是錯(cuò)的，甚至懷疑DiT根本就沒有Transformer？！

一石激起千層浪，網(wǎng)友們速速來圍觀。結(jié)果作者謝賽寧本人都立馬站出來回應(yīng)：

雖然知道樓主是標(biāo)題黨，但我還是忍不住要回應(yīng)一下。

每個(gè)研究者都希望發(fā)現(xiàn)自己模型的不足，這是科學(xué)進(jìn)步的動(dòng)力。如果模型從未出錯(cuò)，反而值得擔(dān)憂。

評(píng)價(jià)DiT需要提出假設(shè)、做實(shí)驗(yàn)、驗(yàn)證結(jié)果，而不是憑想象臆斷，否則結(jié)論不僅可能錯(cuò)誤，甚至完全不具科學(xué)性。

哇哦，先抨擊了標(biāo)題黨，又強(qiáng)調(diào)了科學(xué)精神和實(shí)證方法的重要性，真的是很中肯的一番回應(yīng)。

回過頭來，咱先了解一下DiT為啥那么厲害。

要知道，早在Transformer占盡風(fēng)頭時(shí)，U-Net在擴(kuò)散模型領(lǐng)域仍然一枝獨(dú)秀——

這時(shí)，DiT（Diffusion Transformers）橫空出世，將Transformer與擴(kuò)散模型融合，在計(jì)算效率和生成效果上均超越了基于U-Net的經(jīng)典模型ADM和LDM，同時(shí)把Transformer擴(kuò)展到了圖像視頻領(lǐng)域。

如果DiT真錯(cuò)了，大量依賴DiT的生成模型都要崩塌，整個(gè)領(lǐng)域都得重新審視。

下面讓我們來扒一扒這位網(wǎng)友針對DiT提出了哪些質(zhì)疑。

關(guān)于DiT的可疑之處

他的觀點(diǎn)均來源于論文《TREAD:Token Routing for Efficient Architecture-agnostic Diffusion Training》。

這篇論文主要提出一種Tread策略，能夠?qū)⒃缙趯与S機(jī)選取的token傳遞至模型的更深層。

值得注意的是，這種方法并不限于常見的Transformer模型，同樣可以應(yīng)用于狀態(tài)空間模型，且無需對架構(gòu)進(jìn)行修改，也無需引入額外參數(shù)。

那網(wǎng)友是如何通過這篇論文質(zhì)疑DiT的呢？

其一，他首先借助論文中的一張圖對DiT提出了質(zhì)疑，認(rèn)為DiT架構(gòu)本身就能輕松學(xué)會(huì)數(shù)據(jù)集——FID迅速降低，這說明架構(gòu)里有某種隱含特性。

其二，上圖表明Tread模型比DiT在40萬次訓(xùn)練迭代上快14倍，比DiT在700萬次迭代時(shí)的最佳表現(xiàn)快37倍。

由此，這位網(wǎng)友直接抨擊，小幅度提升效果可能只是優(yōu)化，如果提升幅度巨大，就是在否定之前的方法。

其三，質(zhì)疑者還提出不要使用DiT。

如果你非得在訓(xùn)練時(shí)“切掉部分網(wǎng)絡(luò)”，也就是用學(xué)習(xí)機(jī)制把它徹底禁用，那你的網(wǎng)絡(luò)基本上就廢了。

其四，研究表示，在訓(xùn)練過程中，DiT中被恒等替換的網(wǎng)絡(luò)單元越多，模型評(píng)估反而更好。

其五，DiT整個(gè)架構(gòu)都后置層歸一化，擴(kuò)散過程會(huì)產(chǎn)生動(dòng)態(tài)范圍極高的實(shí)際輸出。

因此，需要使用對數(shù)尺度來表示采樣開始和結(jié)束時(shí)的信噪比差異。

其六，針對Adaptive Layer Normalization（自適應(yīng)層歸一化）方法，盡管模型叫DiT，但在處理?xiàng)l件輸入時(shí)，只是走了普通的MLP流程。

能看到的只是label_y→timestep_t→embed→conditioning→MLP→bias terms，根本看不到Transformer的任何痕跡。

上面6條對DiT的反駁，都可以說是有理有據(jù)，甚至圖文并茂。

那謝賽寧是如何回應(yīng)的呢？

謝賽寧回應(yīng)Tread與“DiT是錯(cuò)的”毫無關(guān)系

首先，謝賽寧對Tread模型的工作給予了肯定（人情世故）。

他認(rèn)為Tread更像是隨機(jī)深度（stochastic depth），其能收斂完全是因?yàn)檎齽t化對特征穩(wěn)健性的提升。

他還指出，盡管Tread模型挺有趣的，但與原帖作者所謂的“DiT是錯(cuò)的”的論斷毫無關(guān)系。

謝賽寧強(qiáng)調(diào)，Lightning DiT作為一種經(jīng)過驗(yàn)證的強(qiáng)大升級(jí)（采用 swiglu、rmsnorm、rope、ps=1），只要條件允許，都推薦優(yōu)先使用該版本。。

此外，目前還沒有證據(jù)表明后置層歸一化會(huì)引發(fā)問題。

回?fù)敉炅速|(zhì)疑者，謝賽寧還不忘總結(jié)了一下自己的工作。

他表示：

過去這一年，最大的改進(jìn)集中在內(nèi)部表征學(xué)習(xí)（internal rep learning）上。

REPA（Representation Alignment）算是我們最早提出的方法，但現(xiàn)在已經(jīng)有更多實(shí)現(xiàn)方式，比如：tokenizer級(jí)別的修正（如va-vae、REPA-E）、將語義token拼接到噪聲潛變量中、解耦架構(gòu)（如DDT）、正則化方法（如 dispersive loss）或自表征對齊（self-representation alignment）等等。

其次，他們團(tuán)隊(duì)在訓(xùn)練模型時(shí)，始終采用隨機(jī)插值/流分配來提升訓(xùn)練效果，而SiT則被用作基準(zhǔn)方法來評(píng)估其他方法是否有效。

在DiT中，時(shí)間嵌入最好使用adaln-zero，需注意的是，使用adaln-zero時(shí)最好共享參數(shù)，否則會(huì)白白浪費(fèi)30%參數(shù)，而對于更復(fù)雜的分布（如文本嵌入），則使用cross-attention。

最后，謝賽寧也是直接提出sd-vae才是DiT真正的癥結(jié)所在，處理256×256分辨率的圖像竟需445.87 GFlops，還不是端到端的架構(gòu)。

目前，像va-vae和repa-e這類方法只能解決部分問題，但更多改進(jìn)方案正在不斷涌現(xiàn)。

參考鏈接：
[1]https://x.com/sameQCU/status/1957223774094585872
[2]https://x.com/sainingxie/status/1957842855587639369
[3]https://arxiv.org/pdf/2501.04765
[4]https://arxiv.org/abs/2212.09748