DeepSeek前實習(xí)生魔改MoE，用迭代機(jī)制把內(nèi)存需求砍了42%，團(tuán)隊：“免費(fèi)午餐”優(yōu)化方法

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

DeepSeek MoE“變體”來了，200美元以內(nèi)，內(nèi)存需求減少17.6-42%！

名叫CoE（Chain-of-Experts），被認(rèn)為是一種“免費(fèi)午餐”優(yōu)化方法，突破了MoE并行獨(dú)立處理token、整體參數(shù)數(shù)量較大需要大量內(nèi)存資源的局限。

與并行處理不同，CoE使專家能在單層內(nèi)串行通信，形成一種迭代機(jī)制，即專家能“溝通”，在其它專家輸出之上處理token。

研究團(tuán)隊在實驗中發(fā)現(xiàn)，經(jīng)過2次迭代的CoE，在相同的計算預(yù)算下將數(shù)學(xué)任務(wù)的驗證損失從1.20降低至1.12，僅僅通過重構(gòu)信息流就獲得了性能提升。

通過擴(kuò)展CoE的迭代次數(shù)，在性能相當(dāng)?shù)那闆r下，內(nèi)存使用比通過增加模型層數(shù)或擴(kuò)展專家選擇數(shù)量的方法降低了17.6-42%。

另外，在專家組合自由度、專家使用效率等其它方面，CoE也都具有顯著優(yōu)勢，專家組合增加823倍。

目前，研究團(tuán)隊曬出了CoE技術(shù)Blog（完整論文即將發(fā)布），引起不少網(wǎng)友圍觀。

翻看作者主頁，還發(fā)現(xiàn)作者Zihan Wang真曾在DeepSeek實習(xí)過??

有網(wǎng)友看過這項研究表示：

MoEs中的IsoFLOP層迭代設(shè)計，非常奈斯。

還有網(wǎng)友已經(jīng)開始預(yù)測下一代架構(gòu)了。

CoE究竟長啥樣？以下是團(tuán)隊發(fā)布的Notion Blog介紹。

CoE專門針對稀疏MoE打造

CoE關(guān)鍵創(chuàng)新在于建立溝通性處理機(jī)制，改變了稀疏神經(jīng)網(wǎng)絡(luò)的信息處理方式。

具體來說，是通過在單個層的迭代中將MoE輸出反饋為多次迭代的輸入來實現(xiàn)的。

CoE迭代處理機(jī)制可以形式化表示為下面這個樣嬸兒：

參考DeepSeek-V2的實現(xiàn)，研究團(tuán)隊定義門控機(jī)制為如下：

團(tuán)隊介紹，這種設(shè)計的好處在于每次迭代的專家選擇由前一次迭代的輸出決定，形成專家間的依賴關(guān)系和更動態(tài)的路由機(jī)制。

而且串行信息可以在迭代過程中累積，實現(xiàn)專家間的直接通信。

實驗采取DeepSeek V2架構(gòu)，在參數(shù)規(guī)模為500M的MoE模型上使用32K Tok的batch size訓(xùn)練1000步，以此來驗證CoE的有效性。

結(jié)果CoE在性能、擴(kuò)展策略、資源效率優(yōu)化、專家組合自由度、專家使用效率方面具有顯著優(yōu)勢。

除了開頭所展示的在相似的算力和內(nèi)存要求下，CoE將loss從1.20下降至1.12，且有更陡峭的下降趨勢。

團(tuán)隊進(jìn)一步在“dense”（專家8選8）模型上也進(jìn)行了測試，結(jié)果證明了串行處理在Sparse MoE上相比Dense模型更有效，CoE是一種專為（細(xì)粒度）稀疏混合專家模型（Sparse MoE）設(shè)計的方法。

采取2次序列化處理并不能顯著提升Dense模型性能。

另外，在計算量和效果相似的情況下，CoE可以減小對內(nèi)存的要求。如下，CoE-2（4/48）的效果與MoE（8/64）相近，但使用更少的總專家數(shù)量。loss match的情況下減小了17.6%的內(nèi)存需求。

團(tuán)隊還對比了在預(yù)算相似的情況下，擴(kuò)展CoE迭代次數(shù)和擴(kuò)展模型層數(shù)、擴(kuò)展專家選擇個數(shù)的效果，結(jié)果擴(kuò)展CoE迭代次數(shù)更優(yōu)。

CoE-2（8/64）,4層 vs MoE（8/64）,8層/12層，8層MoE和CoE效果幾乎相同，但是對內(nèi)存要求高72%，即CoE相對節(jié)省了42%內(nèi)存。

團(tuán)隊強(qiáng)調(diào)，獨(dú)立門控機(jī)制和內(nèi)殘差連接是CoE的關(guān)鍵架構(gòu)創(chuàng)新，消融研究表明，移除任何組件都會顯著降低性能。

更多細(xì)節(jié)，感興趣的童鞋可以查看技術(shù)報告原文～

誰造的？

CoE由一個5人組成的團(tuán)隊提出。

Zihan Wang是美國西北大學(xué)計算機(jī)科學(xué)專業(yè)博士生，本科畢業(yè)于中國人民大學(xué)高瓴人工智能學(xué)院，研究聚焦于基礎(chǔ)模型的自主性、效率以及長上下文理解。

Zihan Wang曾在DeepSeek工作過，是ESFT（Expert-Specialized Fine-Tuning）的論文一作。

ESFT通過僅調(diào)整與任務(wù)相關(guān)的部分高效地定制采用MoE，從而在減少資源和存儲使用的同時提升效率和性能。

CoE不是Zihan Wang第一次針對DeepSeek搞的“變體”。

之前他還曾基于verl復(fù)現(xiàn)了DeepSeek-R1（-Zero）框架——RAGEN （Reinforcement learning AGENt），在GitHub攬星近1k：

Zihan Wang師從Manling Li。Manling Li是西北大學(xué)計算機(jī)科學(xué)系助理教授，此前曾在吳佳俊教授的指導(dǎo)下工作，并得到李飛飛教授的指導(dǎo)。

RAGEN的貢獻(xiàn)者名單中也有Manling Li、吳佳俊、李飛飛的身影。

CoE技術(shù)報告：http://sandy-server-87f.notion.site/Chain-of-Experts-Unlocking-the-Communication-Power-of-MoEs-1ab9bb750b7980048d43e6aab3537cea
CoE GitHub鏈接：https://github.com/ZihanWang314/coe
參考鏈接：
[1]https://x.com/wzihanw/status/1896601518612021709
[2]https://github.com/ZihanWang314/RAGEN?tab=readme-ov-file
[3]https://github.com/deepseek-ai/ESFT