DeepSeek前實(shí)習(xí)生魔改MoE，用迭代機(jī)制把內(nèi)存需求砍了42%，團(tuán)隊(duì)：“免費(fèi)午餐”優(yōu)化方法

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

DeepSeek MoE“變體”來(lái)了，200美元以內(nèi)，內(nèi)存需求減少17.6-42%！

名叫CoE（Chain-of-Experts），被認(rèn)為是一種“免費(fèi)午餐”優(yōu)化方法，突破了MoE并行獨(dú)立處理token、整體參數(shù)數(shù)量較大需要大量?jī)?nèi)存資源的局限。

與并行處理不同，CoE使專家能在單層內(nèi)串行通信，形成一種迭代機(jī)制，即專家能“溝通”，在其它專家輸出之上處理token。

研究團(tuán)隊(duì)在實(shí)驗(yàn)中發(fā)現(xiàn)，經(jīng)過(guò)2次迭代的CoE，在相同的計(jì)算預(yù)算下將數(shù)學(xué)任務(wù)的驗(yàn)證損失從1.20降低至1.12，僅僅通過(guò)重構(gòu)信息流就獲得了性能提升。

通過(guò)擴(kuò)展CoE的迭代次數(shù)，在性能相當(dāng)?shù)那闆r下，內(nèi)存使用比通過(guò)增加模型層數(shù)或擴(kuò)展專家選擇數(shù)量的方法降低了17.6-42%。

另外，在專家組合自由度、專家使用效率等其它方面，CoE也都具有顯著優(yōu)勢(shì)，專家組合增加823倍。

目前，研究團(tuán)隊(duì)曬出了CoE技術(shù)Blog（完整論文即將發(fā)布），引起不少網(wǎng)友圍觀。

翻看作者主頁(yè)，還發(fā)現(xiàn)作者Zihan Wang真曾在DeepSeek實(shí)習(xí)過(guò)??

有網(wǎng)友看過(guò)這項(xiàng)研究表示：

MoEs中的IsoFLOP層迭代設(shè)計(jì)，非常奈斯。

還有網(wǎng)友已經(jīng)開(kāi)始預(yù)測(cè)下一代架構(gòu)了。

CoE究竟長(zhǎng)啥樣？以下是團(tuán)隊(duì)發(fā)布的Notion Blog介紹。

CoE專門(mén)針對(duì)稀疏MoE打造

CoE關(guān)鍵創(chuàng)新在于建立溝通性處理機(jī)制，改變了稀疏神經(jīng)網(wǎng)絡(luò)的信息處理方式。

具體來(lái)說(shuō)，是通過(guò)在單個(gè)層的迭代中將MoE輸出反饋為多次迭代的輸入來(lái)實(shí)現(xiàn)的。

CoE迭代處理機(jī)制可以形式化表示為下面這個(gè)樣?jì)饍海?/p>

參考DeepSeek-V2的實(shí)現(xiàn)，研究團(tuán)隊(duì)定義門(mén)控機(jī)制為如下：

團(tuán)隊(duì)介紹，這種設(shè)計(jì)的好處在于每次迭代的專家選擇由前一次迭代的輸出決定，形成專家間的依賴關(guān)系和更動(dòng)態(tài)的路由機(jī)制。

而且串行信息可以在迭代過(guò)程中累積，實(shí)現(xiàn)專家間的直接通信。

實(shí)驗(yàn)采取DeepSeek V2架構(gòu)，在參數(shù)規(guī)模為500M的MoE模型上使用32K Tok的batch size訓(xùn)練1000步，以此來(lái)驗(yàn)證CoE的有效性。

結(jié)果CoE在性能、擴(kuò)展策略、資源效率優(yōu)化、專家組合自由度、專家使用效率方面具有顯著優(yōu)勢(shì)。

除了開(kāi)頭所展示的在相似的算力和內(nèi)存要求下，CoE將loss從1.20下降至1.12，且有更陡峭的下降趨勢(shì)。

團(tuán)隊(duì)進(jìn)一步在“dense”（專家8選8）模型上也進(jìn)行了測(cè)試，結(jié)果證明了串行處理在Sparse MoE上相比Dense模型更有效，CoE是一種專為（細(xì)粒度）稀疏混合專家模型（Sparse MoE）設(shè)計(jì)的方法。

采取2次序列化處理并不能顯著提升Dense模型性能。

另外，在計(jì)算量和效果相似的情況下，CoE可以減小對(duì)內(nèi)存的要求。如下，CoE-2（4/48）的效果與MoE（8/64）相近，但使用更少的總專家數(shù)量。loss match的情況下減小了17.6%的內(nèi)存需求。

團(tuán)隊(duì)還對(duì)比了在預(yù)算相似的情況下，擴(kuò)展CoE迭代次數(shù)和擴(kuò)展模型層數(shù)、擴(kuò)展專家選擇個(gè)數(shù)的效果，結(jié)果擴(kuò)展CoE迭代次數(shù)更優(yōu)。

CoE-2（8/64）,4層 vs MoE（8/64）,8層/12層，8層MoE和CoE效果幾乎相同，但是對(duì)內(nèi)存要求高72%，即CoE相對(duì)節(jié)省了42%內(nèi)存。

團(tuán)隊(duì)強(qiáng)調(diào)，獨(dú)立門(mén)控機(jī)制和內(nèi)殘差連接是CoE的關(guān)鍵架構(gòu)創(chuàng)新，消融研究表明，移除任何組件都會(huì)顯著降低性能。

更多細(xì)節(jié)，感興趣的童鞋可以查看技術(shù)報(bào)告原文～

誰(shuí)造的？

CoE由一個(gè)5人組成的團(tuán)隊(duì)提出。

Zihan Wang是美國(guó)西北大學(xué)計(jì)算機(jī)科學(xué)專業(yè)博士生，本科畢業(yè)于中國(guó)人民大學(xué)高瓴人工智能學(xué)院，研究聚焦于基礎(chǔ)模型的自主性、效率以及長(zhǎng)上下文理解。

Zihan Wang曾在DeepSeek工作過(guò)，是ESFT（Expert-Specialized Fine-Tuning）的論文一作。

ESFT通過(guò)僅調(diào)整與任務(wù)相關(guān)的部分高效地定制采用MoE，從而在減少資源和存儲(chǔ)使用的同時(shí)提升效率和性能。

CoE不是Zihan Wang第一次針對(duì)DeepSeek搞的“變體”。

之前他還曾基于verl復(fù)現(xiàn)了DeepSeek-R1（-Zero）框架——RAGEN （Reinforcement learning AGENt），在GitHub攬星近1k：

Zihan Wang師從Manling Li。Manling Li是西北大學(xué)計(jì)算機(jī)科學(xué)系助理教授，此前曾在吳佳俊教授的指導(dǎo)下工作，并得到李飛飛教授的指導(dǎo)。

RAGEN的貢獻(xiàn)者名單中也有Manling Li、吳佳俊、李飛飛的身影。

CoE技術(shù)報(bào)告：http://sandy-server-87f.notion.site/Chain-of-Experts-Unlocking-the-Communication-Power-of-MoEs-1ab9bb750b7980048d43e6aab3537cea
CoE GitHub鏈接：https://github.com/ZihanWang314/coe
參考鏈接：
[1]https://x.com/wzihanw/status/1896601518612021709
[2]https://github.com/ZihanWang314/RAGEN?tab=readme-ov-file
[3]https://github.com/deepseek-ai/ESFT