混合專家系統(tǒng)里根本沒專家？開源MoE模型論文引網(wǎng)友熱議
實(shí)驗(yàn)發(fā)現(xiàn)專家分配與話題無關(guān)
克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
紅極一時(shí)的開源MoE模型Mixtral，論文終于新鮮出爐！
除了披露了更多技術(shù)細(xì)節(jié)，論文中還有一個(gè)結(jié)論引發(fā)了熱烈討論——
研究人員本想研究Mixtral是怎么根據(jù)話題分配專家的，結(jié)果發(fā)現(xiàn)專家的分配……和話題好像沒什么關(guān)系。
而在大多數(shù)人的印象中，Mixtral里的8個(gè)專家，是分別負(fù)責(zé)處理不同領(lǐng)域的話題的……
論文的結(jié)論曝光后，不少網(wǎng)友開始認(rèn)為“專家混合”這個(gè)說法，可能不那么貼切了：
于是，針對(duì)Mixtral真實(shí)的工作機(jī)制，有網(wǎng)友給出了這樣的比喻：
所以，比起“專家的組合”，這樣的工作方式更像是一種硬盤陣列或者負(fù)載均衡？
但也有網(wǎng)友表示了不同意見：
這個(gè)問題并不根屬于MoE，因?yàn)樽约褐耙娺^的MoE模型中，是發(fā)現(xiàn)了真·專家分工的現(xiàn)象的。
那么，這究竟是怎么一回事呢？
實(shí)驗(yàn)未發(fā)現(xiàn)專家按領(lǐng)域分布
在訓(xùn)練過程中，作者觀察了Mixtral中是否有一些專家會(huì)針對(duì)某些特定領(lǐng)域進(jìn)行專門化。
具體來說，作者計(jì)算了第0、15、31層在The Pile驗(yàn)證集的不同子集（包含不同領(lǐng)域的文檔）上被選中的專家分布。
這些子集包括LaTeX格式的arXiv論文、生物學(xué)論文（PubMed摘要）、哲學(xué)論文（PhilPapers）和GitHub代碼等。
結(jié)果發(fā)現(xiàn)，對(duì)這幾個(gè)層而言，除了數(shù)學(xué)領(lǐng)域（DM Mathematics）數(shù)據(jù)集的專家選擇略有不同外，其余數(shù)據(jù)集的專家分布都非常類似，并沒有體現(xiàn)出領(lǐng)域間有什么差別。
而在數(shù)學(xué)問題上出現(xiàn)不同表現(xiàn)的原因，可能是由于其具有相對(duì)特殊的語法結(jié)構(gòu)，進(jìn)一步的探究也證實(shí)了這一想法。
他們發(fā)現(xiàn)，專家選擇會(huì)被句子的語法結(jié)構(gòu)所影響，一些語法關(guān)鍵詞，比如英語中的“Question”或者代碼中的“self”，被分配到相同的專家的概率非常大。
此外，定量的分析結(jié)果還發(fā)現(xiàn)了另一個(gè)專家分配規(guī)律——相鄰的token有很大概率被分配給同一專家。
作者比較了模型針對(duì)相鄰token選擇相同專家的概率，包括第一選擇一致率和第一二選擇一致率。
第一二選擇一致是指，模型針對(duì)兩個(gè)token分別做出的第一和第二選擇，只要存在交集即視為一致。
（比如第一個(gè)token的第一、二專家為分別為甲、乙，第二個(gè)token的第一、二專家分別為乙、丙，因?yàn)槎及艘?，就是一種第一二選擇一致的情況）
因Mixtral中有8個(gè)專家，因此在全隨機(jī)的選擇方式下，第一選擇一致率應(yīng)為12.5%（1/8），第一二選擇一致率應(yīng)為1 – (6/8) × (5/7)，約為46%。
但實(shí)際測(cè)試發(fā)現(xiàn)，Mixtral第一和第一二選擇一致率高于隨機(jī)情況，特別是中間的第15層，說明了模型在專家選擇上是具有傾向性的。
論文地址：
https://arxiv.org/abs/2401.04088
相關(guān)閱讀
中國電信開源星辰AI大模型：央企中首個(gè)完成LLM研發(fā)和開源的選手誕生
AI領(lǐng)域Fellow大滿貫科學(xué)家李學(xué)龍已加盟
MathGPT大模型發(fā)布：落地學(xué)而思AI學(xué)習(xí)機(jī)
MathGPT將從即日起由內(nèi)測(cè)階段轉(zhuǎn)為全面開放
