模型合并就進(jìn)化，直接拿下SOTA！Transformer作者創(chuàng)業(yè)新成果火了

豐色 2024-03-25 13:41:40 來(lái)源：量子位

豐色 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

把Huggingface上的現(xiàn)成模型拿來(lái)“攢一攢”——

直接就能組合出新的強(qiáng)大模型？！

日本大模型公司sakana.ai腦洞大開(kāi)（正是“Transformer八子”之一所創(chuàng)辦的公司），想出了這么一個(gè)進(jìn)化合并模型的妙招。

該方法不僅能自動(dòng)生成新的基礎(chǔ)模型，而且性能絕不賴：

他們得到的一個(gè)70億參數(shù)的日語(yǔ)數(shù)學(xué)大模型，直接在相關(guān)基準(zhǔn)測(cè)試上取得了SOTA，打敗了700億參數(shù)的Llama-2等前輩。

最重要的是，得出這樣的模型不需要任何梯度訓(xùn)練，因此需要的計(jì)算資源大大減少。

英偉達(dá)科學(xué)家Jim Fan看完大贊：

這是我最近讀過(guò)的最有想象力的論文之一。

合并進(jìn)化，自動(dòng)生成新基礎(chǔ)模型

從開(kāi)源大模型排行榜上表現(xiàn)最好的模型，大多不再是LLaMA或Mistral這種“原始”模型，而是一些微調(diào)或合并模型之后，我們就能看出：

一種新的趨勢(shì)出現(xiàn)了。

Sakana.ai介紹，開(kāi)源基礎(chǔ)模型很容易在數(shù)百個(gè)不同的方向上進(jìn)行擴(kuò)展和微調(diào)，然后產(chǎn)生在新的領(lǐng)域表現(xiàn)出色的新模型。

而在這之中，模型合并顯現(xiàn)出了巨大前景。

但，它可能是一種“黑魔法”，嚴(yán)重依賴直覺(jué)和專業(yè)知識(shí)。

因此，我們需要更為系統(tǒng)性的方法。

受自然界的自然選擇啟發(fā)，Sakana.ai盯上了進(jìn)化算法，引入“進(jìn)化模型合并”（Evolutionary Model Merge）的概念，提出一種可以發(fā)現(xiàn)最佳模型組合的通用方法。

該方法結(jié)合了兩種不同的思路：

（1）合并數(shù)據(jù)流空間（層）中的模型，以及（2）合并參數(shù)空間（權(quán)重）中的模型。

具體而言，第一種數(shù)據(jù)流空間方法是通過(guò)進(jìn)化來(lái)發(fā)現(xiàn)不同模型層的最佳組合，以此形成新模型。

在社區(qū)以往的做法中，都是靠直覺(jué)來(lái)確定如何以及模型哪些層可以與另一個(gè)模型的層結(jié)合。

但其實(shí)，Sakana.ai介紹，這個(gè)問(wèn)題有一個(gè)組合數(shù)量巨大的搜索空間，最適合由優(yōu)化算法如進(jìn)化算法來(lái)搜索。

其操作示例如下：

至于第二個(gè)參數(shù)空間方法則混合多個(gè)模型權(quán)重來(lái)形成新模型。

這種方法其實(shí)很無(wú)數(shù)種實(shí)現(xiàn)，再加上混合的每一層原則上可以使用不同的混合比例，就更多了。

而這，利用進(jìn)化方法就可以有效地找出更為新穎的混合策略。

以下是將兩個(gè)不同模型的權(quán)重進(jìn)行混合得到新模型的操作示例：

將以上這兩種方法合并，就是這樣的：

作者介紹，他們希望在相距較遠(yuǎn)的領(lǐng)域，例如數(shù)學(xué)和非英語(yǔ)語(yǔ)言、視覺(jué)和非英語(yǔ)語(yǔ)言，來(lái)組成之前大家不曾探索過(guò)的新興組合。

結(jié)果，還真有點(diǎn)讓人驚喜。

新模型輕松拿下SOTA

用以上進(jìn)化合并方法，團(tuán)隊(duì)得到了3個(gè)基礎(chǔ)模型：

• 大語(yǔ)言模型EvoLLM-JP

由日語(yǔ)大模型Shisa-Gamma和數(shù)學(xué)大模型WizardMath/Abel合并而成，擅長(zhǎng)解決日語(yǔ)數(shù)學(xué)問(wèn)題，進(jìn)化了100-150代。

• 視覺(jué)語(yǔ)言模型EvoVLM-JP

日語(yǔ)大模型Shisa Gamma 7B v1+LLaVa-1.6-Mistral-7B，是具有日語(yǔ)能力的VLM。

• 圖像生成模型EvoSDXL-JP

支持日語(yǔ)的SDXL擴(kuò)散模型。

前兩個(gè)已在Hugging Face和GitHub上發(fā)布，最后一個(gè)也即將推出。

具體來(lái)看。

1、EvoLLM-JP

它在GSM8K數(shù)據(jù)集的多語(yǔ)言版本——MGSM的日語(yǔ)評(píng)估集上取得成績(jī)?nèi)缦拢?/p>

可以看到，EvoLLM-JP用日語(yǔ)解決數(shù)學(xué)問(wèn)題的表現(xiàn)超過(guò)了它們的原始模型，也超過(guò)了Llama-2、GPT-3.5等高性能模型。

其中模型4是僅在參數(shù)空間進(jìn)行了優(yōu)化，模型6是使用模型4在數(shù)據(jù)流空間中進(jìn)一步優(yōu)化的結(jié)果。

在既評(píng)估數(shù)據(jù)能力也評(píng)估一般日語(yǔ)能力的日語(yǔ)lm-evaluation-harness基準(zhǔn)上，EvoLLM-JP則在9個(gè)任務(wù)上的平均得分最高達(dá)到了70.5——只用70億參數(shù)，它就打敗了700億的Llama-2等模型。

團(tuán)隊(duì)表示，EvoLLM-JP已經(jīng)足夠優(yōu)秀，可以作為通用日語(yǔ)大模型，并解決一些有趣的例子：

比如需要特定日本文化知識(shí)的數(shù)學(xué)問(wèn)題，或者用關(guān)西方言講日本笑話。

2、EvoVLM-JP

在以下兩個(gè)圖像問(wèn)答的基準(zhǔn)數(shù)據(jù)集上，分?jǐn)?shù)越高，代表模型用日語(yǔ)回答的描述越準(zhǔn)確。

結(jié)果，它不僅比其所基于的英語(yǔ)VLM LLaVa-1.6-Mistral-7B更出色，也比現(xiàn)有的日語(yǔ)VLM更厲害。

如下圖所示，在回答圖中的信號(hào)燈為什么顏色之時(shí)，只有EvoVLM-JP答對(duì)：藍(lán)色。（日本的習(xí)俗就是把紅綠燈稱為紅藍(lán)燈）

3、EvoSDXL-JP

這個(gè)支持日語(yǔ)的SDXL模型只需4個(gè)擴(kuò)散模型即可執(zhí)行推理，生成速度相當(dāng)快。

具體跑分還沒(méi)出來(lái)，但團(tuán)隊(duì)透露也是“相當(dāng)有希望的”。

可以欣賞一些示例：

提示詞包括：味噌ラーメン、最高品質(zhì)の浮世絵、葛飾北斎、江戸時(shí)代。

對(duì)于以上3個(gè)新模型，團(tuán)隊(duì)指出：

原則上，我們可以采用基于梯度的反向傳播來(lái)進(jìn)一步提高以上這些模型的性能。

但我們不用，因?yàn)楝F(xiàn)在的目的就是表明，即使沒(méi)有反向傳播，我們?nèi)匀豢梢缘玫阶銐蛳冗M(jìn)的基礎(chǔ)模型，挑戰(zhàn)當(dāng)前的“昂貴范式”。

對(duì)此，網(wǎng)友們紛紛點(diǎn)贊。

Jim Fan也補(bǔ)充：

在基礎(chǔ)模型領(lǐng)域，目前社區(qū)幾乎完全專注于讓模型去學(xué)習(xí)，而不太重視搜索，但后者在訓(xùn)練（也就是本文提出的進(jìn)化算法）和推理階段其實(shí)都有巨大的潛力。

所以，如網(wǎng)友所說(shuō)：

我們現(xiàn)在已經(jīng)處于模型的寒武紀(jì)大爆發(fā)時(shí)代了嗎？

論文地址：
https://arxiv.org/abs/2403.13187
參考鏈接：
[1]https://sakana.ai/evolutionary-model-merge/
[2]https://twitter.com/DrJimFan/status/1771927650883522899?s=20
[3]https://twitter.com/SakanaAILabs/status/1770613032198279663