最好的7B模型易主，免費開源可商用，來自“歐洲的OpenAI”

夢晨 2023-10-09 12:36:55 來源：量子位

夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

一個神秘磁力鏈接，成了開源大模型社區(qū)的新寵。

里面是來自法國的開源大模型Mistral-7B，大家試用下來，覺得Llama 2都不香了。

有開發(fā)者建議，代碼之外的數(shù)據(jù)微調(diào)，34B以下規(guī)模先試試它就對了。

也有公司開始把它用在簡歷自動解析和評估業(yè)務上。

想基于Mistral創(chuàng)業(yè)的更是大有人在。

發(fā)布不到2周，配套生態(tài)也迅速發(fā)展起來，如何在單卡上微調(diào)的教程有了。

各種基礎設施和工具鏈也添加了對Mistral-7B的支持。

專用于代碼補全的微調(diào)版本也有人搞出來了。

甚至有人基于它微調(diào)了一個神秘學玄學大模型，也很受歡迎。

與Meta剛剛發(fā)布Llama的時候，迅速出現(xiàn)各種其他駝和神獸，發(fā)展成大模型動物園的場景太像了。

Mistral這個單詞在法語里代表冬季的一種強風。

羊駝們，準備好過冬了嗎？

Mistral為什么火了？

先上總結，綜合官方公告和社區(qū)反饋，主要有5個方面：

性能更強，硬件需求更少，有2023年的知識，安全對齊沒那么離譜，開源協(xié)議更寬松，

目前最好的7B模型

根據(jù)官方發(fā)布公告，Mistral 7B在所有嘗試過的評測基準中超過Llama 2 13B。

并在代碼、數(shù)學和推理評測中超過Llama 1 34B。

另外代碼任務上的表現(xiàn)接近專門的CodeLlama 7B，同時保留了自然語言能力。

上下文窗口也達到了8k。

更詳細的測評數(shù)據(jù)如下。

筆記本輕松跑

以小勝大，意味著取得相似的效果硬件需求更少。

官方也特別說明用了各種優(yōu)化手段，F(xiàn)lashAttention，Grouped-Query Attention，Sliding Window Attention一起上。

現(xiàn)在已經(jīng)看到很多開發(fā)者曬自己在蘋果筆記本跑起來的經(jīng)驗。

量化后只需要6G顯存。

訓練數(shù)據(jù)更新

官方?jīng)]有具體說明訓練數(shù)據(jù)截止日期。

但經(jīng)網(wǎng)友測試，2023年3月OpenAI發(fā)布GPT-4的事它也知道。

相比之下Llama 2的預訓練數(shù)據(jù)截止到2022年9月，只有部分微調(diào)數(shù)據(jù)最多到2023年6月。

實用性更強

Llama 2的安全對齊措施非常充分嚴格，甚至損失了一部分實用性。

比如拒絕回答如何“殺死”一個Linux線程，只能說過于禮貌也是一種不禮貌了。

還有創(chuàng)業(yè)者根據(jù)自己經(jīng)歷總結了3點是Mistral-7B能做但Llama 2做不好的。

他做的是檢索復雜SQL語句，對比測試發(fā)現(xiàn)Llama 2 13B有幾個缺點：

• 即使提供少樣本示例，也會在結構化輸出中插入評論
• 會在時間字段上出錯
• 在數(shù)據(jù)結構定義DDL中如果有多個表，總是漏掉至少一個表

而Mistral-7B具體效果還在測試中，至少這些問題都不存在。

另外Mistral-7B還非常適合用來微調(diào)，官方也出了經(jīng)過指令微調(diào)的聊天版本作為補充。

開源協(xié)議更寬松

Mistral基于非常寬松的Apache2.0協(xié)議開源，免費，允許商業(yè)使用、修改和分發(fā)。

相比之下Meta為Llama 2準備的協(xié)議，甚至被開源界批評為嚴格來講不算真正的開源。

比如有附加商業(yè)條款，月活超過7億的產(chǎn)品或服務需要單獨申請許可，這條主要針對大公司。

針對個人和小公司的也有不能使用Llama生成的結果來改進其他模型等。

歐洲的OpenAI

Mistral AI成立于今年5月，總部法國巴黎，3位創(chuàng)始人是DeepMind和Meta前員工，

外界將這家公司看成是歐洲的OpenAI。

當初剛成立4周還沒有產(chǎn)品時，就靠6個員工7頁PPT拿到超過1億美元融資，當時還引起一番爭議，被當成是AI泡沫的代表。

Mistral AI最初計劃在2024年發(fā)布首個大模型，沒想到剛到9月底就已拿出成果，團隊也擴大了不少。

三位聯(lián)合創(chuàng)始人中，CEO?Arthur Mensch此前在DeepMind巴黎工作。

CTO?Timothée Lacroix和首席科學家Guillaume Lample則在Meta共同參與過Llama系列的研發(fā)，Lample是通訊作者之一。

事實上Llama初始團隊中已有過半離職，其中Marie-Anne Lachaux后來也加入了Mistral AI。

有點子當年OpenAI部分員工出走成立Anthropic的意思了，歷史總是驚人的相似。

Mistral AI接下來也會繼續(xù)推出規(guī)模更大的模型，增強推理能力以及多語言能力。

如果你對Mistral-7B感興趣，可以在Perplexity或HuggingChat試玩。

labs.perplexity.ai

https://huggingface.co/chat

還有一個與Llama 2同臺競技的小游戲可玩。

https://llmboxing.com

下載模型也可以去Hugging Face。

https://huggingface.co/mistralai

參考鏈接：
[1]https://mistral.ai/news/announcing-mistral-7b
[2]https://predibase.com/blog/fine-tuning-mistral-7b-on-a-single-gpu-with-ludwig
[3]https://x.com/hrishioa/status/1710702855491879027
[4]https://twitter.com/Teknium1/status/1710505270043189523