王小川大模型25天再升級(jí)！13B版本開(kāi)源免費(fèi)可商用，3090即可部署

衡宇 2023-07-11 13:07:28 來(lái)源：量子位

衡宇 金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

就在剛剛，王小川的開(kāi)源大模型又有了新動(dòng)作——

百川智能，正式發(fā)布130億參數(shù)通用大語(yǔ)言模型（Baichuan-13B-Base）。

并且官方對(duì)此的評(píng)價(jià)是：

性能最強(qiáng)的中英文百億參數(shù)量開(kāi)源模型。

與此一同出道的，還有一個(gè)對(duì)話模型Baichuan-13B-Chat，以及它的INT4/INT8兩個(gè)量化版本。

但更重要的一點(diǎn)是（劃重點(diǎn)），完全開(kāi)源！免費(fèi)可商用！

就在不久前的6月15日，百川智能才剛剛發(fā)布其第一款70億參數(shù)量的中英文語(yǔ)言模型Baichuan-7B。

當(dāng)時(shí)的版本便已經(jīng)拿下多個(gè)世界權(quán)威Benchmark榜單同量級(jí)測(cè)試榜首；同樣作為開(kāi)源大模型，據(jù)說(shuō)清華北大都已經(jīng)用上了。

僅僅時(shí)隔25天，更大、更強(qiáng)的版本再次襲來(lái)，不得不說(shuō)，王小川在技術(shù)上的動(dòng)作是有夠緊鑼密鼓的了。

那么這次號(hào)稱(chēng)的“最強(qiáng)開(kāi)源大模型”，具體表現(xiàn)又是怎樣呢？

多領(lǐng)域超越ChatGPT

老規(guī)矩，先提綱挈領(lǐng)地說(shuō)一下Baichuan-13B的基本個(gè)“?！辟Y料：

中英雙語(yǔ)大模型，130億參數(shù)，在1.4萬(wàn)億token數(shù)據(jù)集上訓(xùn)練，完全開(kāi)源、免費(fèi)可商用。

1.4萬(wàn)億ztoken這個(gè)訓(xùn)練數(shù)據(jù)量，超過(guò)LLaMA-13B訓(xùn)練數(shù)據(jù)量的40%，是當(dāng)前開(kāi)源的13B尺寸模型世界里，訓(xùn)練數(shù)據(jù)量最大的模型。

此外，Baichuan-13B上下文窗口長(zhǎng)度為4096——這就不得不提到其與7B版本完全不同的編碼方式。

7B版本采用RoPE編碼方式，而13B使用了ALiBi位置編碼技術(shù)，后者能夠處理長(zhǎng)上下文窗口，甚至可以推斷超出訓(xùn)練期間讀取數(shù)據(jù)的上下文長(zhǎng)度，從而更好地捕捉文本中上下文的相關(guān)性，讓預(yù)測(cè)或生成更準(zhǔn)確。

作為一款中英文雙語(yǔ)大模型，Baichuan-13B采用了相對(duì)平衡的中英文語(yǔ)料配比和多語(yǔ)言對(duì)齊語(yǔ)料，從而在中英兩種語(yǔ)言上都有不俗表現(xiàn)。

△主流百億參數(shù)13B開(kāi)源模型benchmark成績(jī)

來(lái)看看Baichuan-13B在中文領(lǐng)域的測(cè)評(píng)成績(jī)。

在評(píng)測(cè)集C-EVAl上，Baichuan-13B在自然科學(xué)、醫(yī)學(xué)、藝術(shù)、數(shù)學(xué)等領(lǐng)域領(lǐng)先LLaMA-13B、Vicuna-13B等同尺寸的大語(yǔ)言模型。

社會(huì)科學(xué)和人文科學(xué)領(lǐng)域，水平比ChatGPT還要好上一點(diǎn)。

英文領(lǐng)域的表現(xiàn)也算不錯(cuò)，能比同尺寸的其他開(kāi)源模型，如LLaMA-13B、Vicuna-13B都有更好的表現(xiàn)。

通常而言，非專(zhuān)業(yè)用戶(hù)和有具體需求的企業(yè)，對(duì)有對(duì)話功能的對(duì)齊模型有更重的好奇心。

鑒于這個(gè)情況，百川智能此次在發(fā)布與訓(xùn)練模型底座Baichuan-13B-Base的同時(shí)，還發(fā)布了其對(duì)話模型Baichuan-13B-Chat及其INT4/INT8兩個(gè)量化版本。

來(lái)看看對(duì)話模型的實(shí)際表現(xiàn)效果——

讓它寫(xiě)個(gè)商品介紹郵件，它能寫(xiě)出醬嬸兒的：

數(shù)據(jù)推理能力如何？

也淺測(cè)了一番：

至于互聯(lián)網(wǎng)上遠(yuǎn)古或新近流行的各種梗，Baichuan-13B-Chat好像也沒(méi)在怕的：

官方介紹，為了保證模型的純凈度，Baichuan-13B-Base和Baichuan-13B-Chat沒(méi)有針對(duì)任何benchmark測(cè)試進(jìn)行專(zhuān)項(xiàng)優(yōu)化，具有更高的效能和可定制性。

為什么要完全開(kāi)源、可商用？

正如我們剛才提到的，這次百川智能推出的Baichuan-13B-Base是對(duì)學(xué)術(shù)研究完全開(kāi)放。

不僅如此，所有開(kāi)發(fā)者均可通過(guò)郵件向百川智能申請(qǐng)授權(quán)，在獲得官方商用許可后即可免費(fèi)商用。

而且據(jù)官方的說(shuō)法，百川智能是為了降低使用的門(mén)檻，才同時(shí)開(kāi)源了Baichuan-13B-Chat的INT8和INT4兩個(gè)量化版本。

這樣一來(lái)，在近乎無(wú)損的情況下，便可以將模型部署在如3090等消費(fèi)級(jí)顯卡上。

想必很多小伙伴就要問(wèn)了，百川智能為什么要走這么一條路？

其實(shí)如果看下Meta在大模型上的開(kāi)源之路，便可窺知一二。

我們都知道大模型在訓(xùn)練的成本極高，因此像OpenAI和谷歌兩大科技巨頭最初選擇的是閉源的“路數(shù)”，它們?yōu)榈木褪且源吮ＷC自己的優(yōu)勢(shì)。

而Meta后來(lái)所推出的LLaMa則與之“背道而馳”，但所迸發(fā)出來(lái)的潛力卻是有目共睹——

迅速吸引大批開(kāi)發(fā)者，在LLaMa基礎(chǔ)上迭代出了各種ChatGPT的替代品，甚至在性能的表現(xiàn)上是可以匹敵GPT-3.5的那種。

加之業(yè)界對(duì)大模型未來(lái)發(fā)展態(tài)勢(shì)已經(jīng)達(dá)成了一個(gè)共識(shí)：

類(lèi)似安卓和iOS，將會(huì)是開(kāi)源和閉源共存的狀態(tài)。

因此，開(kāi)源在大模型的發(fā)展中已然成為一股不可或缺的中堅(jiān)力量。

……

那么你對(duì)于王小川的新大模型，有何看法呢？

【HuggingFace】

預(yù)訓(xùn)練模型：https://huggingface.co/baichuan-inc/Baichuan-13B-Base
對(duì)話模型：https://huggingface.co/baichuan-inc/Baichuan-13B-Chat

【GitHub】

https://githuB.com/Baichuan-inc/Baichuan-13B

【Model Scope】

預(yù)訓(xùn)練模型：https://modelscope.cn/models/Baichuan-inc/Baichuan-13B-Base/
對(duì)話模型：https://modelscope.cn/models/Baichuan-inc/Baichuan-13B-Chat/