百川智能開源最新商用大模型！王小川：比LLaMA更香，下一槍打ChatGPT

衡宇 2023-09-07 16:29:28 來源：量子位

衡宇 發(fā)自 凹非寺

量子位 |公眾號(hào)QbitAI

我們現(xiàn)在可以獲得比LLaMA更友好，且能力更強(qiáng)的開源模型。

這次在發(fā)布會(huì)現(xiàn)場表達(dá)出“遙遙領(lǐng)先”之意的，是百川智能CEO王小川。

保持一個(gè)月新發(fā)布一次大模型的頻率，百川智能最新開源微調(diào)后的Baichuan2-7B，并且免費(fèi)商用。

王小川表示，MMLU等英文評估基準(zhǔn)的英文主流任務(wù)評分，70億參數(shù)量的Baichuan2-7B在英文主流任務(wù)上與130億參數(shù)的LLaMA2相當(dāng)。

一并開源的還有Baichuan2-13B、Baichuan 2-13B-Chat與其4bit量化版本，以及模型訓(xùn)練從220B到2640B全過程的Check Poin。

同時(shí)公布了詳細(xì)介紹訓(xùn)練細(xì)節(jié)的Baichuan2技術(shù)報(bào)告，旨在讓外界了解其訓(xùn)練過程，“更好地推動(dòng)大模型學(xué)術(shù)研究和社區(qū)的技術(shù)發(fā)展”。

Baichuan2系列大模型，開源的

Baichuan2系列的兩款開源大模型，分別是70億參數(shù)的Baichuan2-7B，以及130億參數(shù)的Baichuan2-13B。

其數(shù)據(jù)取自萬億互聯(lián)網(wǎng)數(shù)據(jù)和垂直行業(yè)，訓(xùn)練token規(guī)模在2.6TB。

據(jù)悉，Baichuan2系列大模型的數(shù)據(jù)處理借鑒了很多搜索時(shí)用到的經(jīng)驗(yàn)。

一方面是在超大規(guī)模內(nèi)容通過聚類系統(tǒng)，達(dá)到“小時(shí)級完成千億數(shù)據(jù)清洗和去重工作”；另外，大部分?jǐn)?shù)據(jù)清洗時(shí)進(jìn)行了多粒度內(nèi)容質(zhì)量打分，支持細(xì)顆粒采樣，從而提高模型質(zhì)量（尤其是中文領(lǐng)域）。

系列里的兩者均支持中、英、西、法等數(shù)十種語言，主要應(yīng)用學(xué)術(shù)研究、互聯(lián)網(wǎng)、金融等領(lǐng)域。

相比一代，Baichuan2數(shù)學(xué)能力提升49%，代碼能力提升46%，安全能力提升37%，邏輯能力提升25%，語義理解能力提升15%，文理科能力方面均有提升。

百川在infra層也做了優(yōu)化，使得現(xiàn)在在千卡A800集群里達(dá)到180TFLOPS的訓(xùn)練性能，使得機(jī)器利用率超過50%。

王小川在現(xiàn)場表示，在模型參數(shù)和結(jié)構(gòu)設(shè)置上，Baichuan大模型盡可能靠近LLaMA系列。

這樣做的最大的意義在于，讓社區(qū)用戶能夠直接從LLaMA換成百川的模型。同時(shí)，我們盡可能兼容更多的社區(qū)生態(tài)。

除了再更大模型，百川智能還公布了3000億-2.6萬億tokens的模型訓(xùn)練中間過程。

也就是說，百川像切片一樣把不同大小token的能力開發(fā)出來，“對大家理解預(yù)訓(xùn)練，或者在預(yù)訓(xùn)練上做微調(diào)強(qiáng)化更容易操作?！?/p>

這也是在國內(nèi)首次有公司能開放這樣的訓(xùn)練過程。

值得一提的是，百川系列大模型對學(xué)術(shù)界師生開通了綠色通道，申請時(shí)可以獲得更多資料，以幫助學(xué)術(shù)。

預(yù)計(jì)明年1季度推出“超級應(yīng)用”

自成立起，百川智能保持著月更大模型的速度，呈現(xiàn)出開閉源交替發(fā)布的情況。

此前Baichuan-7B、Baichuan-13B開源后，Hugging Face首周下載量破百萬，總下載量為500萬，是全球下載量最高的開源大模型，申請部署試用的企業(yè)數(shù)量超200家。

閉源模型方面，則有上個(gè)月發(fā)布的Baichuan-53B，對大模型和搜索進(jìn)行了“很高程度”的融合。

為何“開源+閉源”并行？

“在二季度最后一個(gè)月，我們認(rèn)為當(dāng)時(shí)的需求，也是我們能貢獻(xiàn)的地方，就是開源模型?！蓖跣〈ìF(xiàn)場解釋稱，“所以成立公司之后我們就發(fā)布開源模型，同時(shí)兼顧閉源大模型的訓(xùn)練?！?/p>

迄今為止，國內(nèi)發(fā)布的大模型總數(shù)超百家。

不只是訓(xùn)模型，“落地”這一步也來到眼前：一周前，首批11家國產(chǎn)AI大模型也開始向公眾開放。

但如中國科學(xué)院院士、清華大學(xué)人工智能研究院名譽(yù)院長張鈸在發(fā)布會(huì)演講時(shí)提到，市面上的大模型，“主要集中在垂直領(lǐng)域的應(yīng)用上”，而不是“對大模型的學(xué)術(shù)研究本身”。

然而，這個(gè)工作既迫切，又重要。

到現(xiàn)在為止，全世界對大模型的理論工作原理、所產(chǎn)生的現(xiàn)象都是一頭霧水，所有的結(jié)論都推導(dǎo)產(chǎn)生了“涌現(xiàn)現(xiàn)象”。

所謂涌現(xiàn)，就是解釋不清楚的情況下給自己一個(gè)退路。我認(rèn)為這個(gè)問題必須要把它搞清楚。

大模型賽道自身的繁榮，開源有益對創(chuàng)新和研發(fā)效率的助推，都有利于徹底了解GPT。

確定開閉源并行的公布模式，密集對外公布階段性成果，目前App已實(shí)現(xiàn)對外開放，百川智能的下一步計(jì)劃是什么？

今年四季度，預(yù)計(jì)發(fā)布千億參數(shù)大模型。

明年一季度左右，預(yù)計(jì)推出“超級應(yīng)用”。

這兩個(gè)時(shí)間節(jié)點(diǎn)，也被諸多大模型廠商和創(chuàng)業(yè)公司此前立下flag。感覺到時(shí)候，作用用戶一方，咱們又有更多期（hao）待（xi）了～