國(guó)內(nèi)最大開源模型發(fā)布，無(wú)條件免費(fèi)商用！參數(shù)650億，基于2.6萬(wàn)億token訓(xùn)練
來(lái)自深圳“騰訊系”公司
豐色 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
國(guó)內(nèi)規(guī)模最大的開源大模型來(lái)了：
參數(shù)650億、基于2.6-3.2萬(wàn)億token訓(xùn)練。
排名僅次于“獵鷹”和“羊駝”，性能媲美GPT3.5，現(xiàn)在就能無(wú)條件免費(fèi)商用。
它就是來(lái)自深圳元象公司的XVERSE。
根據(jù)算力、資源限制和具體任務(wù)需求的不同，我們能對(duì)它進(jìn)行任何自由修改或蒸餾。
除了規(guī)模大，它還具有16k上下文，支持40多種語(yǔ)言，并還有7B、13B兩個(gè)版本可選。
具體什么來(lái)頭？
國(guó)內(nèi)規(guī)模最大的可商用大模型來(lái)了
研究表明，參數(shù)量越高，高質(zhì)量訓(xùn)練數(shù)據(jù)越多，大模型性能才能不斷提升。
而業(yè)界普遍共識(shí)是達(dá)到500到600億參數(shù)門檻，大模型才能“智能涌現(xiàn)” ，在多任務(wù)中展現(xiàn)強(qiáng)大性能。
但訓(xùn)練此量級(jí)模型成本高昂，技術(shù)要求較高，目前主要為閉源付費(fèi)提供。
在國(guó)外開源生態(tài)中，Llama2-70B和Falcon-180B等標(biāo)桿模型為“有條件”開源，設(shè)置了月活躍用戶數(shù)或收入等商用上限，并因缺乏訓(xùn)練數(shù)據(jù)在中文能力上有明顯短板。
在此，為推動(dòng)國(guó)產(chǎn)大模型開源生態(tài)與產(chǎn)業(yè)應(yīng)用發(fā)展，元象XVERSE公司宣布開源650億參數(shù)高性能通用大模型XVERSE-65B，無(wú)條件免費(fèi)商用。13B模型則全面升級(jí)，提高“小”模型能力上限。
元象XVERSE創(chuàng)始人姚星表示：“面對(duì)研發(fā)時(shí)間緊、算力持續(xù)短缺等挑戰(zhàn)，團(tuán)隊(duì)在三個(gè)月內(nèi)研發(fā)出多款高性能7B、13B模型，并最早為社區(qū)獻(xiàn)上一個(gè)‘大有可為’的65B模型。”
XVERSE-65B底座模型在2.6萬(wàn)億Tokens的高質(zhì)量數(shù)據(jù)上從頭訓(xùn)練，上下文窗口擴(kuò)展至16K，支持中、英、俄、法等40多種語(yǔ)言。
顯著提升了三方面能力：
一、理解、生成、推理和記憶等基礎(chǔ)能力，到模型的多樣性、創(chuàng)造性和精度表現(xiàn)，從優(yōu)異到強(qiáng)大；
二、擴(kuò)展了工具調(diào)用、代碼解釋、反思修正等能力，為構(gòu)建智能體（AI Agent）奠定技術(shù)基礎(chǔ)，提高模型實(shí)用性；
三、顯著緩解7B、13B中常見(jiàn)且可能很嚴(yán)重的幻覺(jué)問(wèn)題，減少大模型“胡說(shuō)八道”，提高準(zhǔn)確性和專業(yè)度。
元象大模型系列均為全自研，涵蓋多項(xiàng)關(guān)鍵技術(shù)與研發(fā)創(chuàng)新：
1、復(fù)雜分布式系統(tǒng)設(shè)計(jì)：
借鑒團(tuán)隊(duì)研發(fā)騰訊圍棋AI“絕藝”、王者榮耀AI“絕悟”等大系統(tǒng)上的豐富經(jīng)驗(yàn)，自研高效算子、顯存優(yōu)化、并行調(diào)度策略、數(shù)據(jù)-計(jì)算-通信重疊、平臺(tái)與框架協(xié)同等關(guān)鍵技術(shù)，打造高效穩(wěn)定的訓(xùn)練系統(tǒng)， 千卡集群峰值算力利用率達(dá)58.5%，位居業(yè)界前列。
2、全面提升性能：
65B訓(xùn)練中采用 FlashAttention2加速計(jì)算， 3D并行基礎(chǔ)上采用虛擬流水線（virtual pipeline）技術(shù)，降低較長(zhǎng)流水線產(chǎn)生過(guò)高氣泡率，提升計(jì)算推理效率；上下文窗口長(zhǎng)度從8K逐步提升到16K，使其不僅能出色完成復(fù)雜任務(wù)，包括長(zhǎng)文理解、長(zhǎng)文生成和超長(zhǎng)對(duì)話，還拓展了工具調(diào)用、代碼解釋及反思修正能力，能更好構(gòu)建智能體（AI Agent）。
3、極致提升訓(xùn)練穩(wěn)定性：
因計(jì)算量龐大，通信擁塞、芯片過(guò)熱或計(jì)算節(jié)點(diǎn)故障成為65B訓(xùn)練常態(tài)，初期出現(xiàn)過(guò)一周最高八次故障的情況。
通過(guò)集群基礎(chǔ)設(shè)施運(yùn)營(yíng)、資源調(diào)度、訓(xùn)練框架和調(diào)度平臺(tái)協(xié)同等持續(xù)優(yōu)化，元象打造出高穩(wěn)定、低中斷、強(qiáng)容錯(cuò)的訓(xùn)練系統(tǒng)，將每周有效訓(xùn)練率提升至98.6%。
此外，在接近1.6萬(wàn)億Tokens的模型訓(xùn)練中期，損失函數(shù)產(chǎn)生了NaN值，可能導(dǎo)致訓(xùn)練中斷。
通常情況下，業(yè)界一般會(huì)在分析后刪除與之相關(guān)的數(shù)據(jù)區(qū)間。
而團(tuán)隊(duì)根據(jù)經(jīng)驗(yàn)判定這是模型自然演化，選擇不刪除數(shù)據(jù)，直接跳過(guò)相關(guān)參數(shù)更新，最終 NaN值 問(wèn)題解決。
后期對(duì)參數(shù)值、激活值、梯度值等中間狀態(tài)的進(jìn)一步分析表明，該問(wèn)題可能與模型最后一層transformer block激活值的最大值變化有關(guān)，并會(huì)隨最大值的逐漸降低而自行解決。
性能媲美GPT3.5
為確保業(yè)界能對(duì)元象大模型性能有全面、客觀、長(zhǎng)期認(rèn)知，研究人員參考了一系列權(quán)威學(xué)術(shù)測(cè)評(píng)，制定了涵蓋問(wèn)答、理解、知識(shí)、推理、數(shù)學(xué)、代碼等六個(gè)維度的11項(xiàng)主流權(quán)威測(cè)評(píng)標(biāo)準(zhǔn)，將持續(xù)使用并迭代。
XVERSE-65B在國(guó)內(nèi)尚無(wú)同量級(jí)模型可對(duì)比，在與國(guó)外標(biāo)桿對(duì)比測(cè)評(píng)中，部分指標(biāo)超越、綜合性能媲美GPT3.5；全面超越開源標(biāo)桿Llama2-70B 和Falcon-180B；與GPT4仍有差距。
全面升級(jí)的XVERSE-13B-2，比同尺寸模型增加大量高質(zhì)量數(shù)據(jù)，訓(xùn)練數(shù)據(jù)高達(dá)3.2萬(wàn)億， 極大提升了“小”模型的能力上限。
它文理兼修，保持了文科優(yōu)勢(shì)，問(wèn)答提升18%，理科長(zhǎng)足進(jìn)步， 代碼提升149%、數(shù)學(xué)提升198%，在測(cè)評(píng)中全面超越了Llama2、Baichuan2等國(guó)內(nèi)外開源標(biāo)桿。
現(xiàn)在，元象大模型可在Github、Hugging Face、魔搭ModelScope等多平臺(tái)搜索“XVERSE”下載，簡(jiǎn)單登記后即可無(wú)條件免費(fèi)商用，能滿足中小企業(yè)、科研機(jī)構(gòu)和個(gè)人開發(fā)者絕大部分的應(yīng)用與迭代需求。
元象同時(shí)提供模型訓(xùn)練、推理、部署、精調(diào)等全方位技術(shù)服務(wù)，賦能文娛、金融、醫(yī)療等各行各業(yè)，幫助在智能客服、創(chuàng)意寫作、精準(zhǔn)推薦等多場(chǎng)景打造行業(yè)領(lǐng)先的用戶體驗(yàn)。
2023年10月， 騰訊音樂(lè)率先宣布與元象大模型建立戰(zhàn)略合作 ，共同推出lyraXVERSE加速大模型、全面升級(jí)其音樂(lè)助手“AI小琴”，未來(lái)還將持續(xù)探索AI與3D前沿技術(shù)。
關(guān)于元象
元象XVERSE于2021年初在深圳成立，主營(yíng)AI與3D技術(shù)。
累計(jì)融資金額超過(guò)2億美元，投資機(jī)構(gòu)包括騰訊、高榕資本、五源資本、高瓴創(chuàng)投、紅杉中國(guó)、淡馬錫和CPE源峰等。
元象創(chuàng)始人姚星是前騰訊副總裁和騰訊AI Lab創(chuàng)始人、國(guó)家科技部新一代人工智能戰(zhàn)略咨詢委員會(huì)成員。
相關(guān)閱讀
