國產(chǎn)乾元2大模型來了：可編程金融文生圖，120億參數(shù)，超對稱聯(lián)手復(fù)旦出品

衡宇 2023-04-22 14:49:44 來源：量子位

衡宇 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

國產(chǎn)大模型隊(duì)伍正當(dāng)“百模大戰(zhàn)”之際，現(xiàn)在又添一員——

BBT-2，全稱BigBang Tansformer-2（乾元2），120億參數(shù)的通用大模型。

以其為基礎(chǔ)，項(xiàng)目團(tuán)隊(duì)還訓(xùn)練出了代碼、金融、文生圖等專業(yè)模型。

根據(jù)官方數(shù)據(jù)，其中的代碼大模型在CSDN的自動(dòng)編程評測標(biāo)準(zhǔn)上能達(dá)到C3，和GPT-3.5處于同一等級“條件自動(dòng)編程”。

目前，專業(yè)的代碼問答，已有demo可在線試玩～

據(jù)悉，BBT系列模型其中3個(gè)即將開源到GitHub、UCloud和官網(wǎng)，開箱可用。

會(huì)一并開源的還有近1000億tokens的通用和金融預(yù)訓(xùn)練語料，以及8個(gè)中文金融大模型的評測數(shù)據(jù)集。

而這個(gè)項(xiàng)目的背后，是超對稱公司和復(fù)旦大學(xué)知識(shí)工場實(shí)驗(yàn)室。

術(shù)業(yè)有專攻的BBT-2系列

BBT-2，是基于GPT Decoder-only架構(gòu)的大模型，同系列BBT-1模型的2億參數(shù)版本去年已經(jīng)開源。

此次發(fā)布的BBT-2系列模型，包含以下6個(gè)：

• BBT-2-12B-Text：120億參數(shù)的中文基礎(chǔ)模型
• BBT-2.5-13B-Text：130億參數(shù)的中文+英文雙語基礎(chǔ)模型
• BBT-2-12B-TC-001-SFT：經(jīng)過指令微調(diào)的代碼模型，可以進(jìn)行對話
• BBT-2-12B-TF-001：在120億模型上訓(xùn)的金融模型，用于解決金融領(lǐng)域任務(wù)
• BBT-2-12B-Image：文生圖模型
• BBT-2-12B-Science：科學(xué)論文模型

總體看下來，BBT-2系列既有通用大模型，也有術(shù)業(yè)有專攻的垂域模型。

通用模型

先看通用方面，利用BBT-2，可以進(jìn)行通用性的人機(jī)對話——

比如做一道居家旅行必備家常快手菜：

又或者每天編一個(gè)童話故事，講給不肯睡覺的小朋友：

再或者提綱挈領(lǐng)，寫個(gè)論文綱要：

專業(yè)模型

而專業(yè)模型提供的能力就相對聚焦。

利用BBT-TC，完成代碼撰寫——這個(gè)代碼模型，是在百億基座模型BBT-2-12B-Text后接續(xù)訓(xùn)練代碼數(shù)據(jù)集，并通過有監(jiān)督執(zhí)行微調(diào)（supervised fine-tuing）等技術(shù)，實(shí)現(xiàn)人類意圖對齊。

BBT-TC是微調(diào)模型，比其通用大模型推理快不少。因此，代碼問答也是本次BBT開放的最主要的能力。

官方公布數(shù)據(jù)，專業(yè)測評中，BBT-TC寫代碼的能力次于GPT-3.5，但高于Copilot。

△各產(chǎn)品分項(xiàng)得分（150 分制）

實(shí)際測評中，BBT-TC會(huì)出現(xiàn)大部分代碼模型都存在的問題，就是首次回答不完全正確，只有在多次提問后，才會(huì)微調(diào)出正確答案。

如讓它設(shè)計(jì)一個(gè)簡化版的推特，并附帶一些額外功能。

首次給出的回答，并沒有查看推文這部分的代碼功能，卻擅自增加了顯示用戶列表的部分。

但再多嘗試幾次，也會(huì)出現(xiàn)一個(gè)比較不錯(cuò)的答案。

體驗(yàn)過程中還發(fā)現(xiàn)，偶爾BBT-TC還會(huì)出現(xiàn)只提供代碼實(shí)現(xiàn)思路，而非直接生成代碼的情況。

也就是說，想要一次性生成能夠成功運(yùn)行的代碼，還是需要一些特殊的prompt輸入技巧。

（prompt工程師的重要性突然體現(xiàn)）

代碼模型外，利用對標(biāo)BloombergGPT的金融模型BBT-2-Finance，也可以完成金融領(lǐng)域的具體任務(wù)。

訓(xùn)練過程中，BBT-2-Finance搜集和爬取了幾乎所有公開可以獲得的中文金融語料數(shù)據(jù)。

比如過去20年主流媒體的財(cái)經(jīng)新聞、上市公司公告和財(cái)報(bào)、金融社交平臺(tái)用戶發(fā)帖等。

所以用戶可以用它從長篇文本中抓關(guān)鍵信息，撰寫摘要：

△ChatGPT和BBT-2-Finance同題對比

和ChatGPT相比，BBT-2-Finance的摘要更簡潔，同時(shí)也沒落下重要信息。

還能針對金融行業(yè)對數(shù)字的高精度需求，對單位進(jìn)行換算：

△ChatGPT和BBT-2-Finance同題對比

如上同題對比，ChatGPT就弄錯(cuò)了單位換算，但BBT-2-Finance完成了正確的單位轉(zhuǎn)換。

淺試了一下，表格什么的也能解讀且摘取相應(yīng)文字：

專業(yè)領(lǐng)域，除了文字生成，還有個(gè)文生圖模型BBT-Image。

和一般生成逼真圖像的文生圖模型不同，BBT-Image專門針對紡織行業(yè)，可以生成具有紋理、色彩和設(shè)計(jì)元素的紡織品團(tuán)。

可以對比一下它和Stable Diffusion的生成效果。

△prompt：熱帶花卉芙蓉花，熱帶葉子，水彩效果圖案，黑色背景，無縫圖，循環(huán)圖

△prompt：五顏六色的水母圖案，細(xì)節(jié)清晰，無縫圖，循環(huán)圖

至于在科研論文上訓(xùn)練構(gòu)建的BBT-Sicence，官方稱可以應(yīng)用在物理、化學(xué)、生物、數(shù)學(xué)領(lǐng)域，它能提供的能力主要有三方面：

• 一是快速精準(zhǔn)的知識(shí)檢索；
• 二是針對所研究領(lǐng)域的前沿問題提供新的ideas；
• 三是利用多學(xué)科知識(shí)訓(xùn)練出的能力提供跨學(xué)科的建議。

還要提一句，整個(gè)BBT系列中的3個(gè)模型即將開源，分別是金融模型BBT-1-1B、基礎(chǔ)模型BBT-2-12B-Text、基礎(chǔ)模型BBT-2.5-13B-Text。

背后團(tuán)隊(duì)

一系列操作的幕后玩家，是超對稱技術(shù)公司和復(fù)旦大學(xué)知識(shí)工場實(shí)驗(yàn)室。

超對稱技術(shù)公司在去年5月，發(fā)布了大模型BigBang Tansformer（乾元）的第一版BBT-1，在中文金融語料上訓(xùn)練而成的10億參數(shù)模型。

復(fù)旦大學(xué)知識(shí)工場實(shí)驗(yàn)室，源于復(fù)旦圖數(shù)據(jù)管理實(shí)驗(yàn)室（GDM@FUDAN），由教授肖仰華領(lǐng)銜。

整個(gè)過程，超對稱公司主導(dǎo)預(yù)訓(xùn)練部分，指令微調(diào)和評測工作則聯(lián)合復(fù)旦大學(xué)知識(shí)工場實(shí)驗(yàn)室完成。

據(jù)悉，有了系列模型后，背后團(tuán)隊(duì)也開始致力于對科學(xué)大模型進(jìn)行評測。

超對稱合作復(fù)旦、上海交大、浙大、南航、中山、北師大等多所大學(xué)，號(hào)召全球一線科研人員共同構(gòu)建科研問題評測數(shù)據(jù)集ResearchQA，覆蓋數(shù)學(xué)、物理、化學(xué)、生物、地理地質(zhì)、計(jì)算機(jī)和電子工程等前沿科研領(lǐng)域。

ResearchQA提交郵箱：researchqa@susymmetry.com
BBT-2地址：https://www.ssymmetry.com/