國產乾元2大模型來了：可編程金融文生圖，120億參數，超對稱聯手復旦出品

衡宇 2023-04-22 14:49:44 來源：量子位

衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

國產大模型隊伍正當“百模大戰(zhàn)”之際，現在又添一員——

BBT-2，全稱BigBang Tansformer-2（乾元2），120億參數的通用大模型。

以其為基礎，項目團隊還訓練出了代碼、金融、文生圖等專業(yè)模型。

根據官方數據，其中的代碼大模型在CSDN的自動編程評測標準上能達到C3，和GPT-3.5處于同一等級“條件自動編程”。

目前，專業(yè)的代碼問答，已有demo可在線試玩～

據悉，BBT系列模型其中3個即將開源到GitHub、UCloud和官網，開箱可用。

會一并開源的還有近1000億tokens的通用和金融預訓練語料，以及8個中文金融大模型的評測數據集。

而這個項目的背后，是超對稱公司和復旦大學知識工場實驗室。

術業(yè)有專攻的BBT-2系列

BBT-2，是基于GPT Decoder-only架構的大模型，同系列BBT-1模型的2億參數版本去年已經開源。

此次發(fā)布的BBT-2系列模型，包含以下6個：

• BBT-2-12B-Text：120億參數的中文基礎模型
• BBT-2.5-13B-Text：130億參數的中文+英文雙語基礎模型
• BBT-2-12B-TC-001-SFT：經過指令微調的代碼模型，可以進行對話
• BBT-2-12B-TF-001：在120億模型上訓的金融模型，用于解決金融領域任務
• BBT-2-12B-Image：文生圖模型
• BBT-2-12B-Science：科學論文模型

總體看下來，BBT-2系列既有通用大模型，也有術業(yè)有專攻的垂域模型。

通用模型

先看通用方面，利用BBT-2，可以進行通用性的人機對話——

比如做一道居家旅行必備家?？焓植耍?/p>

又或者每天編一個童話故事，講給不肯睡覺的小朋友：

再或者提綱挈領，寫個論文綱要：

專業(yè)模型

而專業(yè)模型提供的能力就相對聚焦。

利用BBT-TC，完成代碼撰寫——這個代碼模型，是在百億基座模型BBT-2-12B-Text后接續(xù)訓練代碼數據集，并通過有監(jiān)督執(zhí)行微調（supervised fine-tuing）等技術，實現人類意圖對齊。

BBT-TC是微調模型，比其通用大模型推理快不少。因此，代碼問答也是本次BBT開放的最主要的能力。

官方公布數據，專業(yè)測評中，BBT-TC寫代碼的能力次于GPT-3.5，但高于Copilot。

△各產品分項得分（150 分制）

實際測評中，BBT-TC會出現大部分代碼模型都存在的問題，就是首次回答不完全正確，只有在多次提問后，才會微調出正確答案。

如讓它設計一個簡化版的推特，并附帶一些額外功能。

首次給出的回答，并沒有查看推文這部分的代碼功能，卻擅自增加了顯示用戶列表的部分。

但再多嘗試幾次，也會出現一個比較不錯的答案。

體驗過程中還發(fā)現，偶爾BBT-TC還會出現只提供代碼實現思路，而非直接生成代碼的情況。

也就是說，想要一次性生成能夠成功運行的代碼，還是需要一些特殊的prompt輸入技巧。

（prompt工程師的重要性突然體現）

代碼模型外，利用對標BloombergGPT的金融模型BBT-2-Finance，也可以完成金融領域的具體任務。

訓練過程中，BBT-2-Finance搜集和爬取了幾乎所有公開可以獲得的中文金融語料數據。

比如過去20年主流媒體的財經新聞、上市公司公告和財報、金融社交平臺用戶發(fā)帖等。

所以用戶可以用它從長篇文本中抓關鍵信息，撰寫摘要：

△ChatGPT和BBT-2-Finance同題對比

和ChatGPT相比，BBT-2-Finance的摘要更簡潔，同時也沒落下重要信息。

還能針對金融行業(yè)對數字的高精度需求，對單位進行換算：

△ChatGPT和BBT-2-Finance同題對比

如上同題對比，ChatGPT就弄錯了單位換算，但BBT-2-Finance完成了正確的單位轉換。

淺試了一下，表格什么的也能解讀且摘取相應文字：

專業(yè)領域，除了文字生成，還有個文生圖模型BBT-Image。

和一般生成逼真圖像的文生圖模型不同，BBT-Image專門針對紡織行業(yè)，可以生成具有紋理、色彩和設計元素的紡織品團。

可以對比一下它和Stable Diffusion的生成效果。

△prompt：熱帶花卉芙蓉花，熱帶葉子，水彩效果圖案，黑色背景，無縫圖，循環(huán)圖

△prompt：五顏六色的水母圖案，細節(jié)清晰，無縫圖，循環(huán)圖

至于在科研論文上訓練構建的BBT-Sicence，官方稱可以應用在物理、化學、生物、數學領域，它能提供的能力主要有三方面：

• 一是快速精準的知識檢索；
• 二是針對所研究領域的前沿問題提供新的ideas；
• 三是利用多學科知識訓練出的能力提供跨學科的建議。

還要提一句，整個BBT系列中的3個模型即將開源，分別是金融模型BBT-1-1B、基礎模型BBT-2-12B-Text、基礎模型BBT-2.5-13B-Text。

背后團隊

一系列操作的幕后玩家，是超對稱技術公司和復旦大學知識工場實驗室。

超對稱技術公司在去年5月，發(fā)布了大模型BigBang Tansformer（乾元）的第一版BBT-1，在中文金融語料上訓練而成的10億參數模型。

復旦大學知識工場實驗室，源于復旦圖數據管理實驗室（GDM@FUDAN），由教授肖仰華領銜。

整個過程，超對稱公司主導預訓練部分，指令微調和評測工作則聯合復旦大學知識工場實驗室完成。

據悉，有了系列模型后，背后團隊也開始致力于對科學大模型進行評測。

超對稱合作復旦、上海交大、浙大、南航、中山、北師大等多所大學，號召全球一線科研人員共同構建科研問題評測數據集ResearchQA，覆蓋數學、物理、化學、生物、地理地質、計算機和電子工程等前沿科研領域。

ResearchQA提交郵箱：researchqa@susymmetry.com
BBT-2地址：https://www.ssymmetry.com/