開(kāi)源標(biāo)桿！最強(qiáng)中英雙語(yǔ)大模型來(lái)了，340億參數(shù)，超越 Llama2-70B等所有開(kāi)源模型

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

開(kāi)源界最強(qiáng)的中英雙語(yǔ)大模型，悟道·天鷹 34B，來(lái)了！

有多強(qiáng)？一言蔽之：

中英綜合能力、邏輯推理能力等，全面超越 Llama2-70B和此前所有開(kāi)源模型！

推理能力方面對(duì)話模型IRD評(píng)測(cè)基準(zhǔn)僅次于 GPT4。

不僅模型夠大夠能打，而且還一口氣送上整套“全家桶”級(jí)豪華周邊。

能有如此大手筆的，正是中國(guó)大模型開(kāi)源派先鋒——智源研究院。

而若是縱觀智源在數(shù)年來(lái)的大模型開(kāi)源之道，不難發(fā)現(xiàn)它正在引領(lǐng)著一種新風(fēng)向：

早在2021年就把全球最大語(yǔ)料庫(kù)公開(kāi)，2022年最早前瞻布局FlagOpen大模型技術(shù)開(kāi)源體系，連續(xù)推出了FlagEval評(píng)測(cè)體系、COIG數(shù)據(jù)集、BGE向量模型等全技術(shù)棧明星項(xiàng)目。

這一魄力正是來(lái)自智源非商業(yè)、非營(yíng)利的中立研究機(jī)構(gòu)定位，主打的就是一個(gè)“誠(chéng)心誠(chéng)意開(kāi)源共創(chuàng)”。

據(jù)了解，Aquila2-34B 基座模型在22個(gè)評(píng)測(cè)基準(zhǔn)的綜合排名領(lǐng)先，包括語(yǔ)言、理解、推理、代碼、考試等多個(gè)評(píng)測(cè)維度 。

一張圖來(lái)感受一下這個(gè)feel：

正如剛才提到的，北京智源人工智能研究院還非常良心地將開(kāi)源貫徹到底，一口氣帶來(lái)開(kāi)源全家桶：

• 全面升級(jí)Aquila2模型系列：Aquila2-34B/7B基礎(chǔ)模型，AquilaChat2-34B/7B對(duì)話模型，AquilaSQL“文本-SQL語(yǔ)言”模型；
• 語(yǔ)義向量模型BGE新版本升級(jí)：4大檢索訴求全覆蓋。
• FlagScale 高效并行訓(xùn)練框架：訓(xùn)練吞吐量、GPU 利用率業(yè)界領(lǐng)先；
• FlagAttention 高性能Attention算子集：創(chuàng)新支撐長(zhǎng)文本訓(xùn)練、Triton語(yǔ)言。

接下來(lái)，我們繼續(xù)深入了解一下這次的“最強(qiáng)開(kāi)源”。

“最強(qiáng)開(kāi)源”能力一覽

正如我們剛才提到的Aquila2-34B，它是此次以“最強(qiáng)開(kāi)源”姿勢(shì)打開(kāi)的基座模型之一，還包括一個(gè)較小體量的Aquila2-7B。

而它倆的到來(lái)，也讓下游的模型收益頗豐。

最強(qiáng)開(kāi)源對(duì)話模型

在經(jīng)指令微調(diào)得到了優(yōu)秀的的AquilaChat2對(duì)話模型系列：

• AquilaChat2-34B：是當(dāng)前最強(qiáng)開(kāi)源中英雙語(yǔ)對(duì)話模型，在主觀+客觀綜合評(píng)測(cè)中全面領(lǐng)先 ；
• AquilaChat2-7B：也取得同量級(jí)中英對(duì)話模型中綜合性能最佳成績(jī)。

評(píng)測(cè)說(shuō)明：
對(duì)于生成式對(duì)話模型，智源團(tuán)隊(duì)認(rèn)為需要嚴(yán)格按照“模型在問(wèn)題輸入下自由生成的答案”進(jìn)行評(píng)判，這種方式貼近用戶真實(shí)使用場(chǎng)景，因此參考斯坦福大學(xué)HELM[1]工作進(jìn)行評(píng)測(cè)，該評(píng)測(cè)對(duì)于模型的上下文學(xué)習(xí)和指令跟隨能力要求更為嚴(yán)格。實(shí)際評(píng)測(cè)過(guò)程中，部分對(duì)話模型回答不符合指令要求，可能會(huì)出現(xiàn)“0”分的情況。
例如：根據(jù)指令要求，正確答案為“A”，如果模型生成為“B”或“答案是 A ”，都會(huì)被判為“0”分。
同時(shí)，業(yè)內(nèi)也有其他評(píng)測(cè)方式，比如讓對(duì)話模型先拼接“問(wèn)題+答案”，模型計(jì)算各個(gè)拼接文本的概率后，驗(yàn)證概率最高的答案與正確答案是否一致，評(píng)測(cè)過(guò)程中對(duì)話模型不會(huì)生成任何內(nèi)容而是計(jì)算選項(xiàng)概率。這種評(píng)測(cè)方式與真實(shí)對(duì)話場(chǎng)景偏差較大，因此在生成式對(duì)話模型評(píng)測(cè)中沒(méi)有采納。
[1] https://crfm.stanford.edu/helm/latest/

不僅如此，在對(duì)于大語(yǔ)言模型來(lái)說(shuō)非常關(guān)鍵的推理能力上，AquilaChat2-34B的表現(xiàn)也非常的驚艷——

在IRD評(píng)測(cè)基準(zhǔn)中排名第一，超越 Llama2-70B、GPT3.5等模型，僅次于 GPT4。

從種種成績(jī)上來(lái)看，無(wú)論是基座模型亦或是對(duì)話模型，Aquila2系列均稱得上是開(kāi)源界最強(qiáng)了。

上下文窗口長(zhǎng)度至16K

對(duì)于大語(yǔ)言模型來(lái)說(shuō)，能否應(yīng)對(duì)長(zhǎng)文本輸入，并且在多輪對(duì)話過(guò)程中保持上下文的流暢度，是決定其體驗(yàn)好壞的關(guān)鍵。

為了解決這一“苦大模型久矣”的問(wèn)題，北京智源人工智能研究院便在20萬(wàn)條優(yōu)質(zhì)長(zhǎng)文本對(duì)話數(shù)據(jù)集上做了SFT，一舉將模型的有效上下文窗口長(zhǎng)度擴(kuò)展至16K。

而且不僅僅是長(zhǎng)度上的提升，效果上更是得到了優(yōu)化。

例如在LongBench的四項(xiàng)中英文長(zhǎng)文本問(wèn)答、長(zhǎng)文本總結(jié)任務(wù)的評(píng)測(cè)效果上，就非常的明顯了——

AquilaChat2-34B-16K處于開(kāi)源長(zhǎng)文本模型的領(lǐng)先水平，接近GPT-3.5長(zhǎng)文本模型。

除此之外，智源團(tuán)隊(duì)對(duì)多個(gè)語(yǔ)言模型處理超長(zhǎng)文本的注意力分布做了可視化分析，發(fā)現(xiàn)所有的語(yǔ)言模型均存在固定的相對(duì)位置瓶頸，顯著小于上下文窗口長(zhǎng)度。

為此，智源團(tuán)隊(duì)創(chuàng)新提出NLPE（Non-Linearized Position Embedding，非線性位置編碼）方法，在 RoPE 方法的基礎(chǔ)上，通過(guò)調(diào)整相對(duì)位置編碼、約束最大相對(duì)長(zhǎng)度來(lái)提升模型外延能力。

在代碼、中英文Few-Shot Leaning、電子書(shū)等多個(gè)領(lǐng)域上的文本續(xù)寫(xiě)實(shí)驗(yàn)顯示，NLPE可以將4K的Aquila2-34B模型外延到32K長(zhǎng)度，且續(xù)寫(xiě)文本的連貫性遠(yuǎn)好于Dynamic-NTK、位置插值等方法。

不僅如此，在長(zhǎng)度為5K～15K的HotpotQA、2WikiMultihopQA等數(shù)據(jù)集上的指令跟隨能力測(cè)試顯示，經(jīng)過(guò) NLPE 外延的 AquilaChat2-7B（2K）準(zhǔn)確率為 17.2%，而 Dynamic-NTK 外延的 AquilaChat2-7B 準(zhǔn)確率僅為 0.4%。

各類真實(shí)應(yīng)用場(chǎng)景均能hold住

“成績(jī)”好，只是檢驗(yàn)大模型的標(biāo)準(zhǔn)之一，更重要的是“好用才是硬道理”。

這也就是大模型的泛化能力了，即使遇到?jīng)]有見(jiàn)過(guò)的問(wèn)題，也能輕松應(yīng)對(duì)。

為此，悟道·天鷹團(tuán)隊(duì)通過(guò)三個(gè)真實(shí)應(yīng)用場(chǎng)景驗(yàn)證了Aquila2模型的泛化能力。

《我的世界》里打造強(qiáng)大智能體

《我的世界》這款游戲可以說(shuō)是AI界檢驗(yàn)技術(shù)的很好的試煉場(chǎng)。

它具有無(wú)限生成的復(fù)雜世界和大量開(kāi)放的任務(wù)，為智能體提供了豐富的交互接口。

智源研究院與北京大學(xué)團(tuán)隊(duì)便基于此，提出了在無(wú)專家數(shù)據(jù)的情況下高效解決 Minecraft 多任務(wù)的方法—— Plan4MC。

Plan4MC可以使用內(nèi)在獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)訓(xùn)練智能體的基本技能，使得智能體可以利用大語(yǔ)言模型AquilaChat2的推理能力進(jìn)行任務(wù)規(guī)劃。

例如在下面的這段視頻中，便展示了智能體利用AquilaChat2進(jìn)行自動(dòng)完成多輪對(duì)話交互的效果。

將游戲“當(dāng)前環(huán)境狀態(tài)”、“需要完成的任務(wù)”等信息輸入AquilaChat2模型，AquilaChat2 反饋給角色“下一步使用什么技能”等決策信息，最終完成了在《我的世界》中設(shè)定的任務(wù)“伐木并制作工作臺(tái)放在附近”的任務(wù)。

通過(guò)Aquila2+BGE2鏈接向量數(shù)據(jù)庫(kù)

向量數(shù)據(jù)庫(kù)近年來(lái)在大模型圈里成為了香餑餑，但在面對(duì)復(fù)雜、需要深度理解問(wèn)題時(shí)，能力上還是略顯捉襟見(jiàn)肘。

為此，智源研究院便將Aqiula2和自研的開(kāi)源語(yǔ)義向量模型BGE2做了結(jié)合，徹底解鎖了一些僅基于傳統(tǒng)向量庫(kù)的檢索方法不能解決的復(fù)雜檢索任務(wù)。

例如在下面的這個(gè)例子中，我們可以明顯看到，在處理“檢索某個(gè)作者關(guān)于某個(gè)主題的論文”、“針對(duì)一個(gè)主題的多篇論文的生成總結(jié)文本”這樣的任務(wù)，會(huì)變得非常絲滑。

最優(yōu)“文本-SQL語(yǔ)言”生成模型

很多用戶在處理數(shù)據(jù)庫(kù)查詢等任務(wù)時(shí)，對(duì)于SQL語(yǔ)言可謂是頭疼不已。

若是能用我們常用的大白話來(lái)進(jìn)行操作，豈不美哉？

現(xiàn)在，這種便捷的方式已經(jīng)可以實(shí)現(xiàn)了——AquilaSQL。

在實(shí)際應(yīng)用場(chǎng)景中，用戶還可以基于AquilaSQL進(jìn)行二次開(kāi)發(fā)，將其嫁接至本地知識(shí)庫(kù)、生成本地查詢 SQL，或進(jìn)一步提升模型的數(shù)據(jù)分析性能，讓模型不僅返回查詢結(jié)果，更能進(jìn)一步生成分析結(jié)論、圖表等。

例如在處理下面這個(gè)復(fù)雜查詢?nèi)蝿?wù)時(shí)，現(xiàn)在只需要說(shuō)一句自然語(yǔ)言即可：

從包含汽車銷量（car_sales）、汽車顏色（car_color）的兩個(gè)數(shù)據(jù)表中篩選銷量大于100并且顏色為紅色的汽車。

而且AquilaSQL的“成績(jī)”同樣非常亮眼。

在經(jīng)過(guò)SQL語(yǔ)料的繼續(xù)預(yù)訓(xùn)練和SFT 兩階段訓(xùn)練，最終以67.3%準(zhǔn)確率超過(guò)“文本-SQL語(yǔ)言生成模型”排行榜 Cspider 上的SOTA模型。

而未經(jīng)過(guò)SQL語(yǔ)料微調(diào)的 GPT4模型準(zhǔn)確率僅為 30.8%。

還有全家桶級(jí)的開(kāi)源

正如我們前文提到的，智源研究院對(duì)開(kāi)源這事向來(lái)主打的就是徹徹底底。

這一次在大模型升級(jí)之際，智源研究院同樣是毫無(wú)保留地把一系列包括算法、數(shù)據(jù)、工具、評(píng)測(cè)方面的明星項(xiàng)目都開(kāi)源了出來(lái)。

據(jù)了解，Aquila2系列模型不僅全面采用商用許可協(xié)議，允許公眾廣泛應(yīng)用于學(xué)術(shù)研究和商業(yè)應(yīng)用。

接下來(lái)，我們便來(lái)速覽一下這些開(kāi)源全家桶。

高效并行訓(xùn)練框架FlagScale

FlagScale 是 Aquila2-34B 使用的高效并行訓(xùn)練框架，可以提供一站式語(yǔ)言大模型的訓(xùn)練功能。

智源團(tuán)隊(duì)將 Aquila2 模型的訓(xùn)練配置、優(yōu)化方案和超參數(shù)通過(guò) FlagScale 項(xiàng)目分享給大模型開(kāi)發(fā)者，在國(guó)內(nèi)首次完整開(kāi)源訓(xùn)練代碼和超參數(shù)。

FlagScale 基于 Megatron-LM 擴(kuò)展而來(lái)，提供了一系列功能增強(qiáng)，包括分布式優(yōu)化器狀態(tài)重切分、精確定位訓(xùn)練問(wèn)題數(shù)據(jù)以及參數(shù)到Huggingface轉(zhuǎn)換等。

經(jīng)過(guò)實(shí)測(cè)，Aquila2 訓(xùn)練吞吐量和 GPU 利用率均達(dá)到業(yè)界領(lǐng)先水平。

據(jù)了解，F(xiàn)lagScale在未來(lái)還將繼續(xù)保持與上游項(xiàng)目 Megatron-LM 最新代碼同步，引入更多定制功能，融合最新的分布式訓(xùn)練與推理技術(shù)以及主流大模型、支持異構(gòu)AI硬件，力圖構(gòu)建一個(gè)通用、便捷、高效的分布式大模型訓(xùn)練推理框架，滿足不同規(guī)模和需求的模型訓(xùn)練任務(wù)。

FlagAttention高性能Attention開(kāi)源算子集

FlagAttention 是首個(gè)支持長(zhǎng)文本大模型訓(xùn)練、使用 Triton語(yǔ)言開(kāi)發(fā)的高性能Attention開(kāi)源算子集，針對(duì)大模型訓(xùn)練的需求，對(duì) Flash Attention 系列的 Memory Efficient Attention 算子進(jìn)行擴(kuò)展。

目前已實(shí)現(xiàn)分段式 Attention 算子——PiecewiseAttention。

PiecewiseAttention主要解決了帶旋轉(zhuǎn)位置編碼 Transformer 模型（Roformer）的外推問(wèn)題，它所具備的特點(diǎn)可以總結(jié)為：

通用性：對(duì)使用分段式計(jì)算 Attention 的模型具有通用性，可以輕松遷移至 Aquila 之外的大語(yǔ)言模型。

易用性：FlagAttention 基于 Triton 語(yǔ)言實(shí)現(xiàn)并提供 PyTorch 接口，構(gòu)建和安裝過(guò)程相比 CUDA C 開(kāi)發(fā)的 Flash Attention 更加便捷。

擴(kuò)展性：同樣得益于 Triton 語(yǔ)言，F(xiàn)lagAttention 算法本身的修改和擴(kuò)展門(mén)檻較低，開(kāi)發(fā)者可便捷地在此之上拓展更多新功能。

未來(lái)，F(xiàn)lagAttention項(xiàng)目將繼續(xù)針對(duì)大模型研究需求，支持其他功能擴(kuò)展的 Attention 算子，進(jìn)一步優(yōu)化算子性能，并適配更多異構(gòu)AI硬件。

BGE2 新一代語(yǔ)義向量模型

新一代BGE語(yǔ)義向量模型，也將隨 Aquila2 同步開(kāi)源。

BGE2 中的 BGE – LLM Embedder 模型集成了“知識(shí)檢索”、“記憶檢索”、“示例檢索”、“工具檢索”四大能力。

它首次實(shí)現(xiàn)了單一語(yǔ)義向量模型對(duì)大語(yǔ)言模型主要檢索訴求的全面覆蓋。

結(jié)合具體的使用場(chǎng)景，BGE – LLM Embedder將顯著提升大語(yǔ)言模型在處理知識(shí)密集型任務(wù)、長(zhǎng)期記憶、指令跟隨、工具使用等重要領(lǐng)域的表現(xiàn)。

……

那么對(duì)于如此徹底的“最強(qiáng)開(kāi)源”，你心動(dòng)了嗎？

One More Thing

智源研究院會(huì)在10月28日至29日舉辦新一期大模型前沿技術(shù)講習(xí)班，9位主力研究員會(huì)詳細(xì)介紹 FlagOpen 的近期進(jìn)展和落地實(shí)踐。

感興趣的小伙伴也可以碼住了。

Aquila2 模型全系開(kāi)源地址：
https://github.com/FlagAI-Open/Aquila2
https://model.baai.ac.cn/
https://huggingface.co/BAAI

AquilaSQL 開(kāi)源倉(cāng)庫(kù)地址：
https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila/Aquila-sql

FlagAttention 開(kāi)源代碼倉(cāng)庫(kù)：
https://github.com/FlagOpen/FlagAttention

BGE2 開(kāi)源地址
paper: https://arxiv.org/pdf/2310.07554.pdf
model: https://huggingface.co/BAAI/llm-embedder
repo: https://github.com/FlagOpen/FlagEmbedding/tree/master/FlagEmbedding/llm_embedder

_________________________

LLAMA2吞吐量估算公式：total tokens / (total GPU hours * 3600) ，根據(jù)Llama 2: Open Foundation and Fine-Tuned Chat Models論文：1）7B的total tokens為2.0 T， total GPU hours 為184320，代入公式得3014 Tokens/sec/GPU；2）34B的total tokens為2.0 T， total GPU hours 為1038336，代入公式得535 Tokens/sec/GPU。