15小時(shí)、幾千元訓(xùn)完中文版LLaMA2！低成本方案全面開源，支持商用

明敏 2023-09-25 19:57:18 來源：量子位

明敏 發(fā)自 凹非寺

量子位 公眾號 | QbitAI

訓(xùn)練大模型，幾千塊就能實(shí)現(xiàn)了！

現(xiàn)在，15小時(shí)、幾千塊錢、85億 token數(shù)據(jù)，即可訓(xùn)出中文LLaMA2。

綜合性能達(dá)到開源社區(qū)同規(guī)模從頭預(yù)訓(xùn)練SOTA模型水平。

方案完全開源，包括全套訓(xùn)練流程、代碼及權(quán)重。

而且無商業(yè)限制，還可遷移應(yīng)用到任意垂類領(lǐng)域和從頭預(yù)訓(xùn)練大模型的低成本構(gòu)建。

要知道，從頭預(yù)訓(xùn)練大模型此前被戲稱“要5000萬美元才能入局”，讓許多開發(fā)者和中小企業(yè)都望而卻步。

這一回Colossal-LLaMA-2，把大模型門檻打下來了。

同時(shí)開源團(tuán)隊(duì)還提供了一個(gè)完整的評估體系框架ColossalEval，以實(shí)現(xiàn)低成本的可復(fù)現(xiàn)性。

性能表現(xiàn)

Colossal-LLaMA-2在多個(gè)榜單上進(jìn)行了評測，具體表現(xiàn)如下。

基于ColossalEval評分，括號中分?jǐn)?shù)來源于對應(yīng)模型官方發(fā)布的榜單分?jǐn)?shù)，C-Eval 分?jǐn)?shù)來源于官網(wǎng) Leaderboard。

常見中英文測評榜

在英文MMLU榜單中，Colossal-LLaMA-2-7B-base 在低成本增量預(yù)訓(xùn)練的加持下，克服了災(zāi)難性遺忘的問題，能力逐步提升（44.47 -> 53.06），在所有 7B 規(guī)模的模型中，表現(xiàn)優(yōu)異。

中文榜單方面主要對比了CMMLU、 AGIEVAL、GAOKAO 和 C-Eval，效果遠(yuǎn)好于LLaMA-2 的其他中文漢化模型。

甚至表現(xiàn)超過了一些使用中文語料從頭訓(xùn)練大模型（成本花費(fèi)或上千萬）。

尤其是和原始LLaMA-2 相比，在中文能力上有了質(zhì)的飛躍 (CMMLU: 32.97 -> 49.89)。

而通過SFT、LoRA等方式微調(diào)，能有效注入基座模型的知識與能力十分有限，不能很好滿足高質(zhì)量領(lǐng)域知識或垂類模型應(yīng)用的構(gòu)建的需求。

實(shí)際效果

為了更好地評估模型的性能，Colossal-AI 團(tuán)隊(duì)不僅僅依賴于量化的指標(biāo)，還對于模型的不同方面進(jìn)行了人工的評估，以下是一些例子。

可以看到模型在知識問答、情感分析、翻譯、邏輯推理、信息提取及糾錯等常見任務(wù)中，都表現(xiàn)不錯。

從整個(gè)訓(xùn)練的 Loss 記錄來看，在利用 Colossal-AI 系統(tǒng)降本增效能力的同時(shí)，模型收斂性也得到充分保證，僅通過約 8.5 B tokens（85億 tokens），數(shù)千元算力成本，讓模型達(dá)到如上效果。

要知道，現(xiàn)在市面上常見大模型動輒使用幾萬億token進(jìn)行訓(xùn)練，背后的成本非常高。

那么 Colossal-AI 團(tuán)隊(duì)是如何做到的？

詞表擴(kuò)充與模型初始化

LLaMA-2 原始詞表并未針對中文做特定優(yōu)化，所包含的中文詞有限，導(dǎo)致在中文語料上理解力不足。

因此，首先對LLaMA-2 進(jìn)行了詞表的擴(kuò)充。

Colossal-AI 團(tuán)隊(duì)發(fā)現(xiàn)：

詞表的擴(kuò)充不僅可以有效提升字符串序列編碼的效率，并且使得編碼序列包含更多的有效信息，進(jìn)而在篇章級別編碼和理解上，有更大的幫助。

然而，由于增量預(yù)訓(xùn)練數(shù)據(jù)量較少，擴(kuò)充較多的單詞反而會導(dǎo)致某些單詞或組合無實(shí)際意義，在增量預(yù)訓(xùn)練數(shù)據(jù)集上難以充分學(xué)習(xí)，影響最終效果。

以及過大的詞表會導(dǎo)致 embedding 相關(guān)參數(shù)增加，從而影響訓(xùn)練效率。

所以，在反復(fù)實(shí)驗(yàn)下，同時(shí)考慮訓(xùn)練質(zhì)量與效率，他們最終確定將詞表從 LLaMA-2 原有的 32000 擴(kuò)充至 69104。

有了擴(kuò)充好的詞表，下一步就是基于原有的 LLaMA-2 初始化新詞表的 embedding。

為了更好地遷移 LLaMA-2 原有的能力，實(shí)現(xiàn)從原有 LLaMA-2 到 中文 LLaMA-2 能力的快速遷移，Colossal-AI 團(tuán)隊(duì)利用原有的 LLaMA-2 的權(quán)重，對新的 embedding 進(jìn)行均值初始化。

既保證了新初始化的模型在初始狀態(tài)下，英文能力不受影響，又可以盡可能的無縫遷移英文能力到中文上。

數(shù)據(jù)構(gòu)建

為了更大程度地降低訓(xùn)練的成本，高質(zhì)量的數(shù)據(jù)在其中起著關(guān)鍵作用，尤其是對于增量預(yù)訓(xùn)練，對于數(shù)據(jù)的質(zhì)量，分布都有著極高的要求。

為了更好的篩選高質(zhì)量的數(shù)據(jù)，Colossal-AI 團(tuán)隊(duì)構(gòu)建了完整的數(shù)據(jù)清洗體系與工具包，以便篩選更為高質(zhì)量的數(shù)據(jù)用于增量預(yù)訓(xùn)練。

以下圖片展示了 Colossal-AI 團(tuán)隊(duì)數(shù)據(jù)治理的完整流程：

除了常見的對數(shù)據(jù)進(jìn)行啟發(fā)式的篩選和去重，還對重點(diǎn)數(shù)據(jù)進(jìn)行了打分和分類篩選。

合適的數(shù)據(jù)對于激發(fā) LLaMA-2 的中文能力，同時(shí)克服英文的災(zāi)難性遺忘問題，有著至關(guān)重要的作用。

最后，為了提高訓(xùn)練的效率，對于相同主題的數(shù)據(jù)，Colossal-AI 團(tuán)隊(duì)對數(shù)據(jù)的長度進(jìn)行了排序，并根據(jù) 4096 的最大長度進(jìn)行拼接。

訓(xùn)練策略

多階段訓(xùn)練

在訓(xùn)練方面，針對增量預(yù)訓(xùn)練的特點(diǎn)，Colossal-AI 團(tuán)隊(duì)設(shè)計(jì)了多階段，層次化的增量預(yù)訓(xùn)練方案，將訓(xùn)練的流程劃分為三個(gè)階段：

• 大規(guī)模預(yù)訓(xùn)練階段：目標(biāo)是通過大量語料訓(xùn)練，使得模型可以產(chǎn)出相對較為流暢的文本。該階段由 LLaMA-2 完成，經(jīng)過此階段，模型已經(jīng)掌握大量英文知識，并可以根據(jù) Next Token Prediction 輸出流暢的結(jié)果。
• 中文知識注入階段：該階段依賴于高質(zhì)量的中文知識，一方面增強(qiáng)了模型對于中文知識的掌握程度，另一方面提升了模型對于新增中文詞表中單詞的理解。
• 相關(guān)知識回放階段：該階段致力于增強(qiáng)模型對于知識的理解與泛化能力，緩解災(zāi)難性遺忘問題。

多階段相輔相成，最終保證模型在中英文的能力上齊頭并進(jìn)。

分桶訓(xùn)練

增量預(yù)訓(xùn)練對于數(shù)據(jù)的分布極為敏感，均衡性就尤為重要。

因此，為了保證數(shù)據(jù)的均衡分布，Colossal-AI 團(tuán)隊(duì)設(shè)計(jì)了數(shù)據(jù)分桶的策略，將同一類型的數(shù)據(jù)劃分為 10 個(gè)不同的 bins。

在訓(xùn)練的過程中，每個(gè)數(shù)據(jù)桶中均勻地包含每種類型數(shù)據(jù)的一個(gè) bin，從而確保了每種數(shù)據(jù)可以均勻地被模型所利用。

評估體系

為了更好地評估模型的性能，Colossal-AI 團(tuán)隊(duì)搭建了完整的評估體系 – ColossalEval，希望通過多維度對大語言模型進(jìn)行評估。

流程框架代碼完全開源，不僅支持結(jié)果復(fù)現(xiàn)，也支持用戶根據(jù)自己不同的應(yīng)用場景自定義數(shù)據(jù)集與評估方式。

評估框架特點(diǎn)總結(jié)如下：

• 涵蓋針對于大語言模型知識儲備能力評估的常見數(shù)據(jù)集如 MMLU，CMMLU 等。針對于單選題這樣的形式，除了常見的比較 ABCD 概率高低的計(jì)算方式，增加更為全面的計(jì)算方式，如絕對匹配，單選困惑度等，以求更加全面地衡量模型對于知識的掌握程度。
• 支持針對多選題的評估和長文本評估。
• 支持針對于不同應(yīng)用場景的評估方式，如多輪對話，角色扮演，信息抽取，內(nèi)容生成等。用戶可根據(jù)自己的需求，有選擇性地評估模型不同方面的能力，并支持自定義 prompt 與評估方式的擴(kuò)展。

從通用大模型到垂類大模型

綜上所述，基于 LLaMA-2 構(gòu)建中文能力增強(qiáng)模型，可基本分為以下流程：

雖然市面的通用大模型百花齊放，但通用大模型不可避免地針對特定領(lǐng)域知識不足。

所以在實(shí)際落地中，會出現(xiàn)大模型幻覺嚴(yán)重的情況。

微調(diào)可以在一定程度上改善這一問題，但性能提升有限。快速低成本構(gòu)建一個(gè)垂類大模型，再進(jìn)行細(xì)分業(yè)務(wù)微調(diào)，在業(yè)務(wù)落地上能更有先機(jī)和優(yōu)勢。

將以上流程應(yīng)用在任意領(lǐng)域進(jìn)行知識遷移，即可構(gòu)建任意領(lǐng)域垂類基座大模型的輕量化流程：

而對于從頭預(yù)訓(xùn)練構(gòu)建基礎(chǔ)大模型，也可借鑒上述經(jīng)驗(yàn)與Colossal-AI降本增效能力，降低成本、高效完成。

實(shí)際上，如上Colossal-LLaMA-2的所有亮點(diǎn)都構(gòu)建在低成本AI大模型開發(fā)系統(tǒng)Colossal-AI之上。

Colossal-AI基于PyTorch，可通過高效多維并行、異構(gòu)內(nèi)存等，降低AI大模型訓(xùn)練/微調(diào)/推理的開發(fā)與應(yīng)用成本，提升模型任務(wù)表現(xiàn)，降低GPU需求等。

僅一年多時(shí)間便已在GitHub開源社區(qū)收獲GitHub Star 3萬多顆，在大模型開發(fā)工具與社區(qū)細(xì)分賽道排名世界第一，已與世界500強(qiáng)在內(nèi)的多家知名廠商聯(lián)合開發(fā)/優(yōu)化千億/百億參數(shù)預(yù)訓(xùn)練大模型或打造垂類模型。

為更進(jìn)一步提高AI大模型開發(fā)和部署效率，Colossal-AI已進(jìn)一步升級為Colossal-AI云平臺，以低代碼/無代碼的方式供用戶在云端低成本進(jìn)行大模型訓(xùn)練、微調(diào)和部署，快速將各種模型接入到個(gè)性化的應(yīng)用中。

目前ColossalAI云平臺上已經(jīng)預(yù)置了Stable diffusion、LLaMA-2等主流模型及解決方案，用戶只需上傳自己的數(shù)據(jù)即可進(jìn)行微調(diào)，同時(shí)也可以把自己微調(diào)之后的模型部署成為API，以實(shí)惠的價(jià)格使用A10、A800、H800等GPU資源，無需自己維護(hù)算力集群以及各類基礎(chǔ)設(shè)施。更多應(yīng)用場景、不同領(lǐng)域、不同版本的模型、企業(yè)私有化平臺部署等正不斷迭代。

最后，福利時(shí)刻~

ColossalAI云平臺現(xiàn)已開啟公測，注冊即可獲得代金券，歡迎參與并提出反饋。

Colossal-AI云平臺：platform.luchentech.com

Colossal-AI云平臺文檔：https://docs.platform.colossalai.com/

Colossal-AI開源地址：https://github.com/hpcaitech/ColossalAI

參考資料：

https://www.hpc-ai.tech/blog/one-half-day-of-training-using-a-few-hundred-dollars-yields-similar-results-to-mainstream-large-models-open-source-and-commercial-free-domain-specific-LLM-solution