開源+共訓(xùn)，雙輪驅(qū)動基礎(chǔ)大模型創(chuàng)新普惠 ｜浪潮信息吳韶華@MEET2024

編輯部 整理自 MEET2024
量子位 | 公眾號 QbitAI

相比GPT-3，GPT-4?（包括GPT-3.5）?的能力有了非常巨大的進步。

這背后其實得益于一個很重要的過程引入：微調(diào)。

在給定模型結(jié)構(gòu)的情況下（即Transformer結(jié)構(gòu)），隨著模型參數(shù)量增大、投入算力規(guī)模和數(shù)據(jù)規(guī)模越大，模型的精度往往會更高。

但此類擴展率的研究是基于預(yù)訓(xùn)練的范式下開展。隨即，訓(xùn)練模式的變化讓我們也不得不重新思考：

在“預(yù)訓(xùn)練+微調(diào)”的范式下，尤其在微調(diào)的重要性越來越高的情況下，如何改進算法、數(shù)據(jù)以適應(yīng)預(yù)訓(xùn)練與微調(diào)不同階段的特性？

在MEET 2024智能未來大會現(xiàn)場，浪潮信息AI軟件研發(fā)總監(jiān)吳韶華博士便拋出了這樣一個問題。

他介紹，浪潮信息的“源1.0”大模型和“源2.0”大模型正是基于以上角度出發(fā)，從算法、數(shù)據(jù)、計算三個層面入手打造而成，最終在代碼、數(shù)據(jù)邏輯等方面都取得了很出色的表現(xiàn)。

那么，具體都有哪些實踐和經(jīng)驗？

為了完整體現(xiàn)吳韶華博士對GPT-4時代大模型訓(xùn)練模式的見解和思考，量子位在不改變原意的基礎(chǔ)上，對他的演講內(nèi)容進行了編輯整理。

關(guān)于MEET 智能未來大會：MEET大會是由量子位主辦的智能科技領(lǐng)域頂級商業(yè)峰會，致力于探討前沿科技技術(shù)的落地與行業(yè)應(yīng)用。今年共有數(shù)十家主流媒體及直播平臺報道直播了MEET2024大會，吸引了超過300萬行業(yè)用戶線上參會，全網(wǎng)總曝光量累積超過2000萬。

演講要點

• 從GPT-3到GPT-4，最值得關(guān)注的是大模型訓(xùn)練模式的變化。
• 在訓(xùn)練模式變化之后，微調(diào)在人類意圖對齊上起到更重要作用的情況下，我們需要重新思考：如何改進算法、數(shù)據(jù)以適應(yīng)預(yù)訓(xùn)練與微調(diào)不同階段的特性？
• 要想獲得非常強的專業(yè)模型/行業(yè)模型，基礎(chǔ)大模型的能力是最為核心的。
• 如何提升提升基礎(chǔ)大模型的能力？浪潮信息源2.0大模型的親身實踐：從算法、數(shù)據(jù)和計算三個層面入手，以“開源+共訓(xùn)“的策略，雙輪驅(qū)動基礎(chǔ)大模型創(chuàng)新普惠。

（以下為吳韶華演講全文）

從GPT3到GPT4，訓(xùn)練模式變了

大家好，很榮幸今天能在這里跟大家一起分享源2.0在大模型算法、大模型數(shù)據(jù)、分布式訓(xùn)練方法上面的一些思考和實踐。

如果我們回顧這次大模型的浪潮，就會發(fā)現(xiàn)從GPT-3到現(xiàn)在的GPT-4，里面有一些非常重要的變化。

當(dāng)時GPT-3推出來的時候，主要還是一種預(yù)訓(xùn)練的大模型。

模型訓(xùn)練完成之后，我們怎么用它？主要是通過一種所謂的小樣本提示詞，或者是零樣本提示詞的方式。

這里面我用到了一個說法，叫做提示詞。

所謂的提示詞就是在使用這個模型的時候，把我們給出的指令，比如說在一些請求在前面追加一些示例，然后通過這種組合的形式送給模型，讓模型產(chǎn)生我所期望的結(jié)果。

后來，到了GPT-4的階段，我們都看到了，模型能力有著非常巨大的變化。

它的多模態(tài)能力、對人類意圖理解能力、編程能力等等非常讓人驚艷。

當(dāng)我們從技術(shù)層面去審視它為什么能達到這么好效果的時候，我們首先看了一下過往大模型的訓(xùn)練模式。包括它的歷史是什么？現(xiàn)在又發(fā)生了什么樣的變化？以及在這個過程中有哪些方面需要增強。

從我個人的角度來說，這里面最值得關(guān)注是GPT-3到GPT-4大模型訓(xùn)練模式的變化。

所謂訓(xùn)練模式，在2020年GPT-3剛發(fā)布的時候，事實上它只是一個預(yù)訓(xùn)練模型，模型訓(xùn)練出來之后直接可以用了。大家不太關(guān)注微調(diào)。

而到了GPT-4階段，這里面引入了一個很重要的過程：微調(diào)，也就是我們通常常說的指令對齊。

在GPT-3時代，包括OpenAI以及后續(xù)的DeepMind，他們都在大模型擴展率上做了很多工作，比如提出在給定模型結(jié)構(gòu)的情況下（現(xiàn)在業(yè)界通常用的Transformer），有一個共識是：

模型參數(shù)量越大，隨著投入的算力規(guī)模越大，模型的精度往往會越高。

但這種認(rèn)識的前提，是在預(yù)訓(xùn)練的范式下所做的研究。
切換到GPT-4之后，模型訓(xùn)練范式新增了人類意圖對齊，再加上強化學(xué)習(xí)，在這種新的情況下，是否依舊還是我們投入的算力規(guī)模越大，模型的效果就越好？我們投入的數(shù)據(jù)規(guī)模越大，模型效果就越好？

以及，在預(yù)訓(xùn)練+微調(diào)的范式下，尤其在微調(diào)在人類意圖對齊上起到更重要作用的情況下，如何改進算法、數(shù)據(jù)以適應(yīng)預(yù)訓(xùn)練與微調(diào)不同階段的特性？

事實上，這些都是需要重新思考的問題。

基礎(chǔ)大模型是生成式AI的能力核心

我們在做大模型的時候，也站在上面的這些角度審視思考，并步步構(gòu)建，無論是源1.0還是源2.0，浪潮信息一直在開展基礎(chǔ)大模型的創(chuàng)新，包括我們的算法數(shù)據(jù)，以及相關(guān)的計算方法。

基礎(chǔ)模型的重要性毋庸置疑，以O(shè)penAI為例，從GPT3->GPT3.5->GPT4，他們走出了一條清晰的基礎(chǔ)模型能力提升路線，下圖我們可以看出GPT-4表現(xiàn)得非常出色。

當(dāng)基礎(chǔ)模型應(yīng)用在對話領(lǐng)域的時候就形成了ChatGPT；當(dāng)其應(yīng)用在代碼領(lǐng)域會生成類似于Copilot、Code-Interpreter等面向代碼的應(yīng)用；當(dāng)其應(yīng)用在搜索領(lǐng)域的時候，又形成了對搜索引擎的賦能。

由此可見，如果想要獲得非常好的行業(yè)模型的能力，或者獲得非常好的專業(yè)模型的能力，基礎(chǔ)模型的能力是其中最核心的部分。

源1.0的工作是我們在2021年發(fā)布的，當(dāng)時這個模型是2457億參數(shù)，這是當(dāng)時世界上最大的自然語言處理大模型。

源1.0模型的模型結(jié)構(gòu)是經(jīng)典的Transformer結(jié)構(gòu)，這里面給出了具體的模型結(jié)構(gòu)的示意，里面也是非常經(jīng)典的Attention結(jié)構(gòu)。

從源1.0發(fā)布之后，我們也推出了開源開放計劃，賦能了相當(dāng)多的開發(fā)者，這些開發(fā)者基于源1.0的API孵化了一批極具特色的應(yīng)用。

源2.0的工作是我們在今年11月底剛剛發(fā)布的，這里面包含了三組模型參數(shù)：1026億、518億和21億。

源1.0主要訓(xùn)練數(shù)據(jù)集都是中文（大概95%以上），所以能力主要體現(xiàn)在中文領(lǐng)域。

源2.0是中英雙語的大模型。除了中文之外，也能夠支持英文，同時在代碼、數(shù)據(jù)邏輯方面有著很出色的表現(xiàn)。

三方面入手提升基礎(chǔ)性能

從源1.0到源2.0，最主要的工作體現(xiàn)在三個方面，也是影響模型能力最核心的三個方面。

算法層面

首先是算法層面，在源2.0里面，我們提出了一種新的Attention結(jié)構(gòu)。

這種Attention結(jié)構(gòu)我們定義為局部過濾增強的注意力機制（LFA：Localized Filtering-based Attention)。

在這里面給出了一個示例：

我想吃中國菜。

這個句子是非常典型的自然語言的描述，對它分詞之后，可以看到 “中國”是修飾“菜”的。

自然語言中存在的這些局部關(guān)系在經(jīng)典的Attention結(jié)構(gòu)中是被動學(xué)習(xí)的。

如果我們在構(gòu)建模型結(jié)構(gòu)的時候能夠主動考慮這種局部性，引入一些先驗，往往會得到比較好的效果。

這個模型結(jié)構(gòu)在構(gòu)建的時候就是類似的，把局部的相關(guān)性引入到整個模型結(jié)構(gòu)的構(gòu)建里，進而獲得了一個新的模型結(jié)構(gòu)。

這里面給出了模型結(jié)構(gòu)詳細的示意，我們論文里面有詳細的解釋，這里就不再展開贅述。

圍繞新的模型結(jié)構(gòu)，我們做大量的試驗，來驗證它到底有多大的精度提升。

在這張表中，最上面的Attention（Basic）代表著LLaMA的結(jié)構(gòu)，上面所有實驗列出來的數(shù)據(jù)，模型都是具有完全相同的結(jié)構(gòu)，唯一區(qū)別在于Attention的不同。

我們可以看到當(dāng)我們從基本的LLaMA結(jié)構(gòu)對Attention做一個基本改變，在這里面引入EMA的方法考慮局部性的時候，最右側(cè)那一列的Test Loss（我們用它衡量模型的精度，這個數(shù)值越低意味著模型精度越好）就會有提升。

像EMA這種結(jié)構(gòu)在計算過程中，內(nèi)存開銷很大，計算也很耗時。

所以對于一個大模型，尤其是千億規(guī)模的來說，如果基于EMA結(jié)構(gòu)，會對算力、分布式計算方法產(chǎn)生非常大的挑戰(zhàn)。

接下來模型結(jié)構(gòu)的優(yōu)化，我們主要的考慮是怎么簡化結(jié)構(gòu)，讓它既能考慮局部相關(guān)性，內(nèi)存占用量也比較少，同時計算性能又比較高。

我們基于以上的思路在這里面做了更進一步模型結(jié)構(gòu)的探索，生成了最終的模型結(jié)構(gòu)。

下圖給出了最后訓(xùn)練模型的Loss曲線，我們同時列出了源1.0和源2.0在訓(xùn)練過程中Train Loss的對比。

源1.0的模型是2457億參數(shù)模型，參數(shù)量比源2.0要大兩倍多，然而從最終訓(xùn)練的Loss可以看到，從源1.0到源2.0，Train Loss降低了28%。

其實數(shù)據(jù)集的體量是足夠大的，源1.0與源2.0模型在訓(xùn)練過程中并沒有完整遍歷數(shù)據(jù)集，訓(xùn)練過程中的Loss值可以用它來衡量模型對于整個訓(xùn)練數(shù)據(jù)學(xué)習(xí)的好壞程度。

在這里面源2.0的表現(xiàn)明顯是出色很多的。

數(shù)據(jù)層面

接下來是數(shù)據(jù)方面，事實上數(shù)據(jù)方面的工作是我們在構(gòu)建源2.0模型的時候面臨的一個非常大的挑戰(zhàn)。

因為中文相關(guān)的數(shù)學(xué)、代碼數(shù)據(jù)是非常少的。

舉個例子，對于中文的數(shù)學(xué)數(shù)據(jù)，我們清洗了互聯(lián)網(wǎng)上從2018年一直到2023年所有的網(wǎng)頁，它的體量是12PB左右，然而我們提取出來跟數(shù)學(xué)相關(guān)的體量只有不到10GB。

而且提取出來的10GB數(shù)據(jù)，它的質(zhì)量還有很多可以改進的地方。

如果我們想讓模型獲得比較好的數(shù)理邏輯、代碼能力，我們必須考慮如何高質(zhì)量地構(gòu)建這方面的數(shù)據(jù)。

因此，我們還采用了基于大模型的數(shù)據(jù)生產(chǎn)及過濾方法，保證數(shù)據(jù)的多樣性的同時也在每一個類別上提升數(shù)據(jù)質(zhì)量，獲取了一批高質(zhì)量的數(shù)學(xué)與代碼預(yù)訓(xùn)練數(shù)據(jù)。

通過這兩類數(shù)據(jù)的引入，重點補充了模型在代碼和數(shù)學(xué)里面這部分?jǐn)?shù)據(jù)的數(shù)量和質(zhì)量。

計算層面

另外一部分在計算方面，當(dāng)考慮多元算力時，我們發(fā)現(xiàn)GPU之外的某些芯片，芯片之間P2P互聯(lián)的帶寬很低，遠低于GPU。

當(dāng)大模型在這些多元芯片上做訓(xùn)練的時候，受限于芯片之間的互聯(lián)帶寬，往往得不到很好的性能。

針對這種情況，我們提出了一種非均勻流水并行的方法，并且結(jié)合優(yōu)化參數(shù)并行，可以大幅度降低大模型訓(xùn)練過程以及微調(diào)過程中對于芯片之間互聯(lián)帶寬的需求。

這里面我們給出了一些具體評估的數(shù)據(jù)：

如果采用這個表格里面經(jīng)典的方法，可以看到隨著帶寬的降低，從400GB/s降到100GB/s，時間開銷增加得非常大，性能損失約37%。

但是對于源2.0提出的分布式訓(xùn)練方法來說，性能基本上是無損的。

接下來是一些具體的精度，這里面不再多說了，我們論文里面都有很詳細的數(shù)據(jù)。

下方展示的是源2.0對于數(shù)學(xué)問題的解決能力：

給出的例題難度是高考數(shù)學(xué)，這里面所有公式都是以LaTeX格式的代碼生成的，它不僅能夠理解這些問題，還能夠以代碼的形式生成這些公式，同時也能夠給出非常合邏輯的求解過程。

目前源2.0模型已經(jīng)全面開源了，這里面給出了開源的鏈接，還有論文的鏈接，歡迎大家追蹤。

最后一部分，我想重點與大家分享一下，我們也發(fā)布了源大模型的開源共訓(xùn)計劃。

在這個計劃里，我們誠邀廣大開發(fā)者一同改進模型，使源大模型之更滿足用戶具體的應(yīng)用需求。針對廣大開發(fā)者、伙伴、用戶使用源大模型時遇到的問題，歡迎在Github上進行反饋。

針對這些問題，源大模型研發(fā)團隊會快速響應(yīng)需求，收集數(shù)據(jù)，對源大模型進行增強訓(xùn)練。

歡迎大家參與到我們共訓(xùn)計劃里，訓(xùn)練完成后的基礎(chǔ)模型將持續(xù)在開源社區(qū)進行開源。

以上是我所有的內(nèi)容，謝謝。