秒殺700億Llama 2！最新國(guó)產(chǎn)大模型亮相，無需申請(qǐng)即可免費(fèi)商用，背后公司來自私募巨頭

豐色 2023-12-06 13:11:38 來源：量子位

豐色 發(fā)自 凹非寺

量子位 | 公眾號(hào)QbitAI

國(guó)產(chǎn)大模型剛剛出了一位全新選手：

參數(shù)670億的DeepSeek。

它在近20個(gè)中英文的公開評(píng)測(cè)榜單上直接超越了同量級(jí)、700億的Llama 2。

并尤其以推理、數(shù)學(xué)和編碼能力為突出。

其中在數(shù)學(xué)能力上，它測(cè)了Grok剛剛參與過的匈牙利今年最新的高中數(shù)學(xué)考試題，得了65分。

對(duì)比Grok當(dāng)時(shí)公布的成績(jī)：59分，以及GPT-4的68分，表現(xiàn)十分出色。

DeepSeek主打一個(gè)發(fā)布即開源：

共包含70億和670億兩個(gè)參數(shù)版本，每個(gè)版本均含基礎(chǔ)模型和指令微調(diào)模型，無需申請(qǐng)，即可免費(fèi)商用。

同時(shí)，它已開放了全面內(nèi)測(cè)，注冊(cè)一下就能玩。

Ps. DeepSeek的中文能力在GPT-3.5之上，可以使用中文進(jìn)行測(cè)試。

在推特上，DeepSeek也引起了一大批技術(shù)同行的關(guān)注：

早期測(cè)試過的人表示沒毛病。

還有人贊譽(yù)DeepSeek彌補(bǔ)了開源LLM在數(shù)學(xué)和編碼上的短板。

那么，DeepSeek是如何訓(xùn)練出來的？

與Llama架構(gòu)相同

DeepSeek使用與Llama相同的架構(gòu)，即自回歸Transformer解碼器架構(gòu)。

其中70億參數(shù)的版本使用多頭注意力，670億參數(shù)版本使用分組查詢注意力。

預(yù)訓(xùn)練在包含2萬(wàn)億個(gè)中英文token的數(shù)據(jù)集（序列長(zhǎng)度4096）和AdamW優(yōu)化器上進(jìn)行。

其中70億參數(shù)版本的模型的訓(xùn)練batch size為2304，學(xué)習(xí)率為4.2e-4；670億參數(shù)版本的模型的batch size為4608，學(xué)習(xí)率為3.2e-4。

DeepSeek的訓(xùn)練過程中特別采用了多步學(xué)習(xí)率計(jì)劃：

先從2000個(gè)預(yù)測(cè)步驟開始，然后在1.6萬(wàn)億token時(shí)逐步達(dá)到最大值的31.6%，在1.8萬(wàn)億token時(shí)逐步達(dá)到最大值的10%。

有網(wǎng)友看完表示：

這種從1.6萬(wàn)億token時(shí)開啟的學(xué)習(xí)率冷卻階段有點(diǎn)類似于“Scaling Vision Transformers”那篇論文中的lr計(jì)劃消融操作。

這也與Llama的余弦學(xué)習(xí)率衰減（要求它們提前指定步數(shù)）完全不同，非常有趣。

下圖是作者發(fā)布的DeepSeek訓(xùn)練損失曲線以及在幾個(gè)基準(zhǔn)上的曲線圖：

數(shù)學(xué)和編碼能力突出

我們重點(diǎn)關(guān)注DeepSeek進(jìn)行的如下三大類測(cè)試結(jié)果。

一個(gè)是今年5月才發(fā)布的2023年匈牙利高中數(shù)學(xué)考試題。

盡管DeepSeek已經(jīng)在GSM8k和MATH這兩個(gè)標(biāo)準(zhǔn)基準(zhǔn)上取得了不錯(cuò)的成績(jī)：

但由于存在過度擬合這些數(shù)據(jù)集的風(fēng)險(xiǎn)，作者還是決定評(píng)估一下樣本外的數(shù)學(xué)泛化能力。

如下圖所示，位于右上角的670億參數(shù)DeepSeek最終在樣本內(nèi)數(shù)學(xué)能力（縱軸GSM8K）排名第三，僅次于Claude 2和GPT-4，但在樣本外數(shù)學(xué)能力（橫軸Exam Score）排名第二，僅次于GPT-4。

第二個(gè)是考驗(yàn)DeepSeek指令跟隨能力的測(cè)試。

在此，作者使用了谷歌11月15日剛剛發(fā)布的指令跟隨評(píng)測(cè)集，來評(píng)價(jià)模型的“聽話程度”。

結(jié)果是領(lǐng)先一眾開源模型，但59.1分的成績(jī)與GPT-4還有20分的差距。

最后是代碼能力測(cè)試。

同樣，作者在這里重點(diǎn)關(guān)注了樣本外能力，選擇的是LeetCode今年7月2日到11月12日的最新真題進(jìn)行測(cè)試。

結(jié)果是比國(guó)內(nèi)常見的大模型都要好很多，并且也遠(yuǎn)遠(yuǎn)超越了GPT 3.5。

背后公司是誰(shuí)？

經(jīng)搜索，DeepSeek背后的公司名叫深度求索。base位于北京，今年5月正式成立。

目標(biāo)不止是大模型，而是AGI。

就在11月初，這家公司就發(fā)布代碼大模型DeepSeek Coder。

與之前最好的開源大模型CodeLlama相比，DeepSeek Coder在代碼生成任務(wù)上（使用標(biāo)準(zhǔn)數(shù)據(jù)集HumanEval、MBPP和DS-1000進(jìn)行評(píng)測(cè)）分別領(lǐng)先了9.3%、10.8%和5.9%。

特別值得一提的是，深度求索其實(shí)是從知名私募巨頭幻方旗下獨(dú)立出來的一家公司。

幻方這家公司聽起來和AI“八桿子打不著”，但實(shí)際上，2019年時(shí)，幻方就發(fā)布了自研深度學(xué)習(xí)訓(xùn)練平臺(tái)“螢火一號(hào)”。

據(jù)稱該項(xiàng)目總投資近2億元，共搭載了1100塊GPU。

后來“螢火一號(hào)”由升級(jí)為“二號(hào)”，搭載的GPU數(shù)則達(dá)到了約1萬(wàn)張。

參考鏈接：
[1]https://mp.weixin.qq.com/s/Zj7gPGqJ8UTTxp1umfWjKQ
[2]https://twitter.com/johannes_hage/status/1730075189428494842
[3]https://twitter.com/jeremyphoward/status/1730113946345205970
[4]https://twitter.com/bindureddy/status/1730248977499762740
[5]https://zhuanlan.zhihu.com/p/636451367