老顯卡福音！美團(tuán)開源首發(fā)INT8無損滿血版DeepSeek R1

明敏 2025-03-04 20:44:26 來源：量子位

美團(tuán)搜推團(tuán)隊(duì) 投稿

量子位 | 公眾號(hào) QbitAI

滿血版DeepSeek R1部署A100，基于INT8量化，相比BF16實(shí)現(xiàn)50%吞吐提升！

美團(tuán)搜推機(jī)器學(xué)習(xí)團(tuán)隊(duì)最新開源，實(shí)現(xiàn)對(duì)DeepSeek R1模型基本無損的INT8精度量化。

要知道，DeepSeek R1原生版本的模型權(quán)重為FP8數(shù)據(jù)格式，對(duì)GPU芯片類型有嚴(yán)格限制，僅能被英偉達(dá)新型GPU支持（如Ada、Hopper架構(gòu)芯片），其他型號(hào)GPU（如A100）無法直接部署。

目前，量化代碼已經(jīng)合入到了開源LLM推理框架SGLang，量化模型已經(jīng)發(fā)布到了Hugging Face社區(qū)，方便用戶使用。

INT8: 友好的“平替”

根據(jù)DeepSeek最新發(fā)布的技術(shù)報(bào)告，V3/R1突破性的訓(xùn)練成本控制主要依托FP8精度訓(xùn)練方案。FP8是一種典型的模型量化技術(shù)，相較于業(yè)界常用的BF16精度，F(xiàn)P8精度通過將數(shù)據(jù)位寬減半顯著降低了單次計(jì)算開銷，但也會(huì)帶來一定的精度損失。

在實(shí)踐中，DeepSeek R1采用了混合精度訓(xùn)練機(jī)制有效緩解了精度損失問題。

為了繼續(xù)保持高吞吐性能，美團(tuán)技術(shù)團(tuán)隊(duì)選擇了和FP8精度等位寬的INT8精度。同時(shí)，INT8精度被廣泛硬件原生支持，基于INT8精度可以極大拓展DeepSeek模型的硬件部署范圍。以硬件友好的INT8精度為中心，美團(tuán)技術(shù)團(tuán)隊(duì)開始探索FP8“平替”的落地方案。

量化技術(shù)的探索

具體來說，分塊量化（Block-wise Quantization）是DeepSeek V3/R1降低量化損失的關(guān)鍵技術(shù)之一。分塊量化通過對(duì)權(quán)重矩陣的細(xì)粒度切分，將量化操作的范圍控制在[128, 128]的矩陣內(nèi)，減少了分布分散的出現(xiàn)概率，從而很好地控制了每次量化過程中的損失。

美團(tuán)技術(shù)團(tuán)隊(duì)延續(xù)了DeepSeek訓(xùn)練的量化策略，同樣在[128, 128]的矩陣內(nèi)進(jìn)行分塊量化操作，保證訓(xùn)練和推理的一致性。在量化目標(biāo)的選型上，INT8的優(yōu)勢在于其與FP8享有相同的位寬，且大部分硬件都對(duì)INT8的數(shù)據(jù)計(jì)算原生支持。

在實(shí)踐中，由于DeepSeek官方并沒有提供半精度浮點(diǎn)型（BF16）的權(quán)重，因此首先需要將原生的FP8模型權(quán)重反量化成BF16，再分塊量化成INT8類型。另外在推理過程中，為了匹配權(quán)重的分塊量化，激活值采用在線逐token-group的量化方式，即每個(gè)token的嵌入向量分為多個(gè)組，逐組進(jìn)行量化。分塊量化的激活值和權(quán)重的乘法過程如下左圖所示。

除了上述的分塊量化外，美團(tuán)技術(shù)團(tuán)隊(duì)還探索了更高效的通道量化（Channel-wise Quantization），即權(quán)重的每列為一組進(jìn)行量化。

通道量化在執(zhí)行完INT8的矩陣乘法后，只需進(jìn)行一次反量化計(jì)算，計(jì)算開銷更低。在具體實(shí)踐中，同樣地先將原生FP8的模型權(quán)重反量化成BF16，之后逐通道量化成INT8類型。同時(shí)，對(duì)激活值采用在線逐token量化，最大程度地減少activation的量化損失。通道量化的激活值和權(quán)重的乘法過程如下右圖所示。

目前，兩種INT8量化權(quán)重均已開源到Hugging Face。

INT8量化模型精度

分別應(yīng)用上述的兩種量化方法，對(duì)開源的DeepSeek R1模型進(jìn)行了INT8量化處理，并在GSM8K和MMLU兩個(gè)數(shù)據(jù)集上對(duì)量化后的模型進(jìn)行了精度評(píng)估。評(píng)估結(jié)果如下表所示，相比基線的BF16和FP8模型，兩種INT8量化模型的精度基本無損。

注：表中的精度結(jié)果是多次測試的均值。

INT8量化模型推理吞吐

在知名開源推理框架SGLang上，對(duì)上述兩種INT8量化方法進(jìn)行了推理支持，并進(jìn)行了推理吞吐評(píng)估。SGLang是當(dāng)前SOTA的開源LLM推理框架，在DeepSeek系列模型上有著最優(yōu)的推理性能，被業(yè)界廣泛使用。

在A100 GPU上對(duì)兩種INT8模型和BF16模型進(jìn)行推理吞吐評(píng)估。得益于更低的顯存要求，INT8量化模型僅需要16張A100 GPU即可推理，但是BF16模型需要32張A100 GPU。為了比較的公平性，統(tǒng)一在32張A100 GPU上進(jìn)行吞吐測試。結(jié)果如下表所示，分塊量化的INT8推理相比BF16可以提升33%的吞吐；通道量化的INT8推理可以進(jìn)一步達(dá)到50%的吞吐提升。

INT8量化模型部署

以雙節(jié)點(diǎn)各8張A100 GPU為例，開發(fā)者需要在雙部署節(jié)點(diǎn)安裝最新版本的SGLang，然后分別執(zhí)行下面命令：

# 分塊量化INT8推理
# 主節(jié)點(diǎn)
python3 -m sglang.launch_server 
--model meituan/DeepSeek-R1-Block-INT8 --tp 16 --dist-init-addr 
HEAD_IP:5000 --nnodes 2 --node-rank 0 --trust-remote --enable-torch-compile --torch-compile-max-bs 8
# 副節(jié)點(diǎn)
python3 -m sglang.launch_server 
--model meituan/DeepSeek-R1-Block-INT8 --tp 16 --dist-init-addr 
HEAD_IP:5000 --nnodes 2 --node-rank 1 --trust-remote --enable-torch-compile --torch-compile-max-bs 8

# 通道量化INT8推理
# 主節(jié)點(diǎn)
python3 -m sglang.launch_server 
--model meituan/DeepSeek-R1-Channel-INT8 --tp 16 --dist-init-addr 
HEAD_IP:5000 --nnodes 2 --node-rank 0 --trust-remote --enable-torch-compile --torch-compile-max-bs 8 
  --quantization w8a8_int8
# 副節(jié)點(diǎn)
python3 -m sglang.launch_server 
--model meituan/DeepSeek-R1-Channel-INT8 --tp 16 --dist-init-addr 
HEAD_IP:5000 --nnodes 2 --node-rank 1 --trust-remote --enable-torch-compile --torch-compile-max-bs 8 
  --quantization w8a8_int8

下面是一些有趣的case：

深度思考能力展示

這里以curl為例發(fā)送一條請(qǐng)求：

curl -X POST 'http://HEAD_IP:5000/v1/chat/completions' 
--header 'Content-Type: application/json' 
  -d '{
      "model": "deepseek-r1",    
"messages": [{"role": "user",
"content": "下列選項(xiàng)中，找出與眾不同的一個(gè)：1.鋁 2.錫 3.鋼 4.鐵 5.銅" } ] 
      }'

在INT8 R1的回答中（由于篇幅限制省略部分內(nèi)容），能看到其風(fēng)格獨(dú)特的反思：

不過，我需要確認(rèn)這一點(diǎn)是否正確。比如，有沒有可能其他選項(xiàng)中也有合金？比如，錫有時(shí)候會(huì)和其他金屬混合使用，但錫本身是純金屬。同樣，鋁、鐵、銅都是純金屬。所以鋼作為合金，應(yīng)該是一個(gè)關(guān)鍵的不同點(diǎn)。另外，可以考慮其他屬性，比如它們的用途、物理性質(zhì)或化學(xué)性質(zhì)。例如，導(dǎo)電性：銀是最好的導(dǎo)體，但這里沒有銀，而銅的導(dǎo)電性也很好，鋁也不錯(cuò)，鐵和鋼的導(dǎo)電性相對(duì)差一些。但這樣分類的話，可能難以確定哪一個(gè)不同?！贿^回到最初的分類，鋼是唯一的合金，而其他都是純金屬，這一點(diǎn)可能更為基礎(chǔ)。因此答案應(yīng)該是3.鋼。不過需要再驗(yàn)證一下這個(gè)結(jié)論是否正確。

最終答案也是正確的：

答案：3.鋼

模擬海量小球運(yùn)動(dòng)

參考其他LLM測試的prompts作為輸入，對(duì)比INT8（上）和FP8（下）輸出代碼的運(yùn)行效果，INT8完全不遜于FP8。

write a script for 100 bouncing balls within a sphere, make sure to handle collision detection properly. make the sphere slowly rotate. make sure balls stays within the sphere. implement it in p5.js

總結(jié)與展望

綜上，研究團(tuán)隊(duì)在DeepSeek R1上進(jìn)行了INT8量化技術(shù)的探索，并基于SGLang框架進(jìn)行了推理能力的支持，在保證量化后模型精度的前提下，讓DeepSeek R1可以在如A100等老型號(hào)GPU上進(jìn)行部署，并且提升了推理吞吐。我們希望開源的代碼和權(quán)重可以讓更多用戶和業(yè)務(wù)方受益，也歡迎大家積極交流相關(guān)技術(shù)，共同建設(shè)、回饋開源社區(qū)。

交流郵箱：search.platform@meituan.com

參考文獻(xiàn)
[1] 技術(shù)報(bào)告：Liu A, Feng B, Xue B, et al. Deepseek-v3 technical report[J]. arXiv preprint arXiv:2412.19437, 2024.
[2] Hugging Face：https://huggingface.co/meituan/DeepSeek-R1-Block-INT8，https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8
[3] 推理支持：Block-wise INT8 DeepSeek R1支持（https://github.com/sgl-project/sglang/pull/3730）、Channel-wise INT8 DeepSeek R1支持（https://github.com/sgl-project/sglang/pull/3888）
[4] 其他LLM測試：https://qwenlm.github.io/blog/qwq-max-preview/