英偉達(dá)全新開(kāi)源模型：三倍吞吐、單卡可跑，還拿下推理SOTA

henry 2025-07-29 15:05:03 來(lái)源：量子位

henry 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

眾所周知，老黃不僅賣(mài)鏟子（GPU），還自己下場(chǎng)開(kāi)礦（造模型）。

英偉達(dá)最新推出的Llama Nemotron Super v1.5開(kāi)源模型就專(zhuān)為復(fù)雜推理和agnet任務(wù)量身打造。

模型在科學(xué)、數(shù)學(xué)、編程及agent任務(wù)中實(shí)現(xiàn)SOTA表現(xiàn)的同時(shí)，還將吞吐量提升至前代的3倍，且可在單卡高效運(yùn)行，實(shí)現(xiàn)更準(zhǔn)、更快、更輕的“既要又要還要”。

這是怎么做到的？

模型介紹

Llama Nemotron Super v1.5是Llama-3.3-Nemotron-Super-49B-V1.5的簡(jiǎn)稱(chēng)。它是Llama-3.3-Nemotron-Super-49B-V1的升級(jí)版本（該模型是Meta的Llama-3.3-70B-Instruct的衍生模型），專(zhuān)為復(fù)雜推理和智能體任務(wù)設(shè)計(jì)。

模型架構(gòu)

Llama Nemotron Super v1.5采用神經(jīng)架構(gòu)搜索（Neural Architecture Search，NAS），使該模型在準(zhǔn)確率和效率之間實(shí)現(xiàn)了良好的平衡，將吞吐量的提升有效轉(zhuǎn)化為更低的運(yùn)行成本。

（注：NAS的目標(biāo)是通過(guò)搜索算法從大量的可能架構(gòu)中找到最優(yōu)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，利用自動(dòng)化方法替代人工設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu)，從而提高模型的性能和效率。）

在Llama Nemotron Super v1.5中，NAS算法生成了非標(biāo)準(zhǔn)、非重復(fù)的網(wǎng)絡(luò)模塊（blocks）。相較于傳統(tǒng)的Transformer，其包含以下兩類(lèi)變化：

• 跳過(guò)注意力機(jī)制（Skip attention）：在某些模塊中，直接跳過(guò)了注意力層，或者只用一個(gè)線(xiàn)性層來(lái)代替。
  
• 可變前饋網(wǎng)絡(luò)（Variable FFN）：在前饋網(wǎng)絡(luò)（Feedforward Network）中，不同模塊采用了不同的擴(kuò)展/壓縮比。

由此，模型通過(guò)跳過(guò)attention或改變FFN寬度以減少FLOPs，從而在資源受限時(shí)更高效地運(yùn)行模型。

之后，研究團(tuán)隊(duì)還對(duì)原始的Llama模型（Llama 3.3 70B Instruct）進(jìn)行了逐模塊的蒸餾（block-wise distillation），通過(guò)對(duì)每個(gè)模塊構(gòu)造多個(gè)變體，并在所有模塊結(jié)構(gòu)中搜索組合，從而構(gòu)建一個(gè)模型。

使它既能滿(mǎn)足在單個(gè)H100 80GB顯卡上的吞吐量和內(nèi)存要求，又盡量減少性能損失。

訓(xùn)練與數(shù)據(jù)集

模型首先在FineWeb、Buzz-V1.2 和 Dolma三個(gè)數(shù)據(jù)集共400億個(gè)token的訓(xùn)練數(shù)據(jù)上進(jìn)行了知識(shí)蒸餾（knowledge distillation，KD)，重點(diǎn)關(guān)注英語(yǔ)單輪和多輪聊天。

在后訓(xùn)練階段，模型通過(guò)結(jié)合監(jiān)督微調(diào)（SFT）和強(qiáng)化學(xué)習(xí)（RL）的方法，以進(jìn)一步提升模型在代碼、數(shù)學(xué)、推理和指令遵循等關(guān)鍵任務(wù)上的表現(xiàn)。

這些數(shù)據(jù)既包括來(lái)自公開(kāi)語(yǔ)料庫(kù)的題目，也包含人工合成的問(wèn)答樣本，其中部分題目配有開(kāi)啟和關(guān)閉推理的答案，旨在增強(qiáng)模型對(duì)推理模式的辨別能力。

英偉達(dá)表示數(shù)據(jù)集將在未來(lái)幾周內(nèi)發(fā)布。

總的來(lái)說(shuō)，Llama Nemotron Super V1.5是一個(gè)通過(guò)NAS自動(dòng)優(yōu)化架構(gòu)、精簡(jiǎn)計(jì)算圖的 Llama 3.3 70B Instruct變體。它針對(duì)單卡運(yùn)行場(chǎng)景做了結(jié)構(gòu)簡(jiǎn)化、知識(shí)蒸餾訓(xùn)練與后訓(xùn)練，兼顧高準(zhǔn)確性、高吞吐量與低資源占用，特別適合英語(yǔ)對(duì)話(huà)類(lèi)任務(wù)及編程任務(wù)的部署。

此外，在部署方面，英偉達(dá)延續(xù)了其一貫的生態(tài)優(yōu)勢(shì)：

我們的AI模型專(zhuān)為在 NVIDIA GPU 加速系統(tǒng)上運(yùn)行而設(shè)計(jì)和/或優(yōu)化。通過(guò)充分利用 NVIDIA 的硬件（如 GPU 核心）和軟件框架（如 CUDA 庫(kù)），相比僅依賴(lài) CPU 的方案，模型在訓(xùn)練和推理階段實(shí)現(xiàn)了顯著的速度提升。

該模型現(xiàn)已開(kāi)源。開(kāi)發(fā)者可以在build.nvidia.com體驗(yàn)Llama Nemotron Super v1.5或直接從Hugging Face下載模型。

One more thing

作為英偉達(dá)最新發(fā)布的開(kāi)源大語(yǔ)言模型，Llama Nemotron Super v1.5隸屬于英偉達(dá)Nemotron生態(tài)，該生態(tài)集成了大語(yǔ)言模型、訓(xùn)練與推理框架、優(yōu)化工具和企業(yè)級(jí)部署方案，旨在實(shí)現(xiàn)高性能、可控性強(qiáng)、易于擴(kuò)展的生成式 AI 應(yīng)用開(kāi)發(fā)。

為滿(mǎn)足不同場(chǎng)景需求與用戶(hù)定位，英偉達(dá)在此生態(tài)的基礎(chǔ)上推出了三個(gè)不同定位的大語(yǔ)言模型系列——Nano、Super和Ultra。

其中，Nano系列針對(duì)成本效益和邊緣部署，適合部署在邊緣設(shè)備（如移動(dòng)端、機(jī)器人、IoT設(shè)備等）或成本敏感型場(chǎng)景（比如本地運(yùn)行、離線(xiàn)場(chǎng)景、商業(yè)小模型推理）。

Super系列則針對(duì)單個(gè)GPU上平衡的精度和計(jì)算效率，它可以在一張高性能 GPU（如 H100） 上運(yùn)行，不需要多卡或大型集群。它的精度比Nano高，但比Ultra小巧，適合企業(yè)開(kāi)發(fā)者或中型部署。我們上面提到的Llama Nemotron Super v1.5就屬于這一系列。

Ultra則致力于數(shù)據(jù)中心的最大精度，專(zhuān)為在數(shù)據(jù)中心、超算集群、多張 GPU上運(yùn)行而設(shè)計(jì)，面向復(fù)雜推理、大規(guī)模生成、高保真對(duì)話(huà)等對(duì)精度要求極高的任務(wù)。

目前，Nemotron已獲得SAP、ServiceNow、Microsoft、Accenture、CrowdStrike、Deloitte 等企業(yè)支持或集成使用，用于構(gòu)建面向企業(yè)級(jí)流程自動(dòng)化和復(fù)雜問(wèn)題解決的AI智能體平臺(tái)。

此外，在Amazon Bedrock Marketplace中也能通過(guò)NVIDIA NIM微服務(wù)調(diào)用Nemotron模型，簡(jiǎn)化部署流程，支持云端、混合架構(gòu)等多種運(yùn)營(yíng)方案。

參考鏈接
[1]https://www.marktechpost.com/2025/07/27/nvidia-ai-dev-team-releases-llama-nemotron-super-v1-5-setting-new-standards-in-reasoning-and-agentic-ai/
[2]https://developer.nvidia.com/blog/build-more-accurate-and-efficient-ai-agents-with-the-new-nvidia-llama-nemotron-super-v1-5/
[3]https://huggingface.co/nvidia/Llama-3_3-Nemotron-Super-49B-v1_5
[4]https://www.nvidia.com/en-us/ai-data-science/foundation-models/nemotron/