英偉達全新開源模型：三倍吞吐、單卡可跑，還拿下推理SOTA

henry 2025-07-29 15:05:03 來源：量子位

henry 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

眾所周知，老黃不僅賣鏟子（GPU），還自己下場開礦（造模型）。

英偉達最新推出的Llama Nemotron Super v1.5開源模型就專為復雜推理和agnet任務量身打造。

模型在科學、數(shù)學、編程及agent任務中實現(xiàn)SOTA表現(xiàn)的同時，還將吞吐量提升至前代的3倍，且可在單卡高效運行，實現(xiàn)更準、更快、更輕的“既要又要還要”。

這是怎么做到的？

模型介紹

Llama Nemotron Super v1.5是Llama-3.3-Nemotron-Super-49B-V1.5的簡稱。它是Llama-3.3-Nemotron-Super-49B-V1的升級版本（該模型是Meta的Llama-3.3-70B-Instruct的衍生模型），專為復雜推理和智能體任務設計。

模型架構

Llama Nemotron Super v1.5采用神經(jīng)架構搜索（Neural Architecture Search，NAS），使該模型在準確率和效率之間實現(xiàn)了良好的平衡，將吞吐量的提升有效轉化為更低的運行成本。

（注：NAS的目標是通過搜索算法從大量的可能架構中找到最優(yōu)的神經(jīng)網(wǎng)絡結構，利用自動化方法替代人工設計神經(jīng)網(wǎng)絡架構，從而提高模型的性能和效率。）

在Llama Nemotron Super v1.5中，NAS算法生成了非標準、非重復的網(wǎng)絡模塊（blocks）。相較于傳統(tǒng)的Transformer，其包含以下兩類變化：

• 跳過注意力機制（Skip attention）：在某些模塊中，直接跳過了注意力層，或者只用一個線性層來代替。
  
• 可變前饋網(wǎng)絡（Variable FFN）：在前饋網(wǎng)絡（Feedforward Network）中，不同模塊采用了不同的擴展/壓縮比。

由此，模型通過跳過attention或改變FFN寬度以減少FLOPs，從而在資源受限時更高效地運行模型。

之后，研究團隊還對原始的Llama模型（Llama 3.3 70B Instruct）進行了逐模塊的蒸餾（block-wise distillation），通過對每個模塊構造多個變體，并在所有模塊結構中搜索組合，從而構建一個模型。

使它既能滿足在單個H100 80GB顯卡上的吞吐量和內存要求，又盡量減少性能損失。

訓練與數(shù)據(jù)集

模型首先在FineWeb、Buzz-V1.2 和 Dolma三個數(shù)據(jù)集共400億個token的訓練數(shù)據(jù)上進行了知識蒸餾（knowledge distillation，KD)，重點關注英語單輪和多輪聊天。

在后訓練階段，模型通過結合監(jiān)督微調（SFT）和強化學習（RL）的方法，以進一步提升模型在代碼、數(shù)學、推理和指令遵循等關鍵任務上的表現(xiàn)。

這些數(shù)據(jù)既包括來自公開語料庫的題目，也包含人工合成的問答樣本，其中部分題目配有開啟和關閉推理的答案，旨在增強模型對推理模式的辨別能力。

英偉達表示數(shù)據(jù)集將在未來幾周內發(fā)布。

總的來說，Llama Nemotron Super V1.5是一個通過NAS自動優(yōu)化架構、精簡計算圖的 Llama 3.3 70B Instruct變體。它針對單卡運行場景做了結構簡化、知識蒸餾訓練與后訓練，兼顧高準確性、高吞吐量與低資源占用，特別適合英語對話類任務及編程任務的部署。

此外，在部署方面，英偉達延續(xù)了其一貫的生態(tài)優(yōu)勢：

我們的AI模型專為在 NVIDIA GPU 加速系統(tǒng)上運行而設計和/或優(yōu)化。通過充分利用 NVIDIA 的硬件（如 GPU 核心）和軟件框架（如 CUDA 庫），相比僅依賴 CPU 的方案，模型在訓練和推理階段實現(xiàn)了顯著的速度提升。

該模型現(xiàn)已開源。開發(fā)者可以在build.nvidia.com體驗Llama Nemotron Super v1.5或直接從Hugging Face下載模型。

One more thing

作為英偉達最新發(fā)布的開源大語言模型，Llama Nemotron Super v1.5隸屬于英偉達Nemotron生態(tài)，該生態(tài)集成了大語言模型、訓練與推理框架、優(yōu)化工具和企業(yè)級部署方案，旨在實現(xiàn)高性能、可控性強、易于擴展的生成式 AI 應用開發(fā)。

為滿足不同場景需求與用戶定位，英偉達在此生態(tài)的基礎上推出了三個不同定位的大語言模型系列——Nano、Super和Ultra。

其中，Nano系列針對成本效益和邊緣部署，適合部署在邊緣設備（如移動端、機器人、IoT設備等）或成本敏感型場景（比如本地運行、離線場景、商業(yè)小模型推理）。

Super系列則針對單個GPU上平衡的精度和計算效率，它可以在一張高性能 GPU（如 H100） 上運行，不需要多卡或大型集群。它的精度比Nano高，但比Ultra小巧，適合企業(yè)開發(fā)者或中型部署。我們上面提到的Llama Nemotron Super v1.5就屬于這一系列。

Ultra則致力于數(shù)據(jù)中心的最大精度，專為在數(shù)據(jù)中心、超算集群、多張 GPU上運行而設計，面向復雜推理、大規(guī)模生成、高保真對話等對精度要求極高的任務。

目前，Nemotron已獲得SAP、ServiceNow、Microsoft、Accenture、CrowdStrike、Deloitte 等企業(yè)支持或集成使用，用于構建面向企業(yè)級流程自動化和復雜問題解決的AI智能體平臺。

此外，在Amazon Bedrock Marketplace中也能通過NVIDIA NIM微服務調用Nemotron模型，簡化部署流程，支持云端、混合架構等多種運營方案。

參考鏈接
[1]https://www.marktechpost.com/2025/07/27/nvidia-ai-dev-team-releases-llama-nemotron-super-v1-5-setting-new-standards-in-reasoning-and-agentic-ai/
[2]https://developer.nvidia.com/blog/build-more-accurate-and-efficient-ai-agents-with-the-new-nvidia-llama-nemotron-super-v1-5/
[3]https://huggingface.co/nvidia/Llama-3_3-Nemotron-Super-49B-v1_5
[4]https://www.nvidia.com/en-us/ai-data-science/foundation-models/nemotron/