英偉達(dá)開源9B參數(shù)小模型，比Qwen3快6倍

不圓 2025-08-19 14:46:12 來源：量子位

不圓 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

小模型也開始卷起來了！

在麻省理工學(xué)院衍生公司Liquid AI發(fā)布了一款小到可以裝在智能手表上的新AI視覺模型，以及谷歌發(fā)布了一款可以在智能手機(jī)上運(yùn)行的小型模型之后，英偉達(dá)也加入了這場浪潮，推出了自己的新型小型語言模型（SLM）：

Nemotron Nano v2。

這款9B的“小”模型在復(fù)雜推理基準(zhǔn)測試上的準(zhǔn)確率與Qwen3-8B相當(dāng)或更高，速度快6倍。

再聯(lián)系到他們前些天發(fā)布的論文觀點(diǎn)：小模型才是智能體的未來，看來真不只是說說而已。

除了這款模型，他們首次“自豪地”開源了用于創(chuàng)建它的絕大部分?jǐn)?shù)據(jù)，包括預(yù)訓(xùn)練語料庫。

讓我們來看一下……20萬億？Nemotron Nano v2在20萬億多個token上進(jìn)行預(yù)訓(xùn)練？

與Qwen相比速度提升6倍

技術(shù)報(bào)告顯示，Nemotron Nano v2在復(fù)雜推理基準(zhǔn)測試上的準(zhǔn)確率與同等規(guī)模的領(lǐng)先開源模型Qwen3-8B相當(dāng)或更高，同時吞吐量——也就是模型速度——最高可提升6倍。

這款模型由英偉達(dá)從頭訓(xùn)練，設(shè)計(jì)目標(biāo)是成為兼顧推理與非推理任務(wù)的統(tǒng)一模型。

模型在響應(yīng)用戶查詢或執(zhí)行任務(wù)時，會首先生成推理過程（reasoning trace），隨后輸出最終答案。該模型支持“思考”預(yù)算控制，在推理過程中，用戶可以指定模型被允許“思考”的token數(shù)量。

如果用戶希望模型直接給出最終答案（跳過中間推理步驟），可通過配置實(shí)現(xiàn)，但這一做法可能導(dǎo)致對復(fù)雜推理類提示的準(zhǔn)確率下降。

相反，若允許模型先展示推理過程，通常能顯著提升最終答案的質(zhì)量，尤其針對需邏輯分析的復(fù)雜任務(wù)。

面對網(wǎng)友“思考預(yù)算控制是如何實(shí)現(xiàn)的”的問題，英偉達(dá)的模型訓(xùn)練師Oleksii Kuchaiev表示：

我們最初采用了與Qwen3相同的實(shí)現(xiàn)方法，但發(fā)現(xiàn)當(dāng)強(qiáng)制要求模型直接輸出答案時，它仍會在預(yù)設(shè)的思維鏈之外進(jìn)行“思考”。通過對截?cái)嗨季S鏈的訓(xùn)練，我們成功解決了這個問題。

基礎(chǔ)模型同樣開源

評估結(jié)果顯示，與其他開源小規(guī)模模型相比，Nemotron Nano v2在準(zhǔn)確率上具有優(yōu)勢。在 NeMo-Skills套件的“推理開啟”模式下測試，該模型在AIME25上達(dá)到72.1%，在MATH500上達(dá)到97.8%，在GPQA上達(dá)到64.0%，在LiveCodeBench上達(dá)到 71.1%。

在指令遵循和長上下文基準(zhǔn)測試中的得分也有報(bào)告：在IFEval上達(dá)到 90.3%，在RULER 128K測試中達(dá)到 78.9%，在BFCL v3和HLE基準(zhǔn)測試中也有較小但可測量的提升。

Nemotron Nano v2經(jīng)過了以下訓(xùn)練過程：

預(yù)訓(xùn)練：模型使用FP8精度在20萬億個token上進(jìn)行預(yù)訓(xùn)練，采用Warmup-Stable-Decay學(xué)習(xí)率調(diào)度。隨后進(jìn)入持續(xù)預(yù)訓(xùn)練長上下文擴(kuò)展階段，使其在不降低其他基準(zhǔn)測試性能的情況下達(dá)到128k的能力。

后訓(xùn)練：Nemotron Nano v2通過監(jiān)督微調(diào)（SFT）、組相對策略優(yōu)化（GRPO）、直接偏好優(yōu)化（DPO）和人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行后訓(xùn)練。約5%的數(shù)據(jù)包含故意截?cái)嗟耐评碥壽E，從而在推理時實(shí)現(xiàn)細(xì)粒度思考預(yù)算控制。

壓縮：最后，基礎(chǔ)模型和對齊模型均經(jīng)過壓縮（剪枝和蒸餾），支持在單個NVIDIA A10G GPU（22 GiB 內(nèi)存，bfloat16 精度）上進(jìn)行128k token的上下文推理。這一成果是通過擴(kuò)展基于Minitron的壓縮策略實(shí)現(xiàn)的，該策略專門針對受限條件下的推理模型壓縮需求而設(shè)計(jì)。

除了Nemotron Nano v2模型本身，英偉達(dá)還發(fā)布了兩個基礎(chǔ)模型NVIDIA-Nemotron-Nano-12B-v2-Base（對齊或剪枝前的基礎(chǔ)模型）和NVIDIA-Nemotron-Nano-9B-v2-Base（剪枝的基礎(chǔ)模型），對應(yīng)模型訓(xùn)練的不同階段，均支持128k上下文長度。

最后，Nemotron Nano v2當(dāng)前支持在線試用，鏈接可見文末。

超大預(yù)訓(xùn)練數(shù)據(jù)庫

除了Nemotron Nano v2，英偉達(dá)首次發(fā)布了他們用于創(chuàng)建模型的絕大部分?jǐn)?shù)據(jù)，包括預(yù)訓(xùn)練語料庫。

至于為什么是“絕大部分”，有網(wǎng)友問了這個問題，官方回復(fù)簡直不要太有道理（笑）。

預(yù)訓(xùn)練數(shù)據(jù)集Nemotron-Pre-Training-Dataset-v1包含66萬億個優(yōu)質(zhì)網(wǎng)絡(luò)爬取、數(shù)學(xué)、代碼、SFT 和多語言問答數(shù)據(jù)，并分為四個類別：

Nemotron-CC-v2：作為Nemotron-CC的升級版本，新增收錄了2024至2025年間八個批次的Common Crawl網(wǎng)絡(luò)快照數(shù)據(jù)。數(shù)據(jù)已進(jìn)行全球去重，并使用Qwen3-30B-A3B進(jìn)行合成改寫。它還包含翻譯成15種語言的合成多樣化問答對，支持強(qiáng)大的多語言推理和通用知識預(yù)訓(xùn)練。

Nemotron-CC-Math-v1: 一個基于Common Crawl、使用英偉達(dá)的Lynx + LLM流程生成的1330億token的數(shù)學(xué)專注數(shù)據(jù)集，在保留方程和代碼格式的同時，將數(shù)學(xué)內(nèi)容標(biāo)準(zhǔn)化為LaTeX格式。這確保了關(guān)鍵的數(shù)學(xué)和代碼片段保持完整，從而生成高質(zhì)量的預(yù)訓(xùn)練數(shù)據(jù)，在基準(zhǔn)測試中優(yōu)于先前的數(shù)學(xué)數(shù)據(jù)集。

Nemotron-Pretraining-Code-v1: 一個大規(guī)模的精選代碼數(shù)據(jù)集，源自GitHub，并通過多階段去重、許可證執(zhí)行和啟發(fā)式質(zhì)量檢查進(jìn)行過濾。它還包括11種編程語言的LLM生成的代碼問答對。

Nemotron-Pretraining-SFT-v1：一個綜合生成的數(shù)據(jù)集，涵蓋STEM、學(xué)術(shù)、推理和多語言領(lǐng)域。該數(shù)據(jù)集整合了多元化的高質(zhì)量內(nèi)容，包括從數(shù)學(xué)與科學(xué)核心題庫提取的復(fù)雜多選題和分析題、研究生階段的專業(yè)學(xué)術(shù)文獻(xiàn)，以及經(jīng)過指令微調(diào)的SFT數(shù)據(jù)。

Nemotron-Pretraining-Dataset-sample：該數(shù)據(jù)集的一個小型抽樣版本提供了10個具有代表性的數(shù)據(jù)子集，涵蓋了高質(zhì)量問答數(shù)據(jù)、數(shù)學(xué)專項(xiàng)內(nèi)容、代碼元數(shù)據(jù)以及SFT指令數(shù)據(jù)。

那些數(shù)字看起來都嚇人，數(shù)零都得數(shù)半天（目移）。

One More Thing

順帶一提，最近英偉達(dá)的開源勢頭可以說是很猛了。

相比于其他國外科技巨頭陸續(xù)走向的閉源道路，英偉達(dá)構(gòu)建的Nemotron生態(tài)直接把開源二字寫在了門面上。

無論是前段時間發(fā)布的Llama Nemotron Super v1.5，還是這次的Nemotron Nano v2，對標(biāo)的也是國內(nèi)開源模型Qwen3。

這樣的策略會給他們帶來什么？又會改變些什么？我們拭目以待。

參考鏈接：
[1]https://x.com/ctnzr/status/1957504768156561413
[2]https://research.nvidia.com/labs/adlr/NVIDIA-Nemotron-Nano-2/
[3]https://venturebeat.com/ai/nvidia-releases-a-new-small-open-model-nemotron-nano-9b-v2-with-toggle-on-off-reasoning/
論文：https://research.nvidia.com/labs/adlr/files/NVIDIA-Nemotron-Nano-2-Technical-Report.pdf
模型：https://huggingface.co/collections/nvidia/nvidia-nemotron-689f6d6e6ead8e77dd641615
試用：https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2