340B險勝70B，Kimi機器人貼臉“嘲諷”英偉達新開源模型
允許免費生成合成數(shù)據
排名超過Llama-3-70B，英偉達Nemotron-4 340B問鼎競技場最強開源模型！
前兩天，英偉達突然開源了其通用大模型Nemotron的3400億參數(shù)版本。
就在最近，競技場更新了排名情況：
勝率熱圖顯示，Nemotron-4 340B對陣Llama-3-70B的勝率為53%。
究竟Nemotron-4 340B表現(xiàn)如何？接下來一起看看。
新模型最新戰(zhàn)績
簡單回顧一下，英偉達上周五突然宣布開源Nemotron-4 340B，該系列包括基礎模型、指令模型和獎勵模型，用于生成訓練和改進LLM的合成數(shù)據。
Nemotron-4 340B一經發(fā)布便瞬時登頂Hugging Face RewardBench?榜一！
緊接著，競技場新近公布了Nemotron-4 340B的一系列測評結果。
在長文本查詢（長度>=500個token）中，Nemotron-4 340B排在第5位，超過Claude 3 Sonnet及Qwen 2-72B等主流開源模型。
在處理硬提示方面，Nemotron-4 340B超越了Claude 3 Sonnet和Llama3 70B-Instruct，顯示出其在應對復雜和高難度查詢時的卓越能力。
在整體性能評估中，Nemotron-4 340B的評分和穩(wěn)定性均處于中上水平，超越了多款知名開源模型。
概括一下，Nemotron-4 340B已經取得了不錯的戰(zhàn)績，直接超越了Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2，有時甚至可以和GPT-4一較高下。
其實，以前這個模型就曾登上大模型競技場LMSys Chatbot Arena，當時它的別名是june-chatbot。
具體來說，這個模型支持4K上下文窗口、50多種自然語言和40多種編程語言，訓練數(shù)據截止到2023年6月。
訓練數(shù)據方面，英偉達采用了高達9萬億個token。其中，8萬億用于預訓練，1萬億用于繼續(xù)訓練以提高質量。
在BF16精度下，模型的推理需要8塊H200，或16塊H100/A100 80GB。如果是在FP8精度下，則只需8塊H100。
值得一提的是，指令模型的訓練是在98%的合成數(shù)據上完成的。
而合成數(shù)據無疑是Nemotron-4 340B的最大亮點，它有可能徹底改變訓練LLM的方式。
合成數(shù)據才是未來
面對最新排名，興奮的網友們突然咂摸出一絲不對勁：
用340B對戰(zhàn)70B，而且還是險勝，這事兒有點說不過去吧！
就連機器人Kimi也對此開啟了“嘲諷”模式：
英偉達這波操作，參數(shù)大得像宇宙，性能卻跟Llama-3-70B肩并肩，科技界的”大號小能”啊!
對此，在英偉達負責AI模型對齊和定制的Oleksii Kuchaiev拿出了關鍵法寶：
是的，Nemotron-4 340B商用友好，支持生成合成數(shù)據。
高級深度學習研究工程師Somshubra Majumdar對此表示大贊：
你可以用它（免費）生成你想要的所有數(shù)據
這一突破性進展，標志著AI行業(yè)的一個重要里程碑——
從此，各行各業(yè)都無需依賴大量昂貴的真實世界數(shù)據集了，用合成數(shù)據，就可以創(chuàng)建性能強大的特定領域LLM！
那么，英偉達具體是如何實現(xiàn)的呢？
一句話概括，這與它開源通常不發(fā)布的獎勵模型有關。
生成高質量合成數(shù)據不僅需要優(yōu)秀的指導模型，還需根據特定需求進行數(shù)據篩選。
通常，使用同一模型作為評分者（LLM-as-Judge）；但在特定情況下，采用專門的獎勵模型（Reward-Model-as-Judge）進行評估更為合適。
而Nemotron-4 340B指令模型可以生成高質量的數(shù)據，然后獎勵模型可以過濾掉多個屬性的數(shù)據。
它會根據有用性、正確性、一致性、復雜性和冗長性這5個屬性，對響應評分。
另外，研究者可以使用自己的專用數(shù)據，再結合HelpSteer2數(shù)據集，定制Nemotron-4 340B基礎模型，以創(chuàng)建自己的指令或獎勵模型。
回到一開頭和Llama-3-70B的對戰(zhàn)，Nemotron-4 340B擁有更寬松的許可，或許這才是它的真正價值所在。
畢竟數(shù)據短缺早已成為業(yè)內普遍痛點。
據Epoch研究所的AI研究員Pablo Villalobos預測，到2024年年中，對高質量數(shù)據的需求超過供給的可能性為50%，到2026年發(fā)生這種情況的可能性為90%。
新的預期顯示，這種短缺風險將延遲至2028年。
合成數(shù)據才是未來正逐漸成為行業(yè)共識……
模型地址：
https://huggingface.co/nvidia/Nemotron-4-340B-Instruct
- 梁文鋒，Nature全球年度十大科學人物！2025-12-09
- 英偉達巧用8B模型秒掉GPT-5，開源了2025-12-06
- SpaceX估值8000億美元超OpenAI，IPO就在明年2025-12-06
- 騰訊發(fā)布EdgeOne Pages正式版：國內首個邊緣全棧開發(fā)平臺，內測階段用戶突破15萬2025-12-05
相關閱讀
