NeurIPS唯一滿分論文曝光，來自清華上交

四個審稿人全給6分，NeurIPS唯一滿分論文炸了！

之所以說它炸，主要是論文給出的結論實在太出人意料了——

真正決定推理上限的是基座模型本身而非強化學習，且蒸餾比強化學習更有望實現大模型自我進化。

好家伙，這無異于給正炙手可熱的RLVR（可驗證獎勵的強化學習）迎面潑下一盆冷水~

RLVR，自大模型推理范式開啟后就成為一眾主流模型（如OpenAI-o1、DeepSeek-R1）的核心驅動力。

由于無需人工標注，通過自動驗證獎勵優化模型，它一度被視為實現模型自我進化、逼近更高推理能力的終極路徑。

但來自清華上交的這篇論文，卻讓風向陡然生變——

如果進化的鑰匙不在強化學習，那當前圍繞RLVR的巨額投入與探索，意義何在？

真正能突破推理上限：蒸餾而非強化學習

這篇論文題目為《Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model? 》，“獲NeurIPS唯一滿分”的結論由PaperCopilot（非官方論文分析平臺）統計得出。

同時它還榮獲ICML 2025 AI4Math Workshop最佳論文獎，并入選NeurIPS 2025大會口頭報告。

之所以提出這項研究，主要是近年來RLVR在大語言模型中被廣泛應用于提升數學、編程、視覺推理等任務的表現。

隨之而來的是，AI圈普遍假設——

RLVR不但能提升推理效率，還可能擴展模型的推理能力，即讓模型學會底層基礎模型本來不會的新推理路徑。

但問題是，這一結論真的成立嗎？

于是帶著疑問，來自清華上交的研究團隊核心想要弄清一個問題：

RLVR是否真的讓大語言模型超越其“底模”推理能力邊界，還是只是優化已有能力？

而通過一系列實驗，團隊得出以下最新結論：

• RLVR主要是在“強化”底模已有的路徑，而不是“發現”底模沒有的路徑。
• RL訓練后的模型在低采樣次數（如pass@1）表現更好，但隨著采樣次數增加（pass@64、pass@256…），底模反而能超過RL模型，這說明底模隱藏的推理能力被低估了。
• 多種RL算法（如PPO、GRPO、Reinforce++等）在提升采樣效率方面差異不大，且與“理論上底模最大能力”相比，仍有明顯差距，這說明想靠RL突破底模上限還不夠。
• 蒸餾方法更有可能“擴展”模型的推理能力范圍，因為其接收來自教師模型的新推理模式，而RLVR更受限于底模。

換句話說，與普遍認知相反，RLVR的實際作用很可能被嚴重高估了。

關鍵評估指標：pass@k

而為了得出上述結論，他們采用了pass@k這一關鍵評估指標。

所謂pass@k，是指衡量一個模型在多次嘗試中，至少成功一次的幾率。

相比一些傳統指標（如greedy decoding準確率）僅反映平均表現，它通過多輪采樣揭示模型的推理邊界，能更精準判斷模型是否“有能力”解決問題，而非“大概率”解決問題。

具體來說，他們主要把底模、RL模型放在同一批題目上反復測試，來看模型是“真的變聰明”還是只是“更會挑答案”。

為避免實驗結果的局限性，團隊選取了大語言模型推理能力的三大典型應用領域，并搭配權威基準數據集，確保測試的全面性和代表性。

• 數學推理（GSM8K、MATH500等6個基準）
• 代碼生成（LiveCodeBench等3個基準）
• 視覺推理（MathVista等2個基準）

模型則以主流大語言模型家族為基礎，包括Qwen2.5系列（70億、140億、320億參數）和LLaMA-3.1-80億參數模型等，并構建“基礎模型 vs RLVR訓練模型”的對照組合。

其中RLVR訓練模型是指，分別用PPO、GRPO、Reinforce++等6種主流RLVR算法訓練后的版本，形成多組平行對照。這樣既能對比RLVR與基礎模型的差異，也能橫向比較不同RLVR算法的效果。

然后就是對不同模型在各基準任務上的pass@k指標進行多維度采集與分析。

針對每個測試樣本，分別讓基礎模型和RLVR模型進行不同次數的采樣（k值從1逐步提升至1024），記錄每次采樣中“至少出現一個正確結果”的概率。

隨后團隊重點分析兩個關鍵規律：

一是同一k值下，RLVR模型與基礎模型的pass@k差異；二是隨著k值增大，兩類模型pass@k曲線的變化趨勢。

同時，結合模型輸出的推理路徑困惑度分析（perplexity）、可解問題子集比對等輔助手段，最終形成對RLVR能力的全面判斷。

論文作者介紹

值得一提的是，這項研究還是出自咱們國內研究人員之手。

一共8位，7位來自清華大學LeapLab，1位來自上海交通大學。

項目負責人Yang Yue (樂洋)，清華大學自動化系四年級博士生。

研究方向為強化學習、世界模型、多模態大模型和具身智能，之前曾在顏水成創辦的新加坡Sea AI Lab和字節跳動 Seed團隊實習過。

雖然還是學生，但發表或參與發表的多篇論文均入選頂會。這當中，他以核心作者身份發表的論文《How Far is Video Generation from World Model: A Physical Law Perspective》，因探索視頻模型能否學會物理規律，還被國內外眾多大佬Yan Lecun，xie saining，Kevin Murphy等轉發。

另一位和他貢獻相同的作者Zhiqi Chen，目前為清華大學自動化工程系大三學生。

研究方向為推理密集型大語言模型的強化學習，在校期間多次獲得國家獎學金。

通訊作者Gao Huang(黃高)，清華大學自動化系副教授、博士生導師， LeapLab負責人。

他最知名的工作之一就是發表了論文《Densely Connected Convolutional Networks》，其中提出了經典卷積架構模型DenseNet。

該論文不僅榮獲CVPR2017最佳論文，而且被編入多本深度學習著作，單篇引用量接近6萬次。

其他作者中，來自清華的還有：

• Rui Lu(盧睿)，清華大學自動化系四年級博士生，本科畢業于姚班。
• Andrew Zhao(趙啟晨)，清華大學自動化系博士生，本碩畢業于加拿大哥倫比亞大學和南加州大學。
• Shiji Song，清華大學自動化系教授，與黃高一起負責指導本項研究。
• Yang Yue (樂陽)?，和項目負責人名字同音，但由于相對低調網上暫無太多公開資料。

以及唯一來自交大的Zhaokai Wang(王肇凱)，目前是上海交通大學四年級博士生。

本科畢業于北京航空航天大學，同一時期還拿到了北大經濟學學士學位，當前也在上海人工智能實驗室通用視覺團隊（OpenGVLab）實習。

對于這項研究，團隊作者特意在論文主頁強調：這并不是說強化學習無用了。實際上，它在一些低采樣場景仍舊非常實用。

以及有網友發現，有意思的是，DeepSeek在一年前的一篇論文中也提到了相關現象。

……這些發現表明，強化學習通過使輸出分布更加魯棒來提升模型的整體表現，換言之，性能的提升似乎源于促進了正確答案出現在TopK結果中，而非源于基礎能力的增強。

而這一次，結論被用論文完整論證了。

論文：
https://limit-of-rlvr.github.io/