1/30訓練步驟復刻DeepSeek-R1-Zero，沈向洋姜大昕張祥雨等開源推理模型RL訓練方法

西風 2025-02-22 17:57:31 來源：量子位

復雜獎勵函數不是必要的

夢晨西風發自凹非寺

量子位 | 公眾號 QbitAI

DeepSeek啥都開源了，就是沒有開源訓練代碼和數據。

現在，開源RL訓練方法只需要用1/30的訓練步驟就能趕上相同尺寸的DeepSeek-R1-Zero蒸餾Qwen。

國內大模型六小強之一的階躍星辰聯與清華聯合發布Open Reasoner Zero（ORZ），由AI大拿沈向洋、階躍星辰創始人/CEO姜大昕、ResNet作者張祥雨等一眾大佬親自署名。

在響應長度上，用約17%的訓練步驟就能趕上DeepSeek-R1-Zero 671B。

值得關注的是，團隊還發現了一個重要的轉折點——

在訓練步驟約680步時，模型的訓練獎勵值、反思能力和回答長度同時出現顯著提升，疑似出現了DeepSeek-R1-Zero論文中類似的“頓悟時刻”（aha moment）。

目前，研究訓練數據、訓練代碼、論文、模型全都100％開源，開源許可證用的也是寬松的MIT Lisence。

開源48小時，就已速攬700+星星。

以下是更多細節。

復雜的獎勵函數不必要？！

通過廣泛的實驗，團隊證明了一種極簡主義的方法，帶有GAE的原版PPO就可以有效地擴展RL訓練（關鍵的參數設置是GAE λ= 1，折扣因子γ=1）。

再加上基于規則的獎勵函數，足以在推理任務上同時擴大響應長度和基準性能，類似于DeepSeek-R1-Zero中觀察到的現象。

這一結果表明復雜的獎勵函數是不必要的。

另外，團隊在不依賴任何基于KL的正則化技術的情況下實現了穩定的訓練，這與RLHF和推理模型領域目前的認知不同，這也為進一步擴大強化學習規模提供了希望。

同時擴大數據數量和多樣性對于Open Reasoner Zero的訓練至關重要。雖然在像MATH這樣有限的學術數據集上訓練會導致性能快速達到平臺期，但精心策劃的大規模多樣化數據集能夠實現持續擴展，在訓練集和測試集上都沒有飽和的跡象。

在以Qwen2.5-Base-7B為基礎模型的實驗中，所有基準測試在某個時間點都會經歷獎勵和響應長度的突然增加，這種現象類似于涌現行為。

在整個訓練過程中，Average Correct Reflection Length始終高于 Average Response Length。一個特別值得注意的現象出現在第 680步附近，可以觀察到三個指標同時加速。

最終，Open-Reasoner-Zero模型在MMLU和MMLU_PRO基準測試中，無需任何額外的指令調整即可超越 Qwen2.5 Instruct。

昨天，在階躍星辰生態開放日上，階躍星辰創始人兼CEO姜大昕就有簡單提及這項研究。

只提了一嘴，是因為研究還未完全完成（Working in Progress)，隨時可能有新進展，感興趣的盆友可以關注一哈。

項目地址：

https://github.com/Open-Reasoner-Zero/Open-Reasoner-Zero/