字節(jié)&MAP重塑大模型推理算法優(yōu)化重點(diǎn)，強(qiáng)化學(xué)習(xí)重在高效探索助力LLM提升上限

henry 2025-08-11 09:52:51 來(lái)源：量子位

字節(jié)&MAP團(tuán)隊(duì)投稿 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

強(qiáng)化學(xué)習(xí)（RL）范式雖然顯著提升了大語(yǔ)言模型（LLM）在復(fù)雜任務(wù)中的表現(xiàn)，但其在實(shí)際應(yīng)用中仍面臨傳統(tǒng)RL框架下固有的探索難題。

一個(gè)普遍存在的現(xiàn)象是：在訓(xùn)練過(guò)程中，模型的熵值迅速下降，推理路徑趨于固化，導(dǎo)致“利用（exploitation）”遠(yuǎn)超“探索（exploration）”，嚴(yán)重失衡。

這種過(guò)早收斂不僅削弱了模型的多樣性生成能力，也限制了其性能上限的進(jìn)一步突破。

受OpenAI經(jīng)典論文《First Return, Then Explore》中“先返回，再探索”思想的啟發(fā)，來(lái)自字節(jié)跳動(dòng)、MAP，曼徹斯特大學(xué)的聯(lián)合團(tuán)隊(duì)提出了一種全新的結(jié)構(gòu)化探索框架：First Return, Entropy-Eliciting Explore（FR3E）。

該方法通過(guò)識(shí)別推理軌跡中具有高不確定性的關(guān)鍵token，并以此為錨點(diǎn)引導(dǎo)后續(xù)的多樣化展開(kāi)，系統(tǒng)性地重建了LLM在強(qiáng)化學(xué)習(xí)中的探索機(jī)制，旨在實(shí)現(xiàn)利用與探索之間的動(dòng)態(tài)平衡，從而釋放RL訓(xùn)練的更高潛力。

值得一提的是，F(xiàn)R3E發(fā)布后，《First Return, Then Explore》的作者之一Jeff Clune還在X（原 Twitter）上轉(zhuǎn)發(fā)了這篇文章。

算法框架

FR3E的算法框架分為兩個(gè)階段：

第一階段：First Return

在該階段，模型對(duì)每條prompt進(jìn)行多次rollout，自由探索可能的解題路徑，并收集相應(yīng)的軌跡及其獎(jiǎng)勵(lì)信號(hào)。

隨后，采用拒絕采樣（rejection sampling）策略過(guò)濾掉全正確的樣本（避免對(duì)已掌握知識(shí)的重復(fù)學(xué)習(xí)），并針對(duì)剩余樣本構(gòu)建基準(zhǔn)路徑：對(duì)于存在部分正確結(jié)果的prompt，選取其中一條正確軌跡作為基準(zhǔn)；

對(duì)于全部錯(cuò)誤的prompt，則隨機(jī)選取一條作為參考路徑。

在此基礎(chǔ)上，計(jì)算基準(zhǔn)路徑中每個(gè)token的生成熵，篩選出top-n個(gè)高熵token作為關(guān)鍵決策點(diǎn)。

這些關(guān)鍵點(diǎn)將整條軌跡劃分為n+1個(gè)partial rollout。通過(guò)將原始prompt與前n個(gè)partial rollout依次拼接（最后一個(gè)包含答案的部分被排除），形成n+1個(gè)中間狀態(tài)（state），初始狀態(tài)即為原始prompt本身。

第二階段：Entropy-Eliciting Explore

基于構(gòu)建的多狀態(tài)prompt組，F(xiàn)R3E在GRPO++（融合了拒絕采樣與Clip-Higher機(jī)制的GRPO變體）的基礎(chǔ)上，進(jìn)一步引入動(dòng)態(tài)優(yōu)勢(shì)調(diào)制機(jī)制，以更精細(xì)地調(diào)控學(xué)習(xí)信號(hào)。具體而言，通過(guò)引入了一個(gè)優(yōu)勢(shì)調(diào)制因子，它基于從上一個(gè)狀態(tài)到當(dāng)前狀態(tài)的價(jià)值邊際改善來(lái)縮放學(xué)習(xí)信號(hào)。

優(yōu)勢(shì)調(diào)制因子定義為：

調(diào)控后的Advantage定義為：

當(dāng)

表示當(dāng)前state prompt中的partial rollout部分對(duì)最終答案有正向影響，此時(shí)需要適當(dāng)降低它的advantage，防止模型過(guò)早鎖定當(dāng)前推理路徑，保留探索空間。

反之，當(dāng)

則意味著當(dāng)前state prompt中的partial rollout部分對(duì)思考過(guò)程沒(méi)有或有負(fù)向影響，需要放大其優(yōu)勢(shì)信號(hào)，激勵(lì)模型在該節(jié)點(diǎn)進(jìn)行更積極的探索，以突破推理瓶頸。

在數(shù)據(jù)構(gòu)建方面，團(tuán)隊(duì)采用雙難度混合策略：低難度數(shù)據(jù)來(lái)自DeepScaler，用于穩(wěn)定訓(xùn)練初期的收斂過(guò)程；

高難度數(shù)據(jù)則取自SimpleRL中難度等級(jí)為3–5的樣本，旨在激發(fā)模型的深層推理能力。這種組合既保障了訓(xùn)練穩(wěn)定性，又提供了足夠的挑戰(zhàn)性以推動(dòng)能力躍遷。

實(shí)驗(yàn)結(jié)果

為全面評(píng)估FR3E的有效性，團(tuán)隊(duì)在多個(gè)權(quán)威數(shù)學(xué)推理基準(zhǔn)上進(jìn)行了實(shí)驗(yàn)，包括GSM8K、Math500、Minerva Math、Gaokao2023en、OlympiadBench、College Math以及AIME24。并在Qwen2.5-7B、Qwen2.5-Math-7B和Qwen2.5-32B三種模型上進(jìn)行了評(píng)測(cè)。

實(shí)驗(yàn)結(jié)果表明，F(xiàn)R3E在多個(gè)基準(zhǔn)上均顯著優(yōu)于強(qiáng)基線GRPO++，展現(xiàn)出更強(qiáng)的泛化與推理能力。

尤其值得注意的是，在訓(xùn)練動(dòng)態(tài)分析中，F(xiàn)R3E展現(xiàn)出更持久的探索行為：其熵值衰減更緩慢，響應(yīng)長(zhǎng)度更長(zhǎng)，特別是在Qwen2.5-Math-7B這類已微調(diào)模型上，成功突破了傳統(tǒng)方法中熵值長(zhǎng)期處于低位的“僵化”困境，實(shí)現(xiàn)了探索能力的再激活。

此外，通過(guò)對(duì)多次rollout結(jié)果的統(tǒng)計(jì)監(jiān)控，團(tuán)隊(duì)發(fā)現(xiàn)FR3E顯著提升了“全正確”軌跡的數(shù)量，同時(shí)大幅降低了“全錯(cuò)誤”軌跡的比例。

這表明，原本僅能部分解出或完全失敗的問(wèn)題，在FR3E的訓(xùn)練機(jī)制下，逐步演化為穩(wěn)定、完整的正確解答路徑，真正實(shí)現(xiàn)了從“部分成功”到“全面突破”的躍遷。

綜上所述，F(xiàn)R3E提出了一種新穎且高效的結(jié)構(gòu)化探索范式，直面LLM在強(qiáng)化學(xué)習(xí)中“探索不足”的核心瓶頸。

通過(guò)“先返回、再探索”的兩階段設(shè)計(jì)，結(jié)合高熵錨點(diǎn)識(shí)別與動(dòng)態(tài)優(yōu)勢(shì)調(diào)制機(jī)制，F(xiàn)R3E不僅有效延緩了模型的過(guò)早收斂，更顯著提升了復(fù)雜推理任務(wù)中的性能上限。

實(shí)驗(yàn)充分驗(yàn)證了FR3E在多個(gè)數(shù)學(xué)推理基準(zhǔn)上的優(yōu)越性，尤其在提升探索多樣性、增強(qiáng)長(zhǎng)程推理穩(wěn)定性方面表現(xiàn)突出。

更重要的是，該方法所體現(xiàn)的“結(jié)構(gòu)化反饋 + 自適應(yīng)調(diào)節(jié)”思想，具備良好的可擴(kuò)展性。團(tuán)隊(duì)期待FR3E所倡導(dǎo)的探索機(jī)制，能夠?yàn)槲磥?lái)大模型的強(qiáng)化學(xué)習(xí)訓(xùn)練提供新的范式參考。

論文地址：https://arxiv.org/pdf/2507.07017

— 完 —

量子位 QbitAI · 頭條號(hào)簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)