首個開源實現100%可復現的穩定RL訓練框架來了！2次結果完全重合
SGLang團隊最新成果
SGLang團隊 投稿
量子位 | 公眾號 QbitAI
開源框架實現100%可復現的穩定RL訓練！
下圖是基于Qwen3-8B進行的重復實驗。兩次運行，一條曲線，實現了結果的完美重合，為需要高精度復現的實驗場景提供了可靠保障。
這就是SGLang團隊聯合slime團隊的最新開源成果。
近期，Thinking Machines Lab (由 OpenAI 前 CTO Mira Murati 創立) 發布了一篇文章——《克服LLM推理中的不確定性》，指出問題的核心在于缺乏批次不變性?(batch invariance)。
自從這篇博客發布后，業界反響熱烈，一直期待開源推理引擎能實現穩定可用的確定性推理，或者更進一步，實現完全可復現的RL訓練。而現在，SGLang和slime一起給出了答案。
SGLang團隊在Thinking Machines Lab發布的批次不變算子基礎之上，通過定制一系列注意力算子和采樣邏輯，實現了完全確定性推理。該實現同時保持與分塊預填充 (chunked prefill)、CUDA Graph、Radix Cache 和非貪婪采樣 (non-greedy sampling)?等關鍵功能的兼容性。
利用CUDA Graph，SGLang可以實現2.8倍的加速。與 Thinking Machines Lab博客中報告的61.5%性能下降相比，SGLang在FlashInfer和FlashAttention 3后端平均僅有34.35%的性能下降。
在此基礎上，SGLang團隊聯合slime團隊一起，以極少代碼實現了完全可復現的穩定RL訓練，具體細節現在全面公開。
問題的本質：為什么LLM推理不確定？
從大語言模型(LLM)推理中獲得一致輸出的能力越來越重要。例如，推理結果的不確定性可能會隱式地將在線策略強化學習(RL)轉換為離線策略RL。然而，即使將溫度降到0，由于使用了動態批處理(Dynamic Batching) 和基數緩存(Radix Cache)，采樣仍然不是確定性的。
Thinking Machines Lab的研究發現，不確定性的最大來源是變化的批次大?。?/strong>即使用戶重復提交相同的提示，輸出也可能在不同的運行中有所變化，因為請求可能與其他用戶的請求一起批處理，批次大小的差異導致不確定的推理結果。
更具體地說，不同的批次大小會影響內核的歸約（reduction）分割過程。這導致每個歸約塊的順序和大小變化，由于浮點運算的非結合性，可能導致不確定的輸出。為了解決這個問題，他們實現了批次不變(batch invariant) 的歸約算子（RMSNorm、Matmul）。這些算子也作為配套庫發布供外部集成。
在Thinking Machines Lab工作的基礎上，SGLang提供了強大、高吞吐量的確定性 LLM 推理解決方案，將批次不變(batch invariant)算子、CUDA 圖、基數緩存和分塊預填充與高效性能相結合。通過全面的測試和強化學習訓練實驗，其確定性得到了充分驗證。
主要增強功能包括：
- 集成Thinking Machines Lab的批次不變(batch invariant)算子。
- 實現固定KV分割大小的批次不變注意力算子。支持多種后端，包括 FlashInfer、FlashAttention 3和Triton。
- 與關鍵推理性能相關功能完全兼容，例如分塊預填充、CUDA圖、基數緩存等，當啟用確定性推理時，所有這些功能都仍受支持。
- 支持按請求設置采樣種子(per-request sampling seed)，即使在temperature>0的非貪婪采樣模式下也能實現確定性推理。
實驗結果
確定性評估
引入了一個確定性測試，以驗證推理結果在不同批處理條件下是否保持一致。該測試包含三個子測試，難度循序漸進：
- 單一（Single）：在不同批次大小下運行相同的提示，檢查輸出是否保持一致。
- 混合（Mixed）：在同一批次中混合不同類型的提示（短提示和長提示），并驗證一致性。
- 前綴（Prefix）：使用來自同一長文本但前綴長度不同的提示，隨機進行批處理，并測試結果在不同運行中是否可復現。
以下是50次采樣試驗的結果。數字表示每個子測試觀察到的獨特輸出數量（數值越低，確定性越高）。
離線推理性能評估:
使用三種常見的RL推理工作負載（256個輸入/輸出長度不同的請求）來衡量非確定性模式和確定性模式的端到端延遲。
測試結果顯示，確定性推理具有良好的可用性，大部分性能下降控制在25%到45%之間，其中FlashInfer和FlashAttention 3后端的平均性能下降為34.35%。大部分開銷來自未經優化的基于Triton編寫的批次不變算子，這表明性能仍有很大的提升空間。
團隊確實觀察到確定性推理比正常模式要慢。因此建議主要將其用于調試和復現性。SGLang團隊未來的工作之一將專注于加速確定性推理，目標是將性能差距縮小到20%以內，或理想情況下達到與正常模式持平。
使用方法
SGLang環境設置：
# 使用最新的主分支
git?clone?https://github.com/sgl-project/sglang.git
cd?sglang
# 安裝 Python 依賴
pip install --upgrade pip
pip install -e?"python[all]"啟動SGLang Server：
SGLang支持多種模型的確定性推理。例如，對于Qwen3-8B，您只需在啟動服務器時添加—enable-deterministic-inference參數：
python3?-m sglang.launch_server
? ??--model-path Qwen/Qwen3-8B
? ??--attention-backend <flashinfer|fa3|triton>
? ??--enable-deterministic-inference未來工作
團隊未來的努力將集中在以下領域，以增強確定性推理的性能和可用性：
- 更快的批次不變算子：批次不變算子是性能瓶頸，因此將努力優化其配置并可能重寫它們以提升性能。這對于提高 RL 推理的速度也至關重要。
- 支持 MoE 模型：目前只支持像 QWen3-8B 或 LLaMa-3.1-8B 這樣的Dense模型的確定性推理。未來計劃將支持擴展到像Qwen3-30B-A3B或DeepSeek-V3這樣的混合專家模型。
- 增強基數緩存功能：將改進基數樹，使其與更廣泛的注意力算子兼容，超越目前對FlashAttention 3后端的限制。
- 張量并行（Tensor Parallelism）：觀察到TP1和TP2是確定性的，可能因為不涉及浮點加法的結合率。將嘗試擴展到更大的 TP size， 可能包括修改歸約算子以實現確定性。
- FlexAttention集成：除了目前支持的注意力后端，計劃未來將確定性推理的支持擴展到FlexAttention。
SGLang的確定性推理和slime的可復現訓練功能目前正在積極完善中，團隊誠摯歡迎廣大用戶和開發者積極試用，并提供寶貴的反饋意見。您的使用體驗和建議將推動這一重要功能的進一步優化，推動確定性推理技術的發展。
參考鏈接：
[1]https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/
[2]https://lmsys.org/blog/2025-09-22-sglang-deterministic/
[3]https://github.com/sgl-project/sglang/issues/10278
[4]https://thudm.github.io/slime/_examples_synced/reproducibility/README.html#reproducibility
[5]https://github.com/THUDM/slime/pull/370
- 讀懂2025中國AI走向！公司×產品×人物×方案，最值得關注的都在這里了2025-12-10
- 誤入人均10個頂級offer的技術天團活動，頂尖AI人才的選擇邏輯我悟了2025-12-04
- DeepSeek-V3.2系列開源，性能直接對標Gemini-3.0-Pro2025-12-01
- 字節“豆包手機”剛開賣，吉利系進展也曝光了：首月速成200人團隊，挖遍華為小米榮耀2025-12-01
相關閱讀
