草稿鏈代替思維鏈，推理token砍掉80%，顯著降低算力成本和延遲
要求模型為每個推理步驟生成簡潔、信息密集的token
夢晨 發自 凹非寺
量子位 | 公眾號 QbitAI
推理token減少80%-90%，準確率變化不大，某些任務還能增加。
Zoom團隊提出思維鏈替代品“草稿鏈”，顯著降低延遲和算力成本。
原理很簡單，要求模型為每個推理步驟生成簡潔、信息密集的token。
這一思路受到人類解題過程啟發，人類通常不會詳細闡述每一個細節，只是簡單幾下關鍵的中間結果，作為草稿來輔助思考。
此外，草稿鏈方法簡單且易于實現，不需要修改模型、微調或強化學習，只需更新提示詞中的示例即可，相關代碼和數據已在GitHub上開源。
研究團隊認為，與另一種降低延遲和計算成本的方法“在連續潛空間推理”相比，草稿鏈保留了可解釋性，且可以應用于閉源的黑盒模型。
第三方分析測算，對于每個月處理100萬個推理請求的企業， 可以將成本從思維鏈的3800美元降低到760美元，每月節省超過3000美元。
實驗驗證：準確率不降，成本大幅降低
實驗遵循原始思維鏈論文，評估3類任務：算術推理、常識推理和符號推理。
算數推理任務選擇GSM8k數據集，從準確率看，標準提示下GPT-4o和Claude 3.5 Sonnet的準確率分別僅53.3%和64.6%，思維鏈使兩者均超95%，草稿鏈也達到91%左右。
在token使用上，思維鏈生成約200個token/響應，草稿鏈僅約40個，減少約80%。
延遲方面，草稿鏈使GPT-4o和Claude 3.5 Sonnet的平均延遲分別降低76.2%和48.4%。
常識推理選擇BIG-bench 的日期理解和運動理解任務也取得了相似的結果，特別值得注意的是Claude 3.5 Sonnet在草稿鏈下準確率還有所上升。
符號推理選擇拋硬幣任務，由于原數據集未公開，作者合成了250個示例的測試集。
草稿鏈在保持100%準確率的情況下大幅減少了推理token和延遲。
但草稿鏈方法也有一定的局限性：在零樣本設置下有效性會顯著下降。
此外，在參數量小于30億的小模型上，雖然草稿鏈仍能有效減少每個回答所需的token數并提高準確率，但與思維鏈相比，性能差距更大。
研究團隊推測，可能是由于訓練數據中缺乏草稿鏈風格的推理模式，在不提供few-shot樣本指導的情況下，很難生成簡潔而有幫助的”草稿”。
論文地址：
https://arxiv.org/abs/2502.18600v2
參考鏈接：
[1]https://ajithp.com/2025/03/02/chain-of-draft-llm-prompting/
- 英偉達自毀CUDA門檻！15行Python寫GPU內核，性能匹敵200行C++2025-12-08
- GPT-5-Thinking新訓練方法公開：讓AI學會懺悔2025-12-04
- GPT5.5代號“蒜你狠”曝光！OpenAI拉響紅色警報加班趕制新模型，最快下周就發2025-12-03
- 華爾街尬捧TPU學術界懵了：何愷明5年前就是TPU編程高手，多新鮮2025-11-30
相關閱讀
