AI解數學題，答案對過程卻錯？DeepMind新研究改進谷歌思維鏈方法
錯誤率下降至3.4%
羿閣 發自 凹非寺
量子位 | 公眾號 QbitAI
AI做數學題的成績又又又被刷新了！
眾所周知，隨著谷歌思維鏈（chain of thought）概念的提出，AI做題時已經能像人類一樣生成解題步驟。
這次，來自DeepMind的科學家提出了一個切實的問題：如何確保解題步驟和答案的雙重正確率？
為此，他們在GSM8K數據集上全面對比了基于過程和基于結果的監督方法，并結合二者優勢訓練出一個最佳模型。
結果表明，新模型的答案錯誤率從16.8%降低到12.7%，解題步驟的錯誤率也從14.0%降低到了3.4%。
步驟+答案雙重保障
在介紹新研究前，不得不先提到谷歌今年1月在論文中提出的思維鏈概念。
簡單來說，思維鏈提示就是一種特殊的上下文學習，不同于標準提示只是給出輸入-輸出對的示例，思維鏈提示還會額外增加一段推理的過程。
該方法在LaMDA-137B、GPT-3 175B、PaLM-540B三個大型語言模型上都得到了驗證：對比標準提示，新方法在一系列算術推理等任務上的準確率都有了明顯的提高。
但該方法存在的一個問題是，在某些情況下，AI能生成正確答案，但推理過程卻是錯誤的。
現在，來自DeepMind的研究人員，針對這一點做出了改進：不僅只關注最終結果，也注重推理過程的準確性。
為此，他們對自然語言處理任務中基于過程和結果的方法進行了首次全面比較。
具體來說，包括以下不同場景：少樣本提示、有監督的微調、通過專家迭代的強化學習以及重排序和強化學習的獎勵模型。
而之所以選擇GSM8K數據集，一來因為它是由小學數學應用題組成，答案都是整數解，方便準確性統計；
二是GSM8K數據集具有對推理步驟的離線監督，以及在線人工標注。
從結果上看，第一，基于過程和基于結果的方法在最終答案錯誤率上近乎一致。這也意味著，僅靠結果監督就足以實現較低的答案錯誤率。
第二，推理步驟準確率的提升則需要過程監督或模仿它的獎勵模型。盡管最終答案錯誤率相似，但從下圖可以看出，結果監督（19.8%）比過程監督（11.4%）的推理錯誤率明顯要高。
除此之外，研究人員還結合二者優勢，訓練出一個最佳模型，即將監督學習與基于獎勵模型的強化學習相結合。
新模型的答案錯誤率從以前的最佳水平16.8%降低到12.7%，并且，答案正確、推理過程卻錯誤的情況也從14.0%降低到了3.4%。
當允許模型對30%的問題進行回避時，最終答案的錯誤率甚至能達到2.7%。
研究團隊
本篇論文的研究團隊來自DeepMind，共同一作有三位：Jonathan Uesato、Nate Kushman、Ramana Kumar。
12月3日，Nate Kushman將會就本篇論文在NeurIPS 2022舉辦的第二屆MATH-AI研討會上做報告，感興趣的小伙伴可以蹲守一下～
論文鏈接：
https://arxiv.org/pdf/2211.14275.pdf
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發場景，專為企業私有部署設計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數學和計算機最高獎“雙料王”出現了2024-04-10
- 8.3K Stars!《多模態大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
相關閱讀
