大模型參與推理崩潰論戰(zhàn)！從「思維錯覺」到「錯覺的錯覺」再到「錯覺的錯覺的錯覺」

聞樂 2025-06-20 17:08:01 來源：量子位

聞樂 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

蘋果團隊一篇論文，現(xiàn)已升級成AI圈“論文連續(xù)劇”。

《思維的錯覺》：大模型推理會崩潰。

《思維的錯覺的錯覺》：大模型崩潰是錯覺。

《思維的錯覺的錯覺的錯覺》：大模型還是會崩潰。

起初，蘋果團隊發(fā)了一篇論文炮轟所有大模型推理都是假象，遇到高復(fù)雜度長推理問題時都會崩潰，即使給他們足夠的時間和計算資源。

這篇文章引起了廣泛關(guān)注，有人支持也有人質(zhì)疑。

在質(zhì)疑的人中，有一位網(wǎng)友與Claude Opus“合作”寫了一篇長達5頁的文章，來說明大模型這種明顯的崩潰是人為因素造成的。

沒多久，第三篇文章也來了，這篇綜合了前兩篇的觀點，贊同大模型崩潰是實驗設(shè)計不合理這一人為因素造成的，但也強調(diào)模型在非常長的逐步執(zhí)行中仍然會出錯，盡管方法有所改進，但脆弱性依然存在。

也就是說，大模型在推理過程中還是會崩潰。

基于上次的經(jīng)驗，網(wǎng)友猜測第三篇文章的第一作者或許是Gemini Pro～

讓我們來看看這部“連續(xù)劇”到底在“演”什么。

大模型推理到底會不會崩潰

最新的這篇文章對前兩篇內(nèi)容進行了雙重審視，得出的結(jié)論是：你倆說的都有道理。

認(rèn)同第二篇的三個關(guān)鍵修正

原研究的觀點是：當(dāng)題目難度超過臨界點時，大模型推理會崩潰。

蘋果的原研究是通過設(shè)計4類謎題環(huán)境（漢諾塔、跳棋交換、過河問題、積木世界），系統(tǒng)觀察模型在不同復(fù)雜度下的行為變化。

他們進行了大量實驗，對比“會思考”和“不思考”的模型組合。

發(fā)現(xiàn)在低復(fù)雜度任務(wù)中，那些“不思考”標(biāo)準(zhǔn)語言模型實際上表現(xiàn)得更好。

隨著任務(wù)難度進入中等水平，“會思考”的推理模型開始顯現(xiàn)優(yōu)勢。

當(dāng)問題復(fù)雜度繼續(xù)增加并超過某個臨界點時，無論是推理模型還是標(biāo)準(zhǔn)模型都會經(jīng)歷完全的性能崩潰，準(zhǔn)確率直線下降至零，甚至?xí)p少思考token。

比如漢諾塔問題，在超過大約8個盤后，標(biāo)準(zhǔn)模型和推理模型都崩潰到0%，推理模型的輸出token甚至更少，這表明當(dāng)前的思維鏈擴展在較小深度之外就失效了。

第二篇認(rèn)為這里面有三個測試瑕疵，token預(yù)算限制、評估誤判、以及謎題設(shè)計的數(shù)學(xué)不可解性。

于是，作者進行了模型重新驗證。

• 替代表示法的有效性：當(dāng)要求模型以Lua函數(shù)等緊湊形式輸出漢諾塔解法時（而非枚舉所有步驟），測試模型（如Claude-3.7-Sonnet、Gemini 2.5）在N=15時仍能保持高準(zhǔn)確率，且token消耗遠低于上下文限制（<5000token），證明模型具備遞歸算法理解能力，失敗源于格式約束而非推理缺陷。
• 復(fù)雜度指標(biāo)的誤用：原研究以 “組合深度”（最小移動步數(shù)）衡量復(fù)雜度，但漢諾塔雖需指數(shù)級步數(shù)，每步?jīng)Q策復(fù)雜度僅為O(1)，而積木世界因涉及最優(yōu)解搜索（NP難問題），實際難度更高。模型在長序列漢諾塔問題中的表現(xiàn)優(yōu)于短序列積木問題，印證了 “解長度≠計算復(fù)雜度” 的觀點。

結(jié)論就是，原研究的 “崩潰” 本質(zhì)上是實驗設(shè)計對模型輸出限制、謎題不可解性和復(fù)雜度誤判的綜合結(jié)果，而非LRMs（推理模型）的根本性推理局限。

最新的第三篇認(rèn)同了第二篇的三個關(guān)鍵修正。

大模型在面對高復(fù)雜度長推理時還是避免不了“崩潰”

雖然認(rèn)為第二篇的反駁有道理，但該作者又指出：

第二篇的實驗測試的是算法知識檢索與代碼生成，而非原實驗的 “連續(xù)執(zhí)行與狀態(tài)追蹤”。

模型可能因訓(xùn)練數(shù)據(jù)包含漢諾塔算法而成功生成函數(shù)，但無法證明其能無錯執(zhí)行3萬余步（如N=15的32767步）。

也就是說，雖然漢諾塔每步規(guī)則很簡單，但模型仍可能因中間步驟誤差累積導(dǎo)致失敗。

原研究中，即使向模型提供算法提示，它仍表現(xiàn)為崩潰，暗示瓶頸在于執(zhí)行保真度而非解法發(fā)現(xiàn)。

簡單來說就是，雖然token限制是直接原因，但模型在長序列任務(wù)中的失敗反映了 “持續(xù)高保真執(zhí)行” 的內(nèi)在缺陷。

并且，模型在接近 “崩潰點” 時會提前減少推理投入（如推理token數(shù)下降），這一現(xiàn)象無法僅用token限制解釋。

也就是說，即使修正了測試設(shè)計并提供了足夠的輸出空間，模型一旦將逐步計劃擴展到數(shù)千步，仍然會開始失去對計劃的追蹤。

因此，這位作者認(rèn)為大模型在維持非常長的推理鏈方面仍然存在真正的弱點。

這或許需要后續(xù)的研究跟進。

One More Thing

目前，這部“連續(xù)劇”已經(jīng)發(fā)展到了第三集，有些網(wǎng)友看熱鬧不嫌事兒大，表示想快進到第四集！

你認(rèn)為第四集會是什么劇情呢？

參考鏈接：
[1]https://x.com/rohanpaul_ai/status/1930968053027578199
[2]https://x.com/rohanpaul_ai/status/1933296859730301353
[3]https://x.com/rohanpaul_ai/status/1935746720144544157

— 完 —