蘋果炮轟推理模型全是假思考！4個游戲戳破神話，o3/DeepSeek高難度全崩潰

西風 2025-06-08 11:47:42 來源：量子位

夢晨 西風 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

蘋果最新大模型論文，在AI圈炸開了鍋。

有人總結(jié)到：蘋果剛剛當了一回馬庫斯，否定了所有大模型的推理能力。

這篇論文稱推理模型全都沒在真正思考，無論DeepSeek、o3-mini還是Claude 3.7都只是另一種形式的“模式匹配”，所謂思考只是一種假象。

再遇到真正高復(fù)雜度的任務(wù)時所有模型都會崩潰，即使給他們足夠的時間和計算資源也無濟于事。

作者中包括谷歌大腦創(chuàng)始人之一Samy Bengio（圖靈獎得主Yoshua Bengio的弟弟）。

有網(wǎng)友諷刺縱使蘋果擁有最多的資金，2年了也沒有拿出像樣的成果，現(xiàn)在自己落后了，卻來否定別人的成果。

還有人建議蘋果要不直接買下Claude背后的公司Anthropic算了，每拖一天都在變貴。

不過也有人指出，這篇論文沒有看上去那么消極，而是呼吁設(shè)立更好的推理機制和評估辦法。

那么，這篇論文究竟說了什么？

推理模型真的在“思考”嗎？

蘋果團隊認為現(xiàn)有評估主要集中在既定的數(shù)學和編碼基準上，看模型最終答案是否正確，但可能存在數(shù)據(jù)污染（模型訓練時見過類似題目）。并且，這些評估大都缺乏對“思考過程質(zhì)量”的分析，比如中間步驟是否邏輯一致、是否繞彎路等。

為了克服這些限制，更客觀測試推理模型的推理能力，他們設(shè)計了4類謎題環(huán)境。

巧妙之處在于，四類謎題的難度可以精確控制，同時保持邏輯結(jié)構(gòu)的一致性，研究者能夠系統(tǒng)觀察模型在不同復(fù)雜度下的行為變化，比如生成的每一步移動是否正確、是否重復(fù)試錯。

4類謎題環(huán)境分別是：

漢諾塔（Tower of Hanoi）

漢諾塔是一個包含三根柱子和n個不同大小圓盤的謎題，圓盤按大小順序（最大的在底部）堆疊在第一根柱子上。目標是將所有圓盤從第一根柱子移到第三根柱子。有效移動包括每次只能移動一個圓盤，只能從柱子頂部取圓盤，并且永遠不能將較大的圓盤放在較小的圓盤上。

此任務(wù)的難度可以通過初始圓盤的數(shù)量來控制，n個初始圓盤所需的最少移動次數(shù)為2n-1

跳棋交換（Checker Jumping）

玩法是將紅色跳棋、藍色跳棋和一個空格排成一行。目標是交換所有紅色和藍色跳棋的位置，也就是將初始配置鏡像反轉(zhuǎn)。

有效移動包括將跳棋移動到相鄰的空格中，或跳過恰好一個相反顏色的跳棋落到空格中。過程中，任何跳棋都不能向后移動。

此任務(wù)的復(fù)雜度可以通過跳棋的數(shù)量來控制，對于2n個跳棋，所需的最少移動次數(shù)為（n+1）2-1。

過河問題（River Crossing）

該謎題涉及n個角色及其對應(yīng)的n個代理，他們必須使用一艘船過河。目標是將所有2n個人從左岸運到右岸。船最多可載k個人，且不能空駛。

每個代理必須保護自己的客戶免受競爭代理的傷害，當一個角色在沒有自己代理在場的情況下與另一個代理在一起時，就會出現(xiàn)無效情況。

此任務(wù)的復(fù)雜度也可以通過調(diào)整角色/代理對的數(shù)量來控制。對于n=2、n=3對，使用k=2的船容量；對于更多對，使用k=3的船容量。

積木世界（Blocks World）

該謎題要求將積木從初始配置重新排列為指定的目標配置，目標是找出完成這一轉(zhuǎn)換所需的最少移動次數(shù)。

其有效移動規(guī)則為：僅能移動任意堆疊中的最頂層積木，且可將其放置于空堆疊之上或另一塊積木的頂部。任務(wù)復(fù)雜度可通過積木數(shù)量進行調(diào)控。

團隊在這些可控環(huán)境中進行了大量實驗，對比“會思考”和“不思考”的模型組合，主要針對Claude-3.7-Sonnet模型（帶思考機制 vs 不帶思考機制）和DeepSeek模型（R1 vs V3），這些模型允許訪問thinking tokens。

而后團隊驚奇發(fā)現(xiàn)，隨著復(fù)雜度增加，模型表現(xiàn)呈現(xiàn)出三個截然不同的區(qū)間。

在低復(fù)雜度任務(wù)中，那些沒有“思考”功能的標準語言模型實際上表現(xiàn)得更好，它們不僅更準確，而且更加高效，不會浪費計算資源在不必要的思考上。

這一發(fā)現(xiàn)直接挑戰(zhàn)了“更多思考總是更好”的直覺假設(shè)。

隨著任務(wù)難度進入中等水平，能夠生成長思維鏈的推理模型開始顯現(xiàn)優(yōu)勢，額外的思考過程確實能夠幫助模型找到更好的解決方案。

然而，當問題復(fù)雜度繼續(xù)增加并超過某個臨界點時，無論是推理模型還是標準模型都會經(jīng)歷完全的性能崩潰，準確率直線下降至零。

以下是在低、中、高復(fù)雜度的謎題環(huán)境中，思考模型與非思考模型在同等計算預(yù)算下的pass@k性能表現(xiàn)：

更令人困惑的是，蘋果團隊觀察到“推理努力反向縮放”現(xiàn)象。

他們測試了5個會“思考”的推理模型，包括o3-mini (medium、high兩種配置)、DeepSeek-R1、DeepSeek-R1-Qwen-32B,、Claude-3.7-Sonnet (thinking)。

所有模型在任務(wù)復(fù)雜度提升后呈現(xiàn)出相似的模式：隨著問題復(fù)雜度的增加，準確率逐漸下降，直到超過特定于模型的復(fù)雜度閾值后完全崩潰，準確率為零。

關(guān)鍵在于，一開始，模型會隨著問題變難而加大思考量，使用更多token，但接近崩潰臨界閾值時，模型卻反直覺地開始“主動減少思考”，即使它們的token預(yù)算還遠未耗盡。

也就是說，問題并非出在計算資源的限制上，而是模型本身存在某種內(nèi)在的計算擴展限制。

這種現(xiàn)象在o3-mini變體中最為明顯，在Claude-3.7-Sonnet (thinking)表現(xiàn)稍好一些。

為了深入理解這種現(xiàn)象，團隊又針對Claude-3.7-Sonnet (thinking)詳細分析了模型的內(nèi)部推理軌跡。

他們發(fā)現(xiàn)，在處理簡單問題時，推理模型經(jīng)常會在早期就找到正確的解決方案，但隨后卻繼續(xù)探索各種錯誤的替代方案，“過度思考”浪費計算資源。

隨著問題復(fù)雜度適度增加，這一趨勢發(fā)生逆轉(zhuǎn)，模型首先探索錯誤的解決方案，正確解決方案大多出現(xiàn)在思維的后期。

最后，對于更高復(fù)雜度的問題，會出現(xiàn)崩潰現(xiàn)象，即模型無法在思維中生成任何正確的解決方案。

除此之外，團隊還發(fā)了一個模型的迷惑行為。

如下圖（a）和（b）所示，團隊在提示中向模型提供了完整的解決算法，理論上模型只需要按部就班地執(zhí)行這些步驟即可。

然而，實驗結(jié)果顯示，模型的失敗點幾乎沒有改變，它們?nèi)匀粺o法突破任務(wù)復(fù)雜性限制，性能沒有提升，且觀察到的崩潰仍發(fā)生在大致相同的臨界點。

團隊認為這一點非常值得注意，因為尋找和設(shè)計解決方案本應(yīng)比單純執(zhí)行給定算法需要更多的計算。這進一步凸顯了推理模型在驗證和遵循邏輯步驟解決問題方面的局限性，表明需要進一步研究以理解此類模型的符號操作能力。

而（c）和（d）又揭示，Claude 3.7 Sonnet在不同謎題中的表現(xiàn)差異很大。

在漢諾塔問題里，模型給出的解決方案中第一次出錯的步驟很晚才出現(xiàn)，在N=10的復(fù)雜度下，錯誤通常出現(xiàn)在第 100步左右。然鵝，在過河問題中，模型只能在第4步之前給出有效移動步驟。

在解決需要31步完成、N=5復(fù)雜度的漢諾塔問題時，模型達到了近乎完美的準確率，但在解決僅需11步就能完成的N=3的過河謎題時卻失敗了。

團隊認為這很可能表明，網(wǎng)絡(luò)上N>2的過河問題實例較少，推理模型在訓練過程中可能不常遇到或記住此類情況。

換句話說，這種不一致性強烈暗示，這些所謂的“推理”模型可能更多地依賴于對特定問題模式的記憶和識別，盡管具備復(fù)雜的自我反思機制，但在超過特定復(fù)雜度閾值后，模型仍無法發(fā)展出可泛化的推理能力。

最后，團隊提出僅用最終答案評估推理能力存在誤導性，還需關(guān)注中間步驟的質(zhì)量（如邏輯一致性、步驟效率）。

并建議未來如何設(shè)計更魯棒的推理機制，突破長程依賴和復(fù)雜規(guī)劃的瓶頸，是當前AI研究的關(guān)鍵方向。

蘋果在大模型落后了嗎？

暫時放下學術(shù)上的爭議，蘋果在大模型上的進展確實不盡人意。

剛好一年前，Apple Intelligence在2024年WWDC正式亮相，但宣傳中的許多功能都經(jīng)歷延期、不夠完善甚至被下架：

• 個性化生成表情包的Genmojis功能，實裝后發(fā)現(xiàn)會導致iPhone過熱并耗盡電池壽命。
• 新聞?wù)δ茉谏梢幌盗屑傩侣剺祟}后被關(guān)閉。
• 最重磅的新版Siri甚至無法趕上即將舉辦的2025 WWDC

就在今年3月份，蘋果撤下了所有涉及新版Siri的電視廣告與網(wǎng)絡(luò)廣告。

高級總監(jiān)Robby Walker對員工表示，他不確定這些升級何時真正發(fā)布，因為升級有三分之一的時間無法正常運行，部分原因是其他功能的優(yōu)先級更高。

這些功能還沒有完全準備好向公眾發(fā)布，盡管我們的競爭對手可能已經(jīng)以這種狀態(tài)甚至更糟的狀態(tài)發(fā)布了它們。

根據(jù)彭博社5月份的一篇爆料文章，蘋果在AI上的連續(xù)失敗可能受如下因素影響：

蘋果軟件工程主管Craig Federighi在ChatGPT之前一直不愿在人工智能領(lǐng)域進行大規(guī)模投資，導致蘋果內(nèi)部致力于AI的員工，以及購買的算力資源都明顯少于競爭對手。

等到他發(fā)現(xiàn)AI大模型的潛力，其他科技巨頭已經(jīng)在上面組建團隊并投入好幾年了。

另一位資深高管認為：在AI領(lǐng)域，直到開發(fā)完成，團隊都無法知道產(chǎn)品會是什么樣子，這不是蘋果的思維方式。當蘋果坐下來開發(fā)產(chǎn)品時，就已經(jīng)知道最終目標是什么了

除了歷史原因之外，蘋果AI負責人John Giannandrea也被曝難融入蘋果核心管理層圈子，他沒有為團隊爭取到所需的資源，個人性格上也比較佛系，不會嚴格督促員工交付工作成果。

最后，對蘋果來說，動作慢一點不代表徹底失敗。歷史上他們經(jīng)常等一個新技術(shù)出現(xiàn)了再打磨發(fā)布自己精心設(shè)計、易用性強的版本。

MP3播放器、智能手機、平板電腦、手表和耳機都是如此。

論文地址：
https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdf

參考鏈接：
[1]https://x.com/wolfejosh/status/1931182279755178074
[2]https://www.bloomberg.com/news/features/2025-05-18/how-apple-intelligence-and-siri-ai-went-so-wrong