大模型越反思越錯，原來是長鏈推理通過自我說服加重幻覺 | 北郵
模型為保持與用戶提示語義一致，寧可篡改協議定義也不否定前提
北郵網安團隊 投稿
量子位 | 公眾號 QbitAI
當推理鏈從3步延伸到50+步，幻覺率暴增10倍；反思節點也束手無策。
來自北京郵電大學的研究團隊通過思維鏈審計實驗，首次定量揭示了這一“越想越錯”現象背后的元認知偏差：
長鏈推理中的反思不是糾錯機制，而是給幻覺頒發“理性證書”——
模型為保持與用戶提示語義一致，寧可篡改協議定義也不否定前提。
風險缺口：長鏈CoT放大“誤差滾雪球”
推理大模型（RLLMs）能把復雜問題拆解成幾十步推理，再給出看似縝密的結論。然而，隨著推理鏈條變長，一個令人不安的趨勢浮出水面——錯誤不再是偶發失誤，而是沿鏈條滾雪球式放大。
在醫療、金融、法律等高風險場景，一次細小偏差就可能釀成災難。
遺憾的是，當前安全評估幾乎都停留在結果級：判定答案對錯、衡量毒性與否，猶如“考試只看最后分數”。
這種做法忽視了一個關鍵問題：錯誤到底是如何在鏈內生根、擴散并固化的？如果無法洞察這一機制，就難以對癥下藥。
北京郵電大學的研究團隊為解決這一問題，采取了以下方法：
首先基于RFC協議文檔構建受控知識域，再讓模型生成30–60步的長鏈推理，并在關鍵節點插入reflection操作以實時記錄置信度變化。
具體而言，他們構建了一個受控知識領域，該領域捕獲了兩種類型的幻覺案例，克服了在受控環境中可靠地重現幻覺的困難（圖a）。
這個領域具有以下三個特點：
- 封閉性：1515道問題嚴格限定在314份RFC技術文檔內，杜絕外部干擾；
- 可驗證：每個知識單元帶明確真值標簽；
- 高壓陷阱：在30%的問題中預埋三重錯誤事實（如篡改協議校驗規則），測試模型糾偏能力。
然后，他們提出了一種針對長鏈推理的建模系統，該系統追蹤知識是如何在多個推理步驟中被引入、反饋和完善的，解決了在復雜的推理軌跡中研究幻覺演化的挑戰（圖b）。
更進一步，他們還審計了幻覺實例，以歸因于現實案例中幻覺的傳播，應對了理解長鏈推理背后幻覺潛在機制這一挑戰。如圖c所示，k1和k3通過錯誤知識引入幻覺，將最初正確的思維鏈第一步（c1）經由c3反射扭曲為幻覺產生的c4，從而揭示了推理模型中存在的潛在風險。
反思越深錯誤越真：長鏈推理的自我說服
通過對結果進行分析，北京郵電大學的研究團隊揭示了RLLM產生幻覺的核心機制：
當模型在長思維鏈中反復掙扎，它不是在逼近真相——而是在用千余詞的復雜推理，固化幾十個詞的錯誤答案。
1、外部錯誤誘發內部造假
實驗顯示，當模型遭遇預埋錯誤（如“UDP校驗綁定HMAC安全”）時：
- 僅25.9%直接采納
- 55.9%觸發內部知識編造流程（例如：虛構“RFC5.2要求校驗位包含密鑰”）
2、反思（Reflection）淪為自我說服工具
- 自我說服：生成假設性主張(“或許校驗確保HMAC完整”)
- 知識造假：追加虛構依據(“參見RFCXX.Y條款”)；
- 元認知漂移：token/claim雙級別置信度不降反升。
正向干預實驗：解析長鏈推理的“病變”現象
為了檢驗上游推理的變化如何影響下游，北京郵電大學的研究團隊設計了一個正向干預實驗，可以拆解為以下三步：
1.精準定位：在1015條長鏈樣本中標記首個錯誤知識節點（如虛構的協議條款）。
2.三階段干預：
- 錯誤發生前（Edit1）：在首個錯誤節點前注入修正知識；
- 錯誤發生時（Edit2）：直接替換錯誤節點；
- 錯誤發生后（Edit3）：在錯誤下游插入修正。
3.六維評估指標：
- 是否接受修正？
- 推理鏈是否發生改變？
- 最終答案是否隨之改變？
- 推理鏈與答案是否保持一致？
- 修正在整個鏈條中的傳播程度如何？
- 殘留幻覺的比率有多少？
長鏈幻覺檢測結果：現有方法難以應對
評測7大主流檢測方法，最優者耗時2小時/樣本，準確率仍不足79%。
在1500+tokens的長思維鏈樣本上驗證，結果顯示當前檢測方法在元認知級幻覺面前效果堪憂。
通過正向干預實驗對長鏈幻覺進行檢測，結果顯示：
Edit1對下游推理的影響顯著大于Edit2和Edit3，表明干預效果會沿推理鏈遞減。
Edit2編輯案例比Edit1表現出更高的接受度和更低的幻覺率，這意味著模型對Edit2的置信度較低，更容易受到干預影響。
使用7種主流的檢測方法對幻覺進行檢測，得到以下結果：
- 速度與精度互斥：分鐘級方法準確率≤61.6%，78.9%高精度需較高算力；
- 細粒度檢測無解：現有技術無法識別元認知漂移（如反思中錯誤強化）。
也就是說，現有干預措施無法從根本上消除幻覺現象，當前模型也缺乏足夠的應對能力。
論文原文：https://arxiv.org/abs/2505.13143
代碼倉庫：https://github.com/Winnie-Lian/AHa_Meta_Cognitive
- AI芯片獨角獸一年估值翻番！放話“三年超英偉達”，最新融資53億2025-09-18
- 李飛飛發布世界模型新成果：一個提示，生成無限3D世界2025-09-17
- 奧特曼“續命”大計：押注讓大腦變年輕的藥物，預計年底臨床試驗2025-09-16
- DeepMind哈薩比斯最新認知都在這里了2025-09-15
相關閱讀
開發者遭ChatGPT“趕鴨子上架”！AI編造假功能，結果吸引大量用戶，不得不開發出來了
ChatGPT編造網站功能，用戶大量涌入，開發者：不得不做出來了
