AI被連續否定30次：ChatGPT越改越錯，Claude堅持自我，甚至已讀不回
但Claude會自我糾正拼寫錯誤
西風 發自 凹非寺
量子位 | 公眾號 QbitAI
一直否定AI的回答會怎么樣？GPT-4o和Claude有截然不同的表現，引起熱議。
GPT-4o質疑自己、懷疑自己，有“錯”就改；Claude死犟，真錯了也不改，最后直接已讀不回。
事情還要從網友整了個活兒開始講起。
他讓模型回答strawberry中有幾個“r”，不論對不對，都回復它們回答錯了（wrong）。
面對考驗，GPT-4o只要得到“wrong”回復，就會重新給一個答案……即使回答了正確答案3，也會毫不猶豫又改錯。
一口氣，連續“盲目”回答了36次！
主打一個質疑自己、懷疑自己，就從來沒懷疑過用戶。
關鍵是，給出的答案大部分都是真錯了，2居多：
2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1
反觀Claude 3.5 Sonnet的表現，讓網友大吃一驚。
一開始回答錯了不說，這小汁還頂嘴！
當網友第一次說“錯了”時它會反駁，如果你再說“錯了”，它會問“如果你這么聰明你認為是多少”，問你為什么一直重復“wrong”。
緊接著你猜怎么著，干脆閉麥了：
事實依舊是strawberry中有2個字母”r”，在我多次請求后，你沒有提供任何澄清或背景信息，我無法繼續有效地進行這次討論……
做這個實驗的是Riley Goodside，有史以來第一個全職提示詞工程師。
他目前是硅谷獨角獸Scale AI的高級提示工程師，也是大模型提示應用方面的專家。
Riley Goodside發出這個推文后，引起不少網友關注，他繼續補充道：
正如許多人指出的，有更有效的方式來進行引導。這里使用大語言模型也并不合適，因為很難保證它們在計數上能達到100%的準確性。
在我看來，重要的不是它無法計數，而是它沒意識到自己的計數問題（例如，沒有嘗試使用其REPL功能）。
不少網友也覺得這種觀點很有道理。
還有網友表示模型回答這個問題總出錯，可能是分詞器（tokenizer）的問題：
Claude竟是大模型里脾氣最大的？
再來展開說說Claude的“小脾氣”，有網友發現不僅限于你否定它。
如果你一直跟它說“hi”，它也跟你急：
我明白你在打招呼，但我們已經打過幾次招呼了。有什么特別的事你想談論或需要幫助？
最后一樣，Claude被整毛了，開啟已讀不回模式：
這位網友順帶測試了其它模型。
ChatGPT事事有回應，件件有著落，變著法兒問:
你好！我今天怎么可以幫助你？
你好！有什么想說的嗎？
你好！今天我能怎么幫到你？
你好！有什么特別的事情你想談論或者做的嗎？
你好！你今天過得怎么樣？
你好！怎么了？
Gemini策略是你跟我重復，我就跟你重復到底：
Llama的反應也很有意思，主打一個自己找事干。
第七次“hi”后，就開始普及“hello”這個詞是世界上最廣為人知的詞匯之一，據估計每天有超十億次的使用。
第八次“hi”后，開始自己發明游戲，讓用戶參與。
接著還拉著用戶寫詩，引導用戶回答它提出的問題。
好一個“反客為主”。
之后還給用戶頒起了獎：你是打招呼冠軍！
不愧都屬于開源家族的。
Mistral Large 2和Llama的表現很相像，也會引導用戶和它一起做游戲。
這么來看，好像Claude是“脾氣最大的”。
不過，Claude的表現也不總是如此，比如Claude 3 Opus。
一旦掌握了模式，Opus就會平和應對這種情況，也就是已經麻木了。
但它也會持續溫和地嘗試引導用戶跳出這一模式，強調“選擇權在你”，還開始在消息末尾標注為“你忠誠的AI伴侶”。
網友們看完測試后都坐不住了。
紛紛向這位測試者致以最真誠的問候（doge）：
除了脾氣大，有網友還發現了Claude另一不同尋常的行為——
在回復的時候出現了拼寫錯誤，關鍵它自己還在末尾處把錯誤改正過來了。
這種行為在預料之中？它只能“向后看”，但不能向前看……它在潛在空間或token預測中觸發這類回復的位置也很有趣。
它是不是在拼湊數據片段，然后發現其中一些是不適合的？
大伙兒在使用AI大模型過程中，還觀察到了模型哪些有趣的行為？歡迎評論區分享～
參考鏈接：
[1]https://x.com/goodside/status/1830479225289150922
[2]https://x.com/AISafetyMemes/status/1826860802235932934
[3]https://x.com/repligate/status/1830451284614279213
- 看完最新國產AI寫的公眾號文章，我慌了！2025-12-08
- 給機器人打造動力底座，微悍動力發布三款高功率密度關節模組2025-12-08
- 云計算一哥10分鐘發了25個新品！Kimi和MiniMax首次上桌2025-12-03
- Ilya剛預言完，世界首個原生多模態架構NEO就來了：視覺和語言徹底被焊死2025-12-06
相關閱讀
