大模型終于通關《寶可夢藍》！網友：Gemini 2.5 Pro酷爆了
首個大模型寶可夢聯盟冠軍
魚羊 發自 凹非寺
量子位 | 公眾號 QbitAI
就在剛剛，Gemini 2.5 Pro在直播中通關了《寶可夢藍》！
谷歌CEO劈柴哥第一時間興奮官宣，放出通關時刻珍貴影像：
大模型這一小步，把網友們也整嗨了。
滿屏畫風皆是：泰！酷！辣！
這回，Gemini的自我介紹里可以多一條了：首個成為寶可夢聯盟冠軍、登入《寶可夢藍》名人堂的大模型。（doge）
要知道，一年前的舊模Claude 3.5還只能勉強走出新手村到達常磐森林，2個月前，Claude 3.7倒是終于能擊敗道館主了，但也并未通關寶可夢。
Gemini 2.5 Pro通關寶可夢
游戲已通關，但直播仍繼續。
畫面是醬嬸的：
有一說一，過程看上去是有那么點無聊，因為每動一步Gemini都要深思熟慮……
左邊的文本框里顯示了Gemini每個行動背后的詳細思考過程。
在上面這個片段中，Gemini的主要目標是探索華藍洞穴，尋找和捕獲超夢。
直播中可以看到，在完成了一長串行動，走到了目標位置之后，Gemini 2.5 Pro足足思考了40多秒，消耗76011個token，才開啟下一步的行動規劃。
（因為有點迷路，Gemini后面還想了很久很久……）
不過從這些思考過程中，可以清晰地看到大模型是怎么理解寶可夢游戲的。
總結起來，Gemini玩寶可夢的基本步驟如下：
- 截取屏幕截圖并檢索游戲狀態數據
- 用網格覆蓋處理圖像，以輔助空間推理
- 將屏幕截圖和游戲信息發送給模型
- AI決定是直接響應還是調用專門的智能體
- 解析響應內容，以確定按下哪個按鈕
- 執行按鈕按下操作，并等待游戲更新
- 對下一幀重復該過程
如果你對Gemini的寶可夢直播感興趣，可以在twitch上搜索“gemini plays pokemon”，傳送門我們也會在文末奉上~
寶可夢難在哪兒？
盡管已經是聯盟冠軍，但可以看出的是，在寶可夢這樣一款最初主要面向兒童和青少年推出的游戲中，大模型的表現明顯不如人類（經常一整個大迷路什么的……）。
參照Claude Plays Pokémon項目研究人員的說法，這主要是因為大模型“視力不佳”。
以Claude為例，模型很難像人類一樣去解讀Game Boy屏幕里展現出的低分辨率、像素化的世界。
同時，游戲中的二維地圖看上去對未經專門訓練的大模型而言也充滿挑戰性。
我們很容易理解（游戲中）的建筑物就是建筑物，是無法穿過的。
這對Claude來說卻相當有挑戰性。
△圖源：Anthropic
另外，模型上下文的限制也影響了它們在游戲中的表現。
不過，在游戲中偏文本的部分，此前Claude就已經有驚艷表現。
比如，在寶可夢對戰中，當游戲提示電屬性寶可夢的攻擊對巖石屬性對手“效果不佳”時，Claude能馬上get到其中的意思，并在此后將這些知識整合到自己的戰斗策略里。
現在，谷歌率先實現了新的突破，并表示還將在這個有趣的挑戰中進行更多探索（直播將至少持續數天）。
或許真的像網友所說：
以后測試大模型的基準要變成誰能更快通關寶可夢了。
直播地址：
https://www.twitch.tv/gemini_plays_pokemon
參考鏈接：
[1]https://x.com/sundarpichai/status/1918455766542930004
[2]https://arstechnica.com/ai/2025/03/why-anthropics-claude-still-hasnt-beaten-pokemon/
— 完 —
- 蘋果芯片主管也要跑路！庫克被曝出現健康問題2025-12-07
- 世界模型和具身大腦最新突破：90%生成數據，VLA性能暴漲300%｜開源2025-12-02
- 谷歌新架構突破Transformer超長上下文瓶頸！Hinton靈魂拷問：后悔Open嗎？2025-12-05
- 90后華人副教授突破30年數學猜想！結論與生成式AI直接相關2025-11-26
相關閱讀
最新爆料：新模型就在明天！Claude 3.5超大杯成焦點，Gemini官方大佬下場留神秘表情，網友：快打起來
Anthropic被曝正在以300-400億美元估值尋求新一輪融資
