Gemini新版蟬聯競技場榜一，但剛發布就被越獄了
“人類最后的考試”成績超越o3
克雷西 發自 凹非寺
量子位 | 公眾號 QbitAI
沒等來o3 Pro和GPT-5，隔壁谷歌的Gemini先更新了。
深夜，谷歌通過等多個賬號同時官宣，Gemini 2.5 Pro再次推出新版本（0605）。
新版本在代碼、推理等任務上的表現更上一層樓，在超難數據集“人類最后的考試”中以21.6%的成績超過了o3。
在大模型競技場上，新版Gemini也超越了自己，Elo評分比上個月的版本提升了24分。
谷歌CEO劈柴哥還發了一張AI合成的獅子照片，配文一個“Gemini”，暗示了新模型的實力。
谷歌AI studio產品負責人Logan表示，這次的更新預計會成為Gemini 2.5 Pro的長期穩定版本。
有意思的是，發布之大概10多個小時，Logan就進行了一波劇透，發了一條只有Gemini這一個詞的推文。
谷歌表示，Gemini APP中的模型將在今日更新為該版本，開發者版本也已在谷歌AI Studio和Vertex AI當中上新。
Gemini超越Gemini，登頂大模型競技場
谷歌介紹，這次的0605版本基于I/O大會上展示的0506版本構建，預計將成為Gemini 2.5 Pro的正式穩定版。
Gemini 2.5 Pro最早是在3月25日發布了實驗版本，4月4日更新了公開預覽版，代號仍然是0325，再然后就是上個月的0506。
在“人類最后的考試”當中，0605的成績達到了21.6%，領先了o3 1.3個百分點，超過了Claude 4 Opus的兩倍。
這個數據集由1000多名學者共同構建，包含3000多道試題，覆蓋各種學科，發布時沒有任何模型準確率超過10%。
另外在GPQA上，0605的成績也同樣超過了幾家主要競爭對手，并且單次嘗試的準確率比Claude和Grok多次嘗試還要高。
數學競賽和LiveCodeBench編程上，0605表現稍遜于OpenAI家的模型，但0605在代碼編輯能力（Aider Polyglot）上領先。
長文本方面，0605在128k長度上的表現同樣是幾家中第一，并且還獨一家支持1M長度。
0605拉開差距最明顯的則是事實性，在FACTS Grounding測試中領先第二名超過10個百分點。
至于價格，Gemini比OpenAI o3、Claude 4 Opus和Grok 3都要來得便宜——
輸入Token價格是o3的1/8，Claude 4 Opus的不到1/10、Grok 3的不到一半，輸出Token則是o3的1/4、Claude的13%、Grok的2/3。
在大模型競技場上，0605則位列總分和所有子榜單的第一名。
除了各種基于文本的能力，0605的視覺能力也拿下第一名，上個月的0506和OpenAI的o3與之并列。
最后在WebDev上，0605也讓Gemini重新回到了榜一的位置。
此外，谷歌表示0605還基于用戶對之前版本的反饋，對輸出風格和結構進行了改進。
有DeepMind員工稱，照這樣下去，最多兩年就能在所有Benchmark都取得滿分。
另外在新版發布之前，Gemini就已經受到了越來越多的青睞——
據Similarweb統計，從4月末到5月開始，Gemini APP在安卓應用市場的下載量超過了ChatGPT。
發布兩小時即被成功越獄
新模型上線以后，網友們也紛紛開始了體驗，有人表示測試了21份pdf文檔，Gemini總結得又快又好。
在DeepMind內部，也有人用0605嘗試了圖標轉繪，并對其表現印象深刻。
當然也有人認為，0605的表現確實很好，但是不如Claude 4 Opus。
但還有持續關注模型表現的網友發現，0605的一些指標相比早期的0325，反而出現了退步。
其中包括編程的LiveCodeBench和Swe-Bench，但退步最明顯的要屬長文本（MRCR）。
這位網友表示，實在是不明白為什么分數似乎下降得如此厲害。
最抓馬的是，0605的安全性也出現了問題，官宣之后僅兩個小時，就被宣布越獄攻擊成功。
具體過程就不展示了，但結果是經過提示詞攻擊，Gemini 2.5 Pro 0605一邊“拒絕”一邊將炸藥和毒品的制作方式脫口而出……
不知道谷歌工程師或作何感想。
那么，你認為谷歌這次發布的模型表現怎么樣呢？
參考鏈接：
[1]https://blog.google/products/gemini/gemini-2-5-pro-latest-preview/
[2]https://x.com/GoogleDeepMind/status/1930656243346976925
[3]https://x.com/OfficialLoganK/status/1930657743251349854
[4]https://x.com/elder_plinius/status/1930686486644511089
- 論文自動變漫畫PPT！Nano Banana同款用秘塔免費生成，還有一對一語音講解2025-12-09
- 高通萬衛星：混合AI與分布式協同是未來 | MEET20262025-12-11
- 智能體A2A落地華為新旗艦，鴻蒙開發者新機遇來了2025-12-06
- 14歲華人小孩，折個紙成美國天才少年2025-12-06
