谷歌最強(qiáng)大模型免費(fèi)開放了！長音頻理解功能獨(dú)一份，100萬上下文敞開用

豐色 2024-04-10 12:45:25 來源：量子位

豐色 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

谷歌最強(qiáng)大模型Gemini 1.5 Pro今天起，“全面”對外開放。

目前完全免費(fèi)，開發(fā)者可以通過API調(diào)用的方式使用，普通玩家也可以在谷歌AI Studio中直接體驗(yàn)。

（Ps. 發(fā)布這則消息的谷歌工程師Logan Kilpatrick正是原來OpenAI開發(fā)者關(guān)系的負(fù)責(zé)人，剛剛跳槽到谷歌。）

最讓人期待的是，Gemini 1.5 Pro API首次增加了音頻理解功能。

無論是財(cái)報(bào)電話會、電視節(jié)目還是大神演講，不需要我們再提供字幕文檔它就可以直接解讀了。

如下圖所示：

上傳Jeff Dean長約117000+token的演講錄音，Gemini 1.5 Pro在30.8s內(nèi)就完成了解析。

而由于Gemini 1.5 Pro100萬的上下文窗口這次也直接對外開放，因此它可以處理的最長音頻約為11小時(shí)，最長視頻則為1小時(shí)，相當(dāng)夠用。

我們也趕緊實(shí)測了一把，結(jié)果是真香。

Gemini 1.5 Pro開放API了

谷歌官方給這次免費(fèi)開放的Gemini 1.5 Pro版本定義為“公開預(yù)覽版”。

它主要面向開發(fā)者，可在谷歌AI Studio中獲得API密鑰：

目前最引人注目的音頻理解功能還沒添加到API中，但據(jù)說很快就會補(bǔ)上。

問題不大，我們可以先在Google AI Studio中直接體驗(yàn)：

在實(shí)測中，我們上傳了比爾蓋茨1995年做客Late Show節(jié)目的一段音頻，時(shí)長1分鐘。

我們沒有提示這段音頻的任何背景信息，Gemini 1.5 Pro直接就聽出來了是誰。

并在10s左右精準(zhǔn)整理出了全對話的精華部分，一點(diǎn)“正確的廢話”都沒有：

表現(xiàn)令人折服。

接下來，來個更具挑戰(zhàn)的，Andrej Karpathy1小時(shí)長的大模型科普教程。

我們提取音頻文件，足足10萬多個token（這種在UI里直接顯示當(dāng)前消耗token數(shù)量的方法也廣受好評）。

Gemini 1.5 Pro最終在53s內(nèi)按要求給出了10個亮點(diǎn)分析：

可以說一分鐘就讓我們對1小時(shí)的演講內(nèi)容有了整體認(rèn)知，再也不用費(fèi)勁扒字幕文件了。

繼續(xù)回到API本身。

除了音頻理解，為了讓開發(fā)者更好地控制模型輸出，Gemini 1.5 Pro還提供了另外3項(xiàng)新功能/改進(jìn)：

首先是系統(tǒng)指令。

我們可以自定義一些特殊用例，包括它們的角色、輸出格式/風(fēng)格/語氣、目標(biāo)和規(guī)則等等。

設(shè)置完成后，這個指令就會應(yīng)用于接下來的整個請求。

示例如下：

其次，JSON模式。

也就是可以指示模型僅輸出JSON對象了，非常方便我們從文本或圖像中提取結(jié)構(gòu)化數(shù)據(jù)。

第三，函數(shù)調(diào)用上也有改進(jìn)。

為了提高可靠性，Gemini 1.5 Pro也可以選擇不同模式來限制模型的輸出了。

可以是文本模式，將生成文本作為輸出；也可以是函數(shù)調(diào)用模式，或者干脆只輸出函數(shù)本身（不帶任何參數(shù)或其他信息）。

最后，還沒完，從今天起，開發(fā)者還能通過該API調(diào)用谷歌的下一代文本嵌入模型：

text-embedding-004（又名“Gecko”）。

該模型在MTEB基準(zhǔn)上實(shí)現(xiàn)了非常強(qiáng)大的檢索性能，優(yōu)于可比維度的所有對手。

兩個月前誕生的谷歌最強(qiáng)大模型

Gemini 1.5 Pro于2月15日發(fā)布，距今還不到兩個月。

它是Gemini Pro的升級版，多模態(tài)多語言，最大的亮點(diǎn)無疑是上下文窗口長度：

從128k到最多100萬。

100萬個token相當(dāng)于可處理70萬個單詞或約3萬行代碼，折合成音頻就是約11小時(shí)，視頻約1小時(shí)。

無疑是很大的一個量級了（現(xiàn)在則完全在API中開放）。

當(dāng)時(shí)官方的演示包括用它搜索阿波羅11號登月的電視轉(zhuǎn)播信息，一共402頁文字記錄。

模型的響應(yīng)時(shí)間大約在20s到1分鐘。稍微有點(diǎn)慢，但谷歌承諾會優(yōu)化延遲時(shí)間。

而Gemini 1.5 Pro發(fā)布之后，網(wǎng)友也很快分享了一些還不錯的內(nèi)測結(jié)果，包括：

鑒別Sora視頻是否AI生成，給出關(guān)鍵證據(jù)；

在一場14分鐘的NBA扣籃視頻中，判斷出哪個扣籃得分最高， 并給出其中扣籃細(xì)節(jié)；

還有分析比較《星際穿越》和《星際探索》兩個完整的電影腳本，合起來接近10萬token，結(jié)果三十幾秒內(nèi)就給出了完整詳盡的報(bào)告。

可以說，這次谷歌整體是沒有讓大伙失望的。

最高能的是，它還能看錄像改BUG：

有網(wǎng)友在編寫一個網(wǎng)頁的代碼時(shí)故意留了3個bug，并分別錄制了3個bug視頻，外加代碼庫打包成文件一同丟給Gemini 1.5 Pro，結(jié)果全部分分鐘給出正確代碼。

這位網(wǎng)友當(dāng)時(shí)就表示：這“小伙子”前途不可限量啊。

而在今天，隨著Gemini 1.5 Pro API的“全面”開放，大伙可以更進(jìn)一步地感受其厲害了。

咳咳，就是目前速率限制還有點(diǎn)高：

每分鐘請求量為5次，每分鐘token為1000萬個，每日請求量為2000個～

友情鏈接：
https://aistudio.google.com/app/prompts/new_chat
參考鏈接：
https://developers.googleblog.com/2024/04/gemini-15-pro-in-public-preview-with-new-features.html
https://twitter.com/OfficialLoganK/status/1777733743303696554