谷歌PaLM 2細(xì)節(jié)曝光：3.6萬(wàn)億token，3400億參數(shù)

十三 2023-05-18 12:35:50 來(lái)源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

谷歌最新大語(yǔ)言模型PaLM 2，更細(xì)節(jié)內(nèi)幕被曝出來(lái)了！

據(jù)CNBC爆料，訓(xùn)練它所用到的token數(shù)量多達(dá)3.6萬(wàn)億。

這是什么概念？

要知道，在去年谷歌發(fā)布PaLM時(shí)，訓(xùn)練token的數(shù)量也僅為7800億。

四舍五入算下來(lái)，PaLM 2足足是它前身的近5倍！

（token本質(zhì)是字符串，是訓(xùn)練大語(yǔ)言模型的關(guān)鍵，可以教會(huì)模型預(yù)測(cè)序列中出現(xiàn)的下一個(gè)單詞。）

不僅如此，當(dāng)時(shí)谷歌發(fā)布PaLM 2時(shí)，只是提到“新模型比以前的LLM更小”。

而內(nèi)部文件則是將具體數(shù)值爆料了出來(lái)——3400億個(gè)參數(shù)（初代PaLM是5400億）。

這表明，谷歌通過(guò)技術(shù)“buff加持”，在參數(shù)量更小的情況下，讓模型可以更高效地完成更復(fù)雜的任務(wù)。

雖然在已經(jīng)維持了數(shù)月的AIGC大戰(zhàn)中，谷歌一直“全軍出擊”，但對(duì)于訓(xùn)練數(shù)據(jù)的大小或其他細(xì)節(jié)信息，卻是遮遮掩掩的態(tài)度。

而隨著這次內(nèi)部文檔的曝光，也讓我們對(duì)谷歌最in大語(yǔ)言模型有了進(jìn)一步的了解。

PaLM 2要在廣告上發(fā)力了

關(guān)于谷歌上周發(fā)布PaLM 2的能力，我們就不再詳細(xì)的贅述，簡(jiǎn)單總結(jié)下來(lái)就是：

• 接受了100多種語(yǔ)言的訓(xùn)練，在語(yǔ)言理解、生成和翻譯上的能力更強(qiáng)，更加擅長(zhǎng)常識(shí)推理、數(shù)學(xué)邏輯分析。
• 數(shù)據(jù)集中有海量論文和網(wǎng)頁(yè)，其中包含非常多數(shù)學(xué)表達(dá)式。
• 支持20種編程語(yǔ)言，如Python、JavaScript等常用語(yǔ)言。
• 推出了四種不同size：“壁虎”版、“水獺”版、“野牛”版和“獨(dú)角獸”版（規(guī)模依次增大）。

至于使用方面，谷歌在發(fā)布會(huì)中就已經(jīng)介紹說(shuō)有超過(guò)25個(gè)產(chǎn)品和應(yīng)用接入了PaLM 2的能力。

具體表現(xiàn)形式是Duet AI，可以理解為對(duì)標(biāo)微軟365 Copilot的一款產(chǎn)品；在現(xiàn)場(chǎng)也展示了在Gmail、Google Docs、Google Sheets中應(yīng)用的能力。

而現(xiàn)在，CNBC從谷歌內(nèi)部文件中挖出了其在PaLM 2應(yīng)用的更多計(jì)劃——進(jìn)軍廣告界。

根據(jù)這份內(nèi)部文件，谷歌內(nèi)部的某些團(tuán)隊(duì)現(xiàn)在計(jì)劃使用PaLM 2驅(qū)動(dòng)的工具，允許廣告商生成自己的媒體資產(chǎn)，并為YouTube創(chuàng)作者推薦視頻。

谷歌也一直在為YouTube的青少年內(nèi)容測(cè)試PaLM 2，比如標(biāo)題和描述。

谷歌在經(jīng)歷了近20年的快速發(fā)展后，現(xiàn)在已然陷入了多季度收入增長(zhǎng)緩慢的“泥潭”。

也由于全球經(jīng)濟(jì)大環(huán)境等原因，廣告商們也一直在在線(xiàn)營(yíng)銷(xiāo)預(yù)算中掙扎。

具體到谷歌，今年大多數(shù)行業(yè)的付費(fèi)搜索廣告轉(zhuǎn)化率都有所下降。

而這份內(nèi)部文件所透露出來(lái)的信號(hào)，便是谷歌希望抓住AIGC這根救命稻草，希望使用生成式AI產(chǎn)品來(lái)增加支出，用來(lái)增加收入并提高利潤(rùn)率。

據(jù)文件顯示，AI驅(qū)動(dòng)的客戶(hù)支持策略可能會(huì)在100多種谷歌產(chǎn)品上運(yùn)行，包括Google Play商店、Gmail、Android搜索和地圖等。

訓(xùn)練數(shù)據(jù)缺乏透明度，越發(fā)被熱議

不過(guò)話(huà)說(shuō)回來(lái)，包括谷歌在內(nèi)，縱觀(guān)大多數(shù)大語(yǔ)言模型玩家，一個(gè)較為明顯的現(xiàn)象就是：

對(duì)模型、數(shù)據(jù)等細(xì)節(jié)保密。

這也是CNBC直接挑明的一個(gè)觀(guān)點(diǎn)。

雖然很多公司都表示，這是因?yàn)闃I(yè)務(wù)競(jìng)爭(zhēng)所導(dǎo)致的，但研究界卻不這么認(rèn)為。

在他們看來(lái)，隨著AIGC大戰(zhàn)的持續(xù)升溫，模型、數(shù)據(jù)等需要更高的透明度。

而與之相關(guān)的話(huà)題熱度也是越發(fā)的激烈。

例如谷歌Research高級(jí)科學(xué)家El Mahdi El Mhamdi便于二月份辭職，此舉背后的原因，正是因?yàn)樗X(jué)得公司缺乏透明度。

無(wú)獨(dú)有偶，就在OpenAI CEO Sam Altman參與聽(tīng)證會(huì)期間，便“反向”主動(dòng)提出立法者進(jìn)行監(jiān)管：

如果這項(xiàng)技術(shù)出了問(wèn)題，那就可能會(huì)是大問(wèn)題……我們希望合作，防止這種情況發(fā)生。

截至發(fā)稿，對(duì)于CNBC所爆料的諸多內(nèi)容，谷歌方面暫未做出回應(yīng)。

參考鏈接：
[1]https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html
[2]https://www.cnbc.com/2023/05/17/google-to-use-new-ai-models-for-ads-and-to-help-youtube-creators.html
[3]https://ai.google/discover/palm2