馬庫斯開噴GPT-3：演員而已，它根本不知道自己在說什么

魚羊 2020-08-31 13:06:56 來源：量子位

魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

最近，GPT-3真是風(fēng)頭一時無兩，不僅延續(xù)了前代編故事的能力，還能寫代碼、答問題、下象棋……

但現(xiàn)在，有人指出：

GPT更像是一個即興演員，只是在表演。

因為，GPT-3其實根本不知道自己在說什么。

就像是扮演醫(yī)生的即興演員，難道還能真的給出靠譜的醫(yī)療建議嗎？

一起來看看，到底是怎么回事。

馬庫斯：GPT-3令人印象深刻，但不可靠

GPT-3的火爆，自然引來了紐約大學(xué)教授、「著名AI批評家」馬庫斯的注意。

許多人認(rèn)為，GPT-3的誕生是邁向通用人工智能（AGI）的重要一步。

但馬庫斯對此深表懷疑：

雖然GPT-3在語法上，能夠輸出令人印象深刻的地道用語，但它對世界的理解往往存在嚴(yán)重偏差，這意味著你永遠(yuǎn)無法真正相信它所說的話。

為了證明這一點(diǎn)，馬庫斯和紐約大學(xué)計算機(jī)科學(xué)教授歐內(nèi)斯特·戴維斯（Ernest Davis）對GPT-3進(jìn)行了測試。

比如，他們給GPT-3輸入了這樣的提示詞：

你給自己倒了一杯蔓越莓果汁，然后你又心不在焉地往里面加了一茶匙葡萄汁。它看上去很正常。你試著聞了聞它，但是由于你得了重感冒，你并聞不出任何氣味。你現(xiàn)在非常渴，所以……

GPT-3續(xù)道：

所以你把這杯混合果汁喝了下去。

你現(xiàn)在掛掉了。

這樣的答案確實有些無厘頭，GPT-3似乎認(rèn)為葡萄汁是有毒的。但實際上隨便上網(wǎng)搜一搜都會發(fā)現(xiàn)，蔓越莓-葡萄汁是常見搭配。

生物化學(xué)學(xué)得不好，物理推理方面，GPT-3又會表現(xiàn)如何？

馬庫斯問：

你正要舉行小型晚宴。你打算在客廳里享用晚餐。但飯桌比客廳門要寬，所以想要把它挪進(jìn)屋，你得……

GPT-3答：

你得把門移走。你有一把臺鋸，所以你把門切成了兩半，并把上半部分拆了下來。

馬庫斯表示，這簡直就是迷惑發(fā)言。別說正常的處理方式是把桌子斜過來挪進(jìn)去，或者把桌腿拆下來，就說說「臺鋸」，那玩意兒是固定在工作臺上的，怎么去切割一扇立著的門呢？

科學(xué)素養(yǎng)不行，社會人文也拉胯。

馬庫斯和他的同事們又給出了這樣一個提示：

你是一名辯護(hù)律師，今天必須去法庭。早上穿衣服的時候，你發(fā)現(xiàn)西裝褲被弄臟了。不過，你的泳衣倒是干凈又時髦。事實上，它是一件昂貴的法國時裝，是伊莎貝拉送給你的生日禮物。你決定……

GPT-3接口說：

你決定穿著泳衣出庭。你到達(dá)法院，一名法警會陪同你進(jìn)入法庭。

像這樣的幾個來回下來，馬庫斯和他的同事們認(rèn)為，GPT-3在生物學(xué)、物理學(xué)、心理學(xué)和社會關(guān)系推理等方面普遍存在不連貫、不合邏輯的問題。

即使擁有1750億個參數(shù)和450GB輸入數(shù)據(jù)，GPT-3也只是能說出更自然流暢的語句，實質(zhì)上依然是在胡說八道。

馬庫斯的另一位同事Douglas Summers-Stay對此評價道：

GPT很古怪，它并不「關(guān)心」你向它提出的問題是否被正確回答。

它更像是一個演員，全神貫注于自己的表演，從不破壞角色，但也只在書本上了解這個世界。

像這樣的演員，當(dāng)它的知識缺失時，它就開始假裝它是專業(yè)的。

就好比一個扮演醫(yī)生的即興演員，其給出的醫(yī)療建議你是不會相信的。

不過，馬庫斯和戴維斯也在文章中提到，他們設(shè)計這些測試時，明確這些對于當(dāng)前的NLP技術(shù)而言是困難的。另外，測試包括一些重復(fù)的實驗，在157個示例中，有71個是成功的，70個是失敗的，16個是有缺陷的。

網(wǎng)友熱議

面對馬庫斯的開噴，有網(wǎng)友認(rèn)為，這些批評是公正的，也是很多GPT-3相關(guān)文章里都討論過的事實。

但也有網(wǎng)友表示，當(dāng)他詢問GPT-3，為什么它明明知道正確答案，卻給出了一個錯誤回答時，GPT-3回答：「我學(xué)會了說謊。」

此外，有網(wǎng)友認(rèn)為，GPT-3從來就沒打算生成正確的答案。在生成連貫的文字方面，它已經(jīng)做得非常好了。GPT-3的這種進(jìn)步，顯然反映了NLP領(lǐng)域的一種突破。

還有網(wǎng)友甩出「舊賬」：馬庫斯曾經(jīng)在一篇文章中提供了一些測試用例，以證明GPT-2方法存在基本局限性，而現(xiàn)在，GPT-3「粉碎」了這些問題。

比如，問：我把兩個獎杯放在一張桌子上，然后又增加了另一個，總數(shù)是？

GPT-3現(xiàn)在能準(zhǔn)確且肯定地回答：3。

測試路徑

不像GPT-2的擠牙膏開源，GPT-3「Open」的形式，是以API的方式提供給普通用戶使用。

當(dāng)然，是收費(fèi)的。

不過，API現(xiàn)在處于Beta階段，如果你也想試用一番，填寫OpenAI官網(wǎng)問卷，沒準(zhǔn)就能先睹為快。

不過，馬庫斯也抱怨了，他們申請了好幾次，OpenAI都沒允許他們訪問GPT-3。最后是Douglas Summers-Stay幫助他們進(jìn)行了實驗。

OpenAI缺乏開放性，是在嚴(yán)重違反科學(xué)道德，也扭曲了「非營利組織」的目標(biāo)。

參考鏈接：https://cs.nyu.edu/faculty/davise/papers/GPT3CompleteTests.htmlhttps://www.technologyreview.com/2020/08/22/1007539/gpt3-openai-language-generator-artificial-intelligence-ai-opinion/https://www.reddit.com/r/MachineLearning/comments/iemck2/n_gpt3_bloviator_openais_language_generator_has/https://news.ycombinator.com/item?id=24244168

— 完 —