ChatGPT「克星」來了！文章作者是人是AI幾秒檢出，服務(wù)器已擠爆

豐色 楊凈 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

你說ChatGPT，它寫的東西逼真到傻傻分不清？

沒關(guān)系！

現(xiàn)在，它的“克星”來了——

一位華人小哥專門搞了這么一個網(wǎng)站，專門鑒別文字到底是出自于AI還是人類。

你只需要把相應(yīng)的內(nèi)容粘進去，幾秒內(nèi)就能分析出結(jié)果。

比如這段從新聞網(wǎng)站里摘出來的。

它：“妥妥的人類～”

至于這段從推特上摘下來的文段。

它：“就知道是AI。”

如此神器一出，可謂迅速俘獲大家的芳心。

這不，直接把服務(wù)器都給擠崩嘍（好在還有個備用的）。

這下，那些用ChatGPT寫作業(yè)的“熊孩子”也要慘啦？

是人還是ChatGPT？GPTZero：看我的

這個網(wǎng)站名叫GPTZero。

它主要靠“perplexity”，即文本的“困惑度”作為指標來判斷所給內(nèi)容到底是誰寫的。

NLP領(lǐng)域的朋友們都知道，這個指標就是用來評價一個語言模型的好壞的。

在這里，每當你喂給GPTZero一段測試內(nèi)容，它就會分別計算出：

1、文字總困惑度

這個值越高，就越可能出自人類之手。

2、所有句子的平均困惑度

句子越長，這個值通常就越低。

3、每個句子的困惑度

通過條形圖的方式呈現(xiàn)，鼠標懸浮到各個方塊就可以查看相應(yīng)的句子是什么（這里就兩塊，因為我此時輸入的測試內(nèi)容就倆句子）。

之所以要繪制這樣的條形圖，作者也作出了解釋：

根據(jù)最新的一些研究：人類書寫的一些句子可能具有較低的困惑度（前面說過，人類的困惑度是比較高的），但隨著繼續(xù)寫，困惑度勢必會出現(xiàn)峰值。

相反，用機器生成的文本，其困惑度是均勻分布的，并且總是很低。

除此之外，GPTZero還會挑出困惑度最高的那個句子（也就是最像人寫的）。

規(guī)則就是這些，接下來實際測一測。

測試1：成功

首先來一段最新的英文新聞（目前還不支持測中文）：

將它粘貼進測試框（需注意每句至少5個單詞，建議每段能有10個句子，結(jié)果會更準一些）。

很快，GPTZero計算出這段文字的總文字困惑度為27，句子平均困惑度為171.2，每條句子的困惑度圖長這樣：

以及困惑度最高的句子的值為476。

看這個結(jié)果，估計你也猜出了GPTZero的答案：

是人類寫的。

答對了。

測試2：失敗

來一段ChatGPT的。

將內(nèi)容粘貼進測試框，得出這段文字的總文字困惑度為31，句子平均困惑度為76.67，每條句子的困惑度圖長這樣：

以及困惑度最高的句子的值為99。

看起來，每項困惑度值都和上面那段差距都挺大的，應(yīng)該能猜出來是AI寫的吧。

不過遺憾的是，GPTZero無法給出答案，還希望我們再多加一點文字試試。

顯然，這段話字數(shù)夠多，但句子不夠多，無法讓GPTZero一眼識破ChatGPT的“偽裝”。

測試3：成功

那我們再來一段ChatGPT的試試。

這回內(nèi)容夠長，句子也夠多。

果然沒問題了，GPTZero直接答對：

好像確實摸出來一點門道：

那就是字多的同時，句子數(shù)量也一定要多，至少5句，好讓GPTZero通過直方圖的分布加碼識別，最后的準確率就可以提高一些。

另外還需要提的是，我們發(fā)現(xiàn)在挑戰(zhàn)失敗的情況中，除了上面這種識別不出來的時候，也有直接識別錯誤的——

比如把AI寫的判斷成人寫的：

把人寫的新聞判斷成AI的：

這種情況按照上面所說的竅門，再多加點內(nèi)容可能就能將結(jié)果扳回來。

（注意是可能哈，就上面這段新聞，我們把所有內(nèi)容都粘進去了，它也說不行，還說要再多來點。）

普林斯頓華人小哥出品

創(chuàng)建該網(wǎng)站的，是一個22歲的華人小哥Edward Tian，來自加拿大多倫多。

目前是美國普林斯頓CS專業(yè)大四學生，輔修認知科學和新聞學，對軟件工程、機器學習等有濃厚的興趣。

他現(xiàn)在微軟實習，曾在BBC、貝靈貓等公司撰寫過科技稿件，還曾加入到地圖工具Representable的創(chuàng)始團隊。

學習期間，他曾來到清華大學參加為期四周的城市研究研討會。

據(jù)他表示，這個應(yīng)用程序是新年假期在咖啡店完成的。

之所以想要開發(fā)這款應(yīng)用程序，簡而言之就是因為有太多ChatGPT炒作，人類應(yīng)該知道有哪些是AI寫的文章。

目前仍處于準系統(tǒng)階段，預(yù)計在接下來幾周內(nèi)改進模型和分析。

除此之外，他還透露，正在測試由學生撰寫的新聞文章數(shù)據(jù)集，并希望最終能發(fā)表論文。

更多ChatGPT殺手

事實上，也不只有這位小哥看ChatGPT不順眼了。還有其他人類組織也相應(yīng)開發(fā)了AI文本檢測器，AKA?ChatGPT殺手。

大體思路也都差不多，那就是“用魔法打敗魔法”，用AI寫的東西來訓練新AI。

前陣子，OpenAI自己聯(lián)合哈佛等高校機構(gòu)聯(lián)合打造了一款檢測器：GPT-2 Output Detector。

作者們先是發(fā)布了一個“GPT-2生成內(nèi)容”和WebText（專門從國外貼吧Reddit上扒下來的）數(shù)據(jù)集，讓AI理解“AI語言”和“人話”之間的差異。

隨后，用這個數(shù)據(jù)集對RoBERTa模型進行微調(diào)，就得到了這個AI檢測器。其中人話一律被識別為True，AI生成的內(nèi)容則一律被識別為Fake。

（RoBERTa是BERT的改進版。原始的BERT使用了13GB大小的數(shù)據(jù)集，但RoBERTa使用了包含6300萬條英文新聞的160GB數(shù)據(jù)集。）

另一位早年代表選手，也因為這次新進展再次被提及。

它就是MIT-IBM沃森AI實驗室的以及哈佛NLP實驗室開發(fā)的GLTR模型。

它主要通過對文本進行統(tǒng)計分析和可視化，而用來檢測的是最初用來生成文本的相同or類似模型。目前主要支持GPT-2和BERT兩個模型。

由于輸出是模型知道的所有單詞排名，根據(jù)排名對文本每個單詞進行顏色編碼，前10名是綠色，前100名是黃色，前1000名是紅色，紫色則是不太可能出現(xiàn)的詞。

如果一段文本黃綠色過多，那么這段文字主要是由AI生成的。

此番GPTZero再度亮相，不少網(wǎng)友驚嘆：Incredible work！

但也有人表示，文本檢測器根本就是一場失敗的軍備競賽，他們的實際效果并不好。也阻擋不了ChatGPT的發(fā)展。

與此同時，還有網(wǎng)友探討起關(guān)于「文章是否需要明確指示由AI還是人類編寫」的必要性。

有位詞曲創(chuàng)作者認為，這是有必要的，就像在看雜志時會標注“廣告”，這應(yīng)該是一個簡單的要求。

但有網(wǎng)友立即表示反對，為什么要設(shè)置障礙？這就跟使用PS然后加上Adobe水印，對產(chǎn)品沒有任何益處。

對于這個問題，你怎么看呢？

試玩鏈接：
https://etedward-gptzero-main-zqgfwb.streamlit.app/
參考鏈接：
[1]https://brackets.substack.com/about
[2]https://www.reddit.com/r/programming/comments/102hxlg/gptzero_an_app_to_efficiently_tell_if_an_essay_is/
[3]https://twitter.com/Marc__Watkins/status/1601746409203863553
[4]http://gltr.io/