ChatGPT下架官方檢測(cè)工具，承認(rèn)AI文字無(wú)法鑒別

夢(mèng)晨 2023-07-26 14:10:19 來(lái)源：量子位

夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

沒(méi)有公告，OpenAI悄然關(guān)閉了AI文本檢測(cè)工具，頁(yè)面直接404了。

官方對(duì)此沒(méi)有公開回應(yīng)，幾天后才有人找到一則簡(jiǎn)短說(shuō)明，藏在半年前工具發(fā)布的博客頁(yè)面中。

……AI檢測(cè)器由于準(zhǔn)確率較低而不再可用……我們正在研究更有效的文本檢測(cè)技術(shù)，并承諾開發(fā)音頻和視覺(jué)檢測(cè)技術(shù)。

對(duì)于CloseAIOpenAI不發(fā)公告就殺死一個(gè)產(chǎn)品這種行為，很多網(wǎng)友是不滿意的。

但是對(duì)關(guān)閉AI檢測(cè)器本身倒是有不少人表示贊同，特別是學(xué)生群體。

太多老師相信這玩意有效，大量冤枉學(xué)生用AI作弊，已經(jīng)變成了一場(chǎng)獵巫運(yùn)動(dòng)。

準(zhǔn)確率和瞎猜差不多

這個(gè)官方檢測(cè)工具，準(zhǔn)確率究竟有多低呢？

OpenAI自己給出的數(shù)據(jù)，只能正確識(shí)別26%的AI生成文本，同時(shí)冤枉9%的人類編寫文本。

1月份剛發(fā)布時(shí)就被網(wǎng)友總結(jié)為“和瞎猜差不多”。

另外有人做過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，市面上各種檢測(cè)工具會(huì)把圣經(jīng)、美國(guó)憲法等歷史文本都被判定可能為AI編寫，總不能寫下這些內(nèi)容的歷史人物都是時(shí)間穿越者吧？

但還是有很多老師試圖用各種檢測(cè)方法來(lái)檢查學(xué)生作業(yè)。

最著名的一次，得克薩斯農(nóng)工大學(xué)一位教授差點(diǎn)判定半個(gè)班的學(xué)生延畢。

目前最新的趨勢(shì)是，教師要求學(xué)生用在線文檔寫作業(yè)并檢查編輯記錄，但聰明的學(xué)生也能找到規(guī)避辦法。

最終對(duì)于教育領(lǐng)域，有人提出可能大作業(yè)/課程論文將成為歷史，閉卷考試或口語(yǔ)考試將成為主流。

目前的檢測(cè)方法都能規(guī)避

網(wǎng)友指出，OpenAI同時(shí)開發(fā)生成和檢測(cè)工具本身就是矛盾的。

如果一邊做的好就意味著另一邊沒(méi)做好，同時(shí)還有可能存在利益沖突。

但是第三方開發(fā)的檢測(cè)方法，可靠性也不高。

最早被稱為“ChatGPT克星”的是普林斯頓本科生Edward Tian開發(fā)的GPTZero，用復(fù)雜性和長(zhǎng)短句的變化來(lái)衡量文章是否由AI生成。

當(dāng)時(shí)GPTZero計(jì)劃專為教育工作者打造，老師可以把全班學(xué)生的作業(yè)丟進(jìn)去檢測(cè)。

但到了7月份，作者承認(rèn)已放棄了檢測(cè)學(xué)生作弊這個(gè)方向，計(jì)劃下個(gè)版本的GPTZero將不再檢測(cè)文本是否由AI生成，而是突出最像人寫的部分。

另外一個(gè)很受關(guān)注的檢測(cè)方法，是馬里蘭大學(xué)開發(fā)的水印法，要求大模型在生成文本的時(shí)候就藏下記號(hào)，并用統(tǒng)計(jì)方法識(shí)別。

但是規(guī)避的辦法也很簡(jiǎn)單，比如有人開發(fā)了簡(jiǎn)單的同義詞替換工具，就能破壞統(tǒng)計(jì)特征。

甚至有人開始懷疑，人們到底是為了什么非要區(qū)分這個(gè)。

就像數(shù)字到底是人計(jì)算的還是計(jì)算機(jī)完成的，早就沒(méi)人在意了。

演講者的稿是自己寫的還是秘書寫的，不是也沒(méi)人在意嗎。

人類行為學(xué)研究，正在用AI充當(dāng)被試

無(wú)法區(qū)分AI和人類的內(nèi)容，似乎也不全是壞事。

已經(jīng)有心理實(shí)驗(yàn)用AI代替人類被試加速研究了。

Cell子刊上一篇文章指出，在精心設(shè)計(jì)的實(shí)驗(yàn)場(chǎng)景中，ChatGPT的反應(yīng)與大約95%的人類參與者的反應(yīng)呈相關(guān)性。

并且機(jī)器被試不會(huì)疲倦，使科學(xué)家能以前所未有的速度收集數(shù)據(jù)并測(cè)試有關(guān)人類行為的理論。

而在最近一篇Science主刊的觀點(diǎn)文章上，滑鐵盧大學(xué)心理學(xué)教授Igor Grossman認(rèn)為：

“人工智能可以改變社會(huì)科學(xué)研究的游戲規(guī)則，謹(jǐn)慎的偏見(jiàn)管理和數(shù)據(jù)保真度是關(guān)鍵?！?/p>

參考鏈接：
[1]https://twitter.com/KevinAFischer/status/1683898199981928450
[2]https://www.reddit.com/r/ChatGPT/comments/159j8rc/openai_quietly_kills_its_own_ai_classifier_citing/
[3]https://news.ycombinator.com/item?id=36862850
[4]https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(23)00098-0
[5]https://www.science.org/doi/10.1126/science.adi1778
[6]https://theconversation.com/beyond-the-hype-how-ai-could-change-the-game-for-social-science-research-208086