陶哲軒自曝用了「滿血」GPT-4：人類對信息技術(shù)的期待全部需要校準(zhǔn)

衡宇 2023-06-17 13:49:45 來源：量子位

夢晨 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

數(shù)學(xué)家陶哲軒剛剛自曝，在GPT-4發(fā)布之前就從微軟那里獲得了訪問資格。

也就是和微軟154頁《AGI的火花》論文里同款，未經(jīng)過安全訓(xùn)練但能力更強(qiáng)的滿血版。

他讓GPT-4針對論文提出問題來準(zhǔn)備講座。

他讓GPT-4生成數(shù)學(xué)證明，并發(fā)現(xiàn)過去閱讀人類作品的經(jīng)驗(yàn)完全不適用了。

對于AI在數(shù)學(xué)研究中的表現(xiàn)，他給出的大膽卻又嚴(yán)謹(jǐn)?shù)念A(yù)言：

當(dāng)與形式證明驗(yàn)證器、互聯(lián)網(wǎng)搜索和數(shù)學(xué)符號包等工具整合時(shí)，2026年的AI，如果使用得當(dāng)，將成為數(shù)學(xué)研究中值得信賴的共同作者，而且在許多其他領(lǐng)域也是如此。

除了數(shù)學(xué)研究，他也把GPT-4用在了生活中。

他經(jīng)常使用GPT-4回答一些隨意、措辭含糊的問題，這些問題以前需要在搜索引擎里精心調(diào)整關(guān)鍵詞才行。

還有一位親戚拿到重癥診斷的同事，被GPT-4寫的慰問信感動(dòng)得哭了。

在對話中，GPT-4可以充當(dāng)富有同情心的傾聽者、熱情洋溢的反饋者、富有創(chuàng)造力的靈感來源、翻譯者或教師，又或是魔鬼的代言人。

……

微軟邀請他依據(jù)自己的體驗(yàn)寫了一篇文章，在開頭處他總結(jié)到：

在過去的幾十年里，人類已經(jīng)習(xí)慣了從信息技術(shù)中期待某些東西……

隨著GPT-4等生成式AI工具的出現(xiàn)，所有這些期望都需要重新校準(zhǔn)，如果不是完全放棄的話。

以下是陶哲軒全文翻譯整理，由公開發(fā)行版GPT-4完成。

擁抱變化和重新設(shè)定期望

在過去的幾十年里，人類已經(jīng)習(xí)慣了從信息技術(shù)中期待某些東西。以下是其中的一些：

• 硬件和軟件將以摩爾定律的速度改進(jìn)（例如性能、用戶體驗(yàn)和可靠性），然后過渡到更加漸進(jìn)式的改進(jìn)。
• 單個(gè)軟件工具可以可靠地產(chǎn)生高質(zhì)量的輸出，但輸入數(shù)據(jù)必須具有最高質(zhì)量，并且必須以工具要求的特定方式精心格式化。
• 工具越先進(jìn)，規(guī)范和邊界情況就越復(fù)雜，這使得工具之間（尤其是不同提供商之間）的互操作性成為一個(gè)重要的技術(shù)挑戰(zhàn)，除非有精心設(shè)計(jì)的標(biāo)準(zhǔn)。
• 人類將做出所有關(guān)鍵的決策；軟件工具通過成功或失敗地執(zhí)行人類指示的命令來影響決策過程。

隨著GPT-4等生成式AI工具的出現(xiàn)，所有這些期望都需要重新校準(zhǔn)，如果不是完全放棄的話。

這些工具在處理含糊的（甚至略有錯(cuò)誤的）自然語言提示或從網(wǎng)頁或PDF中提取的嘈雜數(shù)據(jù)時(shí)表現(xiàn)非常出色。

我可以將最近的一篇數(shù)學(xué)預(yù)印本的前幾頁P(yáng)DF輸入GPT-4，讓它生成半打有關(guān)該預(yù)印本的專家可能會(huì)提出的聰明問題。我打算使用這類提示的變體來準(zhǔn)備將來的演講或開始閱讀技術(shù)復(fù)雜的論文。

最初，我努力使提示盡可能精確，這是基于我與編程或腳本語言的經(jīng)驗(yàn)。

最終在我放棄這種謹(jǐn)慎，并簡單地向AI提供大量原始文本時(shí)，取得了最好的結(jié)果。

這種魯棒性可能使AI工具與傳統(tǒng)軟件工具相結(jié)合，或者彼此相結(jié)合，或者與個(gè)人數(shù)據(jù)和偏好相結(jié)合。它將它將顛覆各種工作流程，而目前孤立使用的人工智能工具只是在暗示有這種能力。

在對話中，GPT-4可以充當(dāng)富有同情心的傾聽者、熱情洋溢的反饋者、富有創(chuàng)造力的靈感來源、翻譯者或教師，或者是魔鬼的代言人。

它們可以幫助我們在各個(gè)維度上繁榮發(fā)展。
由于這些工具允許各種各樣的輸入，我們?nèi)栽趪L試如何充分利用它們。

我現(xiàn)在經(jīng)常使用GPT-4回答我過去需要使用精心準(zhǔn)備的搜索引擎查詢的隨意和含糊的問題。

我請它為我必須編寫的復(fù)雜文件提供初稿建議。我認(rèn)識的一些人已經(jīng)利用這些工具驚人的人工情感智能來獲得支持、安慰和一個(gè)安全的環(huán)境來探索他們的感受。我的一位同事被GPT-4生成的一封安慰信感動(dòng)得熱淚盈眶，這封安慰信是寫給一個(gè)近期收到毀滅性醫(yī)學(xué)診斷的親戚的。

在對話中，GPT-4可以充當(dāng)富有同情心的傾聽者、熱情洋溢的反饋者、富有創(chuàng)造力的靈感來源、翻譯者或教師，又或是魔鬼的代言人。

它們可以幫助我們在各個(gè)維度上繁榮發(fā)展。

目前的大型語言模型（LLM）經(jīng)常能夠在特定知識領(lǐng)域（例如我自己所從事的研究數(shù)學(xué)）中令人信服地模仿正確的專家回應(yīng)。但眾所周知，仔細(xì)觀察時(shí)，回答往往是荒謬的。

人類和AI都需要發(fā)展分析這種新類型文本的技能。

我過去依賴的用于“嗅出”錯(cuò)誤數(shù)學(xué)論證的文體信號在LLM生成的數(shù)學(xué)中幾乎無用。只有逐行閱讀才能分辨出是否有實(shí)質(zhì)內(nèi)容。
奇怪的是，即使是無意義的LLM生成的數(shù)學(xué)，往往也引用了正確的相關(guān)概念。

通過努力，人類專家可以將這些不起作用的觀點(diǎn)改進(jìn)為正確且獨(dú)創(chuàng)的論據(jù)。

2023年水平的AI已經(jīng)可以為從業(yè)數(shù)學(xué)家提供有建設(shè)性的提示和有前景的線索，并積極參與決策過程。

當(dāng)與正式證明驗(yàn)證器、互聯(lián)網(wǎng)搜索和符號數(shù)學(xué)軟件包等工具整合時(shí)，我預(yù)計(jì)，例如2026年水平的AI（如果使用得當(dāng)）將成為數(shù)學(xué)研究領(lǐng)域以及許多其他領(lǐng)域值得信賴的合作作者。

那么接下來呢？這不僅取決于技術(shù)，還取決于現(xiàn)有人類制度和實(shí)踐如何適應(yīng)。

當(dāng)AI指導(dǎo)的研究生撰寫的入門級數(shù)學(xué)論文現(xiàn)在可以在不到一天的時(shí)間里生成——并且具有未來AI工具更好的準(zhǔn)確性時(shí)，研究期刊將如何改變其出版和引用實(shí)踐？我們的研究生教育方法將如何改變？我們是否會(huì)積極鼓勵(lì)和培訓(xùn)我們的學(xué)生使用這些工具？

我們在很大程度上沒有準(zhǔn)備好應(yīng)對這些問題。將會(huì)有驚人的AI輔助成就展示和勇敢的實(shí)驗(yàn)來將它們納入我們的專業(yè)結(jié)構(gòu)。但也將出現(xiàn)令人尷尬的錯(cuò)誤、爭議、痛苦的破裂、激烈的爭論和倉促的決策。

我們通常的技術(shù)范例將無法作為導(dǎo)航這些未知水域的充分指南。也許最大的挑戰(zhàn)將是以盡可能安全、明智和公平的方式過渡到一個(gè)新的AI輔助世界。

One More Thing

陶哲軒還在個(gè)人博客中分享了這篇文章的創(chuàng)作中的一些花絮。

他自己和GPT-4先分別寫了一份。

又讓GPT-4看了自己寫的之后，要求GPT-4把它的文章改成自己的風(fēng)格。

最后又讓GPT-4直接改寫了自己的初稿，并貼在一起方便大家比較。

（最后還是用了他自己寫的）

感興趣的話可以去看看～

原文：
https://unlocked.microsoft.com/ai-anthology/terence-tao/

4個(gè)版本比較：
https://terrytao.wordpress.com/about/ai-generated-versions-of-the-ai-anthology-article/

參考鏈接：
[1]https://mathstodon.xyz/@tao/110534826121112802