陶哲軒自曝用了「滿血」GPT-4：人類對信息技術的期待全部需要校準

衡宇 2023-06-17 13:49:45 來源：量子位

夢晨 發自 凹非寺

量子位 | 公眾號 QbitAI

數學家陶哲軒剛剛自曝，在GPT-4發布之前就從微軟那里獲得了訪問資格。

也就是和微軟154頁《AGI的火花》論文里同款，未經過安全訓練但能力更強的滿血版。

他讓GPT-4針對論文提出問題來準備講座。

他讓GPT-4生成數學證明，并發現過去閱讀人類作品的經驗完全不適用了。

對于AI在數學研究中的表現，他給出的大膽卻又嚴謹的預言：

當與形式證明驗證器、互聯網搜索和數學符號包等工具整合時，2026年的AI，如果使用得當，將成為數學研究中值得信賴的共同作者，而且在許多其他領域也是如此。

除了數學研究，他也把GPT-4用在了生活中。

他經常使用GPT-4回答一些隨意、措辭含糊的問題，這些問題以前需要在搜索引擎里精心調整關鍵詞才行。

還有一位親戚拿到重癥診斷的同事，被GPT-4寫的慰問信感動得哭了。

在對話中，GPT-4可以充當富有同情心的傾聽者、熱情洋溢的反饋者、富有創造力的靈感來源、翻譯者或教師，又或是魔鬼的代言人。

……

微軟邀請他依據自己的體驗寫了一篇文章，在開頭處他總結到：

在過去的幾十年里，人類已經習慣了從信息技術中期待某些東西……

隨著GPT-4等生成式AI工具的出現，所有這些期望都需要重新校準，如果不是完全放棄的話。

以下是陶哲軒全文翻譯整理，由公開發行版GPT-4完成。

擁抱變化和重新設定期望

在過去的幾十年里，人類已經習慣了從信息技術中期待某些東西。以下是其中的一些：

• 硬件和軟件將以摩爾定律的速度改進（例如性能、用戶體驗和可靠性），然后過渡到更加漸進式的改進。
• 單個軟件工具可以可靠地產生高質量的輸出，但輸入數據必須具有最高質量，并且必須以工具要求的特定方式精心格式化。
• 工具越先進，規范和邊界情況就越復雜，這使得工具之間（尤其是不同提供商之間）的互操作性成為一個重要的技術挑戰，除非有精心設計的標準。
• 人類將做出所有關鍵的決策；軟件工具通過成功或失敗地執行人類指示的命令來影響決策過程。

隨著GPT-4等生成式AI工具的出現，所有這些期望都需要重新校準，如果不是完全放棄的話。

這些工具在處理含糊的（甚至略有錯誤的）自然語言提示或從網頁或PDF中提取的嘈雜數據時表現非常出色。

我可以將最近的一篇數學預印本的前幾頁PDF輸入GPT-4，讓它生成半打有關該預印本的專家可能會提出的聰明問題。我打算使用這類提示的變體來準備將來的演講或開始閱讀技術復雜的論文。

最初，我努力使提示盡可能精確，這是基于我與編程或腳本語言的經驗。

最終在我放棄這種謹慎，并簡單地向AI提供大量原始文本時，取得了最好的結果。

這種魯棒性可能使AI工具與傳統軟件工具相結合，或者彼此相結合，或者與個人數據和偏好相結合。它將它將顛覆各種工作流程，而目前孤立使用的人工智能工具只是在暗示有這種能力。

在對話中，GPT-4可以充當富有同情心的傾聽者、熱情洋溢的反饋者、富有創造力的靈感來源、翻譯者或教師，或者是魔鬼的代言人。

它們可以幫助我們在各個維度上繁榮發展。
由于這些工具允許各種各樣的輸入，我們仍在嘗試如何充分利用它們。

我現在經常使用GPT-4回答我過去需要使用精心準備的搜索引擎查詢的隨意和含糊的問題。

我請它為我必須編寫的復雜文件提供初稿建議。我認識的一些人已經利用這些工具驚人的人工情感智能來獲得支持、安慰和一個安全的環境來探索他們的感受。我的一位同事被GPT-4生成的一封安慰信感動得熱淚盈眶，這封安慰信是寫給一個近期收到毀滅性醫學診斷的親戚的。

在對話中，GPT-4可以充當富有同情心的傾聽者、熱情洋溢的反饋者、富有創造力的靈感來源、翻譯者或教師，又或是魔鬼的代言人。

它們可以幫助我們在各個維度上繁榮發展。

目前的大型語言模型（LLM）經常能夠在特定知識領域（例如我自己所從事的研究數學）中令人信服地模仿正確的專家回應。但眾所周知，仔細觀察時，回答往往是荒謬的。

人類和AI都需要發展分析這種新類型文本的技能。

我過去依賴的用于“嗅出”錯誤數學論證的文體信號在LLM生成的數學中幾乎無用。只有逐行閱讀才能分辨出是否有實質內容。
奇怪的是，即使是無意義的LLM生成的數學，往往也引用了正確的相關概念。

通過努力，人類專家可以將這些不起作用的觀點改進為正確且獨創的論據。

2023年水平的AI已經可以為從業數學家提供有建設性的提示和有前景的線索，并積極參與決策過程。

當與正式證明驗證器、互聯網搜索和符號數學軟件包等工具整合時，我預計，例如2026年水平的AI（如果使用得當）將成為數學研究領域以及許多其他領域值得信賴的合作作者。

那么接下來呢？這不僅取決于技術，還取決于現有人類制度和實踐如何適應。

當AI指導的研究生撰寫的入門級數學論文現在可以在不到一天的時間里生成——并且具有未來AI工具更好的準確性時，研究期刊將如何改變其出版和引用實踐？我們的研究生教育方法將如何改變？我們是否會積極鼓勵和培訓我們的學生使用這些工具？

我們在很大程度上沒有準備好應對這些問題。將會有驚人的AI輔助成就展示和勇敢的實驗來將它們納入我們的專業結構。但也將出現令人尷尬的錯誤、爭議、痛苦的破裂、激烈的爭論和倉促的決策。

我們通常的技術范例將無法作為導航這些未知水域的充分指南。也許最大的挑戰將是以盡可能安全、明智和公平的方式過渡到一個新的AI輔助世界。

One More Thing

陶哲軒還在個人博客中分享了這篇文章的創作中的一些花絮。

他自己和GPT-4先分別寫了一份。

又讓GPT-4看了自己寫的之后，要求GPT-4把它的文章改成自己的風格。

最后又讓GPT-4直接改寫了自己的初稿，并貼在一起方便大家比較。

（最后還是用了他自己寫的）

感興趣的話可以去看看～

原文：
https://unlocked.microsoft.com/ai-anthology/terence-tao/

4個版本比較：
https://terrytao.wordpress.com/about/ai-generated-versions-of-the-ai-anthology-article/

參考鏈接：
[1]https://mathstodon.xyz/@tao/110534826121112802