首個(gè)AI科學(xué)家發(fā)論文進(jìn)ICLR！得分6/7/6，從選題到實(shí)驗(yàn)全程零人工

白交 2025-04-09 11:02:40 來(lái)源：量子位

白交 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

嚯！完全由AI生成的論文，通過(guò)頂會(huì)ICLR workshop評(píng)審？！

分?jǐn)?shù)為6/7/6，已經(jīng)超過(guò)平均人類(lèi)接收門(mén)檻。

論文是醬嬸的。

整個(gè)通篇看下來(lái)，圖表論據(jù)俱全，十分有模有樣。

這篇論文，由首位AI科學(xué)家AI Scientist的2.0版本完成。

背后公司Sakana AI，是Transformer作者之一的Llion Jones的創(chuàng)業(yè)公司。

新版本2.0是一個(gè)通用端到端Agent系統(tǒng)，與原版本不同的是，它擺脫了對(duì)人工模版的依賴(lài)，能夠自主生成假設(shè)、運(yùn)行實(shí)驗(yàn)、分析數(shù)據(jù)并撰寫(xiě)科學(xué)論文，圖表理解能力也更強(qiáng)。

它在ML領(lǐng)域中具有更強(qiáng)的泛化能力，并采用由實(shí)驗(yàn)管理Agent引導(dǎo)的漸進(jìn)式代理樹(shù)搜索（AgenticTreeSearch）。

就連它的GitHub開(kāi)源代碼庫(kù)都是由大模型來(lái)編寫(xiě)。

AI生成論文通過(guò)頂會(huì)評(píng)審

首先來(lái)看這篇完全由AI生成的論文，官方透露了諸多細(xì)節(jié)。

這篇論文的標(biāo)題為：《組合正則化：增強(qiáng)神經(jīng)網(wǎng)絡(luò)泛化的意外障礙》。論文中的提出了一種旨在增強(qiáng)神經(jīng)網(wǎng)絡(luò)組成泛化的組成正則化方法，進(jìn)行了大量實(shí)驗(yàn)以評(píng)估其影響，并分析了算子復(fù)雜性對(duì)模型性能的影響，討論了組成正則化沒(méi)有產(chǎn)生預(yù)期效益的潛在原因。

當(dāng)時(shí)ICLR workshop同意他們遞交3篇AI生成的論文進(jìn)行同行評(píng)審。

評(píng)審人員會(huì)被告知他們正在評(píng)審的論文可能是AI生成的（43篇論文中有3篇），但并不知道分配給他們的論文作者到底是不是AI。

SakanaAI準(zhǔn)備的論文完全由AI端到端生成，沒(méi)有經(jīng)過(guò)人類(lèi)任何修改——

AI Scientist-v2提出了科學(xué)假設(shè)，提出了測(cè)試假設(shè)的實(shí)驗(yàn)，編寫(xiě)和完善了進(jìn)行這些實(shí)驗(yàn)的代碼，運(yùn)行實(shí)驗(yàn)，分析數(shù)據(jù)，將數(shù)據(jù)可視化為圖表，并寫(xiě)下整個(gè)科學(xué)手稿的每一個(gè)字，從標(biāo)題到最終參考文獻(xiàn)，包括放置圖表和所有格式。

整個(gè)過(guò)程，人類(lèi)僅做的一個(gè)工作是，提供一個(gè)廣泛的研究主題，最終他們挑選出了三篇排名前三論文（考慮到多樣性和質(zhì)量）提交給研討會(huì)。

△團(tuán)隊(duì)為每篇生成的論文撰寫(xiě)了全面的評(píng)論

最終，在提交的三篇論文中，有兩篇論文未達(dá)到接受標(biāo)準(zhǔn)。一篇論文的平均得分為 6.33（分別是6/6/7），在所有提交的論文中排名約 45%，高于人類(lèi)平均接受門(mén)檻。

不過(guò)為了透明起見(jiàn)，這篇論文在同行評(píng)審之后被撤回，也不會(huì)在OpenReview公共論壇上發(fā)布，但是可以GitHub存儲(chǔ)庫(kù)中找到。

除此之外，他們發(fā)現(xiàn)AI Scientist偶爾也會(huì)犯一些引用錯(cuò)誤。

比如將錯(cuò)誤地將“基于 LSTM 的神經(jīng)網(wǎng)絡(luò)”歸因于Goodfellow (2016)，而不是正確的作者Hochreiter和Schmidhuber (1997)。

而為了提高實(shí)驗(yàn)結(jié)果的科學(xué)準(zhǔn)確性、可重復(fù)性和統(tǒng)計(jì)嚴(yán)謹(jǐn)性，他們鼓勵(lì)A(yù)I Scientist重復(fù)其每個(gè)實(shí)驗(yàn)（已選入論文）數(shù)次。

首位AI科學(xué)家2.0

去年8月，首位AI Scientist橫空出世，一出手就獨(dú)立完成了10篇論文。現(xiàn)在的2.0生產(chǎn)的論文已經(jīng)可以通過(guò)頂會(huì)同行評(píng)審。

值得一提的是，官方GitHub頁(yè)面上，特別注明了兩者的區(qū)別：AI Scientist-v2并不一定能寫(xiě)出比v1更好的論文，尤其是在有強(qiáng)大的起始模板可用的情況下。

v1遵循定義明確的模板，成功率較高，而v2則采用更廣泛、更具探索性的方法，成功率較低。v1最適合具有明確目標(biāo)和堅(jiān)實(shí)基礎(chǔ)的任務(wù)，而v2則專(zhuān)為開(kāi)放式科學(xué)探索而設(shè)計(jì)。

AI Scientist-v2通過(guò)將樹(shù)搜索與LLM工作流相結(jié)合，該工作流程由多個(gè)階段組成，包括自動(dòng)創(chuàng)意生成、實(shí)驗(yàn)執(zhí)行、圖表可視化、手稿撰寫(xiě)和審稿。

它采用代理樹(shù)搜索（由實(shí)驗(yàn)進(jìn)度管理器管理，跨越多個(gè)階段）來(lái)生成和完善代碼實(shí)現(xiàn)。隨后的實(shí)驗(yàn)利用樹(shù)搜索中表現(xiàn)最好的代碼檢查點(diǎn)（節(jié)點(diǎn)），對(duì)各種研究假設(shè)進(jìn)行迭代測(cè)試。

Transformer作者之一創(chuàng)業(yè)公司

背后公司Sakana AI，Transformer作者之一Llion Jones（簡(jiǎn)稱(chēng)獅子哥）的創(chuàng)業(yè)公司。

他本碩畢業(yè)于伯明翰大學(xué)，在Delcam、油管、谷歌都工作過(guò)，谷歌是他待得最久的一家公司。

據(jù)FourWeekMBA介紹稱(chēng)，在他之前的工作經(jīng)歷中，“曾兩度與谷歌的工作擦肩而過(guò)”。

第一次是他剛畢業(yè)找工作時(shí)，雖然投了谷歌倫敦軟件工程師的崗位，并通過(guò)了兩輪電話(huà)面試，但最終相比谷歌，他選擇了位于英國(guó)的CAD/CAM軟件公司Delcam。

值得一說(shuō)的是，在拿下谷歌offer前，恰巧遇上2009年的經(jīng)濟(jì)危機(jī)，獅子哥找不到工作，好幾個(gè)月都只能靠領(lǐng)取救濟(jì)金勉強(qiáng)度日。

第二次是工作18個(gè)月后，他又接到了谷歌的招聘電話(huà)，詢(xún)問(wèn)他是否想重新申請(qǐng)，但他依舊沒(méi)去谷歌，而是隨后加入了YouTube。

在Youtube做三年軟件工程師期間，他對(duì)人工智能產(chǎn)生興趣，自學(xué)了Coursera的機(jī)器學(xué)習(xí)課程，并終于在2015年的時(shí)候加入谷歌研究院，擔(dān)任里面的高級(jí)軟件工程師。

也正是在此期間，他與其他七名作者一起發(fā)表了那篇著名的Transformer論文Attention Is Al lYou Need。

除此之外，獅子哥也在谷歌參與了不少研究，包括Prot Trans、Tensor2Tensor等。

之所以選擇離開(kāi)谷歌，是因?yàn)楣灸壳耙呀?jīng)發(fā)展到一種規(guī)模，使得他無(wú)法繼續(xù)進(jìn)行自己想做的工作。

除了每天都在浪費(fèi)精力排查其他人的bug，他還需要花時(shí)間從這家公司中找資源，試圖獲得訪問(wèn)某些數(shù)據(jù)的權(quán)限。

創(chuàng)業(yè)過(guò)后，Sakana AI的工作在有序推進(jìn)。

去年8月，他們首次推出了AI科學(xué)家（AI Scientist）、AI審稿人項(xiàng)目。在這之前，還出過(guò)大模型合并進(jìn)化算法，以及研究Tranformer內(nèi)部信息流動(dòng)。

此次作為AI Scientist的延續(xù)，依舊由Sakana AI、UBC、牛津合作完成。

合著者包括UBC的Cong Lu和Jeff Clune以及牛津大學(xué)的Chris Lu和Jakob Foerster，兩位華人以及他們的導(dǎo)師參與。

Cong Lu，UBC（不列顛哥倫比亞大學(xué)）博士后研究員，導(dǎo)師是Jeff Clune。今年2月加入了DeepMind。

Cong曾在RGU（羅伯特戈登大學(xué)）就讀，2019年在牛津大學(xué)拿下博士學(xué)位，他的主要研究方向是開(kāi)放式強(qiáng)化學(xué)習(xí)和AI科學(xué)發(fā)現(xiàn)。

此前，他曾在Waymo和微軟實(shí)習(xí)過(guò)。

Chris Lu，博士畢業(yè)前在Sakana AI實(shí)習(xí)了6個(gè)月。

他本科畢業(yè)于UC伯克利，博士畢業(yè)于牛津大學(xué)，導(dǎo)師是Jakob Foerster。去年10月畢業(yè)之后，去到了OpenAI。

Chris目前的重要研究方向，是將進(jìn)化啟發(fā)的技術(shù)應(yīng)用于元學(xué)習(xí)和多智能體強(qiáng)化學(xué)習(xí)。

2022年夏天，他曾在DeepMind以研究科學(xué)家身份實(shí)習(xí)過(guò)。

雖然這次AI科學(xué)家已經(jīng)可以生產(chǎn)出頂會(huì)級(jí)別的論文了，但這并不是他們的最終目的。

這次是頂級(jí)的機(jī)器學(xué)習(xí)會(huì)議，下次可能就是頂級(jí)科學(xué)期刊了。

比如Nature、Science啥的。

歸根結(jié)底，研究團(tuán)隊(duì)認(rèn)為最重要的不是人工智能科學(xué)與人類(lèi)科學(xué)的比較，而是它的發(fā)現(xiàn)是否有助于人類(lèi)繁榮，例如治愈疾病或擴(kuò)展我們對(duì)宇宙規(guī)律的認(rèn)識(shí)。

你覺(jué)得這個(gè)時(shí)刻什么時(shí)候會(huì)到來(lái)呢？

參考鏈接：
[1]https://sakana.ai/ai-scientist-first-publication/#importance-of-transparency-and-ethical-code-of-conduct
[2]https://github.com/SakanaAI/AI-Scientist-ICLR2025-Workshop-Experiment?tab=readme-ov-file
[3]https://github.com/SakanaAI/AI-Scientist-v2
[4]https://x.com/SakanaAILabs/status/1909497508977574070