學(xué)生3年投稿6次被拒，于是吳恩達(dá)親手搓了個(gè)評(píng)審Agent
網(wǎng)友：等6個(gè)月被人類拒稿不如2分鐘被AI拒稿
聞樂(lè) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
科研人不容易。
3年投稿6次全被拒，每次等反饋要半年？？
機(jī)器學(xué)習(xí)大佬吳恩達(dá)聽(tīng)說(shuō)這位學(xué)生的“水逆”遭遇后，親手搓了個(gè)免費(fèi)的AI論文評(píng)審智能體出來(lái)。
通過(guò)在ICLR 2025審稿數(shù)據(jù)上訓(xùn)練系統(tǒng)，并在測(cè)試集中對(duì)比發(fā)現(xiàn)，該AI審稿系統(tǒng)與人類審稿的相關(guān)系數(shù)達(dá)0.42，和人與人審稿間的0.41相近甚至還高一點(diǎn)。
也就是說(shuō)，AI評(píng)審的判斷已經(jīng)和人類之間相互評(píng)審的一致性相當(dāng)了。
對(duì)此，有網(wǎng)友表示：與其等6個(gè)月被拒，還不如幾分鐘內(nèi)就被拒！
畢竟早拒早改早提交（doge）。
AI評(píng)分和人類評(píng)分趨于一致
而且傳統(tǒng)評(píng)審每輪反饋要等上數(shù)月，可收到的評(píng)論大都聚焦在“評(píng)判論文值不值得發(fā)表”上，卻很少給出如何修改的具體建議。
而吳恩達(dá)的這款A(yù)I論文評(píng)審智能體，恰恰精準(zhǔn)戳中這個(gè)痛點(diǎn)！
首先說(shuō)一下它的“審稿”流程。
當(dāng)你提交論文時(shí)，可以選你投的是哪個(gè)期刊/會(huì)議，系統(tǒng)就會(huì)根據(jù)那個(gè)會(huì)議的評(píng)審風(fēng)格來(lái)判斷。
它會(huì)把你提交的PDF轉(zhuǎn)成Markdown，確認(rèn)這是學(xué)術(shù)論文后，自動(dòng)提煉出一些關(guān)鍵詞，比如你實(shí)驗(yàn)用了什么標(biāo)準(zhǔn)、你的題目和哪些現(xiàn)有論文類似。
然后用搜索工具去arXiv上找最新的相關(guān)研究，接著挑出最相關(guān)的論文進(jìn)行總結(jié)，之后結(jié)合原文和這些總結(jié)，按模版給出完整的評(píng)審意見(jiàn)，同時(shí)提一些具體的、能操作的修改建議。
為了讓這個(gè)系統(tǒng)更實(shí)用，團(tuán)隊(duì)還訓(xùn)練它模仿ICLR 2025的評(píng)審給論文打1-10分。
具體是先從原創(chuàng)性、研究問(wèn)題重要性、結(jié)論是否有依據(jù)等7個(gè)維度打分，再用模型算出最終分?jǐn)?shù)。
測(cè)試發(fā)現(xiàn)，AI和人類審稿人的評(píng)分相關(guān)性是0.42，人類之間的相關(guān)性才0.41，說(shuō)明這個(gè)AI快趕上人類水平了……
不過(guò)預(yù)測(cè)論文能不能被錄用時(shí)，人類評(píng)分的準(zhǔn)確率有0.84，還是比AI的0.75高一些。
下面這張圖片是AI和人類評(píng)審的校準(zhǔn)圖。
其中藍(lán)色柱子展示了人類評(píng)分的分布情況，能看到人類評(píng)分在4、5、6、7分區(qū)間較為集中。
橙色折線則代表在對(duì)應(yīng)人類評(píng)分區(qū)間內(nèi)，AI評(píng)分≤5.5的比例，從圖中可知，隨著人類評(píng)分的升高，AI評(píng)分≤5.5的比例逐漸下降。
總結(jié)來(lái)說(shuō)就是，AI評(píng)分≤5.5的比例隨人類評(píng)分升高而顯著降低，說(shuō)明AI評(píng)分在一定程度上能與人類評(píng)分的趨勢(shì)保持一致。
也就是說(shuō)，這個(gè)AI評(píng)審真能在一定程度上反映你的論文中稿幾率。
當(dāng)然了，AI審稿主要參考arXiv上的內(nèi)容，最終的結(jié)果可能會(huì)有誤差。并且，雖然AI審稿快，但也不是立馬能拿到結(jié)果。
實(shí)際上我們也上傳了一篇論文，但目前的結(jié)果是稍等稍等稍等……
好消息是，我沒(méi)有被AI幾分鐘就拒稿（doge）。
OMT
根據(jù)吳恩達(dá)的說(shuō)法，這個(gè)AI論文自動(dòng)評(píng)審智能體是斯坦福大學(xué)博士Yixing Jiang進(jìn)行改進(jìn)的。
他還曾在谷歌DeepMind實(shí)習(xí)過(guò)7個(gè)月。
對(duì)于這個(gè)免費(fèi)審稿系統(tǒng)，有需要科研er們可以體驗(yàn)一波，說(shuō)不定就“中稿”了～
體驗(yàn)地址：https://paperreview.ai/
參考鏈接：
[1]https://x.com/AndrewYNg/status/1993001922773893273?s=20
— 完 —
量子位 QbitAI · 頭條號(hào)簽約
關(guān)注我們，第一時(shí)間獲知前沿科技動(dòng)態(tài)
相關(guān)閱讀
吳恩達(dá)新動(dòng)作：建立全新機(jī)器學(xué)習(xí)資源Hub，「以數(shù)據(jù)為中心的AI」大本營(yíng)
從「以模型為中心」到「以數(shù)據(jù)為中心」
蘋果接盤倒下的無(wú)人車公司：吳恩達(dá)旗下，曾估值2億美元，CEO及大部分員工被裁
無(wú)人車，到迎接市場(chǎng)檢驗(yàn)的時(shí)候了。
吳恩達(dá)教你打造自己的AI應(yīng)用！三門新課限時(shí)免費(fèi)，新手能看兩門
關(guān)于LangChain、ChatGPT和擴(kuò)散模型
吳恩達(dá)最新預(yù)測(cè)：關(guān)于AI，這些事未來(lái)十年不會(huì)變
眾AI大牛紛紛下場(chǎng)預(yù)測(cè)
站-1.png)
美國(guó)創(chuàng)客教育標(biāo)桿轟然倒塌，裁掉所有員工，席卷全球的創(chuàng)客盛事面臨終止
現(xiàn)實(shí)固然殘酷，但它帶來(lái)的創(chuàng)客精神，也必然會(huì)一如既往，成為推動(dòng)創(chuàng)新迸發(fā)的內(nèi)在力量。
