只花5-10分鐘評審，還不提供拒稿理由，IJCAI就“槍斃”42%論文，網友：一臉懵逼

十三 2020-02-23 13:29:30 來源：量子位

十三 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

今年的IJCAI，真可謂是秀了一波神操作。

IJCAI 2020 的論文截稿日期為1月20日，最終的投稿數量為5147篇。

而這才剛剛過去一個月，還沒有終審，2191篇論文就被“槍斃”了。

不少人收到了來自程序主席Christian Bessiere的郵件。

△圖源：知乎

據你所知，IJCAI-PRICAI 2020 今年的審核過程有2個階段。

第一階段是summary-reject。每一篇論文都會發送給7到10名高級PC，要求他們花5-10分鐘來對論文進行評審，并回答“該論文是否應該進入下一輪評審？”的問題。基于高級PC的投票和評論，負責該論文的領域主席最終決定該文論是否將進入全面審核階段。

經過summary-reject階段，在接收的5147篇論文中，有2191篇被拒稿。

通過瀏覽領域主席的評論，我注意到他們有些評論并不是以論文作者能夠閱讀的形式寫下的，所以我決定不向被拒稿的作者提供領域主席對論文做出的任何評價。

我知道大家在沒有任何其他反饋的情況下收到拒稿通知，可能會非常失望。我鼓勵你繼續尋找能夠發表工作的平臺。

之前便有流言說，今年的IJCAI為了提高自己在頂會的地位，會有大動作。但萬萬沒想到，在summary-reject階段的拒稿率就高達42%，確實是一波神操作。

這樣的拒稿方式，不服！

不少同學在收到這樣一封郵件后，可謂是一臉懵逼，心態炸裂，立即引起了熱議。

槽點一：花5-10分鐘評審論文

一位網友在收到郵件后，在Reddit發布了一個帖子進行吐槽。

我剛剛收到來自 IJCAI-20的拒絕通知，說他們有3-5個評審員審查了我的論文5-10分鐘。

這是一個什么樣的審查過程？僅僅閱讀5-10分鐘，你怎么能確定一篇論文的質量呢？

我實驗室的其他論文也因此而被拒絕，這毫無意義。我們在論文上花了5-6個月的時間，而這些“評論員”花了5-10分鐘來評判我們的工作。這只能證明，在類似 IJCAI 的會議上，審查過程是多么的輕松。

知乎一位匿名網友表示：

5000篇文論，每篇5分鐘，按每位高級PC審稿100篇來算，一個禮拜就能搞定，再不濟兩個禮拜也綽綽有余了吧！

還有知乎網友在看了Twitter上紐大副教授(一位SPC)的解釋后，表示：

SPC只有5-10分鐘的時間去決定一篇文章的生死，如果是自己不熟悉的領域，可以說真的是隨機選擇了。

槽點二：沒有給出任何理由就拒稿

郵件中的“所以我決定不向被拒稿的作者提供領域主席對論文做出的任何評價”這句話也成為了吐槽的一個熱點。

Twitter網友Yash Satsangi表示：

沒有提供理由/反饋就拒絕論文是非常不科學的。雪上加霜的是，IJCAI還被認為是一個“AI推理”會議。

Esther Mondragon表示：

通過“投票”，并不給作者提供拒稿理由，是完全不專業的行為，而且對年輕的研究人員來說肯定是非常令人沮喪的。

知乎網友也表示“心態炸裂”：

我真的心態崩了，別人大半年的工作，他什么理由都沒有就直接reject？以這種方式減少審稿人的工作量是不是太草率了啊？

槽點三：只有通訊作者才能收到郵件

除了對郵件內容本身，網友們還發現了一件奇葩的事情，只有通訊作者才能收到郵件。

知乎網友“塵世迷途小書童”表示：

沒寫通訊作者豈不涼涼，沒收到郵件。

知乎匿名用戶表示：

同樣啊，自己沒收到拒信。我導告訴我的，結果什么都沒有，一個review意見也沒有難受啊。

當然，也有網友翻起了舊賬。

我曾經有一篇論文被拒絕過，因為兩個評審員認為我拼錯了一些東西，但我并沒有拼錯——他們不熟悉我所引用的內容，認為我是指另一件事情，說是我沒有正確地引用那件事情。

不幸的是，除非你在評審委員會中有某種個人影響力，否則你真的無能為力。歡迎來到學術界，在這里，你的牙齒會被打掉，因為其他人都被打掉了。

更有網友調侃道：“這讓我想起了Little Britain中的一個場景。”

SPC紛紛出面做解釋

面對如此沸沸揚揚的意見，不少SPC站出來做了解釋。

首先是紐約大學副教授Julian Togelius，他在Twitter上表示：

我也是今年IJCAI的高級PC，并且參加了summary reject投票的過程。

我發現很難決定哪些論文值得看一看，尤其是如果它們并不完全在我的研究領域。選擇變得幾乎是隨機的。

我的猜測是，大多數PC的高級成員發現summary reject投票和我一樣困難，他們中的許多人只是簡單地投票拒絕了看起來與他們習慣的太不一樣的論文。顯然，這對小的子領域和新出現主題的打擊是最大的。

Reddit上一位自稱是SPC的用戶做出了如下解釋：

我的理解是，IJCAI的組織者認為，隨著提交數量的爆炸性增長，對每一篇論文進行完整的審查是不可行的。他們試圖減少論文數量，方法是讓SPC查閱大量論文(我的情況是40篇)，并檢查嚴重問題的跡象(缺乏動機、相關性、創新、評估的力度/廣度)。

我認為這里有兩個問題需要討論——首先，這樣做有意義嗎？其次，組織工作會順利嗎？

關于第一個問題，我認為這在原則上是個不錯的主意。有些期刊也這樣做。問題是如何設置閾值。我個人推薦了大約10%的論文進行summary reject——當我對細節不夠熟悉時，我不會推薦summary reject。但是，如果只減少10%，那么兩輪的設置可能就沒有意義了。

第二個問題：事后看來，也許這本來可以組織得更好。我們(SPC)被要求輸入一份wrt summary reject的建議，并可以選擇寫一封推薦信來為區域主席辯護——但這些通常都是相當不正式的。我想這就是他們決定不發布任何評論者的原因，我同意這是一個非常不愉快的結果。

總的來說，有一件事你應該注意到，在CS/AI的所有領域中，審查程序在這個領域的增長下都在吱吱作響。我認為，會議嘗試使用新的策略來管理審查過程是一件好事，也是必要的。有時，它工作得很好，有時則不然。

我認為，作為受影響的作者，您完全可以向大會表達您對缺乏信息/透明度的失望，因為這可能會成為對如何為下一屆IJCAI進行評估的內容。

也就是說，請做到專業和禮貌！我理解你的憤怒，但是我百分之百確定組織這次會議的人運用了他們最好的判斷力，而且是無償的社區服務。這通常是一份吃力不討好的工作，他們最不需要的就是憤怒的指責郵件。

那么，對于今年IJCAI的這波操作，你怎們看？

傳送門

Reddit：https://www.reddit.com/r/MachineLearning/comments/f7o4s4/d_ijcai_2020_reviews/

知乎：https://www.reddit.com/r/MachineLearning/comments/f7o4s4/d_ijcai_2020_reviews/