NeurIPS審稿引發吐槽大會，落選者把荒唐意見懟了個遍：“我謝謝你們了”

魚羊 栗子 2019-07-31 13:18:01 來源：量子位

魚羊 栗子 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

七月份的尾巴，機器學習頂會NeurIPS 2019的初步結果已經來了。

一年一度的吐槽盛會也由此開始。

“有評審問我啥是ResNet。”

“有評審問我為啥沒引用X論文。我不止引用了，還專門描述了一段和X的關系。”

“我看到了14000605種未來，沒有一種能中NeurIPS。”

吐槽之余，許多小伙伴還是開始準備Rebuttal了。

雖然，多數Rebuttal沒什么用，但依然有位同學給出了一份高贊模板，把Rebuttal和吐槽活動完美結合，熱情問候了各位審稿人。

大家可盡情欣賞，并謹慎借鑒：

引熱議的Rebuttal

在Reddit上，初步被拒的@SoFarFromHome表示：

我們感謝每位審稿人細致的評論，有些真的是看過文章才來評價的呢。

之后，就開始了全面掃射，嘲諷了論文的每一位審稿人的幾乎每條評論，引發了網友的熱議。量子位節選了這個Rebuttal如下：

有位審稿人問我們為啥沒有引用X。我們想說的是，已經引用了，還花了一整段來描述我們的研究和它的關系。

有位審稿人舉出了個數據集，讓我們用它評估模型。我們想說的是，已經用這個數據集評估過了，看實驗章節。

……

有位審稿人指出，我們的方法在假設3不成立的時候就不work。是啊，說得對啊。所以我們才把它列成假設了啊。恭喜您的閱讀理解啊。

有位審稿人直接把我們的Intro，復制到“這篇論文的3個貢獻”一欄里了。我們一定會在后續修改的時候，加上一個“分數10 置信度5”，能復制的那種，讓您打分更方便。

……

有位審稿人用了一半篇幅來論證，我們這個子領域就是愚蠢的錯誤的。我謝謝ta跨越學術界線，來為一個讓ta深深痛苦的領域寫評論。

就沒有一條好評么？不不不，有許多，這位同學繼續寫道：

審稿人們還給出了這樣的評價：

“原創 (Original) ，積極 (Well-Motivated) ，值得研究 (Worthy of Study) 。”

“這篇論文讀起來很享受。”

“這是一個有趣的問題，當然值得研究。”

“這篇論文找到了一個重要的問題……并給出了簡單的解決方法。”

感謝你們都標了拒稿 (Reject) 。

由于所有打分都在3-5之間，不管是你們還是領域主席 (AC) ，都不會讀下這篇回應，也不會考慮重新打分。

我只不過希望今后，你們寫的那些原創的、積極的、有趣的、清晰的論文，也能得到同等的待遇。

既然從分數上看，幾乎沒給Rebuttal留什么空間；

那么，用機槍一般的吐槽，排一排悶在心里的暑氣，大概也是個好辦法。

當然，一定也有許多小伙伴，需要認真準備Rebuttal，抓住最后的機會。

據說，隔壁ICCV放榜喜大普奔，且Rebuttal好好寫了就真的有人能看到。

所以，需要鼓勵的人類，可以前往這問題：

如何評價 ICCV 2019 的論文接收結果？有哪些亮點論文？

https://www.zhihu.com/question/336194144/answer/758560475

What is系列

在上一個被瘋狂吐槽的頂會IJCAI里，有這樣一個審稿意見成為了坊間傳說：

What is?Softmax？

在NeurIPS 2019的審稿意見中，“What is”家族再次壯大，有知乎網友表示，審稿人是這樣問自己的：

What is?ResNet？

啊，這可真是個好問題啊，簡直令人窒息。

這位網友的遭遇并不罕見，還有人遇到了這樣的靈魂一擊：

What is?Distillation?

在SoftMax被點名的時候，誰能想到它還有這么多兄弟？

不過也有網友指出，這么問不一定是審稿人不知道這些概念，他們很可能是在提醒你引用/解釋不到位。畢竟做好工作很重要，但也不能忽視論文寫作本身。

這其實也是一個提醒，文章introduction要寫好，引用也要規范喲。

順便問一句，就沒有人碰上滿意的評審么？

其實也是有的，比如：

NeurIPS到底有多玄學

對于學術界來說，會議審稿和接收程序的邏輯一直備受關注。

畢竟，論文能不能中頂會，對研究人員的職業生涯來說還是非常重要的。

那么NeurIPS的審核過程到底說不說的上是玄學呢？

早在2014年，德州大學奧斯汀分校的助理教授Eric Price就做了個實驗，結果發現NIPS的錄取模型比想象中更隨意。

在這個實驗中，Eric和他的胖友Jacob Abernethy討論出了一個“噪聲得分”模型，大概是這樣的：

每篇論文通常會有3個review，評分為0-10。所以在模型里，每篇論文都會有一個從某個分布中得出真實得分v（比如N（0，σ_between^2），和從N（0，σ_within^2）中提取的review。

根據NIPS的審稿規則，錄用結果就是σ_between^2 / σ_within^2的函數。

如果σ_within^2介于1到4倍的σ_between^2之間，那么結果就是這樣：

無獨有偶，KDD 2019（知識發現與數據挖掘國際會議）的Research Track中有一篇論文也關注到了審核流程中隨機性的問題：https://arxiv.org/abs/1905.11924

論文中不中，有時候可能真的是玄學。評審不專業，評審自己也很絕望啊，要怪只能怪論文匹配算法不夠機智吧。

One More Thing

每一次投稿頂會都是一場奇妙的冒險，可能會遇到千奇百怪的review，也可能在觀點的碰撞中有所收獲。

MXNet創始人李沐大神曾經在文章中寫道：

之后想了想，一篇好文章自然需要有足夠多的“干貨”，或者說信息量， 但一篇能被接受的文章需要滿足下面這個公式：

文章的信息量 / 文章的易讀性 < 審稿人水平 * 審稿人花的時間

對于機器學習會議，因為投稿量大，所以審稿人很多自然平均水平就會下降。而且很多審稿人就花半個小時到一個小時來讀文章，所以公式右邊數值通常是很小，而且不是我們能控制。”

之前，NeurIPS 2019投稿平臺就被擠爆，投稿數量達到了6809篇，與2018年相比增長40%。五月底截稿，七八月就要給出結果，審稿人也是鴨梨山大啊。

所以，吐槽歸吐槽，堅持自己的工作，拿出更多的干貨，才是以不變應萬變之道吧。

參考資料：

NIPS實驗：

http://blog.mrtz.org/2014/12/15/the-nips-experiment.html

李沐《博士這五年》

https://zhuanlan.zhihu.com/p/25099638

Reddit高贊Rebuttal模板：

https://www.reddit.com/r/MachineLearning/comments/cjtmi8/d_what_id_like_to_write_in_my_neurips_rebuttal/

如何評價 NeurIPS 2019 的審稿情況？

https://www.zhihu.com/question/322139752/answer/761895242

— 完 —