NeurIPS審稿引發(fā)吐槽大會，落選者把荒唐意見懟了個遍：“我謝謝你們了”

魚羊 栗子 2019-07-31 13:18:01 來源：量子位

魚羊 栗子 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

七月份的尾巴，機器學(xué)習(xí)頂會NeurIPS 2019的初步結(jié)果已經(jīng)來了。

一年一度的吐槽盛會也由此開始。

“有評審問我啥是ResNet?！?/p>

“有評審問我為啥沒引用X論文。我不止引用了，還專門描述了一段和X的關(guān)系。”

“我看到了14000605種未來，沒有一種能中NeurIPS?！?/p>

吐槽之余，許多小伙伴還是開始準(zhǔn)備Rebuttal了。

雖然，多數(shù)Rebuttal沒什么用，但依然有位同學(xué)給出了一份高贊模板，把Rebuttal和吐槽活動完美結(jié)合，熱情問候了各位審稿人。

大家可盡情欣賞，并謹(jǐn)慎借鑒：

引熱議的Rebuttal

在Reddit上，初步被拒的@SoFarFromHome表示：

我們感謝每位審稿人細(xì)致的評論，有些真的是看過文章才來評價的呢。

之后，就開始了全面掃射，嘲諷了論文的每一位審稿人的幾乎每條評論，引發(fā)了網(wǎng)友的熱議。量子位節(jié)選了這個Rebuttal如下：

有位審稿人問我們?yōu)樯稕]有引用X。我們想說的是，已經(jīng)引用了，還花了一整段來描述我們的研究和它的關(guān)系。

有位審稿人舉出了個數(shù)據(jù)集，讓我們用它評估模型。我們想說的是，已經(jīng)用這個數(shù)據(jù)集評估過了，看實驗章節(jié)。

……

有位審稿人指出，我們的方法在假設(shè)3不成立的時候就不work。是啊，說得對啊。所以我們才把它列成假設(shè)了啊。恭喜您的閱讀理解啊。

有位審稿人直接把我們的Intro，復(fù)制到“這篇論文的3個貢獻”一欄里了。我們一定會在后續(xù)修改的時候，加上一個“分?jǐn)?shù)10 置信度5”，能復(fù)制的那種，讓您打分更方便。

……

有位審稿人用了一半篇幅來論證，我們這個子領(lǐng)域就是愚蠢的錯誤的。我謝謝ta跨越學(xué)術(shù)界線，來為一個讓ta深深痛苦的領(lǐng)域?qū)懺u論。

就沒有一條好評么？不不不，有許多，這位同學(xué)繼續(xù)寫道：

審稿人們還給出了這樣的評價：

“原創(chuàng) (Original) ，積極 (Well-Motivated) ，值得研究 (Worthy of Study) ?！?/p>

“這篇論文讀起來很享受?！?/p>

“這是一個有趣的問題，當(dāng)然值得研究?！?/p>

“這篇論文找到了一個重要的問題……并給出了簡單的解決方法?！?/p>

感謝你們都標(biāo)了拒稿 (Reject) 。

由于所有打分都在3-5之間，不管是你們還是領(lǐng)域主席 (AC) ，都不會讀下這篇回應(yīng)，也不會考慮重新打分。

我只不過希望今后，你們寫的那些原創(chuàng)的、積極的、有趣的、清晰的論文，也能得到同等的待遇。

既然從分?jǐn)?shù)上看，幾乎沒給Rebuttal留什么空間；

那么，用機槍一般的吐槽，排一排悶在心里的暑氣，大概也是個好辦法。

當(dāng)然，一定也有許多小伙伴，需要認(rèn)真準(zhǔn)備Rebuttal，抓住最后的機會。

據(jù)說，隔壁ICCV放榜喜大普奔，且Rebuttal好好寫了就真的有人能看到。

所以，需要鼓勵的人類，可以前往這問題：

如何評價 ICCV 2019 的論文接收結(jié)果？有哪些亮點論文？

https://www.zhihu.com/question/336194144/answer/758560475

What is系列

在上一個被瘋狂吐槽的頂會IJCAI里，有這樣一個審稿意見成為了坊間傳說：

What is?Softmax？

在NeurIPS 2019的審稿意見中，“What is”家族再次壯大，有知乎網(wǎng)友表示，審稿人是這樣問自己的：

What is?ResNet？

啊，這可真是個好問題啊，簡直令人窒息。

這位網(wǎng)友的遭遇并不罕見，還有人遇到了這樣的靈魂一擊：

What is?Distillation?

在SoftMax被點名的時候，誰能想到它還有這么多兄弟？

不過也有網(wǎng)友指出，這么問不一定是審稿人不知道這些概念，他們很可能是在提醒你引用/解釋不到位。畢竟做好工作很重要，但也不能忽視論文寫作本身。

這其實也是一個提醒，文章introduction要寫好，引用也要規(guī)范喲。

順便問一句，就沒有人碰上滿意的評審么？

其實也是有的，比如：

NeurIPS到底有多玄學(xué)

對于學(xué)術(shù)界來說，會議審稿和接收程序的邏輯一直備受關(guān)注。

畢竟，論文能不能中頂會，對研究人員的職業(yè)生涯來說還是非常重要的。

那么NeurIPS的審核過程到底說不說的上是玄學(xué)呢？

早在2014年，德州大學(xué)奧斯汀分校的助理教授Eric Price就做了個實驗，結(jié)果發(fā)現(xiàn)NIPS的錄取模型比想象中更隨意。

在這個實驗中，Eric和他的胖友Jacob Abernethy討論出了一個“噪聲得分”模型，大概是這樣的：

每篇論文通常會有3個review，評分為0-10。所以在模型里，每篇論文都會有一個從某個分布中得出真實得分v（比如N（0，σ_between^2），和從N（0，σ_within^2）中提取的review。

根據(jù)NIPS的審稿規(guī)則，錄用結(jié)果就是σ_between^2 / σ_within^2的函數(shù)。

如果σ_within^2介于1到4倍的σ_between^2之間，那么結(jié)果就是這樣：

無獨有偶，KDD 2019（知識發(fā)現(xiàn)與數(shù)據(jù)挖掘國際會議）的Research Track中有一篇論文也關(guān)注到了審核流程中隨機性的問題：https://arxiv.org/abs/1905.11924

論文中不中，有時候可能真的是玄學(xué)。評審不專業(yè)，評審自己也很絕望啊，要怪只能怪論文匹配算法不夠機智吧。

One More Thing

每一次投稿頂會都是一場奇妙的冒險，可能會遇到千奇百怪的review，也可能在觀點的碰撞中有所收獲。

MXNet創(chuàng)始人李沐大神曾經(jīng)在文章中寫道：

之后想了想，一篇好文章自然需要有足夠多的“干貨”，或者說信息量， 但一篇能被接受的文章需要滿足下面這個公式：

文章的信息量 / 文章的易讀性 < 審稿人水平 * 審稿人花的時間

對于機器學(xué)習(xí)會議，因為投稿量大，所以審稿人很多自然平均水平就會下降。而且很多審稿人就花半個小時到一個小時來讀文章，所以公式右邊數(shù)值通常是很小，而且不是我們能控制?！?/p>

之前，NeurIPS 2019投稿平臺就被擠爆，投稿數(shù)量達到了6809篇，與2018年相比增長40%。五月底截稿，七八月就要給出結(jié)果，審稿人也是鴨梨山大啊。

所以，吐槽歸吐槽，堅持自己的工作，拿出更多的干貨，才是以不變應(yīng)萬變之道吧。

參考資料：

NIPS實驗：

http://blog.mrtz.org/2014/12/15/the-nips-experiment.html

李沐《博士這五年》

https://zhuanlan.zhihu.com/p/25099638

Reddit高贊Rebuttal模板：

https://www.reddit.com/r/MachineLearning/comments/cjtmi8/d_what_id_like_to_write_in_my_neurips_rebuttal/

如何評價 NeurIPS 2019 的審稿情況？

https://www.zhihu.com/question/322139752/answer/761895242

— 完 —