NeurIPS審稿引發(fā)吐槽大會(huì)，落選者把荒唐意見懟了個(gè)遍：“我謝謝你們了”

魚羊 栗子 2019-07-31 13:18:01 來源：量子位

魚羊 栗子 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

七月份的尾巴，機(jī)器學(xué)習(xí)頂會(huì)NeurIPS 2019的初步結(jié)果已經(jīng)來了。

一年一度的吐槽盛會(huì)也由此開始。

“有評(píng)審問我啥是ResNet?！?/p>

“有評(píng)審問我為啥沒引用X論文。我不止引用了，還專門描述了一段和X的關(guān)系。”

“我看到了14000605種未來，沒有一種能中NeurIPS?！?/p>

吐槽之余，許多小伙伴還是開始準(zhǔn)備Rebuttal了。

雖然，多數(shù)Rebuttal沒什么用，但依然有位同學(xué)給出了一份高贊模板，把Rebuttal和吐槽活動(dòng)完美結(jié)合，熱情問候了各位審稿人。

大家可盡情欣賞，并謹(jǐn)慎借鑒：

引熱議的Rebuttal

在Reddit上，初步被拒的@SoFarFromHome表示：

我們感謝每位審稿人細(xì)致的評(píng)論，有些真的是看過文章才來評(píng)價(jià)的呢。

之后，就開始了全面掃射，嘲諷了論文的每一位審稿人的幾乎每條評(píng)論，引發(fā)了網(wǎng)友的熱議。量子位節(jié)選了這個(gè)Rebuttal如下：

有位審稿人問我們?yōu)樯稕]有引用X。我們想說的是，已經(jīng)引用了，還花了一整段來描述我們的研究和它的關(guān)系。

有位審稿人舉出了個(gè)數(shù)據(jù)集，讓我們用它評(píng)估模型。我們想說的是，已經(jīng)用這個(gè)數(shù)據(jù)集評(píng)估過了，看實(shí)驗(yàn)章節(jié)。

……

有位審稿人指出，我們的方法在假設(shè)3不成立的時(shí)候就不work。是啊，說得對(duì)啊。所以我們才把它列成假設(shè)了啊。恭喜您的閱讀理解啊。

有位審稿人直接把我們的Intro，復(fù)制到“這篇論文的3個(gè)貢獻(xiàn)”一欄里了。我們一定會(huì)在后續(xù)修改的時(shí)候，加上一個(gè)“分?jǐn)?shù)10 置信度5”，能復(fù)制的那種，讓您打分更方便。

……

有位審稿人用了一半篇幅來論證，我們這個(gè)子領(lǐng)域就是愚蠢的錯(cuò)誤的。我謝謝ta跨越學(xué)術(shù)界線，來為一個(gè)讓ta深深痛苦的領(lǐng)域?qū)懺u(píng)論。

就沒有一條好評(píng)么？不不不，有許多，這位同學(xué)繼續(xù)寫道：

審稿人們還給出了這樣的評(píng)價(jià)：

“原創(chuàng) (Original) ，積極 (Well-Motivated) ，值得研究 (Worthy of Study) 。”

“這篇論文讀起來很享受?！?/p>

“這是一個(gè)有趣的問題，當(dāng)然值得研究。”

“這篇論文找到了一個(gè)重要的問題……并給出了簡(jiǎn)單的解決方法?！?/p>

感謝你們都標(biāo)了拒稿 (Reject) 。

由于所有打分都在3-5之間，不管是你們還是領(lǐng)域主席 (AC) ，都不會(huì)讀下這篇回應(yīng)，也不會(huì)考慮重新打分。

我只不過希望今后，你們寫的那些原創(chuàng)的、積極的、有趣的、清晰的論文，也能得到同等的待遇。

既然從分?jǐn)?shù)上看，幾乎沒給Rebuttal留什么空間；

那么，用機(jī)槍一般的吐槽，排一排悶在心里的暑氣，大概也是個(gè)好辦法。

當(dāng)然，一定也有許多小伙伴，需要認(rèn)真準(zhǔn)備Rebuttal，抓住最后的機(jī)會(huì)。

據(jù)說，隔壁ICCV放榜喜大普奔，且Rebuttal好好寫了就真的有人能看到。

所以，需要鼓勵(lì)的人類，可以前往這問題：

如何評(píng)價(jià) ICCV 2019 的論文接收結(jié)果？有哪些亮點(diǎn)論文？

https://www.zhihu.com/question/336194144/answer/758560475

What is系列

在上一個(gè)被瘋狂吐槽的頂會(huì)IJCAI里，有這樣一個(gè)審稿意見成為了坊間傳說：

What is?Softmax？

在NeurIPS 2019的審稿意見中，“What is”家族再次壯大，有知乎網(wǎng)友表示，審稿人是這樣問自己的：

What is?ResNet？

啊，這可真是個(gè)好問題啊，簡(jiǎn)直令人窒息。

這位網(wǎng)友的遭遇并不罕見，還有人遇到了這樣的靈魂一擊：

What is?Distillation?

在SoftMax被點(diǎn)名的時(shí)候，誰能想到它還有這么多兄弟？

不過也有網(wǎng)友指出，這么問不一定是審稿人不知道這些概念，他們很可能是在提醒你引用/解釋不到位。畢竟做好工作很重要，但也不能忽視論文寫作本身。

這其實(shí)也是一個(gè)提醒，文章introduction要寫好，引用也要規(guī)范喲。

順便問一句，就沒有人碰上滿意的評(píng)審么？

其實(shí)也是有的，比如：

NeurIPS到底有多玄學(xué)

對(duì)于學(xué)術(shù)界來說，會(huì)議審稿和接收程序的邏輯一直備受關(guān)注。

畢竟，論文能不能中頂會(huì)，對(duì)研究人員的職業(yè)生涯來說還是非常重要的。

那么NeurIPS的審核過程到底說不說的上是玄學(xué)呢？

早在2014年，德州大學(xué)奧斯汀分校的助理教授Eric Price就做了個(gè)實(shí)驗(yàn)，結(jié)果發(fā)現(xiàn)NIPS的錄取模型比想象中更隨意。

在這個(gè)實(shí)驗(yàn)中，Eric和他的胖友Jacob Abernethy討論出了一個(gè)“噪聲得分”模型，大概是這樣的：

每篇論文通常會(huì)有3個(gè)review，評(píng)分為0-10。所以在模型里，每篇論文都會(huì)有一個(gè)從某個(gè)分布中得出真實(shí)得分v（比如N（0，σ_between^2），和從N（0，σ_within^2）中提取的review。

根據(jù)NIPS的審稿規(guī)則，錄用結(jié)果就是σ_between^2 / σ_within^2的函數(shù)。

如果σ_within^2介于1到4倍的σ_between^2之間，那么結(jié)果就是這樣：

無獨(dú)有偶，KDD 2019（知識(shí)發(fā)現(xiàn)與數(shù)據(jù)挖掘國際會(huì)議）的Research Track中有一篇論文也關(guān)注到了審核流程中隨機(jī)性的問題：https://arxiv.org/abs/1905.11924

論文中不中，有時(shí)候可能真的是玄學(xué)。評(píng)審不專業(yè)，評(píng)審自己也很絕望啊，要怪只能怪論文匹配算法不夠機(jī)智吧。

One More Thing

每一次投稿頂會(huì)都是一場(chǎng)奇妙的冒險(xiǎn)，可能會(huì)遇到千奇百怪的review，也可能在觀點(diǎn)的碰撞中有所收獲。

MXNet創(chuàng)始人李沐大神曾經(jīng)在文章中寫道：

之后想了想，一篇好文章自然需要有足夠多的“干貨”，或者說信息量， 但一篇能被接受的文章需要滿足下面這個(gè)公式：

文章的信息量 / 文章的易讀性 < 審稿人水平 * 審稿人花的時(shí)間

對(duì)于機(jī)器學(xué)習(xí)會(huì)議，因?yàn)橥陡辶看?，所以審稿人很多自然平均水平就?huì)下降。而且很多審稿人就花半個(gè)小時(shí)到一個(gè)小時(shí)來讀文章，所以公式右邊數(shù)值通常是很小，而且不是我們能控制。”

之前，NeurIPS 2019投稿平臺(tái)就被擠爆，投稿數(shù)量達(dá)到了6809篇，與2018年相比增長(zhǎng)40%。五月底截稿，七八月就要給出結(jié)果，審稿人也是鴨梨山大啊。

所以，吐槽歸吐槽，堅(jiān)持自己的工作，拿出更多的干貨，才是以不變應(yīng)萬變之道吧。

參考資料：

NIPS實(shí)驗(yàn)：

http://blog.mrtz.org/2014/12/15/the-nips-experiment.html

李沐《博士這五年》

https://zhuanlan.zhihu.com/p/25099638

Reddit高贊Rebuttal模板：

https://www.reddit.com/r/MachineLearning/comments/cjtmi8/d_what_id_like_to_write_in_my_neurips_rebuttal/

如何評(píng)價(jià) NeurIPS 2019 的審稿情況？

https://www.zhihu.com/question/322139752/answer/761895242

— 完 —