給CVPR頒“金酸莓獎(jiǎng)”，知乎網(wǎng)友熱議最差論文，戰(zhàn)火燒到Reddit

魚羊 曉查 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

今年CVPR共有1200多篇論文被接收，官方評出了最佳論文，民間則評出了最差論文。

2019年CVPR有哪些糟糕的論文?

這個(gè)問題不僅在知乎上火了，甚至被出口到了國外論壇ML板塊。

頂會(huì)也有水論文？答案是Yes。不僅有水的，甚至有水得很夸張的。

號(hào)稱進(jìn)步巨大，實(shí)則不work；被NIPS、AAAI和ICLR一直拒的論文中了Oral；化身剪刀手拼接已發(fā)表過的文章……這也就不說什么了，但抄襲已發(fā)表論文的Idea，做低baseline這也過分了吧？

而這個(gè)問題也引發(fā)了對學(xué)術(shù)圈學(xué)術(shù)氛圍的質(zhì)疑，“打招呼”讓雙盲同行評審成了空談？追求短期反饋瘋狂水論文成常態(tài)？

水論文這件事，實(shí)在引人深思。

最差論文提名

最差論文沒有統(tǒng)一的標(biāo)準(zhǔn)，自然也就很難達(dá)成一致，知乎網(wǎng)友分別從6個(gè)不同角度提出了質(zhì)疑。

下面開始知乎網(wǎng)友自發(fā)組織的worst paper“頒獎(jiǎng)典禮”。

質(zhì)疑1：號(hào)稱進(jìn)步巨大，效果平平無奇。

首先是位置最高的回答，答案提供者是一名算法工程師。

他自己也在這個(gè)領(lǐng)域研究類似的問題，也做出了一些小修小補(bǔ)，但覺得意義不大，所以就沒發(fā)論文。

但是有人把結(jié)果發(fā)到了CVPR上，而且這篇研究人臉識(shí)別的論文還號(hào)稱進(jìn)步巨大，但實(shí)際效果如何呢？請數(shù)據(jù)說話：

前人的ArcFace已經(jīng)得到了驗(yàn)證，而后人在此基礎(chǔ)上的修補(bǔ)證明了提升效果并不明顯。“真的、真的不work！”

但是他還是給了一些正面評價(jià)：

不過還是要表揚(yáng)一下第二篇論文，里面還提出了一個(gè)Noise Resistance Softmax loss，這個(gè)損失的形式很復(fù)雜，但思想值得一看，應(yīng)該能改進(jìn)出一個(gè)更簡單的形式。

原回答鏈接：

https://www.zhihu.com/question/327139341/answer/712075929

質(zhì)疑2：和前年論文高度相似，審稿人怎么了？

直接把別人的成果算成是自己的，連摘要都高度相似。

這是CVPR 2019文章的摘要：

這是ICCV 2017文章的摘要：

匿名網(wǎng)友向作者提出疑問三連：

雖然這篇文章是不點(diǎn)名批評，但是稍微搜索一下還是能知道作者是誰的，算是給別人留了點(diǎn)面子。

質(zhì)疑3：超不過對手，那就拉低對手。

自己論文效果不好怎么辦，調(diào)低baseline??！

比如這篇文章里Mask R-CNN的baseline分?jǐn)?shù)只有不到70分，而另一篇文章在同樣的兩個(gè)數(shù)據(jù)集上做出的baseline分?jǐn)?shù)超過了80分。

等于作者將baseline整整做低了十幾分，終于讓自己的結(jié)果“超越”了Mask R-CNN。

答案提供者也忍不住吐槽：

現(xiàn)在發(fā)文章不容易啊，不僅自己的實(shí)驗(yàn)結(jié)果需要造假，還要把那么經(jīng)典的方法踩一踩，敢問作者你的良心不會(huì)痛嗎？？

質(zhì)疑4：被其他頂會(huì)一直拒的論文中了Oral？

有知乎網(wǎng)友表示，會(huì)議培養(yǎng)新人也沒什么，但被NIPS，AAAI，ICLR這些頂會(huì)一直拒的論文一下中了CVPR Oral也太玄學(xué)了吧？這也太浪費(fèi)讀者時(shí)間了。

這位網(wǎng)友舉了伯克利的這篇 《Accel: A Corrective Fusion Network for Efficient Semantic Segmentation on Video》為例子。這是一篇有關(guān)語義分割的論文，但作者顯然是該領(lǐng)域的新手小白。

看這個(gè)baseline，未免有點(diǎn)低吧？

再看文章的第八頁，結(jié)合文章的內(nèi)容，不禁讓人懷疑這是在填位置……

方法本身也沒有什么創(chuàng)新性，中個(gè)Workshop也就算了，作為一篇Oral實(shí)在令人很失望……

還有網(wǎng)友補(bǔ)充，這篇論文的某個(gè)strong accept的意見里weakness部分只寫了一個(gè)句號(hào)……emmm……審稿人真的有在好好看文章嗎？

質(zhì)疑5：發(fā)過的論文拼一拼，就又能中頂會(huì)啦？

聽說拼一拼別人的好音樂，就能成為火遍全網(wǎng)的“原創(chuàng)音樂人”。那么在學(xué)術(shù)界，剪刀手也一樣有春天？

知乎網(wǎng)友很氣憤：拼湊的論文比灌水更惡劣，水論文還能提供一點(diǎn)新知識(shí)呢。

被指控的論文是這一篇：《Self-Supervised Representation Learning by Rotation Feature Decoupling》。

網(wǎng)友指出，這就是把ICLR18的《UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS》和CVRP18的《UNSUPERVISED REPRESENTATION LEARNING BY PREDICTING IMAGE ROTATIONS》這兩篇論文里提出來的自監(jiān)督學(xué)習(xí)方法拼了一下，水成這樣真的大丈夫？

↓↓↓

ICLR18這篇旋轉(zhuǎn)預(yù)測方法的核心是，將圖像旋轉(zhuǎn)90度的隨機(jī)倍數(shù)，如果AI不知道圖像中描繪的對象的概念，就無法識(shí)別旋轉(zhuǎn)后的圖像。

↓↓↓

CVPR18這篇實(shí)例判別將圖像編碼為特征向量，投影到了128維空間并進(jìn)行L2歸一化處理。

↓↓↓

至于這篇論文，emmm……只看圖，不想說話……

質(zhì)疑6：“打招呼”讓雙盲審查成空談。

還有網(wǎng)友提出了更嚴(yán)重的指控，論文作者給評審“打招呼”了！

CVPR采用的是雙盲審查，但事實(shí)上審稿人完全可以通過arXiv找到作者。有知乎匿名網(wǎng)友和reddit網(wǎng)友表示“招呼”打到了自己頭上，雙盲審查真的成了空談？

這就已經(jīng)涉及學(xué)術(shù)道德了啊。

問題出在哪

首先，寫論文的人出現(xiàn)了問題。

現(xiàn)在國內(nèi)的高校太過于強(qiáng)調(diào)論文數(shù)量、影響因子，舍本逐末，“完全背離了科研工作的本意”。

教授有來自學(xué)?？荚u的壓力、研究生有畢業(yè)的壓力，“追求短期反饋絕對是違背科研規(guī)律的”。

其次，論文有問題，審稿人卻不能發(fā)現(xiàn)，有失察之過。

1、論文不開放代碼，同行無法復(fù)現(xiàn)。

還記得韓春雨事件嗎？無論是物理、化學(xué)還是生物領(lǐng)域，論文中的實(shí)驗(yàn)條件都應(yīng)該交代清楚，讓別人檢驗(yàn)?zāi)愕慕Y(jié)果能否復(fù)現(xiàn)。如果不能復(fù)現(xiàn)就說明文章是存在一些問題的。

但是在計(jì)算機(jī)領(lǐng)域，還缺乏這種機(jī)制。AI界知名女學(xué)者Anima Anandkumar曾建議，投往學(xué)術(shù)會(huì)議的論文需要強(qiáng)制要求提供代碼，供其他同行復(fù)現(xiàn)結(jié)果。她的倡議正在被越來越多的同行接受。

2、論文數(shù)量逐年增長，審稿人嚴(yán)重不足。

CVPR投稿數(shù)量激增，今年就有5000多篇，比去年增加50%以上。

審稿人中有經(jīng)驗(yàn)有能力的人手嚴(yán)重不足，但是每個(gè)人的工作量就那么多，不可能超負(fù)荷運(yùn)作，只能去找一些水平不那么高的審稿人了。

3、審稿的雙盲制度正在被破壞。

一方面，審稿人可以通過其他渠道提前知道作者的身份，因?yàn)樵陂_放平臺(tái)Arxiv上提交論文已經(jīng)是一種常態(tài)。

另一方面，作者可以有途徑得知審稿人身份，甚至“打招呼”讓論文通過審核。比如前一段時(shí)間自殺博士Chen Huixiang就說自己的導(dǎo)師認(rèn)識(shí)多個(gè)審稿人，才讓自己漏洞百出的論文能夠中頂會(huì)。

不同的聲音

頂會(huì)灌水令人不爽，這也是關(guān)于糟糕論文的問題會(huì)引起熱議的原因。但在大量的吐槽之中，也有這樣的聲音：要噴應(yīng)該噴灌水的風(fēng)氣，而不是噴paper本身。

南大的周志華教授就曾經(jīng)表示：論文的價(jià)值就是那點(diǎn)新花火，有毛病沒關(guān)系。

MXNet創(chuàng)始人李沐也指出：學(xué)術(shù)會(huì)議除了交流學(xué)術(shù)成果外，還有一個(gè)重要功能是培養(yǎng)新人。對于看上去像灌水的“小白文”不必太苛刻。

CUHK助理教授周博磊則提出了這樣的建議：讀別人文章時(shí)放平心態(tài)，與其糾結(jié)為什么這么水的論文也能中，不如多去發(fā)現(xiàn)別人論文里的閃光點(diǎn)。

好論文應(yīng)該是什么樣

大家都希望讀到好的論文，而科研人員們也不愿看到自己認(rèn)認(rèn)真真做出的論文跟水貨們?yōu)槲?，那么到底什么樣的論文才能算是好論文呢?/p>

知乎有一個(gè)600+贊的回答說的很好，還被國外網(wǎng)友轉(zhuǎn)到了Reddit上：

提出新思想新方法，沉淀下來找好問題做好問題，不要一味地追求短期反饋。這樣的科研工作會(huì)更有意義，優(yōu)秀的工作何愁好論文？

君不見有人埋頭研究線蟲8年，才終于發(fā)表了第一篇一作文章，這一發(fā)就是Nature封面。

知乎原文鏈接：

https://www.zhihu.com/question/327139341