社交媒體和arXiv存在，讓雙盲評(píng)審形同虛設(shè) | Reddit熱議

白交 2020-06-20 13:12:19 來源：量子位

白交 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

雙盲評(píng)審機(jī)制真的雙盲嗎？

最近，Reddit上有這樣一個(gè)討論：社交媒體與arXiv是否損壞了頂會(huì)雙盲的機(jī)制？

13個(gè)小時(shí)，熱度超過300…

起因是一位研究人員分享了他的經(jīng)歷：

NeurIPS 2020會(huì)議提交截止之后，他在Twitter上看到有人分享他們的arXiv研究成果，并得到了很好的反饋。

關(guān)鍵是，這些人一般都是Twitter上的大V，大多都來自谷歌、Facebook等著名機(jī)構(gòu)的研究人員。

一旦發(fā)出，就會(huì)一呼百應(yīng)，受到大家的點(diǎn)贊和轉(zhuǎn)發(fā)。

比如，就像這位Facebook AI研究員。

甚至還有一些機(jī)構(gòu)直接下場發(fā)推——DeepMind的新研究，自監(jiān)督模型BYOL刷新ImageNet記錄。

而此時(shí)，這些大會(huì)的評(píng)審工作還沒有完全結(jié)束。這樣做不僅會(huì)給雙盲評(píng)審人員巨大壓力，還損壞了頂會(huì)雙盲評(píng)審機(jī)制。

還沒有通過同行評(píng)審就放arXiv和社交媒體上，那雙盲豈不是在搞笑？

影響力or接收，哪個(gè)更重要？

先不論雙盲機(jī)制是否真的雙盲。

對(duì)于一個(gè)研究團(tuán)隊(duì)而言，每年頂會(huì)放榜，論文會(huì)被錄用？錄用幾篇？都是他們關(guān)注的問題。

畢竟這意味著你們這個(gè)團(tuán)隊(duì)在領(lǐng)域有多大的影響力，還有利于之后的研究進(jìn)行。

就像這位來自小型研究室的成員說的那樣，幾年前在ML和CV領(lǐng)域的認(rèn)可度幾乎為0，而被這些大會(huì)接收以后，原本毫不起眼的實(shí)驗(yàn)室也就有了一定的影響力。

這樣來看，影響力與論文接收其實(shí)并不沖突。

但是對(duì)于一些團(tuán)隊(duì)而言，卻有一個(gè)誰在前在后的問題，尤其是對(duì)于那些已經(jīng)在領(lǐng)域內(nèi)有一定影響力的人。

被更多人認(rèn)可、討論、運(yùn)用似乎就比被一個(gè)會(huì)議接收來的更重要。

就像這位網(wǎng)友提到的那樣：

現(xiàn)實(shí)情況是，社交媒體上宣傳對(duì)一篇論文的成功，遠(yuǎn)比是否被會(huì)議接收更重要。

等到會(huì)議真正放榜的時(shí)候，大部分的論文已經(jīng)過時(shí)不受關(guān)注了。它只是為了讓你的簡歷更加好看。

但是對(duì)于一般的團(tuán)隊(duì)而言，是否要提前發(fā)布在arXiv，甚至發(fā)表在社交媒體上呢？

有的人作為一個(gè)旁觀者的角度，認(rèn)為自己從arXiv了解到很多棒的idea，當(dāng)一篇論文還在審核的時(shí)候，就已經(jīng)讀過了，而最終是否會(huì)被會(huì)議錄用，與我們毫無關(guān)系。

這樣來看，arXiv確實(shí)能夠提供了更為廣泛的交流機(jī)會(huì)。

但是林子大了，什么樣的論文也就有了，arXiv論文魚龍混雜也不是一天兩天的事情了。

那么對(duì)于一些沒那么大影響力的團(tuán)隊(duì)而言，擔(dān)心自己的idea被人竊取，也估計(jì)收不到那么多的關(guān)注，也就不會(huì)提前在arXiv上發(fā)表，更別說在Twitter上發(fā)表了。

同行評(píng)審也一直飽受爭議

而落回會(huì)議的同行評(píng)審制，其實(shí)也一直飽受爭議。最關(guān)鍵的原因，就在于它的不透明性。

如何審？有多少人審？這些審稿人的身份是什么？

僅僅因?yàn)樯贁?shù)人甚至可能只有3-4人的評(píng)審觀點(diǎn)，就能判斷這個(gè)論文的好壞？

GAN的發(fā)明人，現(xiàn)為蘋果AI負(fù)責(zé)人Ian Goodfellow?就曾炮轟同行評(píng)審機(jī)制，認(rèn)為是這一制度導(dǎo)致了如今AI會(huì)議論文下降。其中，「評(píng)審人質(zhì)量參差不齊」是主要原因，浮夸的論文被選中，真正的好論文反而被埋沒。

那么如何解決這個(gè)問題呢？

既然如此，arXiv和社交媒體會(huì)一直存在，審稿也會(huì)繼續(xù)，那么該如何解決這個(gè)問題呢？

此前，就曾有過一個(gè)會(huì)議解決這個(gè)問題，KDD?、ACL就曾要求，在論文結(jié)果出爐之前不允許發(fā)表在arXiv上。

在這里，有一些網(wǎng)友提供了自己的建議：

• arXiv可以為正在審閱的論文添加匿名模式，發(fā)布的同時(shí)不會(huì)透露其身份。
• 修改會(huì)議規(guī)則，取消可以通過合理方式（比如，互聯(lián)網(wǎng)搜索）識(shí)別作者的論文的資格。

而如果在審稿途中，已經(jīng)知曉了論文作者是誰，該如何做呢？

有這樣一個(gè)建議：

啟動(dòng)一個(gè)關(guān)于論文的Reddit線程，或者問問朋友們對(duì)論文的arxiv版本有什么看法。

如果你已經(jīng)在Twitter上知道了論文作者，那么為何不更進(jìn)一步，利用Twitter尋找論文的缺陷—這反而還會(huì)抵消知道作者很有名的偏見。

你覺得呢？有什么更好的建議嗎？歡迎與我們分享～

參考鏈接：
https://www.reddit.com/r/MachineLearning/comments/hbzd5o/d_on_the_public_advertising_of_neurips/