EMNLP官方：不要因?yàn)闆](méi)超越SOTA就拒人家的稿子

郭一璞 2020-05-20 16:15:18 來(lái)源：量子位

郭一璞 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

你的論文可能更容易發(fā)頂會(huì)了。

EMNLP官方，今天給出了一些審稿建議，反對(duì)審稿人一刀切拒絕論文，沒(méi)超過(guò)SOTA、方法太簡(jiǎn)單、主題太新或太老……都不是拒稿的理由。

官方還專門強(qiáng)調(diào)，如果論文不是英文的NLP也不能作為拒稿理由，或許研究中文NLP有了更多發(fā)布的機(jī)會(huì)。

EMNLP拒稿八不準(zhǔn)

EMNLP官方給出了8條不能作為拒稿理由的情況：

1.語(yǔ)言風(fēng)格問(wèn)題。

審稿人應(yīng)該把重點(diǎn)放在論文內(nèi)容上，而不是語(yǔ)言風(fēng)格上。有時(shí)候論文作者的語(yǔ)言表達(dá)太差讓審稿人沒(méi)法理解，這種時(shí)候可以拒絕，但是要努力理解這篇論文之后才可以拒稿。

2.論文不是英文NLP

EMNLP關(guān)心任何語(yǔ)言的NLP，即使不是英文也不應(yīng)當(dāng)以此為理由拒稿。

3、沒(méi)超過(guò)SOTA

不能單純以SOTA論英雄，因?yàn)镾OTA也會(huì)受到外部版本更迭的影響，很多時(shí)候SOTA要求的高算力會(huì)勸退搞不到海量計(jì)算資源的研究者，此外，目前的benchmark也不一定十全十美。

而且，除了SOTA之外，模型大小、訓(xùn)練需要的數(shù)據(jù)量、預(yù)訓(xùn)練時(shí)間等都是有效的改進(jìn)。

4.沒(méi)有使用特定方法

不能因?yàn)橐黄撐闹袥](méi)有使用深度學(xué)習(xí)的方法就拒稿，完成一項(xiàng)好的工作不需要特定的某種方法，相比方法，論文本身的貢獻(xiàn)更重要。

5.方法太簡(jiǎn)單

論文的重點(diǎn)在于貢獻(xiàn)和發(fā)現(xiàn)，大家寫論文也不是為了追求設(shè)計(jì)一個(gè)最復(fù)雜的方法。很多時(shí)候，方法越簡(jiǎn)單的論文，被引用的次數(shù)越多。如果一個(gè)簡(jiǎn)單的方法做到了比之前復(fù)雜方法更好的效果，這種時(shí)候一般是一個(gè)重要的發(fā)現(xiàn)。

6.主題太窄或過(guò)時(shí)

EMNLP不希望成為一個(gè)追熱點(diǎn)的社區(qū)，希望審稿人思想開(kāi)放，多想想論文的貢獻(xiàn)和影響。

7.主題太新，沒(méi)法跟別的論文比

如果一篇論文的主題是全新的，沒(méi)有現(xiàn)成的技術(shù)做參考比對(duì)，或者該主題已經(jīng)在其他領(lǐng)域完成了，那不應(yīng)該以此為理由拒稿。

8.是個(gè)資源帖

在NLP、監(jiān)督學(xué)習(xí)領(lǐng)域，數(shù)據(jù)集和模型一樣重要。

那要怎么審稿

那么，有這么多條條框框，審稿人究竟要如何審稿呢？

EMNLP官方引述了馬里蘭大學(xué)Philip Resnik教授的觀點(diǎn)：

我認(rèn)為，鼓勵(lì)評(píng)審人員明確地思考貢獻(xiàn)的性質(zhì)，以及需要提出什么問(wèn)題，這將具有重大價(jià)值。首先考慮:

這項(xiàng)研究有沒(méi)有科學(xué)貢獻(xiàn)? 如果有的話，作者在努力提高我們對(duì)這個(gè)世界什么現(xiàn)象的理解？關(guān)于這個(gè)現(xiàn)象，我們現(xiàn)在知道了什么以前不知道的事？>這項(xiàng)研究有沒(méi)有工程學(xué)貢獻(xiàn)？如果有的話，這項(xiàng)研究解決的是現(xiàn)實(shí)世界的什么問(wèn)題？或者如果這項(xiàng)研究針對(duì)的不是目前現(xiàn)實(shí)世界的問(wèn)題，它能幫助現(xiàn)實(shí)世界中的哪些問(wèn)題得到解決？

這項(xiàng)研究有沒(méi)有理論貢獻(xiàn)？如果有的話，我們知道了什么以前不知道的事？這項(xiàng)理論進(jìn)步如何與科學(xué)或工程目標(biāo)聯(lián)系起來(lái)？

計(jì)算機(jī)語(yǔ)言學(xué)可能包括科學(xué)、工程或理論的貢獻(xiàn)，不僅僅是其中之一。不過(guò)我建議，如果一份論文你沒(méi)有對(duì)上述任何方面做出貢獻(xiàn)，你就要考慮它是否應(yīng)當(dāng)被發(fā)在這個(gè)會(huì)議上。

另外，EMNLP官方還建議，評(píng)審論文、寫評(píng)論的時(shí)候需要注意：

1.論文的主張是什么，如何支撐這一主張，檢查一下效果的提升是否真的和這一主張有關(guān)系。

2.評(píng)論寫得具體一點(diǎn)，寫具體一點(diǎn)可以幫助作者更好的改進(jìn)。比如你覺(jué)得作者忽略了引用某關(guān)鍵論文，那就直接在評(píng)論中把這些論文給出來(lái)，因?yàn)槟憧赡軐?duì)這些論文如數(shù)家珍，作者就不一定了。

3.提出的建議要有建設(shè)性，不要光說(shuō)某方面做的不好，最好給出可以怎么做的建議。

4.組織語(yǔ)言的時(shí)候友善一點(diǎn)，即使是批評(píng)也保持體面不要說(shuō)臟話。

議論紛紛

看到EMNLP官方的這一則博客，有些人覺(jué)得非常支持：

真棒！這種規(guī)則應(yīng)該在更多領(lǐng)域適用。

希望看到簡(jiǎn)單有效的解決方案，另外請(qǐng)不要總覺(jué)得所有論文都應(yīng)該是超越SOTA的，畢竟搞研究不是打架非得贏不可，而是解決挑戰(zhàn)。

也有人覺(jué)得，官方這個(gè)語(yǔ)調(diào)哪里不對(duì)？

不是審稿人審稿、然后領(lǐng)域主席決定接受或拒稿的嗎？這寫得就好像是審稿人在做出接受/拒稿決定一樣。