EMNLP官方：不要因?yàn)闆]超越SOTA就拒人家的稿子
郭一璞 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
你的論文可能更容易發(fā)頂會(huì)了。
EMNLP官方，今天給出了一些審稿建議，反對審稿人一刀切拒絕論文，沒超過SOTA、方法太簡單、主題太新或太老……都不是拒稿的理由。
官方還專門強(qiáng)調(diào)，如果論文不是英文的NLP也不能作為拒稿理由，或許研究中文NLP有了更多發(fā)布的機(jī)會(huì)。
EMNLP拒稿八不準(zhǔn)
EMNLP官方給出了8條不能作為拒稿理由的情況：
1.語言風(fēng)格問題。
審稿人應(yīng)該把重點(diǎn)放在論文內(nèi)容上，而不是語言風(fēng)格上。有時(shí)候論文作者的語言表達(dá)太差讓審稿人沒法理解，這種時(shí)候可以拒絕，但是要努力理解這篇論文之后才可以拒稿。
2.論文不是英文NLP
EMNLP關(guān)心任何語言的NLP，即使不是英文也不應(yīng)當(dāng)以此為理由拒稿。
3、沒超過SOTA
不能單純以SOTA論英雄，因?yàn)镾OTA也會(huì)受到外部版本更迭的影響，很多時(shí)候SOTA要求的高算力會(huì)勸退搞不到海量計(jì)算資源的研究者，此外，目前的benchmark也不一定十全十美。
而且，除了SOTA之外，模型大小、訓(xùn)練需要的數(shù)據(jù)量、預(yù)訓(xùn)練時(shí)間等都是有效的改進(jìn)。
4.沒有使用特定方法
不能因?yàn)橐黄撐闹袥]有使用深度學(xué)習(xí)的方法就拒稿，完成一項(xiàng)好的工作不需要特定的某種方法，相比方法，論文本身的貢獻(xiàn)更重要。
5.方法太簡單
論文的重點(diǎn)在于貢獻(xiàn)和發(fā)現(xiàn)，大家寫論文也不是為了追求設(shè)計(jì)一個(gè)最復(fù)雜的方法。很多時(shí)候，方法越簡單的論文，被引用的次數(shù)越多。如果一個(gè)簡單的方法做到了比之前復(fù)雜方法更好的效果，這種時(shí)候一般是一個(gè)重要的發(fā)現(xiàn)。
6.主題太窄或過時(shí)
EMNLP不希望成為一個(gè)追熱點(diǎn)的社區(qū)，希望審稿人思想開放，多想想論文的貢獻(xiàn)和影響。
7.主題太新，沒法跟別的論文比
如果一篇論文的主題是全新的，沒有現(xiàn)成的技術(shù)做參考比對，或者該主題已經(jīng)在其他領(lǐng)域完成了，那不應(yīng)該以此為理由拒稿。
8.是個(gè)資源帖
在NLP、監(jiān)督學(xué)習(xí)領(lǐng)域，數(shù)據(jù)集和模型一樣重要。
那要怎么審稿
那么，有這么多條條框框，審稿人究竟要如何審稿呢？
EMNLP官方引述了馬里蘭大學(xué)Philip Resnik教授的觀點(diǎn)：
我認(rèn)為，鼓勵(lì)評審人員明確地思考貢獻(xiàn)的性質(zhì)，以及需要提出什么問題，這將具有重大價(jià)值。首先考慮:
這項(xiàng)研究有沒有科學(xué)貢獻(xiàn)? 如果有的話，作者在努力提高我們對這個(gè)世界什么現(xiàn)象的理解？關(guān)于這個(gè)現(xiàn)象，我們現(xiàn)在知道了什么以前不知道的事？>這項(xiàng)研究有沒有工程學(xué)貢獻(xiàn)？如果有的話，這項(xiàng)研究解決的是現(xiàn)實(shí)世界的什么問題？或者如果這項(xiàng)研究針對的不是目前現(xiàn)實(shí)世界的問題，它能幫助現(xiàn)實(shí)世界中的哪些問題得到解決？
這項(xiàng)研究有沒有理論貢獻(xiàn)？如果有的話，我們知道了什么以前不知道的事？這項(xiàng)理論進(jìn)步如何與科學(xué)或工程目標(biāo)聯(lián)系起來？
計(jì)算機(jī)語言學(xué)可能包括科學(xué)、工程或理論的貢獻(xiàn)，不僅僅是其中之一。不過我建議，如果一份論文你沒有對上述任何方面做出貢獻(xiàn)，你就要考慮它是否應(yīng)當(dāng)被發(fā)在這個(gè)會(huì)議上。
另外，EMNLP官方還建議，評審論文、寫評論的時(shí)候需要注意：
1.論文的主張是什么，如何支撐這一主張，檢查一下效果的提升是否真的和這一主張有關(guān)系。
2.評論寫得具體一點(diǎn)，寫具體一點(diǎn)可以幫助作者更好的改進(jìn)。比如你覺得作者忽略了引用某關(guān)鍵論文，那就直接在評論中把這些論文給出來，因?yàn)槟憧赡軐@些論文如數(shù)家珍，作者就不一定了。
3.提出的建議要有建設(shè)性，不要光說某方面做的不好，最好給出可以怎么做的建議。
4.組織語言的時(shí)候友善一點(diǎn)，即使是批評也保持體面不要說臟話。
議論紛紛
看到EMNLP官方的這一則博客，有些人覺得非常支持：
真棒！這種規(guī)則應(yīng)該在更多領(lǐng)域適用。
希望看到簡單有效的解決方案，另外請不要總覺得所有論文都應(yīng)該是超越SOTA的，畢竟搞研究不是打架非得贏不可，而是解決挑戰(zhàn)。
也有人覺得，官方這個(gè)語調(diào)哪里不對？
不是審稿人審稿、然后領(lǐng)域主席決定接受或拒稿的嗎？這寫得就好像是審稿人在做出接受/拒稿決定一樣。
相關(guān)閱讀
ACL 2019最佳論文出爐：華人團(tuán)隊(duì)包攬最佳長短論文一作，中科院、華為等榜上有名
剛剛，自然語言處理領(lǐng)域的頂會(huì)ACL 2019公布最佳論文，本次共頒布了4個(gè)獎(jiǎng)項(xiàng)，共有8個(gè)獲獎(jiǎng)名額。
這款PDF閱讀器1秒定位論文公式變量，不同頁圖文也能同屏看，刷論文再也不用來回翻頁看文找圖了！ | 開源
點(diǎn)擊參考文獻(xiàn)還能自動(dòng)Google
竹間智能發(fā)布一站式企業(yè)級情感人工智能平臺——Bot Factory?DIY
2020年05月29日，竹間智能召開以“AI智簡 新基建”為主題的Bot Factory? 2020新品發(fā)布會(huì)，推出全新升級的一站式企業(yè)級情感人工智能平臺，從當(dāng)前新基建的大潮出發(fā)，圍繞「對話式AI」，「認(rèn)知AI」，「情感AI」對平臺設(shè)計(jì)理念和具體功能亮點(diǎn)展開詳細(xì)演示。
