ICLR論文盲審大反轉(zhuǎn)：三個(gè)“8”完美過(guò)關(guān)，又來(lái)兩個(gè)“1”徹底拒絕

賴可 發(fā)自 凹非寺
量子位 出品 | 公眾號(hào) QbitAI

一篇投遞ICLR2020的論文，得了三個(gè)8，是不是表現(xiàn)完美？

事情沒(méi)有那么簡(jiǎn)單，額外增加的兩個(gè)評(píng)審又給了兩個(gè)1。

有網(wǎng)友說(shuō)：這操作，就是”對(duì)沖“分?jǐn)?shù)嘛。

也有網(wǎng)友覺(jué)得，雖然論文有問(wèn)題，但是這樣給高分和低分，都過(guò)分極端了。

到底怎么回事？

論文

這篇論文提出了一種新的模型，以便在語(yǔ)料中同時(shí)捕獲語(yǔ)法和全局語(yǔ)義。

怎么做到的？

論文認(rèn)為傳統(tǒng)的RNN語(yǔ)言模型會(huì)忽略長(zhǎng)距離的單詞依賴性，和句子順序。

新模型將隨機(jī)-梯度MCMC和循環(huán)自編碼變分貝葉斯相結(jié)合。不僅能夠捕獲句子內(nèi)的單詞依賴性，還可以捕獲句子和句子內(nèi)部主題依賴性的時(shí)間遷移。

在語(yǔ)料庫(kù)的實(shí)驗(yàn)結(jié)果表明，這一模型優(yōu)于現(xiàn)有的RNN模型，并且能夠?qū)W習(xí)可解釋的遞歸多層主題，生成語(yǔ)法正確、語(yǔ)義連貫的句子和段落。

（a)(b)(c)分別是三層rGBN-RNN的生成模型；語(yǔ)言模型組件概述；提出的模型的整體架構(gòu)

第一輪評(píng)審：三個(gè)8

第一輪三個(gè)評(píng)審的分?jǐn)?shù)簡(jiǎn)直完美，雖然打分很高，評(píng)審們都提出了一些建議。

匿名評(píng)審1

該方法是將已有的兩種方法，伽馬信念網(wǎng)絡(luò)(gamma-belief networks)和疊加RNN相結(jié)合，利用遞歸伽馬信念網(wǎng)絡(luò)的信息對(duì)疊加RNN進(jìn)行改進(jìn)。

總的來(lái)說(shuō)，這是一篇寫得很好的論文，表達(dá)清晰，有一定的新意。該方法具有良好的數(shù)學(xué)表達(dá)和實(shí)驗(yàn)評(píng)價(jià)。結(jié)果看起來(lái)很有趣，特別是對(duì)于捕獲長(zhǎng)期依賴關(guān)系，如BLEU分?jǐn)?shù)所示。一個(gè)建議是，與基線方法相比，作者沒(méi)有對(duì)所提出方法的復(fù)雜性和負(fù)載進(jìn)行計(jì)算分析。

匿名評(píng)審2

總的來(lái)說(shuō)，我認(rèn)為這是一篇寫得很清楚的論文。我認(rèn)為這是一份可以接受發(fā)表的可靠文件。

一些有待改善的地方:

奇怪的是，不提最近所有備受矚目的基于LM的預(yù)訓(xùn)練的工作，我的印象是，這些模型在大型多句上下文中有效地運(yùn)行。像BERT和GPT-2這樣的模型沒(méi)有考慮句子之間的關(guān)系嗎?我想看到更多關(guān)于這項(xiàng)工作與之配合的討論。

我不認(rèn)為強(qiáng)調(diào)這個(gè)模型的貢獻(xiàn)，即它可以“同時(shí)捕獲句法和語(yǔ)義”合理。我不清楚其他語(yǔ)言模型是否不能捕獲語(yǔ)義(請(qǐng)記住，語(yǔ)義應(yīng)用于句子中，而不只是在全局級(jí)別)——相反，該模型的優(yōu)勢(shì)似乎在于捕獲句子級(jí)別之上的語(yǔ)義關(guān)系。如果這是正確的，那就應(yīng)該更準(zhǔn)確地表達(dá)出來(lái)。

匿名評(píng)審3

該模型擴(kuò)展了以往基于深度rGBN模型的主題引導(dǎo)語(yǔ)言建模方法。雖然模型的新穎性有限，但所提出的模型的學(xué)習(xí)和推理是有價(jià)值的。此外，與SOTA方法相比，本文還展示了該方法在語(yǔ)言建模方面的性能改進(jìn)，說(shuō)明了該方法的重要性。

領(lǐng)域主席提出意見(jiàn)之后，另外兩個(gè)評(píng)審給出了1

領(lǐng)域主席意見(jiàn)

這篇論文看起來(lái)很有趣，但是最近在語(yǔ)言建模和生成方面的最新成果主要基于Transformer模型。然而，任何對(duì)這些模型的比較和提及，似乎都明顯地在本文中缺失。我想知道:作者是否與任何模型進(jìn)行了對(duì)比?我懷疑這些模型在某種程度上已經(jīng)能夠捕獲主題，可能排除了對(duì)本文中提出的方法的需要(但是我很高興被證明是錯(cuò)誤的)。

主席建議研究者，把他們的rGBN-RNN模型和 Transformer-XL進(jìn)行比較。

作者則表示，rGBN-RNN和Transformer-XL不適合直接比較。因?yàn)閮烧咴谀Ｐ痛笮　⒛Ｐ徒?gòu)以及可解釋性不同，而且Transformer-XL不尊重自然單詞的邊界，rGBN-RNN尊重單詞-句子-文檔的結(jié)構(gòu)。

在這之后，增加的兩個(gè)匿名評(píng)審就畫風(fēng)大變，都給出了1分（拒絕）。

匿名評(píng)審4

雖然其基本思想很有趣，但我最大的問(wèn)題是論文一開始的誤導(dǎo)。在第一節(jié)的第二段，文章聲稱基于RNN的LMs經(jīng)常在句子之間做出獨(dú)立假設(shè)，因此他們開發(fā)了一個(gè)主題建模方法來(lái)對(duì)文檔級(jí)信息建立模型。這種說(shuō)法存在一些問(wèn)題。

幾乎所有評(píng)估語(yǔ)言建?；鶞?zhǔn)的LM論文都使用LSTM / Transformer，通過(guò)一種非常簡(jiǎn)單的方法將所有句子連接起來(lái)，并添加唯一的標(biāo)記來(lái)標(biāo)記句子邊界，從而將跨句的文檔級(jí)信息作為上下文?！?/p>

匿名評(píng)審5

模型描述是混亂的，許多陳述沒(méi)有適當(dāng)或足夠的理由。例如：

(1)在第2頁(yè)的最后一段，他們聲稱在他們的模型中使用了語(yǔ)言組件來(lái)捕獲語(yǔ)法信息，我不太愿意接受;
(2)在第3頁(yè)的第一段，它說(shuō)“我們定義d_j為弓向量，只是總結(jié)了前面的句子”，沒(méi)有進(jìn)一步的信息，我不知道弓向量是什么樣子的，它是如何構(gòu)成的……

更重要的是，我認(rèn)為Eq.(5)是錯(cuò)誤的，這讓我對(duì)他們的整個(gè)方法論產(chǎn)生了質(zhì)疑?！?/p>

后兩個(gè)評(píng)審被主席帶偏了？還是前三個(gè)有問(wèn)題？

這篇論文爭(zhēng)議的關(guān)鍵就是作者使用的新模型有沒(méi)有和已有的方法做比較。

有網(wǎng)友覺(jué)得作者自己在回避這個(gè)問(wèn)題

他們以各種理由（沒(méi)有說(shuō)服力）回答，他們認(rèn)為沒(méi)有必要進(jìn)行比較，主席再次回答：很好，但是我仍然希望看到一個(gè)比較。然后他們回答說(shuō)，他們削弱了在論文中的主張，現(xiàn)在只聲稱他們的表現(xiàn)優(yōu)于SOTA RNN，這基本上意味著他們承認(rèn)他們的方法沒(méi)有表現(xiàn)出Transformer更好。因此，從這一點(diǎn)看來(lái)，作者似乎試圖掩蓋Transformer存在的這個(gè)事實(shí)存在，這是荒謬的。

面對(duì)截然相反的打分，網(wǎng)友看法各異。

有人覺(jué)得后兩個(gè)評(píng)委一致打最低分，真是“隨機(jī)”的盲審嗎？

? ? ? ?

 

也有人覺(jué)得兩邊都有問(wèn)題，新方法缺少和Transformers的比較是絕對(duì)不能打8分的，但是打1分也站不住腳。

還有覺(jué)得是主席在“帶節(jié)奏”，主席覺(jué)得評(píng)審可以再嚴(yán)謹(jǐn)一些，就找了兩個(gè)新的評(píng)審，這導(dǎo)致新的評(píng)審對(duì)原先的評(píng)審產(chǎn)生了不信任的感覺(jué)。

還有網(wǎng)友表示，這個(gè)問(wèn)題具有代表性

這反映了當(dāng)今機(jī)器學(xué)習(xí)中更廣泛的常見(jiàn)問(wèn)題。評(píng)論如此混亂，頂級(jí)會(huì)議的許多提交都有很大的差異。實(shí)際上，論文獲得完美的評(píng)價(jià)和最低的分?jǐn)?shù)是很普遍的。我無(wú)法確定所有確切原因，但我相信這與該領(lǐng)域的研究數(shù)量和速度有關(guān)：論文被立即上傳到arxiv，在下一次大會(huì)上，就會(huì)有許多追隨這一研究的，未經(jīng)過(guò)同行評(píng)審的研究出現(xiàn)。再加上領(lǐng)域的大容量、年會(huì)的壓力/期限，而不是每月或每周的科學(xué)期刊，這種情況就開始發(fā)生。

這究竟是一個(gè)特殊情況，還是值得關(guān)注的普遍現(xiàn)象？

小編想起，之前身邊的同學(xué)畢業(yè)論文盲審也得到了兩級(jí)分化的評(píng)價(jià)。你有沒(méi)有過(guò)類似的經(jīng)歷呢？

傳送門

https://openreview.net/forum?id=Byl1W1rtvH