只花5-10分鐘評審，還不提供拒稿理由，IJCAI就“槍斃”42%論文，網(wǎng)友：一臉懵逼

十三 2020-02-23 13:29:30 來源：量子位

十三 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

今年的IJCAI，真可謂是秀了一波神操作。

IJCAI 2020 的論文截稿日期為1月20日，最終的投稿數(shù)量為5147篇。

而這才剛剛過去一個月，還沒有終審，2191篇論文就被“槍斃”了。

不少人收到了來自程序主席Christian Bessiere的郵件。

△圖源：知乎

據(jù)你所知，IJCAI-PRICAI 2020 今年的審核過程有2個階段。

第一階段是summary-reject。每一篇論文都會發(fā)送給7到10名高級PC，要求他們花5-10分鐘來對論文進行評審，并回答“該論文是否應(yīng)該進入下一輪評審？”的問題?；诟呒塒C的投票和評論，負責(zé)該論文的領(lǐng)域主席最終決定該文論是否將進入全面審核階段。

經(jīng)過summary-reject階段，在接收的5147篇論文中，有2191篇被拒稿。

通過瀏覽領(lǐng)域主席的評論，我注意到他們有些評論并不是以論文作者能夠閱讀的形式寫下的，所以我決定不向被拒稿的作者提供領(lǐng)域主席對論文做出的任何評價。

我知道大家在沒有任何其他反饋的情況下收到拒稿通知，可能會非常失望。我鼓勵你繼續(xù)尋找能夠發(fā)表工作的平臺。

之前便有流言說，今年的IJCAI為了提高自己在頂會的地位，會有大動作。但萬萬沒想到，在summary-reject階段的拒稿率就高達42%，確實是一波神操作。

這樣的拒稿方式，不服！

不少同學(xué)在收到這樣一封郵件后，可謂是一臉懵逼，心態(tài)炸裂，立即引起了熱議。

槽點一：花5-10分鐘評審論文

一位網(wǎng)友在收到郵件后，在Reddit發(fā)布了一個帖子進行吐槽。

我剛剛收到來自 IJCAI-20的拒絕通知，說他們有3-5個評審員審查了我的論文5-10分鐘。

這是一個什么樣的審查過程？僅僅閱讀5-10分鐘，你怎么能確定一篇論文的質(zhì)量呢？

我實驗室的其他論文也因此而被拒絕，這毫無意義。我們在論文上花了5-6個月的時間，而這些“評論員”花了5-10分鐘來評判我們的工作。這只能證明，在類似 IJCAI 的會議上，審查過程是多么的輕松。

知乎一位匿名網(wǎng)友表示：

5000篇文論，每篇5分鐘，按每位高級PC審稿100篇來算，一個禮拜就能搞定，再不濟兩個禮拜也綽綽有余了吧！

還有知乎網(wǎng)友在看了Twitter上紐大副教授(一位SPC)的解釋后，表示：

SPC只有5-10分鐘的時間去決定一篇文章的生死，如果是自己不熟悉的領(lǐng)域，可以說真的是隨機選擇了。

槽點二：沒有給出任何理由就拒稿

郵件中的“所以我決定不向被拒稿的作者提供領(lǐng)域主席對論文做出的任何評價”這句話也成為了吐槽的一個熱點。

Twitter網(wǎng)友Yash Satsangi表示：

沒有提供理由/反饋就拒絕論文是非常不科學(xué)的。雪上加霜的是，IJCAI還被認為是一個“AI推理”會議。

Esther Mondragon表示：

通過“投票”，并不給作者提供拒稿理由，是完全不專業(yè)的行為，而且對年輕的研究人員來說肯定是非常令人沮喪的。

知乎網(wǎng)友也表示“心態(tài)炸裂”：

我真的心態(tài)崩了，別人大半年的工作，他什么理由都沒有就直接reject？以這種方式減少審稿人的工作量是不是太草率了??？

槽點三：只有通訊作者才能收到郵件

除了對郵件內(nèi)容本身，網(wǎng)友們還發(fā)現(xiàn)了一件奇葩的事情，只有通訊作者才能收到郵件。

知乎網(wǎng)友“塵世迷途小書童”表示：

沒寫通訊作者豈不涼涼，沒收到郵件。

知乎匿名用戶表示：

同樣啊，自己沒收到拒信。我導(dǎo)告訴我的，結(jié)果什么都沒有，一個review意見也沒有難受啊。

當然，也有網(wǎng)友翻起了舊賬。

我曾經(jīng)有一篇論文被拒絕過，因為兩個評審員認為我拼錯了一些東西，但我并沒有拼錯——他們不熟悉我所引用的內(nèi)容，認為我是指另一件事情，說是我沒有正確地引用那件事情。

不幸的是，除非你在評審委員會中有某種個人影響力，否則你真的無能為力。歡迎來到學(xué)術(shù)界，在這里，你的牙齒會被打掉，因為其他人都被打掉了。

更有網(wǎng)友調(diào)侃道：“這讓我想起了Little Britain中的一個場景。”

SPC紛紛出面做解釋

面對如此沸沸揚揚的意見，不少SPC站出來做了解釋。

首先是紐約大學(xué)副教授Julian Togelius，他在Twitter上表示：

我也是今年IJCAI的高級PC，并且參加了summary reject投票的過程。

我發(fā)現(xiàn)很難決定哪些論文值得看一看，尤其是如果它們并不完全在我的研究領(lǐng)域。選擇變得幾乎是隨機的。

我的猜測是，大多數(shù)PC的高級成員發(fā)現(xiàn)summary reject投票和我一樣困難，他們中的許多人只是簡單地投票拒絕了看起來與他們習(xí)慣的太不一樣的論文。顯然，這對小的子領(lǐng)域和新出現(xiàn)主題的打擊是最大的。

Reddit上一位自稱是SPC的用戶做出了如下解釋：

我的理解是，IJCAI的組織者認為，隨著提交數(shù)量的爆炸性增長，對每一篇論文進行完整的審查是不可行的。他們試圖減少論文數(shù)量，方法是讓SPC查閱大量論文(我的情況是40篇)，并檢查嚴重問題的跡象(缺乏動機、相關(guān)性、創(chuàng)新、評估的力度/廣度)。

我認為這里有兩個問題需要討論——首先，這樣做有意義嗎？其次，組織工作會順利嗎？

關(guān)于第一個問題，我認為這在原則上是個不錯的主意。有些期刊也這樣做。問題是如何設(shè)置閾值。我個人推薦了大約10%的論文進行summary reject——當我對細節(jié)不夠熟悉時，我不會推薦summary reject。但是，如果只減少10%，那么兩輪的設(shè)置可能就沒有意義了。

第二個問題：事后看來，也許這本來可以組織得更好。我們(SPC)被要求輸入一份wrt summary reject的建議，并可以選擇寫一封推薦信來為區(qū)域主席辯護——但這些通常都是相當不正式的。我想這就是他們決定不發(fā)布任何評論者的原因，我同意這是一個非常不愉快的結(jié)果。

總的來說，有一件事你應(yīng)該注意到，在CS/AI的所有領(lǐng)域中，審查程序在這個領(lǐng)域的增長下都在吱吱作響。我認為，會議嘗試使用新的策略來管理審查過程是一件好事，也是必要的。有時，它工作得很好，有時則不然。

我認為，作為受影響的作者，您完全可以向大會表達您對缺乏信息/透明度的失望，因為這可能會成為對如何為下一屆IJCAI進行評估的內(nèi)容。

也就是說，請做到專業(yè)和禮貌！我理解你的憤怒，但是我百分之百確定組織這次會議的人運用了他們最好的判斷力，而且是無償?shù)纳鐓^(qū)服務(wù)。這通常是一份吃力不討好的工作，他們最不需要的就是憤怒的指責(zé)郵件。

那么，對于今年IJCAI的這波操作，你怎們看？

傳送門

Reddit：https://www.reddit.com/r/MachineLearning/comments/f7o4s4/d_ijcai_2020_reviews/

知乎：https://www.reddit.com/r/MachineLearning/comments/f7o4s4/d_ijcai_2020_reviews/