大佬抨擊ICML審稿太隨意：LeCun三篇全沒中，馬毅以后再也不投了
新的兩階段審稿機(jī)制，引發(fā)的問題比解決的多
夢(mèng)晨 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
頂會(huì)ICML結(jié)果一出，掀起一片混亂。
LeCun分享自己的“戰(zhàn)果”：三篇全沒中，推特上就沒看到有誰中了的。
UC伯克利教授馬毅也表示今后不再投ICML了，評(píng)審非常隨意、不透明，最大的擔(dān)心是學(xué)生開始迎合評(píng)審人的口味。
以往學(xué)術(shù)會(huì)議放榜之時(shí)，往往呈現(xiàn)“幾家歡喜幾家愁”的局面。
今年愁的一方卻格外的多，畫風(fēng)也格外離譜。
有人收到的的說法是：
“統(tǒng)一框架看起來很新穎，但審稿人并未完全被這一貢獻(xiàn)說服”。
前后矛盾，讓他開始懷疑這人有沒有讀過自己寫出來的東西。
還有人掛出自己收到這樣的結(jié)果：
一條審稿意見沒能理解一個(gè)小學(xué)數(shù)學(xué)問題的變體，另一條質(zhì)疑整個(gè)流形學(xué)習(xí)和無監(jiān)督學(xué)習(xí)領(lǐng)域，AC（領(lǐng)域主席）還都認(rèn)同了。
……
種種抱怨聲甚至已經(jīng)傳到了機(jī)器學(xué)習(xí)領(lǐng)域之外，搞得其他領(lǐng)域?qū)W者一頭霧水。
但是從宏觀看的話，今年ICML的接受率為21.9%，與前兩年相比也基本持平。
評(píng)審并沒有更嚴(yán)格，而是像馬毅教授批評(píng)的那樣“更隨意”了。
有人收到審稿人的一致好評(píng)，最終卻因4個(gè)拼寫錯(cuò)誤在元評(píng)審（meta review）階段被拒。
還有人因?qū)徃迦藳]提出高質(zhì)量意見付出代價(jià)。
這屆ICML，問題究竟出在哪里？
新機(jī)制：創(chuàng)造的問題比解決的多
機(jī)器學(xué)習(xí)會(huì)議投稿量逐年激增，審稿人工作強(qiáng)度大、審稿質(zhì)量和速度無法兼顧問題越來越凸顯。
作為應(yīng)對(duì)，ICML2022做出了幾項(xiàng)變化。
審稿人來源的變化，邀請(qǐng)更多投稿人同時(shí)擔(dān)任審稿人，試圖把審稿工作量攤薄。
流程上的變化，采用兩階段審稿再配合元審稿機(jī)制。
兩階段審稿由AAAI 2021引入，今年被更多會(huì)議采用。
在第一階段，每篇論文分配至少兩個(gè)審稿人，如果兩人一致認(rèn)為應(yīng)該拒稿，交給元審稿人再判斷一次，最終提交給會(huì)議主席做決定。
第二階段，留存的文章再分配第三個(gè)審稿人不參考第一輪結(jié)果獨(dú)立評(píng)審，rebuttal后再由兩輪元審稿做判斷。
細(xì)節(jié)上的變化還有一條，作者和元審稿人看不到審稿人打的分?jǐn)?shù)，只能看到文字評(píng)價(jià)。
一系列變化的初衷是為減輕審稿人壓力，和促使他們做出更高質(zhì)量的評(píng)價(jià)，但具體執(zhí)行上卻走了樣。
首先，新機(jī)制導(dǎo)致不負(fù)責(zé)任的審稿人更多了。
有人反饋，審稿質(zhì)量肉眼可見的下降了，自己當(dāng)審稿人時(shí)很認(rèn)真，但自己的論文分配到的審稿人都是隨便一些。
另一位作者兼審稿人有同樣的遭遇，遇到湊數(shù)的、不懂裝懂的、甚至要求作者引用自己論文的。
第二，不顯示分?jǐn)?shù)的試驗(yàn)性做法讓很多人不適應(yīng)。
對(duì)于作者來說，沒有分?jǐn)?shù)又遇到不認(rèn)真的審稿意見的話，在rebuttal階段無從著手。
在審稿人和元審稿人之間也帶來溝通障礙。
最后，新引入兩階段審稿流程不完善，帶來新的問題。
有不少人反映，在rebuttal之前并沒有看到所有評(píng)審意見。
這位收到的5條意見在rebuttal過程中只能看到2條。
根據(jù)加州理工教授Yisong Yue分析，問題在于很多審稿人一階段給出簡(jiǎn)單評(píng)價(jià)后就不跟進(jìn)了，導(dǎo)致元審稿人必須再分配更多的審稿人，不夠及時(shí)的話就會(huì)發(fā)生在作者回復(fù)之后。
綜合各種因素，最終新機(jī)制產(chǎn)生的問題似乎比解決的還多。
ICML在機(jī)制創(chuàng)新上經(jīng)常走在前面，過去率先要求提交代碼，提出規(guī)范實(shí)驗(yàn)步驟，都取得不錯(cuò)的效果，也被其他會(huì)議跟進(jìn)。
對(duì)于審稿這個(gè)老大難問題，你有什么想法？
參考鏈接：
[1]https://twitter.com/ylecun/status/1526033359398379521
[2]https://github.com/lixin4ever/Conference-Acceptance-Rate
[3]https://www.zhihu.com/question/524486916
[4]https://media.icml.cc/Conferences/ICML2022/ICML2022_AC_Tutorial.pdf
- 字節(jié)突然開源Seed-OSS，512K上下文主流4倍長(zhǎng)度，推理能力刷紀(jì)錄2025-08-21
- “現(xiàn)在讀AI博士已經(jīng)太晚了”2025-08-19
- 谷歌AI攻克亞洲語言難題，2300種語言數(shù)字化計(jì)劃正在推進(jìn)2025-08-18
- AMD蘇姿豐公開懟扎克伯格！反對(duì)1億年薪挖人，使命感比鈔票更重要2025-08-18
相關(guān)閱讀
吳恩達(dá)新動(dòng)作：建立全新機(jī)器學(xué)習(xí)資源Hub，「以數(shù)據(jù)為中心的AI」大本營(yíng)
從「以模型為中心」到「以數(shù)據(jù)為中心」
加強(qiáng)版CycleGAN！賈佳亞等提出卡通圖與真實(shí)人臉轉(zhuǎn)換模型，看女神突破次元壁長(zhǎng)啥樣
動(dòng)漫女神沖破了次元壁之后，變成了這個(gè)樣子→
