大佬抨擊ICML審稿太隨意：LeCun三篇全沒中，馬毅以后再也不投了
新的兩階段審稿機制，引發(fā)的問題比解決的多
夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
頂會ICML結(jié)果一出，掀起一片混亂。
LeCun分享自己的“戰(zhàn)果”：三篇全沒中，推特上就沒看到有誰中了的。
UC伯克利教授馬毅也表示今后不再投ICML了，評審非常隨意、不透明，最大的擔心是學生開始迎合評審人的口味。
以往學術(shù)會議放榜之時，往往呈現(xiàn)“幾家歡喜幾家愁”的局面。
今年愁的一方卻格外的多，畫風也格外離譜。
有人收到的的說法是：
“統(tǒng)一框架看起來很新穎，但審稿人并未完全被這一貢獻說服”。
前后矛盾，讓他開始懷疑這人有沒有讀過自己寫出來的東西。
還有人掛出自己收到這樣的結(jié)果：
一條審稿意見沒能理解一個小學數(shù)學問題的變體，另一條質(zhì)疑整個流形學習和無監(jiān)督學習領(lǐng)域，AC（領(lǐng)域主席）還都認同了。
……
種種抱怨聲甚至已經(jīng)傳到了機器學習領(lǐng)域之外，搞得其他領(lǐng)域?qū)W者一頭霧水。
但是從宏觀看的話，今年ICML的接受率為21.9%，與前兩年相比也基本持平。
評審并沒有更嚴格，而是像馬毅教授批評的那樣“更隨意”了。
有人收到審稿人的一致好評，最終卻因4個拼寫錯誤在元評審（meta review）階段被拒。
還有人因?qū)徃迦藳]提出高質(zhì)量意見付出代價。
這屆ICML，問題究竟出在哪里？
新機制：創(chuàng)造的問題比解決的多
機器學習會議投稿量逐年激增，審稿人工作強度大、審稿質(zhì)量和速度無法兼顧問題越來越凸顯。
作為應對，ICML2022做出了幾項變化。
審稿人來源的變化，邀請更多投稿人同時擔任審稿人，試圖把審稿工作量攤薄。
流程上的變化，采用兩階段審稿再配合元審稿機制。
兩階段審稿由AAAI 2021引入，今年被更多會議采用。
在第一階段，每篇論文分配至少兩個審稿人，如果兩人一致認為應該拒稿，交給元審稿人再判斷一次，最終提交給會議主席做決定。
第二階段，留存的文章再分配第三個審稿人不參考第一輪結(jié)果獨立評審，rebuttal后再由兩輪元審稿做判斷。
細節(jié)上的變化還有一條，作者和元審稿人看不到審稿人打的分數(shù)，只能看到文字評價。
一系列變化的初衷是為減輕審稿人壓力，和促使他們做出更高質(zhì)量的評價，但具體執(zhí)行上卻走了樣。
首先，新機制導致不負責任的審稿人更多了。
有人反饋，審稿質(zhì)量肉眼可見的下降了，自己當審稿人時很認真，但自己的論文分配到的審稿人都是隨便一些。
另一位作者兼審稿人有同樣的遭遇，遇到湊數(shù)的、不懂裝懂的、甚至要求作者引用自己論文的。
第二，不顯示分數(shù)的試驗性做法讓很多人不適應。
對于作者來說，沒有分數(shù)又遇到不認真的審稿意見的話，在rebuttal階段無從著手。
在審稿人和元審稿人之間也帶來溝通障礙。
最后，新引入兩階段審稿流程不完善，帶來新的問題。
有不少人反映，在rebuttal之前并沒有看到所有評審意見。
這位收到的5條意見在rebuttal過程中只能看到2條。
根據(jù)加州理工教授Yisong Yue分析，問題在于很多審稿人一階段給出簡單評價后就不跟進了，導致元審稿人必須再分配更多的審稿人，不夠及時的話就會發(fā)生在作者回復之后。
綜合各種因素，最終新機制產(chǎn)生的問題似乎比解決的還多。
ICML在機制創(chuàng)新上經(jīng)常走在前面，過去率先要求提交代碼，提出規(guī)范實驗步驟，都取得不錯的效果，也被其他會議跟進。
對于審稿這個老大難問題，你有什么想法？
參考鏈接：
[1]https://twitter.com/ylecun/status/1526033359398379521
[2]https://github.com/lixin4ever/Conference-Acceptance-Rate
[3]https://www.zhihu.com/question/524486916
[4]https://media.icml.cc/Conferences/ICML2022/ICML2022_AC_Tutorial.pdf
- 字節(jié)突然開源Seed-OSS，512K上下文主流4倍長度，推理能力刷紀錄2025-08-21
- “現(xiàn)在讀AI博士已經(jīng)太晚了”2025-08-19
- 谷歌AI攻克亞洲語言難題，2300種語言數(shù)字化計劃正在推進2025-08-18
- AMD蘇姿豐公開懟扎克伯格！反對1億年薪挖人，使命感比鈔票更重要2025-08-18
相關(guān)閱讀
速來！亞馬遜云科技AI盛會開源專場吹響集結(jié)號
現(xiàn)場將有來自亞馬遜、百度的技術(shù)科學家、高級架構(gòu)師等資深開發(fā)者分享開源在機器學習領(lǐng)域的發(fā)展與應用，從理論到實踐，深入解析應用任務場景。歡迎掃碼報名！
