紐大副教授炮轟NeurIPS、AAAI等頂會：無聊、就不該繼續(xù)存在
“主題散亂，重在參與”
蕭簫 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
“像IJCAI、AAAI和NeurIPS這樣的大型‘選擇性’頂會，就不應該繼續(xù)存在……”
說這話的不是別人，正是紐約大學的計算機系副教授Julian Togelius。
他在谷歌學術上顯示的論文引用量達14330，H因子62，是名副其實的AI大牛。
怎么回事？
原來，他在自己的博客上發(fā)表了一篇新文章“Rethinking large conferences”，反思了大型頂會的現(xiàn)狀。
同時，也提出了對應的解決方法。
大型頂會哪里不好？
Julian表示，因為大型頂會“很無聊”：
要不是擔心學生的職業(yè)前途，我可能更愿意參加一些小型、與自身專業(yè)（Julian的研究方向是AI+游戲）相關的學術會議，如FDG、AIIDE和IEEE CoG。
為什么會這樣？
原因之一，主題散亂。
AI這門學科，可以研究的內(nèi)容實在太多了。
Julian表示，自己隨便參加一個“AI會議”的話，只有20%的概率能搞懂它的主題，10%的概率覺得它有點意思。
更別提像AAAI這種大型頂會，什么樣的研究主題都有，但大部分研究者真正關心的，可能只有自己研究的方向。
這就導致一個會議失去了它本來的意義：讓更多人的研究，在專業(yè)領域內(nèi)得到更好的傳播（通過會議演講等形式）。
原因之二，重在參與。
Julian對此吐槽：
現(xiàn)在這些大型會議的重點，是參加這些會議，而不是接收論文后的作品展示環(huán)節(jié)。
沒錯，就是所謂的論文接收率。
他表示，許多大型頂會都存在著“選擇性會議（selective conferences）”的問題，論文接受率通常在20%左右、甚至更低。
之所以存在這種現(xiàn)象，是因為大型頂會需要聲望來維持運轉。
也就是說，在大型頂會上發(fā)表文章，成了學術界晉升、招聘等行為的重要判斷依據(jù)。
然而，那些沒有被接收的論文，有相當一部分也進行了完善研究、沒有錯誤且對學術界有一定貢獻。
原因之三，評審標準混亂。
微軟紐約研究院的一項研究表明，在NeurIPS 2014上，論文接收的隨機性甚至達到了60%。
Julian個人認為，大部分大型頂會論文被評審選中的原因，是因為“熟悉感”。
如果一篇論文看起來更符合評審人期望，就更可能被選中。
這意味著這些論文可能更保守、枯燥、平庸。
也就是說，論文是否有趣并不重要。
沒錯，Julian認為，除非評審人與投稿者，恰好處在同一個專業(yè)領域，否則評估是非常困難的。
原因之四，無效交流過多。
Julian認為，大型會議的參會者太多了，難以形成交流的小圈子和社區(qū)。
如果是一個小型專業(yè)會議，人們更容易互相建立認知，彼此進行交談，大型會議卻難以做到。
奔向小型會議
難道，大型會議就真的沒有存在的理由了嗎？
Julian Togelius認為，還是有的。
不過這些大型頂會存在的理由只有一個：
讓學術界了解AI各個領域的進展情況。
在這種情況下，作者們不直接向大型會議提交論文，而是提交給更小型、更專業(yè)的會議來進行評審。
在論文發(fā)表后，組織者、專業(yè)評審再選擇最佳論文，提交給大型會議發(fā)表。
對此，有網(wǎng)友表示：
不過即使是小型會議，也應該拋棄個人演講+討論的形式，而是讓每個人提前錄好音，并在開會一周前就放到網(wǎng)上、提前了解內(nèi)容，讓大家在會議上真正自由討論。
也有網(wǎng)友表示：
大型頂會存在還是有它們的理由的。組織者應該回歸初心，看看他們最初設計會議的理由是什么。
當然，還有網(wǎng)友提出了自己的建議：
補充一點，即使是跨領域也可能組成一些會議，例如研究Semantic Web（語義網(wǎng)絡）的人，就可以包括研究開放數(shù)據(jù)、知識表征等不同領域的專業(yè)人員。
原文地址：
http://togelius.blogspot.com/2021/05/rethinking-large-conferences.html
參考鏈接：
[1]https://cacm.acm.org/blogs/blog-cacm/181996-the-nips-experiment/fulltext
[2]http://togelius.blogspot.com/2013/12/against-selective-conferences.html
- 首個GPT-4驅動的人形機器人！無需編程+零樣本學習，還可根據(jù)口頭反饋調整行為2023-12-13
- IDC霍錦潔：AI PC將顛覆性變革PC產(chǎn)業(yè)2023-12-08
- AI視覺字謎爆火！夢露轉180°秒變愛因斯坦，英偉達高級AI科學家：近期最酷的擴散模型2023-12-03
- 蘋果大模型最大動作：開源M芯專用ML框架，能跑70億大模型2023-12-07
相關閱讀
NeurIPS 2019截稿期服務器被擠爆，投稿數(shù)增長40%創(chuàng)歷史新高
稿件能否被NeurIPS收錄，7月15日之后就會有結果了。
