ML頂會論文都可復現(xiàn)嗎？來挑戰(zhàn)一下，還能拿500美元補貼
網友：挑戰(zhàn)成功還能自己發(fā)論文
月石一 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
Paper with Code發(fā)起了第5屆機器學習再現(xiàn)性挑戰(zhàn)（MLRC）。
這一次不僅支持的會議有所增加，挑戰(zhàn)者還能獲得500美元的資金支持！
接受挑戰(zhàn)的論文，來自NeurIPS、ICML、ICLR、ACL、EMNLP、CVPR和ECCV多個會議，挑戰(zhàn)者通過DAGsHub進行復現(xiàn)。
舉辦方發(fā)起此次挑戰(zhàn)的目的，是為了鼓勵發(fā)布和共享可靠和可重復的科學成果。
如何參與呢？一起來看。
流程與要求
挑戰(zhàn)者需要從所支持會議的論文列表中獲取論文，但是顯示“已領取”的論文除外，而且每人最多只能復現(xiàn)2篇論文。
此外，挑戰(zhàn)者還需加入Discord社區(qū)的#ml-reproducibility頻道。
接著就到了復現(xiàn)這一步，挑戰(zhàn)者用作者發(fā)布的現(xiàn)有代碼，或設計一個執(zhí)行程序，來驗證論文的觀點和結論。
并且要使用DAGsHub存儲來托管數(shù)據(jù)、模型等，確保所有東西都是開源和可重復的。
然后，將發(fā)現(xiàn)和消融研究的內容，總結成DAGsHub頁面。其中要涵蓋這些內容：
這篇論文是否可復現(xiàn)？
是否發(fā)現(xiàn)了任何關鍵性的見解？
描述數(shù)據(jù)集（如果適用）：來源、數(shù)據(jù)類型、分布等。
描述數(shù)據(jù)處理方法（如果適用）。
描述模型：架構、性能等。
此外，挑戰(zhàn)者需確保符合ML可重復性檢查表的標準，符合要求的參與者將獲得每篇論文500美元的支持。
最后，將結果提交到挑戰(zhàn)活動，并作為DAGsHub項目，鏈接到這個項目的問題上，舉辦方將對DAGsHub項目進行審查。
作者有可能被選中，在DAGsHub社區(qū)和主頁上進行介紹，也可能被邀請在專門的活動中分享工作。
網友：可發(fā)論文？
這項復現(xiàn)論文的活動在Reddit上引起了網友們的關注。
不少網友表示：想參加！
很想參加。如果復制一篇論文，然后結果在相同的超參數(shù)條件下不匹配，會發(fā)生什么:D？
一位網友回復說：那你就能發(fā)論文了……
我喜歡這個，很想參加。有沒有可能計入博士學位的學分呢？
有網友表示，如果大學有這樣的課程學分，那將是一個好主意，它可能比ML研究生的許多課程更有用。
不過，對于500美元的資金支持，也有人提出了不同觀點。
一篇好的論文，不就是應該提供代碼和數(shù)據(jù)，支持一鍵重新運行嗎？這樣（復現(xiàn)）很難成為一個項目。
這些提供高質量代碼和數(shù)據(jù)的論文，難道該激勵的不是它們嗎？而不是那些承擔作者責任的第三方。
不過大部分網友認為這項活動很有意義，其中一些人表示，機器學習領域的確有不少“無用論文”。
總是有論文說“相信我們這是有效的”，我們需要更多的論文來說明它們的失敗。
根據(jù)我的經驗，大多數(shù)度量學習深度模型都非常無用。
你怎么看？
時間安排
挑戰(zhàn)現(xiàn)已開啟，在截止時間（2021年7月15日太平洋夏令時間23:59）之前，挑戰(zhàn)者可以隨時提交報告。
考慮到編寫報告和改進結果需要時間，因此在挑戰(zhàn)截止日期后兩周內，舉辦方將接受最終提交。
期刊特刊作者通知的截止日期為2021年9月30日。
想報名的小伙伴要抓緊時間啦~
參考鏈接：
[1]https://dagshub.com/pages/reproducibility-challenge
[2]https://dagshub.com/DAGsHub-Official/reproducibility-challenge/wiki/ML+Reproducibility+Challenge+Spring+2021
[3]https://paperswithcode.com/rc2020
[4]https://www.reddit.com/r/MachineLearning/comments/np6eph/d_supporting_the_ml_reproducibility_challenge/
- 魔改宜家燈泡當主機，玩轉《毀滅戰(zhàn)士》無壓力！網友：遠超我家第一臺電腦2021-06-17
- 蘋果為了不讓AirTag被用來跟蹤，將推出一個安卓應用2021-06-17
- 中國程序員開發(fā)的遠程桌面火了！Mac可用，只有9MB，支持自建中繼器2021-06-17
- 亞馬遜員工流動率150%，每8個月相當于“大換血”，網友：貝佐斯不知足2021-06-16
相關閱讀
冠軍獎金20萬！2025華為軟件精英挑戰(zhàn)賽全球總決賽成功舉辦
粵港澳賽區(qū)來自南方科技大學和香港科技大學的“Tom and Jerry”隊一舉奪魁，贏得全球總冠軍，獨攬20萬元獎金
Forrester機器學習平臺榜單：浪潮與百度、騰訊云等領跑第一陣營
Forrester依據(jù)廠商的產品市場表現(xiàn)，將廠商劃分為大型、中型、小型三大類，浪潮、阿里云、百度、騰訊云、第四范式等企業(yè)入選大型廠商之列，成為中國PAML市場的第一陣營
