ML頂會論文都可復(fù)現(xiàn)嗎？來挑戰(zhàn)一下，還能拿500美元補貼
網(wǎng)友：挑戰(zhàn)成功還能自己發(fā)論文
月石一 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
Paper with Code發(fā)起了第5屆機器學(xué)習(xí)再現(xiàn)性挑戰(zhàn)（MLRC）。
這一次不僅支持的會議有所增加，挑戰(zhàn)者還能獲得500美元的資金支持！
接受挑戰(zhàn)的論文，來自NeurIPS、ICML、ICLR、ACL、EMNLP、CVPR和ECCV多個會議，挑戰(zhàn)者通過DAGsHub進(jìn)行復(fù)現(xiàn)。
舉辦方發(fā)起此次挑戰(zhàn)的目的，是為了鼓勵發(fā)布和共享可靠和可重復(fù)的科學(xué)成果。
如何參與呢？一起來看。
流程與要求
挑戰(zhàn)者需要從所支持會議的論文列表中獲取論文，但是顯示“已領(lǐng)取”的論文除外，而且每人最多只能復(fù)現(xiàn)2篇論文。
此外，挑戰(zhàn)者還需加入Discord社區(qū)的#ml-reproducibility頻道。
接著就到了復(fù)現(xiàn)這一步，挑戰(zhàn)者用作者發(fā)布的現(xiàn)有代碼，或設(shè)計一個執(zhí)行程序，來驗證論文的觀點和結(jié)論。
并且要使用DAGsHub存儲來托管數(shù)據(jù)、模型等，確保所有東西都是開源和可重復(fù)的。
然后，將發(fā)現(xiàn)和消融研究的內(nèi)容，總結(jié)成DAGsHub頁面。其中要涵蓋這些內(nèi)容：
這篇論文是否可復(fù)現(xiàn)？
是否發(fā)現(xiàn)了任何關(guān)鍵性的見解？
描述數(shù)據(jù)集（如果適用）：來源、數(shù)據(jù)類型、分布等。
描述數(shù)據(jù)處理方法（如果適用）。
描述模型：架構(gòu)、性能等。
此外，挑戰(zhàn)者需確保符合ML可重復(fù)性檢查表的標(biāo)準(zhǔn)，符合要求的參與者將獲得每篇論文500美元的支持。
最后，將結(jié)果提交到挑戰(zhàn)活動，并作為DAGsHub項目，鏈接到這個項目的問題上，舉辦方將對DAGsHub項目進(jìn)行審查。
作者有可能被選中，在DAGsHub社區(qū)和主頁上進(jìn)行介紹，也可能被邀請在專門的活動中分享工作。
網(wǎng)友：可發(fā)論文？
這項復(fù)現(xiàn)論文的活動在Reddit上引起了網(wǎng)友們的關(guān)注。
不少網(wǎng)友表示：想?yún)⒓樱?/p>
很想?yún)⒓?。如果?fù)制一篇論文，然后結(jié)果在相同的超參數(shù)條件下不匹配，會發(fā)生什么:D？
一位網(wǎng)友回復(fù)說：那你就能發(fā)論文了……
我喜歡這個，很想?yún)⒓?。有沒有可能計入博士學(xué)位的學(xué)分呢？
有網(wǎng)友表示，如果大學(xué)有這樣的課程學(xué)分，那將是一個好主意，它可能比ML研究生的許多課程更有用。
不過，對于500美元的資金支持，也有人提出了不同觀點。
一篇好的論文，不就是應(yīng)該提供代碼和數(shù)據(jù)，支持一鍵重新運行嗎？這樣（復(fù)現(xiàn)）很難成為一個項目。
這些提供高質(zhì)量代碼和數(shù)據(jù)的論文，難道該激勵的不是它們嗎？而不是那些承擔(dān)作者責(zé)任的第三方。
不過大部分網(wǎng)友認(rèn)為這項活動很有意義，其中一些人表示，機器學(xué)習(xí)領(lǐng)域的確有不少“無用論文”。
總是有論文說“相信我們這是有效的”，我們需要更多的論文來說明它們的失敗。
根據(jù)我的經(jīng)驗，大多數(shù)度量學(xué)習(xí)深度模型都非常無用。
你怎么看？
時間安排
挑戰(zhàn)現(xiàn)已開啟，在截止時間（2021年7月15日太平洋夏令時間23:59）之前，挑戰(zhàn)者可以隨時提交報告。
考慮到編寫報告和改進(jìn)結(jié)果需要時間，因此在挑戰(zhàn)截止日期后兩周內(nèi)，舉辦方將接受最終提交。
期刊特刊作者通知的截止日期為2021年9月30日。
想報名的小伙伴要抓緊時間啦~
參考鏈接：
[1]https://dagshub.com/pages/reproducibility-challenge
[2]https://dagshub.com/DAGsHub-Official/reproducibility-challenge/wiki/ML+Reproducibility+Challenge+Spring+2021
[3]https://paperswithcode.com/rc2020
[4]https://www.reddit.com/r/MachineLearning/comments/np6eph/d_supporting_the_ml_reproducibility_challenge/
相關(guān)閱讀
谷歌造出拉馬努金機：幾毫秒求解數(shù)學(xué)常數(shù)，無需任何先驗信息
能發(fā)現(xiàn)公式，今后還能證明定理。
