天大本科生論文入選CVPR 2022，實現(xiàn)深度學(xué)習(xí)長尾分類新SOTA

本科生搞科研到底能做出什么成績？

最新被CVPR 2022收錄的一篇論文中，提供了一種新思路來解決深度學(xué)習(xí)中長尾分布數(shù)據(jù)的分類問題，最終實現(xiàn)了新SOTA。

文章一共5位作者，有博士生，也有來自新加坡A*STAR的高級研究員……

而排在一作位置的，是一位來自天津大學(xué)的本科生——李同學(xué)。

厲害的是，這還不是這位“初生牛犢”的第一篇頂會論文，在此之前，他還中了一篇數(shù)據(jù)挖掘領(lǐng)域的頂會（WWW 2022），同樣是一作。

本科生搞科研，勢頭已經(jīng)這么強了嗎？

大三進實驗室，大四就有2篇頂會在手

李同學(xué)來自天津大學(xué)智能與計算學(xué)部，今年大四。

這篇CVPR文章，主要就是以新型集成（ensembling）學(xué)習(xí)策略來解決長尾分類的問題。

長尾分布大家都知道，對于這些數(shù)據(jù)的分類則是深度學(xué)習(xí)中十分常見的一個應(yīng)用。

它的難點主要是樣本量極端不平衡，尤其尾部樣本量過少，難以獲得有效的訓(xùn)練結(jié)果。

目前，基于集成學(xué)習(xí)的方法顯示出巨大潛力，實現(xiàn)了SOTA性能。

但這種方法有兩個局限性：

一是在failure-sensitive應(yīng)用中的預(yù)測通常不可信，這對極容易出錯的尾部數(shù)據(jù)的影響非常大；

二是它會為所有樣本分配統(tǒng)一數(shù)量的資源（experts），這對于簡單樣本來說，造成了多余、過高的計算成本。

因此，李等人提出，通過引入不確定性集成，來實現(xiàn)對尾部類別樣本的自動感知。

在此基礎(chǔ)上，提出為尾部類別樣本動態(tài)分配比頭部樣本更多的模型資源（experts），以兼顧性能與效率。

最終，所得模型實現(xiàn)了對尾部類別樣本的自動化檢測與訓(xùn)練調(diào)節(jié)，成為一個解決長尾分類問題的通用模型。

一系列分類、尾部檢測、離群點檢測和故障預(yù)測等任務(wù)的綜合實驗證明，該模型的性能成功打敗現(xiàn)有的SOTA方法。

李同學(xué)是在大三的時候，憑著優(yōu)秀的學(xué)習(xí)成績進入了學(xué)部的機器學(xué)習(xí)與數(shù)據(jù)挖掘?qū)嶒炇?/strong>。

在導(dǎo)師張長青（天津大學(xué)博導(dǎo)）的帶領(lǐng)下，經(jīng)過短短一年半的學(xué)習(xí)，就中標了兩篇頂會論文。

可以說后生可畏。

越來越多的本科生開始發(fā)頂會

不過要說起本科生搞科研，其實大家應(yīng)該有所注意，很多學(xué)校對于這件事越來越開放和重視：

在大三或者更低年級時，就會開放一些名額讓有潛力的學(xué)生進入實驗室，和研究生、博士生一起搞科研。

比如清華“星火班”就招募大二學(xué)生，北大也鼓勵學(xué)生從大二就開始開展科研項目，而像中科大等學(xué)校，對做出相應(yīng)成績的本科生還會給予專門的獎學(xué)金。

在這樣的情況下，已經(jīng)有不少像李這樣的學(xué)生，在本科期間就發(fā)表上頂會了，可謂光環(huán)滿身。

比如我們熟悉的清華特獎得主、2016級本科生高天宇，大學(xué)四年期間就有四篇頂會在手：兩篇AAAI、兩篇EMNLP，還開過一個直播，專門傳授起自己的科研經(jīng)驗。

比如MIT本科生毛嘯，大四中標計算機理論頂會FOCS 2021，并摘得最佳學(xué)生論文獎。

再比如清華電子系本科生劉泓，3篇一作頂會；北大本科生吳克文不僅發(fā)頂會（ACM計算理論年會STOC），還拿下最佳論文獎；以及電子科大本科生王譚也有1篇一作CVPR 2020、浙大本科生任意同樣1篇一作ICML 2019……

類似的例子非常多。

可以說，本科生搞科研是越來越厲害了，大家覺得呢？

論文地址：
https://arxiv.org/abs/2111.09030

參考鏈接：
http://cic.tju.edu.cn/info/1040/3704.htm

版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。