GPT-3獲NeurIPS 2020最佳論文獎，蘋果華人學(xué)者獲經(jīng)典論文獎

曉查 2020-12-08 12:18:10 來源：量子位

曉查 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

NeurIPS 2020今天正式召開，今年共有1900篇論文被接收，創(chuàng)下歷史新高。

今天早晨，大會評委會公布了獲得最高榮譽的論文名單：

包括GPT-3在內(nèi)的三篇獲得最佳論文獎，一篇2011年論文獲得時間檢驗獎。而去年新增的杰出新方向論文獎并未頒出。

由于受到新冠疫情影響，原計劃在溫哥華舉辦的NeurIPS不得不改為在線上舉辦。

最佳論文獎

No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium

這篇論文來自米蘭理工大學(xué)和卡內(nèi)基梅隆大學(xué)，研究方向為學(xué)習(xí)理論。

論文地址：
https://arxiv.org/abs/2004.00603

獲獎理由：

相關(guān)均衡（CE）易于計算，并且可以獲得比眾所周知的納什均衡要高得多的社會福利。在普通形式的游戲中，CE的一個令人驚訝的特征是，可以通過簡單且分散的算法最小化后悔的特定概念（即所謂內(nèi)部后悔）。

本文證明了在大型游戲（即泛型或樹型游戲）中收斂到CE的后悔最小化算法的存在性。

該結(jié)果解決了博弈論、計算機(jī)科學(xué)和經(jīng)濟(jì)學(xué)之間一個長期存在的開放性問題，并且可能對涉及中間人的游戲產(chǎn)生重大影響，例如，通過導(dǎo)航應(yīng)用程序?qū)τ行У慕煌肪€產(chǎn)生影響。

Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nystr?m Method

這篇論文來自加州大學(xué)伯克利分校，也是一篇關(guān)于學(xué)習(xí)理論的論文。

論文地址：
https://arxiv.org/abs/2002.09073

獲獎理由：

從一個大矩陣中選擇一個小的但有代表性的列向量子集是一個困難的組合問題，并且已知一種基于基數(shù)約束的行列式點過程的方法可以提供一種實用的近似解決方案。

本文推導(dǎo)了近似解的近似因子在最佳可能低秩近似上的新上界和下界，該上下界甚至可以獲得關(guān)于子集大小的多重下降行為。本文進(jìn)一步將分析擴(kuò)展到獲得Nystr?m方法的保證。

由于這些近似技術(shù)在機(jī)器學(xué)習(xí)中得到了廣泛的應(yīng)用，本文有望產(chǎn)生實質(zhì)性的影響，并給出新的見解，例如核方法、特征選擇和神經(jīng)網(wǎng)絡(luò)的雙下降行為等。

Language Models are Few-Shot Learners

這篇論文可能是今年最知名、最出圈的論文，來自O(shè)penAI的研究，也就是鼎鼎大名的GPT-3，作者數(shù)量達(dá)到31人之多！

論文地址：
https://arxiv.org/abs/2005.14165

獲獎理由：

語言模型是解決自然語言處理中一系列問題的現(xiàn)代技術(shù)支柱。本文表明，當(dāng)這樣的語言模型被擴(kuò)大到前所未有的參數(shù)數(shù)量時，其本身可以作為少量樣本學(xué)習(xí)者，無需任何額外的訓(xùn)練，就可以在許多此類問題上取得非常有競爭力的表現(xiàn)。

這是一個非常令人驚訝的結(jié)果，預(yù)計將在該領(lǐng)域產(chǎn)生重大影響，并有可能經(jīng)受住時間的考驗。

除了這項工作的科學(xué)貢獻(xiàn)之外，本文還對這項工作的廣泛影響進(jìn)行了非常廣泛和深入的闡述，這可以作為NeurIPS社區(qū)如何思考對現(xiàn)實世界影響的一個例子。

時間檢驗獎

NeurIPS每年都會從大約十年前的大會上選取一篇論文，授予時間檢驗獎（Test of Time Award，也稱經(jīng)典論文獎），以表彰這篇論文對AI學(xué)界產(chǎn)生的持久而深遠(yuǎn)的影響。

今年共選取了12篇候選者，最終獲獎的是在NeurIPS 2011年發(fā)表的論文：

HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent。

這篇論文主要提出了一種異步SGD算法，讓處理器平等地訪問共享內(nèi)存，并且能夠隨意更新內(nèi)存的各個部分，從而實現(xiàn)了幾乎線性的加速。

現(xiàn)在該論文的引用次數(shù)已經(jīng)達(dá)到了1918次。

論文地址：
https://arxiv.org/abs/1106.5730

獲獎理由：

本文首次展示了如何在沒有任何鎖定機(jī)制的情況下，并行化普遍使用的隨機(jī)梯度下降（SGD）算法，同時實現(xiàn)強(qiáng)大的性能保證。

當(dāng)時，一些研究人員提出了并行化SGD的方法，但是它們都需要不同工作進(jìn)程之間的內(nèi)存鎖定和同步。本文針對稀疏問題提出了一種簡單的策略，稱為Hogwild!：讓每個工作進(jìn)程在不同的數(shù)據(jù)子集上并行運行SGD，并在托管模型參數(shù)的共享內(nèi)存中執(zhí)行完全異步更新。

通過理論和實驗，他們證明了Hogwild!在滿足適當(dāng)稀疏性條件的數(shù)據(jù)上，隨著處理器數(shù)量實現(xiàn)了近乎線性的加速。

該論文的第一作者是當(dāng)時還在威斯康星大學(xué)麥迪遜分校就讀博士的華人學(xué)者Feng Niu，他也是清華大學(xué)計算機(jī)系2008年本科畢業(yè)生。

Feng Niu博士畢業(yè)后沒有進(jìn)入學(xué)界，而是在谷歌工作了一年，之后和他的導(dǎo)師Christopher Ré（也是論文作者之一）等人共同創(chuàng)立AI公司Lattice Data。該公司2017年被蘋果以2億美元收購。

值得一提的是，去年的時間檢驗獎也頒給了華人學(xué)者，獲獎的是來自微軟研究院高級首席研究員Lin Xiao。

關(guān)于NeurIPS 2020

今年NeurIPS共收到9454篇論文投稿，1900篇被接收，論文接收率僅為20.09%。

雖然今年接收率比過去幾年都低，但論文的絕對數(shù)量卻增長了33%。這主要是由于今年論文投稿數(shù)量大增，去年總投稿數(shù)僅6743。

在今年投稿的機(jī)構(gòu)學(xué)校中，谷歌以169篇入選位居第一，清華大學(xué)和北京大學(xué)分別有63篇、37篇被接收。

其中有兩位清華校友楊林和汪昭然分別入選9篇，是今年華人學(xué)者之最。

官方博客：
https://neuripsconf.medium.com/announcing-the-neurips-2020-award-recipients-73e4d3101537