耶魯大學(xué)團(tuán)隊(duì)提出AdaBelief優(yōu)化器，成NeurIPS 2020熱點(diǎn)

曉查 2020-10-18 11:47:21 來源：量子位

曉查 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

要挑戰(zhàn)Adam地位的優(yōu)化器又多了一個(gè)。

近日NeurIPS 2020收錄論文提出的一個(gè)優(yōu)化器，在深度學(xué)習(xí)社區(qū)成為焦點(diǎn)，引起廣泛討論。

這就是由耶魯大學(xué)團(tuán)隊(duì)提出的AdaBelief。團(tuán)隊(duì)在論文中表示，該優(yōu)化器兼具Adam的快速收斂特性和SGD的良好泛化性。

所謂AdaBelief，是指根據(jù)梯度方向上的“信念”（Belief）來調(diào)整訓(xùn)練的步長(zhǎng)。它和Adam在算法上的差別并不大。

二者差別在下面的算法實(shí)現(xiàn)上可以輕易看出。

相比Adam，AdaBelief沒有引入任何其他新參數(shù)，只是在最后一步更新時(shí)有差異，已在上圖中用藍(lán)色標(biāo)出。

Adam的更新方向是

而AdaBelief的更新方向是

vt和st的差別在于，后者是

的指數(shù)移動(dòng)平均（EMA）。

mt可以看做是gt的預(yù)測(cè)值，當(dāng)實(shí)際值與預(yù)測(cè)值相差不大時(shí)，分母

較小，步長(zhǎng)較大，權(quán)重放心大膽邁開步子更新。

而實(shí)際值與預(yù)測(cè)值相差很大時(shí)，AdaBelief傾向于“不相信”當(dāng)前梯度，此時(shí)分母較大，更新步長(zhǎng)較短。

為什么AdaBelief更好

只做在最后一步做了了一個(gè)小小的改變，未審核會(huì)產(chǎn)生如此之大的影響呢？

這主要是因?yàn)锳daBelief考慮了兩點(diǎn)。

1、損失函數(shù)的曲率問題

理想的優(yōu)化器應(yīng)該考慮損失函數(shù)的曲線，而不是簡(jiǎn)單地在梯度較大的地方下采取較大的步長(zhǎng)。

在“大梯度、小曲率”（圖中區(qū)域3）情況下|gt-gt-1|和|st|很小，優(yōu)化器應(yīng)增加其步長(zhǎng)。

2、分母中的梯度符號(hào)

在上圖損失函數(shù)為

的情況下，藍(lán)色矢量代表梯度，十字叉代表最優(yōu)解。

Adam優(yōu)化器在y方向上振蕩，并在x方向上保持前進(jìn)。這是由于

在低方差情況下，Adam中的更新方向接近“符號(hào)下降”。

而在AdaBelief中，

因此AdaBelief在x方向上走了一大步，在y方向上只會(huì)走一小步，防止振蕩產(chǎn)生。

實(shí)驗(yàn)結(jié)果

在簡(jiǎn)單的幾種3維損失函數(shù)曲面上，AdamBelief展現(xiàn)出了優(yōu)秀的性能。

圖像分類

在CIFAR-10和CIFAR-100數(shù)據(jù)集上，用VGG11、ResNet34和DenseNet121三種網(wǎng)絡(luò)進(jìn)行訓(xùn)練，AdaBelief都顯示出更好的收斂結(jié)果。

而且在ImageNet數(shù)據(jù)上，AdaBelief在Top-1準(zhǔn)確率上僅次于SGD。

時(shí)間序列建模

在Penn TreeBank數(shù)據(jù)集上，用LSTM進(jìn)行實(shí)驗(yàn)，AdaBelief都實(shí)現(xiàn)了最低的困惑度。

GAN

在WGAN和WGAN-GP上的實(shí)驗(yàn)表明，經(jīng)AdaBelief訓(xùn)練的結(jié)果都得到了最低的FID。

網(wǎng)友評(píng)論

雖然AdaBelief在多個(gè)任務(wù)上取得了不錯(cuò)的效果，但該方法還是遭到不少網(wǎng)友質(zhì)疑。

因?yàn)檫@些年來號(hào)稱取代Adam的優(yōu)化器不計(jì)其數(shù)，但最終獲得時(shí)間檢驗(yàn)的卻寥寥無幾。

網(wǎng)友首先質(zhì)疑的是實(shí)驗(yàn)baseline的選取問題。

有人認(rèn)為，在CIFAR上，很難相信2020年SOTA模型的準(zhǔn)確率低于96％，因此AdaBelief論文最終在選取baseline時(shí)有可能是選擇了與不太好的結(jié)果進(jìn)行比較。

在ImageNet測(cè)試的表2里，為什么要使用ResNet18代替更標(biāo)準(zhǔn)的ResNet50？而且AdaBelief不是最優(yōu)結(jié)果，卻用加粗方式標(biāo)出，容易讓人產(chǎn)生誤解。絕妙的技巧是將提出的方法的得分加粗。

另外，還有人在作者未測(cè)試的NLP任務(wù)上進(jìn)行實(shí)驗(yàn)，很快AdaBelief就“崩潰”了，而SGD能夠很好地收斂。

AdaBelief不會(huì)是最后一個(gè)意圖取代Adam的優(yōu)化器，它的泛化能力究竟如何，還有待更多研究者進(jìn)一步地檢驗(yàn)。

項(xiàng)目地址：
https://juntang-zhuang.github.io/adabelief/

論文地址：
https://arxiv.org/abs/2010.07468

代碼地址：
https://github.com/juntang-zhuang/Adabelief-Optimizer