RAdam優(yōu)化器又進(jìn)化：與LookAhead強(qiáng)強(qiáng)結(jié)合，性能更優(yōu)速度更快

魚羊 2019-08-25 12:39:23 來源：量子位

魚羊 編譯整理

量子位 報道 | 公眾號 QbitAI

上周，來自UIUC的中國博士生Liyuan Liu提出了一種兼具Adam和SGD兩者之美的新優(yōu)化器RAdam，收斂速度快，還很魯棒，一度登上了GitHub趨勢榜。

而今年七月，圖靈獎得主Hinton的團(tuán)隊(duì)同樣在優(yōu)化器上下了功夫，對SGD進(jìn)行改進(jìn)，提出了一種新的優(yōu)化器LookAhead，在各種深度學(xué)習(xí)任務(wù)上實(shí)現(xiàn)了更快的收斂。

那么，把兩者結(jié)合起來又會發(fā)生什么呢？

那位盛贊RAdam為最先進(jìn)AI優(yōu)化器的架構(gòu)師Less Wright不光這么想了，還真的這么干了。

并且他發(fā)現(xiàn)，將RAdam和LookAhead結(jié)合在一起，RAdam的效果又進(jìn)一步優(yōu)化了。

Less Wright將這一協(xié)同組合命名為Ranger，已開源并集成到FastAI中。

兩強(qiáng)互補(bǔ)

RAdam的先進(jìn)之處在于，能根據(jù)方差分散度，動態(tài)地打開或關(guān)閉自適應(yīng)學(xué)習(xí)率，提供了一種不需要可調(diào)參數(shù)學(xué)習(xí)率預(yù)熱的方法。它兼具Adam和SGD兩者的優(yōu)點(diǎn)，既能保證收斂速度快，也不容易掉入局部最優(yōu)解，在較大學(xué)習(xí)率的情況下，精度甚至優(yōu)于SGD。

量子位詳細(xì)解讀：https://mp.weixin.qq.com/s/scGkuMJ4lZULhmK69vWYpA

而LookAhead受到深度神經(jīng)網(wǎng)絡(luò)損失表面方面進(jìn)展的啟發(fā)，能夠穩(wěn)定深度學(xué)習(xí)訓(xùn)練和收斂速度。LookAhead團(tuán)隊(duì)是這樣介紹的：

LookAhead減少了需要調(diào)整的超參數(shù)的數(shù)量，能以最小的計算開銷實(shí)現(xiàn)不同深度學(xué)習(xí)任務(wù)的更快收斂。

兩者從不同的角度著手，各自在深度學(xué)習(xí)優(yōu)化上實(shí)現(xiàn)了新的突破，而更妙的是，它們的組合具有高度協(xié)同性。

根據(jù)RAdam的特點(diǎn)，一旦方差穩(wěn)定下來，在余下的訓(xùn)練階段當(dāng)中，RAdam基本等同于Adam和SGD。也就是說，RAdam的改進(jìn)主要是在訓(xùn)練剛開始的時候。

而LookAhead的原理是，維護(hù)兩組權(quán)重，然后在它們之間進(jìn)行插值。它允許更快的權(quán)重集向前探索，而較慢的權(quán)重留在后面以提供更長期的穩(wěn)定性。

也就是說，LookAhead實(shí)際上是保留了一個額外的權(quán)重副本，然后讓內(nèi)化的“更快”的優(yōu)化器進(jìn)行5或6個batch的訓(xùn)練。批處理的間隔是通過k參數(shù)指定的。

所以即使是在1000個epoch之后，LookAhead也依然可以超越SGD。

并且，這個和LookAhead一起運(yùn)行以獲得“快速”權(quán)重的優(yōu)化器，可以是任何優(yōu)化器。比如RAdam。

Ranger

于是，Less Wright愉快地將RAdam和LookAhead結(jié)合在了一起，形成名為Ranger的新優(yōu)化器。

他在ImageNette上進(jìn)行了測試，在128px，20epoch的測試中，Ranger的訓(xùn)練精度達(dá)到了93%，比目前FastAI排行榜榜首提高了1%。

不過，Less Wright表示，在這一嘗試當(dāng)中，使用LookAhead的RAdam的k參數(shù)和學(xué)習(xí)速率還需要進(jìn)一步測試優(yōu)化。只是比起此前最先進(jìn)的方法，RAdam + LookAhead需要手動調(diào)整的超參數(shù)已經(jīng)減少了很多。

Ranger的代碼實(shí)現(xiàn)已經(jīng)開源，并且集成到了FastAI中，如果你也對這一嘗試感興趣，那么現(xiàn)在就可以自己動手實(shí)驗(yàn)一下了：

首先，復(fù)制ranger.py到工作目錄。

然后import ranger。

創(chuàng)建一個partial，準(zhǔn)備在FastAI里使用Ranger，并將opt_func指向它。

就可以開始測試了。

傳送門

GitHub地址：

https://github.com/lessw2020/Ranger-Deep-Learning-Optimizer?source=post_page——-2dc83f79a48d———————————

博客地址：

https://medium.com/@lessw/new-deep-learning-optimizer-ranger-synergistic-combination-of-radam-lookahead-for-the-best-of-2dc83f79a48d

LookAhead論文地址：

https://arxiv.org/abs/1907.08610v1

RAdam論文地址：

https://arxiv.org/abs/1908.03265

— 完 —