DeepMind丟掉了歸一化，讓圖像識別訓(xùn)練速度提升了8.7倍 | 已開源
在ImageNet上拿到了SOTA
金磊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
在大規(guī)模圖像識別任務(wù)上，DeepMind的新方法火了。
不僅拿到了SOTA，訓(xùn)練速度還提升了8.7倍之多！
方法關(guān)鍵：去“批處理歸一化”
對于大多數(shù)圖像識別模型來說，批處理歸一化（batch normalization）是非常重要的組成部分。
但與此同時，這樣的方式也存在一定的局限性，那就是它存在許多并不重要的特征。
雖然近期的一些研究在沒有歸一化的情況下，成功訓(xùn)練了深度ResNet，但這些模型與最佳批處理歸一化網(wǎng)絡(luò)的測試精度不相匹配。
而這便是DeepMind此次研究所要解決的問題——提出了一種自適應(yīng)梯度剪裁（AGC）?技術(shù)。
具體而言，這是一種叫做Normalizer-Free ResNet?（NFNet）的新網(wǎng)絡(luò)。
整體來看，NFNet的整體結(jié)構(gòu)如上圖所示。
以有無“transition塊”來劃分，可以再細分為2種情況。
其中，它們的bottleneck ratio均設(shè)置為0.5，且在3 x 3的卷積中，無論信道的數(shù)量為多少，組寬都固定為128。
二者的區(qū)別在于skip path接收信號的方式，左側(cè)的是在用β進行variance downscaling和縮放非線性之后；而右側(cè)則是在用β進行variance downscaling之前完成。
實驗結(jié)果
在實驗部分，DeepMind的研究人員，采用了與NFNet相關(guān)的7個模型做了對比實驗，分別是NFNet-F0至NFNet-F6。
不難看出，在各個模型的對比過程中，在Top-1精度方面均取得了最好結(jié)果。
值得一提的是，與EfficientNet-B7相比，訓(xùn)練速度方面提升了8.7倍之多。
此外，在對3億張標記圖像進行大規(guī)模預(yù)訓(xùn)練后，在ImageNet上還取得了89.2%的Top-1精度。
最后，對于這項研究的代碼，也已在GitHub上開源。
傳送門
論文地址：
https://arxiv.org/abs/2102.06171
代碼地址：
https://github.com/deepmind/
- 商湯林達華萬字長文回答AGI：4層破壁，3大挑戰(zhàn)2025-08-12
- 商湯多模態(tài)大模型賦能鐵路勘察設(shè)計，讓70年經(jīng)驗“活”起來2025-08-13
- 以“具身智能基座”為核，睿爾曼攜全產(chǎn)品矩陣及新品亮相2025 WRC2025-08-11
- 哇塞，今天北京被機器人人人人人塞滿了！2025-08-08
相關(guān)閱讀
