“非深度網(wǎng)絡(luò)”12層打敗50層，普林斯頓+英特爾：更深不一定更好
12層對(duì)50層，優(yōu)勢(shì)在我
曉查 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
“深度”是深度神經(jīng)網(wǎng)絡(luò)（DNN）的關(guān)鍵詞。但網(wǎng)絡(luò)越深也就意味著，訓(xùn)練時(shí)反向傳播的鏈條更長(zhǎng)，推理時(shí)順序計(jì)算步驟更多、延遲更高。
而深度如果不夠，神經(jīng)網(wǎng)絡(luò)的性能往往又不好。
這就引出了一個(gè)問(wèn)題：是否有可能構(gòu)建高性能的“非深度”神經(jīng)網(wǎng)絡(luò)？
普林斯頓大學(xué)和英特爾最新的論文證明，確實(shí)能做到。
他們只用了12層網(wǎng)絡(luò)ParNet就在ImageNet上達(dá)到了接近SOTA的性能。
ParNet在ImageNet上準(zhǔn)確率超過(guò)80%、在CIFAR10上超過(guò) 96%、在CIFAR100上top-1準(zhǔn)確率 達(dá)到了81%，另外在MS-COCO上實(shí)現(xiàn)了48%的AP。
他們是如何在網(wǎng)絡(luò)這么“淺”的情況下做到的？
并行子網(wǎng)提升性能
ParNet 中的一個(gè)關(guān)鍵設(shè)計(jì)選擇是使用并行子網(wǎng)，不是按順序排列層，而是在并行子網(wǎng)中排列層。
ParNet由處理不同分辨率特征的并行子結(jié)構(gòu)組成。我們將這些并行子結(jié)構(gòu)稱(chēng)為流（stream）。來(lái)自不同流的特征在網(wǎng)絡(luò)的后期融合，這些融合的特征用于下游任務(wù)。
在 ParNet 中，作者使用VGG樣式的塊。但是對(duì)于非深度網(wǎng)絡(luò)來(lái)說(shuō)，只有3×3卷積感受野比較有限。
為了解決這個(gè)問(wèn)題，作者構(gòu)建了一個(gè)基于Squeeze-and-Excitation設(shè)計(jì)的 Skip-Squeeze-Excitation (SSE) 層。使用SSE模塊修改后的Rep-VGG稱(chēng)之為Rep VGG-SSE。
對(duì)于ImageNet等大規(guī)模數(shù)據(jù)集，非深度網(wǎng)絡(luò)可能沒(méi)有足夠的非線(xiàn)性，從而限制了其表示能力。因此，作者用SiLU激活函數(shù)替代了ReLU。
除了RepVGG-SSE塊的輸入和輸出具有相同的大小外，ParNet還包含下采樣和融合塊。
模塊降低分辨率并增加寬度以實(shí)現(xiàn)多尺度處理，而融合塊組合來(lái)自多個(gè)分辨率的信息，有助于減少推理期間的延遲。
為了在小深度下實(shí)現(xiàn)高性能，作者通過(guò)增加寬度、分辨率和流數(shù)量來(lái)擴(kuò)展ParNet。
作者表示，由于摩爾定律放緩，處理器頻率提升空間也有限，因此并行計(jì)算有利于神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)更快的推理。而并行結(jié)構(gòu)的非深度網(wǎng)絡(luò)ParNet在這方面具有優(yōu)勢(shì)。
實(shí)際性能如何
在ImageNet數(shù)據(jù)集上，無(wú)論是Top-1還是Top-5上，ParNet都接近SOTA性能。
在MS-COCO任務(wù)中，ParNet在性能最佳的同時(shí)，延遲最低。
不過(guò)也有人質(zhì)疑“非深度網(wǎng)絡(luò)”的實(shí)際表現(xiàn)，因?yàn)殡m然層數(shù)少，但網(wǎng)絡(luò)寬度變大，實(shí)際上ParNet比更深的ResNet50的參數(shù)還要多，似乎不太有說(shuō)服力。
但作者也表示“非深度”網(wǎng)絡(luò)在多GPU下能發(fā)揮更大的并行計(jì)算優(yōu)勢(shì)。
最后，ParNet的GitHub頁(yè)已經(jīng)建立，代碼將在不久后開(kāi)源。
參考鏈接：
[1]https://arxiv.org/abs/2110.07641
[2]https://github.com/imankgoyal/NonDeepNetworks
相關(guān)閱讀
「深度學(xué)習(xí)+」階段來(lái)了！百度王海峰：深度學(xué)習(xí)多維度逐漸成熟，創(chuàng)新創(chuàng)造大有可為
以「深度學(xué)習(xí)+」駛向AI工業(yè)大生產(chǎn)
英特爾舉辦2024網(wǎng)絡(luò)與邊緣計(jì)算行業(yè)大會(huì)，推動(dòng)邊緣AI創(chuàng)新發(fā)展
企業(yè)加速擁抱AI：英特爾推動(dòng)邊緣計(jì)算與AI深度融合
