李沐團隊提出最強ResNet改進版，多項任務(wù)達到SOTA | 已開源

十三 2020-04-18 13:27:41 來源：量子位

十三 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

在圖像處理領(lǐng)域中，近年來的新模型可謂是層出不窮。

但在大多數(shù)的下游任務(wù)中，例如目標(biāo)檢測、語義分割，依舊還是用ResNet或其變體作為骨干網(wǎng)絡(luò)。

而最近，亞馬遜李沐團隊便提出了堪稱“ResNet最強改進版”的網(wǎng)絡(luò)——ResNeSt。

從名字中不難看出，是引入了模塊化的分散注意力模塊，可以讓注意力跨特征圖(feature-map)組。

那么，ResNeSt到底有多強？

• ResNeSt-50在224×224的ImageNet上，實現(xiàn)了81.13%的TOP-1精度，比之前最好的ResNet變體精度高出1%以上。
• 簡單地用ResNeSt-50替換ResNet-50骨干，可以讓MS-COCO上的FasterRCNNNN的mAP，從39.25%提高到42.33%；ADE20K上的DeeplabV3的mIoU，從42.1%提高到45.1%。

這些改進對下游任務(wù)有很大的幫助，包括目標(biāo)檢測、實例分割和語義分割。

就連李沐也發(fā)朋友圈，呼吁小伙伴們“一鍵升級”。

更讓人驚喜的是，這項工作已開源！

最強ResNet變體：多項任務(wù)取得“大滿貫”

現(xiàn)在，我們具體來看下ResNeSt在具體任務(wù)中的表現(xiàn)。

圖像分類

第一個實驗研究了ResNeSt在ImageNet 2012數(shù)據(jù)集上的圖像分類性能。

通過將ResNeSt和其他50層和101層配置、類似復(fù)雜度的ResNet變體作比較，TOP-1精度達到了最高，如下表所示。

還與不同大小的CNN模型做了比較。

采用了256×256的ResNeSt-200, 和320×320的ResNeSt-269。對于輸入大小大于256的模型，采用雙三次上采樣策略(Bicubic upsampling strategy)。

從下表不難看出，與基于NAS發(fā)現(xiàn)的模型相比，ResNeSt具有更好的準(zhǔn)確性和延遲權(quán)衡。

目標(biāo)檢測

接下來，是在目標(biāo)檢測上的性能。

所有的模型，都是在COCO-2017訓(xùn)練集上訓(xùn)練的118k圖像，并在COCO-2017驗證集上用5k圖像進行評估。

使用FPN、同步批處理歸一化(synchronized batch normalization)和圖像尺度增強，來訓(xùn)練所有模型。

為了方便比較，簡單地用ResNeSt替換了vanilla ResNet骨干，同時使用默認設(shè)置的超參數(shù)。

與使用標(biāo)準(zhǔn)ResNet的基線相比，ResNeSt的骨干在Faster-RCNN和CascadeRCNN上，都能將平均精度提高3%左右。

這就說明ResNeSt的骨干網(wǎng)絡(luò)具有良好的泛化能力，并且可以很容易地遷移到下游任務(wù)中。

值得注意的是，ResNeSt50在Faster-RCNN和Cascade-RCNN檢測模型上都優(yōu)于ResNet101，而且使用的參數(shù)明顯較少。

實例分割

在實例分割任務(wù)中，以ResNeSt-50和ResNeSt-101為骨干，對Mask-RCNN和Cascade-Mask-RCNN模型進行評估。

實驗結(jié)果如下表所示，對于Mask-RCNNN來說，ResNeSt50的box/mask性能增益分別為2.85%/2.09%，而ResNeSt101則表現(xiàn)出了更好的提升，達到了4.03%/3.14%。

對于Cascade-Mask-RCNN，切換到ResNeSt50或ResNeSt101所產(chǎn)生的增益分別為3.13%/2.36%或3.51%/3.04%。

這就表明，如果一個模型由更多的Split-Attention模塊組成，那么它的效果會更好。

語義分割

在語義分割下游任務(wù)的轉(zhuǎn)移學(xué)習(xí)中，使用DeepLabV3的GluonCV實現(xiàn)作為基準(zhǔn)方法。

從下表中不難看出，ResNeSt將DeepLabV3模型實現(xiàn)的mIoU提升了約1%，同時保持了類似的整體模型復(fù)雜度。

值得注意的是，使用ResNeSt-50的DeepLabV3模型的性能，比使用更大的ResNet-101的DeepLabV3更好。

ResNeSt：注意力分割網(wǎng)絡(luò)

性能如此卓越，到底是對ResNet做了怎樣的改良呢？

接下來，我們就來揭開ResNeSt的神秘面紗。

正如剛才我們提到的，ResNeSt是基于ResNet，引入了Split-Attention塊，可以跨不同的feature-map組實現(xiàn)feature-map注意力。

Split-Attention塊是一個計算單元，由feature-map組和分割注意力操作組成。下2張圖便描述了一個Split-Attention塊，以及cardinal group中的split-Attention。

從上面的2張圖中不難看出，都有split的影子。比如 K(k) 和 R(r) 都是超參數(shù)，也就是共計 G = K*R 組。

除此之外，也可以與SE-Net和SK-Net對比著來看。

其中，SE-Net引入了通道注意力(channel-attention)機制；SK-Net則通過兩個網(wǎng)絡(luò)分支引入特征圖注意力(feature-map attention)。

ResNeSt和SE-Net、SK-Net的對應(yīng)圖示如下：

研究人員介紹

李沐，亞馬遜首席科學(xué)家，加州大學(xué)伯克利分?？妥斫淌冢绹▋?nèi)基梅隆大學(xué)計算機系博士。

專注于分布式系統(tǒng)和機器學(xué)習(xí)算法的研究。他是深度學(xué)習(xí)框架MXNet的作者之一。

曾任機器學(xué)習(xí)創(chuàng)業(yè)公司Marianas Labs的CTO和百度深度學(xué)習(xí)研究院的主任研發(fā)架構(gòu)師。

李沐有著豐富的研究成果，曾先后在國內(nèi)外主流期刊上發(fā)表多篇學(xué)術(shù)論文，其中《DiFacto — Distributed Factorization Machines 》在ACM國際網(wǎng)絡(luò)搜索和數(shù)據(jù)挖掘（WSDM）大會上被評為最佳論文獎。

傳送門

論文地址：
https://hangzhang.org/files/resnest.pdf

GitHub項目地址：
https://github.com/zhanghang1989/ResNeSt