英特爾用ViT做密集預(yù)測效果超越卷積，性能提高28%，mIoU直達(dá)SOTA｜在線可玩

豐色 2021-10-04 14:29:29 來源：量子位

用全卷積網(wǎng)絡(luò)做密集預(yù)測?（dense prediction），優(yōu)點(diǎn)很多。

但現(xiàn)在，你可以試試Vision Transformer了——

英特爾最近用它搞了一個(gè)密集預(yù)測模型，結(jié)果是相比全卷積，該模型在單目深度估計(jì)應(yīng)用任務(wù)上，性能提高了28%。

其中，它的結(jié)果更具細(xì)粒度和全局一致性。

在語義分割任務(wù)上，該模型更是在ADE20K數(shù)據(jù)集上以49.02%的mIoU創(chuàng)造了新的SOTA。

這次，Transformer又在CV界秀了一波操作。

沿用編碼-解碼結(jié)構(gòu)

此模型名叫DPT，也就是dense prediction transformer的簡稱。

總的來說，DPT沿用了在卷積網(wǎng)絡(luò)中常用的編碼器-解碼器結(jié)構(gòu)，主要是在編碼器的基礎(chǔ)計(jì)算構(gòu)建塊用了transformer。

它通過利用ViT為主干，將ViT提供的詞包（bag-of-words）重新組合成不同分辨率的圖像特征表示，然后使用卷積解碼器將該表示逐步組合到最終的密集預(yù)測結(jié)果。

模型架構(gòu)圖如下：

具體來說就是先將輸入圖片轉(zhuǎn)換為tokens（上圖橙色塊部分），有兩種方法：

（1）通過展開圖像表征的線性投影提取非重疊的圖像塊（由此產(chǎn)生的模型為DPT-Base與DPT-Large）；

（2）或者直接通過ResNet-50的特征提取器來搞定（由此產(chǎn)生的模型為DPT-Hybrid）。

然后在得到的token中添加位置embedding，以及與圖像塊獨(dú)立的讀出token（上圖紅色塊部分）。

接著將這些token通過transformer進(jìn)行處理。

再接著將每個(gè)階段通過transformer得到的token重新組合成多種分辨率的圖像表示（綠色部分）。注意，此時(shí)還只是類圖像（image-like）。

下圖為重組過程，token被組裝成具有輸入圖像空間分辨率1/s的特征圖。

最后，通過融合模塊（紫色）將這些圖像表示逐步“拼接”并經(jīng)過上采樣，生成我們最終想要的密集預(yù)測結(jié)果。

ps.該模塊使用殘差卷積單元組合特征，對特征圖進(jìn)行上采樣。

以上就是DPT的大致生成過程，與全卷積網(wǎng)絡(luò)不同，ViT主干在初始圖像embedding計(jì)算完成后放棄了下采樣，并在全部處理階段保持恒定維數(shù)的圖像表示。

此外，它在每階段都有一個(gè)全局感受野。

正是這兩點(diǎn)不同對密集預(yù)測任務(wù)尤其有利，讓DPT模型的結(jié)果更具細(xì)粒度和全局一致性。

用兩種任務(wù)來檢驗(yàn)效果

具體效果如何？

研究人員將DPT應(yīng)用于兩種密集預(yù)測任務(wù)。

由于transformer只有在大訓(xùn)練集上才能展現(xiàn)其全部潛能，因此單目深度估計(jì)評估是測試DPT能力的理想任務(wù)。

他們將DPT與該任務(wù)上的SOTA模型進(jìn)行對比，采用的數(shù)據(jù)集包含約140萬張圖像，是迄今為止最大的單目深度估計(jì)訓(xùn)練集。

結(jié)果是，兩種DPT變體的性能均顯著優(yōu)于最新模型（以上指標(biāo)越低越好）。

其中，與SOTA架構(gòu)MiDaS相比，DPT-Hybrid的平均相對改善率超過23%，DPT-Large的平均相對改善率則超過28%。

為了確保該成績不僅是由于擴(kuò)大了訓(xùn)練集，研究人員也在更大的數(shù)據(jù)集上重新訓(xùn)練了MiDaS，結(jié)果仍然是DPT勝出。

通過視覺比較圖還可以看出，DPT可以更好地重建細(xì)節(jié)，可以在對卷積結(jié)構(gòu)具有挑戰(zhàn)的區(qū)域（比如較大的均勻區(qū)域）中提高全局一致性。

另外，通過微調(diào)，研究人員發(fā)現(xiàn)DPT也可以有效地應(yīng)用于較小的數(shù)據(jù)集。

在具有競爭力的語義分割任務(wù)上：研究人員在ADE20K數(shù)據(jù)集上對DPT進(jìn)行了240個(gè)epoch的訓(xùn)練。

結(jié)果發(fā)現(xiàn)，DPT-Hybrid優(yōu)于現(xiàn)有的所有全卷積結(jié)構(gòu)，以49.02的mIoU達(dá)到了SOTA（其更清晰、更細(xì)粒度的邊界效果如開頭所展示）。

而DPT-Large的性能稍差，研究人員分析可能是因?yàn)榕c之前的實(shí)驗(yàn)相比，采用的數(shù)據(jù)集要小得多。

同時(shí)，他們在小數(shù)據(jù)集（Pascal）上對表現(xiàn)優(yōu)異的DPT-Hybrid微調(diào)了50個(gè)epoch后發(fā)現(xiàn)，DPT的性能仍然強(qiáng)大。

最后，“百聞不如一見”，如果你想體驗(yàn)DPT的真實(shí)效果，可以到Huggingface官網(wǎng)。

論文地址：
https://arxiv.org/abs/2103.13413

模型地址：
https://github.com/intel-isl/dpt

Hugging Face體驗(yàn)地址：

https://huggingface.co/spaces/akhaliq/DPT-Large