大模型被偷家！騰訊港中文新研究修正認(rèn)知：CNN搞多模態(tài)不弱于Transfromer
圖像、點云和音視頻都支持
騰訊&港中文團(tuán)隊 投稿
量子位 | 公眾號 QbitAI
在Transformer占據(jù)多模態(tài)工具半壁江山的時代，大核CNN又“殺了回來”，成為了一匹新的黑馬。
騰訊AI實驗室與港中文聯(lián)合團(tuán)隊提出了一種新的CNN架構(gòu)，圖像識別精度和速度都超過了Transformer架構(gòu)模型。
切換到點云、音頻、視頻等其他模態(tài)，也無需改變模型結(jié)構(gòu)，簡單預(yù)處理即可接近甚至超越SOTA。
團(tuán)隊提出了專門用于大核CNN架構(gòu)設(shè)計的四條guideline和一種名為UniRepLKNet的強(qiáng)力backbone。
只要用ImageNet-22K對其進(jìn)行預(yù)訓(xùn)練，精度和速度就都能成為SOTA——
ImageNet達(dá)到88%，COCO達(dá)到56.4 box AP，ADE20K達(dá)到55.6 mIoU，實際測速優(yōu)勢很大。
在時序預(yù)測的超大數(shù)據(jù)上使用UniRepLKNet，也能達(dá)到最佳水平——
例如在全球氣溫和風(fēng)速預(yù)測上，它就超越了Nature子刊上基于Transformer的前SOTA。
更多細(xì)節(jié)，我們接著看作者投稿。
“Transformer時代”，為什么還需要CNN
在正式介紹UniRepLKNet的原理之前，作者首先解答了兩個問題。
第一個問題是，為什么在Transformer大一統(tǒng)各個模態(tài)的時代還要研究CNN？
作者認(rèn)為，Transformer和CNN只不過是相互交融的兩種結(jié)構(gòu)設(shè)計思路罷了，沒有理由認(rèn)為前者具有本質(zhì)的優(yōu)越性。
“Transformer大一統(tǒng)各個模態(tài)”正是研究團(tuán)隊試圖修正的認(rèn)知。
正如2022年初ConvNeXt、RepLKNet和另外一些工作問世之前，“Transformer在圖像任務(wù)上吊打CNN”是主流認(rèn)知。
這幾項成果出現(xiàn)后，這一認(rèn)知被修正為“CNN和Transformer在圖像任務(wù)上差不多”。
本研究團(tuán)隊的成果將其進(jìn)一步修正：在點云、音頻、視頻上，CNN比我們想象的強(qiáng)太多了。
在時序預(yù)測這種并不是CNN傳統(tǒng)強(qiáng)項的領(lǐng)域（LSTM等曾是主流，最近兩年Transformer越來越多），CNN都能超過Transformer，成功將其“偷家”。
因此，研究團(tuán)隊認(rèn)為，CNN在大一統(tǒng)這一點上可能不弱于Transformer。
第二個問題是，如何將一個為圖像任務(wù)設(shè)計的CNN用于音頻、視頻、點云、時序數(shù)據(jù)？
出于對簡潔和通用性的永恒追求，將UniRepLKNet用于其他模態(tài)時，不對模型架構(gòu)主體做任何改變（以下實驗用的全都是UniRepLKNet-Small）。
只需要將視頻、音頻、點云、時序數(shù)據(jù)給處理成C×H×W的embedding map（對于圖像來說，C=3），就能實現(xiàn)到其他模態(tài)的過渡，例如：
- 把音頻的頻譜圖（Time×Frequency）看成是一幅單通道圖像，即C=1，H=T，W=F；
- 將點云進(jìn)行三視圖投影，得到三幅單通道圖像，C=3，H和W可以隨意指定；
- 將視頻中的各幀拼接到一起，極為簡單地得到一張大圖（例如，16幀的3×224×224視頻拼接得到3×896×896的輸入）；
- 對時序數(shù)據(jù)，借鑒CorrFormer中的embedding layer將數(shù)據(jù)轉(zhuǎn)換為隱空間中的張量然后簡單粗暴地將其reshape成一幅單通道圖像。
后文展示的結(jié)果將會證明，如此簡單的設(shè)計產(chǎn)生的效果是極為優(yōu)秀的。
大卷積核CNN架構(gòu)設(shè)計
2022年，RepLKNet提出了用超大卷積核（從13×13到31×31）來構(gòu)建現(xiàn)代CNN以及正確使用超大卷積核的幾個設(shè)計原則。
但從架構(gòu)層面看，RepLKNet只是簡單地用了Swin Transformer的整體架構(gòu)，并沒有做什么改動。
當(dāng)前大核CNN架構(gòu)設(shè)計要么遵循現(xiàn)有的CNN設(shè)計原則，要么遵循現(xiàn)有的Transformer設(shè)計原則。
在傳統(tǒng)的卷積網(wǎng)絡(luò)架構(gòu)設(shè)計中，當(dāng)研究者向網(wǎng)絡(luò)中添加一個3×3或5×5卷積層時，往往會期望它同時產(chǎn)生三個作用：
- 增大感受野
- 提高抽象層次，例如從線條到紋理、從紋理到物體的局部
- 通過增加深度而一般地提高表征能力（越深，參數(shù)越多，非線性越多，擬合能力越高）
那么，設(shè)計大卷積核CNN架構(gòu)時，應(yīng)該遵循怎樣的原則呢？
本文指出，應(yīng)該解耦上述三種要素，需要什么效果就用對應(yīng)的結(jié)構(gòu)來實現(xiàn)：
- 用少量大卷積核保證大感受野。
- 用depthwise 3×3等小卷積提高特征抽象層次。
- 用一些高效結(jié)構(gòu)（如SE Block、Bottleneck structure等）來提高模型的深度從而增強(qiáng)其一般的表示能力。
這樣的解耦之所以能夠?qū)崿F(xiàn)，正是大卷積核的本質(zhì)優(yōu)勢所保證的，即不依賴深度堆疊的大感受野。
經(jīng)過系統(tǒng)研究，本文提出了大卷積核CNN設(shè)計的四條Architectural Guidelines。
根據(jù)這些guideline，本文提出的UniRepLKNet模型結(jié)構(gòu)如下——
每個block主要由depthwise conv、SE Block和FFN三個部分組成。
其中depthwise conv可以是大卷積核（圖中所示的Dilated Reparam Block，其使用膨脹卷積來輔助大核卷積來捕捉稀疏的特征而且可以通過結(jié)構(gòu)重參數(shù)化方法等價轉(zhuǎn)換為一個卷積層），也可以只是depthwise 3×3。
多項表現(xiàn)超越Transformer
作為圖像模態(tài)中的老三樣，ImageNet、COCO、ADE20K上的結(jié)果自然是不能少。論文中最多只用ImageNet-22K預(yù)訓(xùn)練，沒有用更大的數(shù)據(jù)。
雖然大核CNN本來不是很重視ImageNet（因為圖像分類任務(wù)對表征能力和感受野的要求不高，發(fā)揮不出大kernel的潛力），但UniRepLKNet還是超過了最新的諸多模型，其實際測速的結(jié)果尤為喜人。
例如，UniRepLKNet-XL的ImageNet精度達(dá)到88%，而且實際速度是DeiT III-L的三倍。量級較小的UniRepLKNet相對于FastViT等專門設(shè)計的輕量級模型的優(yōu)勢也非常明顯。
在COCO目標(biāo)檢測任務(wù)上，UniRepLKNet最強(qiáng)大的競爭者是InternImage：
UniRepLKNet-L在COCO上不及InternImage-L，但是UniRepLKnet-XL超過了InternImage-XL。
考慮到InternImage團(tuán)隊在目標(biāo)檢測領(lǐng)域的積淀非常深厚，這一效果也算很不容易了。
在ADE20K語義分割上，UniRepLKNet的優(yōu)勢相當(dāng)顯著，最高達(dá)到55.6的mIoU。與ConvNeXt-XL相比超出了整整1.6。
為了驗證UniRepLKNet處理時序數(shù)據(jù)的能力，本文挑戰(zhàn)了一個數(shù)據(jù)規(guī)模超大的《Nature》級別的任務(wù)：全球氣溫和風(fēng)速預(yù)測。
盡管UniRepLKNet本來是為面向圖像任務(wù)設(shè)計的，它卻能超過為這個任務(wù)而設(shè)計的CorrFormer（前SOTA）。
這一發(fā)現(xiàn)尤為有趣，因為這種超大規(guī)模時間序列預(yù)測任務(wù)聽起來更適合LSTM、GNN和Transformer，這次CNN卻將其“偷家”了。
在音頻、視頻和點云任務(wù)上，本文的極簡處理方法也都十分有效。
One More Thing
除了提出一種在圖像上非常強(qiáng)力的backbone之外，本文所報告的這些發(fā)現(xiàn)似乎表明，大核CNN的潛力還沒有得到完全開發(fā)。
即便在Transformer的理論強(qiáng)項——“大一統(tǒng)建模能力”上，大核CNN也比我們所想象的更為強(qiáng)大。
本文也報告了相關(guān)的證據(jù)：將kernel size從13減為11，這四個模態(tài)上的性能都發(fā)生了顯著降低。
此外，作者已經(jīng)放出了所有代碼，并將所有模型和實驗?zāi)_本開源。
論文地址:
https://arxiv.org/abs/2311.15599
相關(guān)閱讀
