用GNN做CV三大任務(wù)的新骨干，同計(jì)算成本性能不輸CNN、ViT與MLP｜中科院&華為諾亞開源
An Image is Worth Graph of Nodes
夢晨 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
用圖神經(jīng)網(wǎng)絡(luò)(GNN)做CV的研究有不少，但通常是圍繞點(diǎn)云數(shù)據(jù)做文章，少有直接處理圖像數(shù)據(jù)的。
其實(shí)與CNN把一張圖片看成一個(gè)網(wǎng)格、Transformer把圖片拉直成一個(gè)序列相比，圖方法更適合學(xué)習(xí)不規(guī)則和復(fù)雜物體的特征。
現(xiàn)在，中科院與華為諾亞方舟實(shí)驗(yàn)室等提出一種全新的骨干網(wǎng)絡(luò)，把圖片表示成圖結(jié)構(gòu)數(shù)據(jù)，讓GNN也能完成經(jīng)典CV三大任務(wù)。
論文一出，立即引起GNN學(xué)者廣泛關(guān)注。
有人認(rèn)為GNN領(lǐng)域積累多年的技巧都將涌入這一新方向，帶來一波研究熱潮。
該來的總要來的。
新架構(gòu)ViG命名上致敬了ViT，論文標(biāo)題也采用同一句式，點(diǎn)出了核心思想：
An Image is Worth Graph of Nodes
在研究團(tuán)隊(duì)看來，圖結(jié)構(gòu)是一種更通用的數(shù)據(jù)結(jié)構(gòu)。甚至網(wǎng)格和序列可以當(dāng)作圖結(jié)構(gòu)的特例，用圖結(jié)構(gòu)來做視覺感知會更加靈活。
圖數(shù)據(jù)由節(jié)點(diǎn)和邊組成，如果把每個(gè)像素都看作節(jié)點(diǎn)計(jì)算難度過于大了，因此研究團(tuán)隊(duì)采用了切塊(patch)方法。
對于224×224分辨率的圖像，每16×16像素為一個(gè)Patch，也就是圖數(shù)據(jù)中的一個(gè)節(jié)點(diǎn)，總共有196個(gè)節(jié)點(diǎn)。
對每個(gè)節(jié)點(diǎn)搜索他們距離最近的節(jié)點(diǎn)構(gòu)成邊，邊的數(shù)量隨網(wǎng)絡(luò)深度而增加。
接下來，網(wǎng)絡(luò)架構(gòu)分為兩部分：
一個(gè)圖卷積網(wǎng)絡(luò)(GCN)，負(fù)責(zé)處理圖數(shù)據(jù)、聚合相鄰節(jié)點(diǎn)中的特征。
一個(gè)前饋神經(jīng)網(wǎng)絡(luò)(FFN)，結(jié)構(gòu)比較簡單是兩個(gè)全連接層的MLP，負(fù)責(zé)特征的轉(zhuǎn)換。
傳統(tǒng)GCN會出現(xiàn)過度平滑現(xiàn)象，為解決這個(gè)問題，團(tuán)隊(duì)在圖卷積層前后各增加一個(gè)線性層，圖卷積層后再增加一個(gè)激活函數(shù)。
實(shí)驗(yàn)表明，用上新方法，當(dāng)層數(shù)較多時(shí)ViG學(xué)習(xí)到的特征會比傳統(tǒng)ResGCN更為多樣。
同算力成本下不輸CNN和ViT
為了更準(zhǔn)確評估ViG的性能，研究團(tuán)隊(duì)設(shè)計(jì)了ViT常用的同質(zhì)結(jié)構(gòu)(isotropic)和CNN常用的金字塔結(jié)構(gòu)(Pyramid)兩種ViG網(wǎng)絡(luò)，來分別做對比實(shí)驗(yàn)。
同質(zhì)架構(gòu)ViG分為下面三種規(guī)格。
與常見的同質(zhì)結(jié)構(gòu)CNN、ViT與MLP網(wǎng)絡(luò)相比，ViG在同等算力成本下ImageNet圖像分類的表現(xiàn)更好。
金字塔結(jié)構(gòu)的ViG網(wǎng)絡(luò)具體設(shè)置如下。
同等算力成本下，ViG也與最先進(jìn)的CNN、ViT和MLP相比，性能也能超越或表現(xiàn)相當(dāng)。
在目標(biāo)檢測和實(shí)例分割測試上，ViG表現(xiàn)也與同等規(guī)模的Swin Transformer相當(dāng)。
最后，研究團(tuán)隊(duì)希望這項(xiàng)工作能作為GNN在通用視覺任務(wù)上的基礎(chǔ)架構(gòu)，Pytorch版本和Mindspore版本代碼都會分別開源。
論文地址：
http://arxiv.org/abs/2206.00272
開源地址：
https://github.com/huawei-noah/CV-Backbones
https://gitee.com/mindspore/models
- 字節(jié)突然開源Seed-OSS，512K上下文主流4倍長度，推理能力刷紀(jì)錄2025-08-21
- “現(xiàn)在讀AI博士已經(jīng)太晚了”2025-08-19
- 谷歌AI攻克亞洲語言難題，2300種語言數(shù)字化計(jì)劃正在推進(jìn)2025-08-18
- AMD蘇姿豐公開懟扎克伯格！反對1億年薪挖人，使命感比鈔票更重要2025-08-18
相關(guān)閱讀
CVPR 2025：單圖秒變專業(yè)影棚，幾何/材質(zhì)/光影全搞定，數(shù)據(jù)代碼開源
香港中文大學(xué)、上海人工智能實(shí)驗(yàn)室及南洋理工大學(xué)的研究團(tuán)隊(duì)聯(lián)合研發(fā)
