ResNet也能用在3D模型上了，清華「計(jì)圖」團(tuán)隊(duì)新研究已開源

魚羊 2021-06-18 16:19:20 來源：量子位

魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI

用AI處理二維圖像，離不開卷積神經(jīng)網(wǎng)絡(luò)（CNN）這個(gè)地基。

不過，面對三維模型，CNN就沒有那么得勁了。

主要原因是，3D模型通常采用網(wǎng)格數(shù)據(jù)表示，類似于這樣：

這些三角形包含了點(diǎn)、邊、面三種不同的元素，缺乏規(guī)則的結(jié)構(gòu)和層次化表示，這就讓一向方方正正的CNN犯了難。

△CNN原理圖，圖源：維基百科

那么像VGG、ResNet這樣成熟好用的CNN骨干網(wǎng)絡(luò)，就不能用來做三維模型的深度學(xué)習(xí)了嗎？

并不是。

最近，清華大學(xué)計(jì)圖（Jittor）團(tuán)隊(duì)，就首次提出了一種針對三角網(wǎng)格面片的卷積神經(jīng)網(wǎng)絡(luò)SubdivNet。

基于SubdivNet，就可以將成熟的圖像網(wǎng)絡(luò)架構(gòu)遷移到三維幾何學(xué)習(xí)中。

并且，相關(guān)論文和代碼均已開源。

基于細(xì)分結(jié)構(gòu)的網(wǎng)格卷積網(wǎng)絡(luò)

所以，SubdivNet是如何打破2D到3D之間的壁壘的呢？

具體而言，這是一種基于細(xì)分結(jié)構(gòu)的網(wǎng)格卷積網(wǎng)絡(luò)。

對于輸入的網(wǎng)格數(shù)據(jù)，先進(jìn)行重網(wǎng)格化（remesh），構(gòu)造細(xì)分結(jié)構(gòu)，得到一般網(wǎng)格的多分辨率表示；而后，再上重頭戲——面片卷積方法和上下采樣方法。

面片卷積方法

以往的網(wǎng)格深度學(xué)習(xí)方法，通常是將特征存儲在點(diǎn)或者邊上，這就帶來了一個(gè)問題：點(diǎn)的度數(shù)是不固定的，而邊的卷積并不靈活。

于是，計(jì)圖團(tuán)隊(duì)提出了一種在面片上的網(wǎng)格卷積方法，以充分利用每個(gè)面片與三個(gè)面片相鄰的規(guī)則性質(zhì)。

并且，基于這樣的規(guī)則性質(zhì)，研究團(tuán)隊(duì)進(jìn)一步依據(jù)面片之間的距離，設(shè)計(jì)了多種不同的卷積模式。

△k為卷積核大小，d為空洞長度

由于三維數(shù)據(jù)格式中的面片順序不固定，SubdivNet在計(jì)算卷積結(jié)果時(shí)，通過取鄰域均值、差分均值等方式，使得計(jì)算結(jié)果與面片順序無關(guān)，滿足排列不變性。

上下采樣方法

再來看上下采樣的部分。

SubdivNet受到傳統(tǒng)的Loop細(xì)分曲面建模的啟發(fā)，構(gòu)造了一種基于細(xì)分結(jié)構(gòu)的上下采樣方法。

也就是說，在池化（下采樣）過程中，由于網(wǎng)格數(shù)據(jù)已經(jīng)經(jīng)過重網(wǎng)格化，其面片具有細(xì)分連接結(jié)構(gòu)，就可以4片變1片，從高分辨率轉(zhuǎn)為低分辨率，實(shí)現(xiàn)面片特征的池化操作。

而在上采樣的過程中，則反過來，讓面片一分為四。

如此一來，上下采樣方式就是規(guī)則且均勻的，還可以實(shí)現(xiàn)雙線性插值等需求。

結(jié)合面片卷積方法和上下采樣方法，像VGG、ResNet、DeepLabV3+這樣經(jīng)典2D卷積網(wǎng)絡(luò)，就可以輕松遷移到3D模型的深度學(xué)習(xí)中。

值得一提的是，SubdivNet方法是基于清華大學(xué)的深度學(xué)習(xí)框架計(jì)圖（Jittor）實(shí)現(xiàn)的。其中，計(jì)圖框架提供了高效的重索引算子，無需額外的C++代碼，即可實(shí)現(xiàn)鄰域索引。

實(shí)驗(yàn)結(jié)果

至于SubdivNet的效果如何，不妨直接看看實(shí)驗(yàn)結(jié)果。

首先，在網(wǎng)格分類數(shù)據(jù)集上，SubdivNet在SHREC11和Cube Engraving兩個(gè)數(shù)據(jù)集中，首次達(dá)到了100%的分類正確率。

在網(wǎng)格分割方面，量化指標(biāo)下，SubdivNet的分割準(zhǔn)確率均高于用于對比的點(diǎn)云、網(wǎng)格方法。

而在形狀對應(yīng)實(shí)驗(yàn)中，SubdivNet也達(dá)到了SOTA水準(zhǔn)。

關(guān)于作者

這篇論文來自清華大學(xué)計(jì)算機(jī)系胡事民教授團(tuán)隊(duì)。

作者是胡事民及其博士生劉政寧、國孟昊、黃家輝等，還有卡迪夫大學(xué)Ralph Martin教授。

同時(shí)，他們也是清華“計(jì)圖”框架團(tuán)隊(duì)成員。

計(jì)圖是首個(gè)由中國高校開源的深度學(xué)習(xí)框架，開發(fā)團(tuán)隊(duì)均來自清華大學(xué)計(jì)算機(jī)系圖形學(xué)實(shí)驗(yàn)室，負(fù)責(zé)人是胡事民教授。

該實(shí)驗(yàn)室的主要研究方向是計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、智能信息處理、智能機(jī)器人、系統(tǒng)軟件等，在ACM TOG, IEEE TVCG, IEEE PAMI, ACM SIGGRAPH, IEEE CVPR, IEEE ICRA, USENIX ATC等重要國際刊物上發(fā)表論文100余篇。

目前，開發(fā)計(jì)圖的主力，是該實(shí)驗(yàn)室梁盾、楊國燁、楊國煒、周文洋、劉政寧、李相利、國孟昊和辛杭高等一批博士生。

與TensorFlow、PyTorch不同，計(jì)圖是一個(gè)完全基于動(dòng)態(tài)編譯，使用元算子和統(tǒng)一計(jì)算圖的深度學(xué)習(xí)框架。

此前，在可微渲染、動(dòng)態(tài)圖推理等方面，計(jì)圖都有超越PyTorch的表現(xiàn)。

論文地址：
https://arxiv.org/abs/2106.02285

項(xiàng)目地址：
https://github.com/lzhengning/SubdivNet

參考鏈接：
https://mp.weixin.qq.com/s/tJjarzqU7MvS_pHWWO3JYQ

— 完 —