ResNet也能用在3D模型上了，清華「計圖」團隊新研究已開源
打破2D到3D的壁壘
魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
用AI處理二維圖像，離不開卷積神經(jīng)網(wǎng)絡（CNN）這個地基。
不過，面對三維模型，CNN就沒有那么得勁了。
主要原因是，3D模型通常采用網(wǎng)格數(shù)據(jù)表示，類似于這樣：
這些三角形包含了點、邊、面三種不同的元素，缺乏規(guī)則的結構和層次化表示，這就讓一向方方正正的CNN犯了難。
△CNN原理圖，圖源：維基百科
那么像VGG、ResNet這樣成熟好用的CNN骨干網(wǎng)絡，就不能用來做三維模型的深度學習了嗎？
并不是。
最近，清華大學計圖（Jittor）團隊，就首次提出了一種針對三角網(wǎng)格面片的卷積神經(jīng)網(wǎng)絡SubdivNet。
基于SubdivNet，就可以將成熟的圖像網(wǎng)絡架構遷移到三維幾何學習中。
并且，相關論文和代碼均已開源。
基于細分結構的網(wǎng)格卷積網(wǎng)絡
所以，SubdivNet是如何打破2D到3D之間的壁壘的呢？
具體而言，這是一種基于細分結構的網(wǎng)格卷積網(wǎng)絡。
對于輸入的網(wǎng)格數(shù)據(jù)，先進行重網(wǎng)格化（remesh），構造細分結構，得到一般網(wǎng)格的多分辨率表示；而后，再上重頭戲——面片卷積方法和上下采樣方法。
面片卷積方法
以往的網(wǎng)格深度學習方法，通常是將特征存儲在點或者邊上，這就帶來了一個問題：點的度數(shù)是不固定的，而邊的卷積并不靈活。
于是，計圖團隊提出了一種在面片上的網(wǎng)格卷積方法，以充分利用每個面片與三個面片相鄰的規(guī)則性質。
并且，基于這樣的規(guī)則性質，研究團隊進一步依據(jù)面片之間的距離，設計了多種不同的卷積模式。
△k為卷積核大小，d為空洞長度
由于三維數(shù)據(jù)格式中的面片順序不固定，SubdivNet在計算卷積結果時，通過取鄰域均值、差分均值等方式，使得計算結果與面片順序無關，滿足排列不變性。
上下采樣方法
再來看上下采樣的部分。
SubdivNet受到傳統(tǒng)的Loop細分曲面建模的啟發(fā)，構造了一種基于細分結構的上下采樣方法。
也就是說，在池化（下采樣）過程中，由于網(wǎng)格數(shù)據(jù)已經(jīng)經(jīng)過重網(wǎng)格化，其面片具有細分連接結構，就可以4片變1片，從高分辨率轉為低分辨率，實現(xiàn)面片特征的池化操作。
而在上采樣的過程中，則反過來，讓面片一分為四。
如此一來，上下采樣方式就是規(guī)則且均勻的，還可以實現(xiàn)雙線性插值等需求。
結合面片卷積方法和上下采樣方法，像VGG、ResNet、DeepLabV3+這樣經(jīng)典2D卷積網(wǎng)絡，就可以輕松遷移到3D模型的深度學習中。
值得一提的是，SubdivNet方法是基于清華大學的深度學習框架計圖（Jittor）實現(xiàn)的。其中，計圖框架提供了高效的重索引算子，無需額外的C++代碼，即可實現(xiàn)鄰域索引。
實驗結果
至于SubdivNet的效果如何，不妨直接看看實驗結果。
首先，在網(wǎng)格分類數(shù)據(jù)集上，SubdivNet在SHREC11和Cube Engraving兩個數(shù)據(jù)集中，首次達到了100%的分類正確率。
在網(wǎng)格分割方面，量化指標下，SubdivNet的分割準確率均高于用于對比的點云、網(wǎng)格方法。
而在形狀對應實驗中，SubdivNet也達到了SOTA水準。
關于作者
這篇論文來自清華大學計算機系胡事民教授團隊。
作者是胡事民及其博士生劉政寧、國孟昊、黃家輝等，還有卡迪夫大學Ralph Martin教授。
同時，他們也是清華“計圖”框架團隊成員。
計圖是首個由中國高校開源的深度學習框架，開發(fā)團隊均來自清華大學計算機系圖形學實驗室，負責人是胡事民教授。
該實驗室的主要研究方向是計算機圖形學、計算機視覺、智能信息處理、智能機器人、系統(tǒng)軟件等，在ACM TOG, IEEE TVCG, IEEE PAMI, ACM SIGGRAPH, IEEE CVPR, IEEE ICRA, USENIX ATC等重要國際刊物上發(fā)表論文100余篇。
目前，開發(fā)計圖的主力，是該實驗室梁盾、楊國燁、楊國煒、周文洋、劉政寧、李相利、國孟昊和辛杭高等一批博士生。
與TensorFlow、PyTorch不同，計圖是一個完全基于動態(tài)編譯，使用元算子和統(tǒng)一計算圖的深度學習框架。
此前，在可微渲染、動態(tài)圖推理等方面，計圖都有超越PyTorch的表現(xiàn)。
論文地址：
https://arxiv.org/abs/2106.02285
項目地址：
https://github.com/lzhengning/SubdivNet
參考鏈接：
https://mp.weixin.qq.com/s/tJjarzqU7MvS_pHWWO3JYQ
— 完 —
相關閱讀
魔改ResNet反超Transformer再掀架構之爭！作者說“沒一處是創(chuàng)新”，這些優(yōu)化trick值得學
LeCun直呼架構之爭愈演愈烈，ViT、EffNet作者都來一較高下
