30秒生成建模師級(jí)Mesh！最大可生成面數(shù)提至1600，GitHub攬星1.9k

夢(mèng)晨 2024-08-11 12:50:51 來(lái)源：量子位

木子 投稿
量子位 | 公眾號(hào) QbitAI

只需30秒，AI就能像3D建模師一樣，在各種指示下生成高質(zhì)量人造Mesh。

NeRF、3D Gaussian Splatting生成的三維重建圖像Mesh效果如下：

點(diǎn)云造出精細(xì)Mesh：

Dense Mesh基礎(chǔ)上生成也可以：

一張圖，甚至文本描述就足夠了：

GitHub已攬星1.9k的MeshAnything項(xiàng)目上新了V2版本，由來(lái)自南洋理工大學(xué)、清華大學(xué)、帝國(guó)理工學(xué)院、西湖大學(xué)等研究人員完成。

MeshAnything V2相比V1，使用了最新提出的Adjacent Mesh Tokenization（AMT）算法，將最大可生成面數(shù)從800提升到了1600。

相比之前的Mesh tokenization方法，AMT平均只需要一半長(zhǎng)度的token sequence即可表達(dá)同一個(gè)Mesh。

這項(xiàng)研究一經(jīng)發(fā)布也迅速得到不少網(wǎng)友關(guān)注。

那么，MeshAnything究竟是一種怎樣的方法？MeshAnything V2做了哪些改進(jìn)？

高度可控的人造Mesh生成

值得注意的是，雖然AI很早就能夠生成Mesh了，但這與上面所展示的生成人造Mesh有著巨大區(qū)別。

團(tuán)隊(duì)表示，所有之前方法，例如Marching Cubes和Get3D，生成的Mesh都是面片非常稠密的Mesh，面片數(shù)往往是人造Mesh的數(shù)百倍，幾乎不可能應(yīng)用于游戲，電影等實(shí)際3D工業(yè)。

并且由于它們的面片結(jié)構(gòu)不符合人類直覺(jué)，3D建模師很難再對(duì)其進(jìn)行細(xì)致的加工。

如下圖所示，這一問(wèn)題沒(méi)法簡(jiǎn)單地依靠remesh來(lái)解決，在不影響效果的前提下，remesh方法雖然僅僅能夠小幅度地減少面片：

而上述問(wèn)題直接影響了3D研究應(yīng)用于工業(yè)界。

3D工業(yè)界的pipeline幾乎全以人造Mesh作為3D表征，即使3D研究領(lǐng)域能產(chǎn)出精度極高的NeRF或者3D Gaussian，但沒(méi)法將它們轉(zhuǎn)化為工業(yè)界能應(yīng)用的Mesh的話，應(yīng)用將十分受限。

因此，之前研究團(tuán)隊(duì)提出了MeshAnything，旨在實(shí)現(xiàn)高度可控的人造Mesh生成。

MeshAnything是一個(gè)自回歸的transformer，其將Mesh的每個(gè)面片視作token，整個(gè)Mesh被視作token序列，接著像大語(yǔ)言模型一樣，一個(gè)token一個(gè)token地生成，最終生成出整個(gè)Mesh。

MeshAnything運(yùn)用精妙的condition設(shè)計(jì)，其將點(diǎn)云作為condition來(lái)實(shí)現(xiàn)高度可控的人造Mesh生成：

MeshAnything以點(diǎn)云為condition的設(shè)計(jì)讓其可以與諸多3D掃描，3D重建，3D生成的方法結(jié)合。

這些種類繁多的方法最終得到的3D表示雖然多樣，但總能從中采樣到點(diǎn)云，從而輸入到MeshAnything中轉(zhuǎn)為人造Mesh，幫助這些能輸出3D模型的工作運(yùn)用到實(shí)際3D工業(yè)中。

另外，這種設(shè)計(jì)還大大降低了MeshAnything的訓(xùn)練難度，提高了效果。因?yàn)辄c(diǎn)云提供了精細(xì)的3D形狀信息，MeshAnything不需要去學(xué)習(xí)復(fù)雜的3D形狀分布，只需要學(xué)習(xí)如何搭建出符合給定點(diǎn)云的人造Mesh。

MeshAnything V2有何提升？

MeshAnything V2在V1版本的基礎(chǔ)上大幅度提高了性能，并將最大可生成面數(shù)800提升到了1600。

其主要提升來(lái)源于其新提出的Adjacent Mesh Tokenization（AMT）算法。

相比之前的Mesh tokenization方法，AMT平均只需要一半長(zhǎng)度的token sequence即可表達(dá)同一個(gè)Mesh。

由于transformer的計(jì)算是n^2復(fù)雜度，一半長(zhǎng)度的token sequence意味著降低了4倍的attention計(jì)算量。并且AMT得到的token sequence更加緊湊，結(jié)構(gòu)更好，更有利于transformer的學(xué)習(xí)。

AMT是通過(guò)盡可能地僅僅用一個(gè)vertex來(lái)表達(dá)一個(gè)一個(gè)面片來(lái)實(shí)現(xiàn)上述進(jìn)步的：

上圖清晰地表達(dá)出了AMT的運(yùn)作過(guò)程，其通過(guò)優(yōu)先表達(dá)相鄰的面片來(lái)用1個(gè)vertex表達(dá)一個(gè)面片。當(dāng)不存在相鄰的沒(méi)表達(dá)過(guò)的面片，AMT添加一個(gè)特殊token “&”來(lái)標(biāo)識(shí)這一情況并重新開(kāi)始。

在AMT的幫助下，V2在性能和效率上大幅超過(guò)之前的方法，實(shí)現(xiàn)了高質(zhì)量的人造Mesh生成。

在訓(xùn)練數(shù)據(jù)上，MeshAnything使用ShapeNet和Objaverse中的人造Mesh，將這些Mesh展開(kāi)成token sequence之后使用cross-entropy loss監(jiān)督。

V1和V2都僅僅使用了350m的transformer架構(gòu)，100K的訓(xùn)練數(shù)據(jù)就得到了以上結(jié)果，表明該方向還有非常大scale up潛力。

更多結(jié)果如下：

V1項(xiàng)目主頁(yè):

https://buaacyw.github.io/mesh-anything/

V2項(xiàng)目主頁(yè):

https://buaacyw.github.io/meshanything-v2/