AI 3D生成天花板再拉升！清華團(tuán)隊(duì)煉成3D Scaling Law

衡宇 西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

《黑神話·悟空》的火爆，帶火的不僅是3D游戲本身，還有背后暗潮洶涌的AI 3D生成技術(shù)。

一直以來(lái)，外界對(duì)3D大模型賽道的關(guān)注度都稍遜于語(yǔ)言模型和視頻模型。然而，全球3D大模型選手們則都在暗中較量、默默發(fā)力，從a16z押注的Yellow，到李飛飛的World Labs，3D大模型的迭代速度是沒(méi)落下一點(diǎn)。

就在剛剛，國(guó)內(nèi)3D大模型頭部玩家VAST更新了旗下的大模型Tripo，是基于千萬(wàn)級(jí)高質(zhì)量原生自有數(shù)據(jù)庫(kù)訓(xùn)出來(lái)的那種超強(qiáng)版本。

而3D生成新工具的玩法也更進(jìn)一步，文字、單圖、多圖都能作為輸入。

至于幾何精細(xì)度和圖片還原度等方面的效果嘛，先小放一段用新工具生成3D模型的視頻，大家直觀感受一下：

在官宣新品之余，VAST又帶來(lái)另一則重磅消息，即公司連續(xù)完成了數(shù)億元融資，這也是3D大模型賽道的最大融資金額。

當(dāng)然，融資方面的引領(lǐng)，也只是技術(shù)實(shí)力的展現(xiàn)。因?yàn)閂AST的技術(shù)和應(yīng)用場(chǎng)景，確實(shí)夠頂。

快速生成無(wú)瑕疵，效果驚艷

再次拉升AI 3D天花板的模型叫做Tripo 2.0。

Tripo 2.0先在幾秒內(nèi)生成形狀幾何預(yù)覽，再接著幾秒內(nèi)為其“貼上皮膚”，?成紋理及PBR。

目前Tripo 2.0已正式上線，大批網(wǎng)友已經(jīng)開(kāi)啟了實(shí)測(cè)。

量子位也在第一時(shí)間湊上了熱鬧。

Tripo 2.0支持文生3D、單圖生3D；Tripo 1.4版本也支持多圖生3D。

輸入一個(gè)prompt，一次能生成4個(gè)3D模型。

根據(jù)輸入的不同，量子位的上手實(shí)測(cè)結(jié)果在下面分為兩個(gè)部分，即：

• 文生3D模型
• 圖生3D模型

Tripo 2.0文生3D模型實(shí)測(cè)

話不多說(shuō)，直接先來(lái)看一波文生3D效果。

第一步，生成幾何形狀「動(dòng)漫少女的半身形象」。

就復(fù)雜結(jié)構(gòu)生成效果來(lái)看，細(xì)節(jié)還是很足的：

接下來(lái)給它貼好皮膚。

在不超過(guò)20秒的生成時(shí)間里獲得精細(xì)的紋理和層次；普通水平的人工建模要達(dá)到這種細(xì)節(jié)，耗時(shí)可能要上千倍。

換一道題！用Tripo 2.0生成卡通形象的全身形象試試看。

先生成個(gè)卡通小矮人試試～

出來(lái)的效果，那是相當(dāng)可愛(ài)（發(fā)出宋丹丹的聲音），belike：

我們又生成了一個(gè)小怪物，并且把單個(gè)生成的模型放大來(lái)看。

360度旋轉(zhuǎn)，肉眼沒(méi)有發(fā)現(xiàn)bug和瑕疵。要知道，怪物后背密密麻麻的尖刺細(xì)節(jié)，是人工建模師的噩夢(mèng)，一般都會(huì)規(guī)避這種繁復(fù)的設(shè)計(jì)，但是對(duì)tripo來(lái)說(shuō)毫無(wú)壓力。

加大難度，再?gòu)?fù)雜一些3D模型生成任務(wù)也同樣能駕馭。

透視結(jié)構(gòu)理解過(guò)去一直是生成式AI的卡點(diǎn)，以生圖模型的手指問(wèn)題為代表。3D模型空間結(jié)構(gòu)極為重要，我們可以看到Tripo強(qiáng)大的透視結(jié)構(gòu)理解能力，完美生成了復(fù)雜結(jié)構(gòu)的模型任務(wù)。

最后再放個(gè)厲害的，下面這個(gè)購(gòu)物車(chē)什么難度都不用多說(shuō)了：

Tripo 2.0圖生3D模型實(shí)測(cè)

再來(lái)看一波圖生3D的效果。

單圖生3D模型的算法最考察對(duì)圖片的空間信息理解和還原度，這次我們橫向?qū)Ρ纫恍┦袌?chǎng)的其他玩家效果。

友情提示，下面每張展示圖中的最后一個(gè)3D模型，都由Tripo 2.0生成。

來(lái)，上一支玫瑰花的圖生模型對(duì)比展示！

對(duì)比可以清晰看到，只有它生成的幾何形狀360度無(wú)死角，花朵和枝葉完整度最高：

貼圖之后，在還原原圖的顏色、質(zhì)感這一塊，也是效果最好的：

測(cè)完植物生成效果，我們又測(cè)試了無(wú)生命物體的圖生模型。

丟給模型一個(gè)俄羅斯復(fù)活節(jié)彩蛋圖片作為輸入，Tripo 2.0的輸出效果最有“浮雕感”，對(duì)比來(lái)看，紋理細(xì)節(jié)都是最精致的：

進(jìn)行多次測(cè)試后，不難發(fā)現(xiàn)Tripo 2.0在全方位的生成表現(xiàn)上都有顯著差異。

比如生成的PBR材質(zhì)具有?保真度，保留了原圖表?屬性和視覺(jué)效果：

再比如，不管側(cè)面、背面，每個(gè)面都能捕捉復(fù)雜的原圖特征：

Tripo 2.0不僅生成質(zhì)量讓人眼前一亮，更高的可控性也是一大特點(diǎn)。

輸入不僅支持多模態(tài)，當(dāng)選擇文生3D模型模式時(shí)，還支持輸入負(fù)向prompt（就是不讓生成模型中帶有什么元素）。

對(duì)輸出模型姿態(tài)的控制性也很絕。

既能自定義所生成3D模型頭、腿、手臂等比例。

還能“A-pose”“T-pose”兩個(gè)姿勢(shì)隨便選，秒秒鐘設(shè)定大長(zhǎng)腿：

生成好的3D模型還可以一鍵綁定骨骼、風(fēng)格化。

3D模型人擁有自己的樂(lè)高！

更多玩法大家可以慢慢探索，歡迎大家評(píng)論區(qū)共創(chuàng)～

Tripo 2.0效果如此哇塞，所以——

Tripo 2.0如何煉成？

從技術(shù)上層層解剖，Tripo 2.0在實(shí)現(xiàn)過(guò)程中打滿了一個(gè)詞：3D Scaling Law。

首先，Tripo 2.0基于海量千萬(wàn)級(jí)3D?質(zhì)量數(shù)據(jù)庫(kù)，采?概率性的?成式建模?法，通過(guò)學(xué)習(xí)捕捉?規(guī)模數(shù)據(jù)中的?何和材質(zhì)分布。

由此，Tripo 2.0更好地保證了輸出的質(zhì)量、增強(qiáng)了模型的魯棒性和泛化能?。

其次，它采用了DiT和U-Net模型的復(fù)雜混合架構(gòu)。

DiT擅?捕捉3D結(jié)構(gòu)中的全局上下?和?距離依賴關(guān)系，而U-Net精于保留精細(xì)的細(xì)節(jié)和局部特征，Tripo 2.0正是融合了這兩種架構(gòu)的優(yōu)勢(shì)。

再者，采?最先進(jìn)的訓(xùn)練算法，Tripo 2.0?何和材質(zhì)?成模型均基于最先進(jìn)的?規(guī)模流模型，擁有數(shù)?億參數(shù)。

同時(shí)采?了guidance distillation和step distillation，通過(guò)蒸餾提?效率，在不犧牲質(zhì)量的前提下?幅優(yōu)化了性能。

種種技術(shù)加持下，在3D生成形狀、紋理質(zhì)量、細(xì)節(jié)表現(xiàn)、輸?條件的遵循性以及輸出多樣性??，Tripo 2.0拿下新SOTA，成為新晉“五邊形”戰(zhàn)士：

之前，Tripo 2.0背后團(tuán)隊(duì)還與其他團(tuán)隊(duì)合作，推出了一籮筐學(xué)術(shù)成果，被Siggraph、CVPR、ICLR、ECCV等頂會(huì)接收。

比如Wonder3D，通過(guò)一個(gè)跨域擴(kuò)散模型生成一致性的多視圖法線貼圖和相應(yīng)的彩色圖像，然后利用一種新穎的法線融合算法快速、高質(zhì)量地重建3D幾何體。

與現(xiàn)有的基于分?jǐn)?shù)蒸餾采樣（SDS）的方法相比，Wonder3D在效率、一致性和細(xì)節(jié)上都有顯著提升，能夠在2-3分鐘內(nèi)完成重建。

再比如TGS：Triplane Meets Gaussian Splatting，同樣被CVPR 2024收錄。

這項(xiàng)技術(shù)利用Transformer網(wǎng)絡(luò)和一種新穎的Triplane-Gaussian混合表示，使得從單張圖片中重建3D模型變得更加高效和精確。

更多細(xì)節(jié)，感興趣的童鞋可以自行查閱。

總之，Tripo 2.0并非一蹴而就，背后有眾多技術(shù)積累。

3D世界的Scaling Law

最后，我們來(lái)正式認(rèn)識(shí)一下Tripo 2.0背后的公司。

VAST，去年3月成立，是一家專注于在3D大模型研發(fā)的AI公司。

公司目標(biāo)是“通過(guò)打造?眾級(jí)別的3D內(nèi)容創(chuàng)作?具，建?3D的UGC內(nèi)容平臺(tái)，讓基于3D的空間成為用戶體驗(yàn)、內(nèi)容表達(dá)、提升新質(zhì)?產(chǎn)?的關(guān)鍵要素?！?/p>

公開(kāi)資料顯示，該公司的CEO、CTO都是商湯出身：

創(chuàng)始人兼CEO宋亞宸，曾在商湯落地過(guò)多個(gè)從零到一的AI項(xiàng)目，曾參與大模型六小強(qiáng)之一MiniMax的創(chuàng)立；CTO梁鼎，清華本碩博，師從戴瓊海院士，曾任商湯通用模型負(fù)責(zé)人。

成立一年半以來(lái)，這家公司動(dòng)作頻頻。

首先在今年年初，亮相了自家首個(gè)3D大模型Tripo 1.0。

Tripo 1.0參數(shù)量數(shù)十億，用上它，從單圖/文字生成3D網(wǎng)格模型僅需要8秒。

△3D建模經(jīng)典之「牛油果扶手椅」，Tripo 1.0生成

上線半年內(nèi)，Tripo 1.0全球用戶生成的3D模型超過(guò)了500萬(wàn)個(gè)。

500萬(wàn)個(gè)是什么概念呢？約為全球前三大3D模型數(shù)據(jù)庫(kù)總和。

到了今年3月初，VAST又聯(lián)合Stable Diffusion背后的Stability AI，共同推出了開(kāi)源的3D基礎(chǔ)模型TripoSR。

因其能夠達(dá)成“0.5秒完成單圖生成3D模型”的成就，在3D生成領(lǐng)域的開(kāi)源屆廣受歡迎，至今GitHub上攬星4.3k。

現(xiàn)在，Tripo 2.0又問(wèn)世了，已經(jīng)在線可玩。

得益于3D Scaling Law帶來(lái)的效果提升，Tripo的這三次更新時(shí)間跨度僅僅有9個(gè)月。

而且有速度也有質(zhì)量，效果在業(yè)內(nèi)外頗受認(rèn)可。

拿一則新消息來(lái)佐證一下：不久前，世界最大在線游戲開(kāi)發(fā)平臺(tái)Roblox官宣入局AI 3D生成，但截至目前，Tripo都是Roblox玩家最風(fēng)靡的3D建模的趁手工具。

接下來(lái)的VAST會(huì)帶著Tripo去向什么方向？

量子位尋回的答案是，至少在技術(shù)方面，VAST會(huì)持續(xù)追尋3D生成式AI的Scaling Law研究模型規(guī)模、數(shù)據(jù)量和生成質(zhì)量之間關(guān)系的基本原理，同時(shí)尋找數(shù)據(jù)、表征和模型架構(gòu)的可擴(kuò)展范式。

既致力于推動(dòng)3D生成式AI的邊界，也會(huì)不斷探索更整體的（Holistic）3D生成。

就還挺令人期待的。

在語(yǔ)言模型和視頻模型帶給這個(gè)世界一點(diǎn)小小震撼過(guò)后，人們也希望3D生成賽道能滋養(yǎng)出屬于自己的ChatGPT時(shí)刻。

畢竟3D的AI生成與其它AI生成賽道相比，情況比較特殊，不僅AI生成后人工二改技術(shù)難度大，如果模型效果表現(xiàn)不好，想要僅憑增加抽卡次數(shù)來(lái)達(dá)到滿意度，不如趁早自己畫(huà)（不是）。

好在3D生成行業(yè)深孚眾望，一路前行著——

回顧過(guò)去的兩年時(shí)間，尤其在2023年末到2024年間，3D生成技術(shù)得到了快速發(fā)展。

不僅在效果、速度方面均有提升，還實(shí)現(xiàn)了“效率高、成本低、創(chuàng)新性強(qiáng)和可定制性強(qiáng)”的特點(diǎn)。

技術(shù)飛快進(jìn)步的同時(shí)，整個(gè)行業(yè)的人才密度都在不斷增大。

國(guó)內(nèi)，以VAST為代表，初創(chuàng)公司多來(lái)自全球知名高校和科研機(jī)構(gòu)；放眼國(guó)外，AI教母李飛飛首次創(chuàng)業(yè)成立的空間智能公司World Labs，也著眼于3D生成世界，宣布長(zhǎng)期目標(biāo)是構(gòu)建大世界模型（LWM）來(lái)感知、生成3D世界并與之交互。

眾人拾柴火焰高嘛。

可以說(shuō)，因?yàn)槿瞬排c技術(shù)、效果與場(chǎng)景的清晰和進(jìn)步，現(xiàn)在AI 3D生成這個(gè)賽道，漸漸走進(jìn)了更多人的視野之中。

而3D Scaling Law或?qū)?lái)的突破性進(jìn)展，似乎已經(jīng)預(yù)示了人工智能領(lǐng)域下一個(gè)焦點(diǎn)的方向。