3D版DeepSeek卷起開(kāi)源月：兩大基礎(chǔ)模型率先SOTA！又是VAST

衡宇 2025-03-28 18:30:46 來(lái)源：量子位

衡宇 魚(yú)羊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

3D生成版DeepSeek再上新高度！

國(guó)產(chǎn)、易用、性能強(qiáng)且開(kāi)源——

新模型一露面就刷新SOTA，并且第一時(shí)間加入開(kāi)源全家桶。

順時(shí)針轉(zhuǎn)個(gè)圈圈給大家看，效果是這樣：

加上“皮膚”是這樣：

再來(lái)一個(gè)，效果是這樣：

肉眼可見(jiàn)，這次妥妥升級(jí)變成了更細(xì)節(jié)的細(xì)節(jié)控～

以上效果，都來(lái)自3D大模型明星初創(chuàng)公司VAST，其剛剛上新的兩個(gè)基礎(chǔ)模型，TripoSG和TripoSF，為團(tuán)隊(duì)的最新研發(fā)成果。該團(tuán)隊(duì)去年3月開(kāi)源了TripoSR，在開(kāi)源3D生成基礎(chǔ)模型中爆火全球。

TripoSG，發(fā)布即開(kāi)源，一露面就刷新開(kāi)源3D生成模型SOTA，讓廣大開(kāi)發(fā)者第一時(shí)間享受技術(shù)進(jìn)步的成果。

TripoSF，目前為開(kāi)源第一階段，已經(jīng)用實(shí)力證明了自己：橫掃一切開(kāi)源和閉源的現(xiàn)有方法，拿下新SOTA。

你就說(shuō)秀不秀吧（手動(dòng)狗頭）？！

——但基礎(chǔ)模型還只是VAST最近大秀一波技術(shù)肌肉的上半程表演。

量子位獲悉，接下來(lái)VAST要連續(xù)開(kāi)源一個(gè)月，每周都有新開(kāi)源項(xiàng)目公布。而TripoSG和TripoSF是開(kāi)源月里第二周的項(xiàng)目。

在整個(gè)開(kāi)源月里，除了第一波單張圖像端到端生成三維組合場(chǎng)景、第二波3D基礎(chǔ)模型，接下來(lái)還有三維部件補(bǔ)全模型、通用三維模型綁定生成模型、三維幾何精細(xì)化模型以及SIGGRAPH Asia 2024 RTL收錄的交互式草圖生三維模型等等技術(shù)將與大家見(jiàn)面。

港真，我的胃口已經(jīng)被吊起來(lái)了。

在DeepSeek之后，各領(lǐng)域的國(guó)產(chǎn)之光們紛紛開(kāi)啟了開(kāi)源大秀。而VAST，就是領(lǐng)先的3D大模型領(lǐng)域公司率先發(fā)起的攻勢(shì)。

并且這個(gè)開(kāi)源攻勢(shì)，持續(xù)一個(gè)月！

開(kāi)源月第一彈，兩個(gè)基礎(chǔ)模型拿下開(kāi)閉源新SOTA

3D版DeepSeek登場(chǎng)，一出手就是開(kāi)源月；第二波出擊比第一波更猛，開(kāi)源2個(gè)強(qiáng)大的基礎(chǔ)模型，很有誠(chéng)意的那種。

它們分別是：

• TripoSG：開(kāi)源的3D模型新SOTA；目前開(kāi)源1.5B版本。
• TripoSF：以開(kāi)源之身，刷新閉源3D模型SOTA；目前階段性開(kāi)源部分成果。

都沿用了VAST最著名的Tripo系列來(lái)命名，但各有偏重——

TripoSG

對(duì)于TripoSG，官方介紹是這樣的：

一款在質(zhì)量、細(xì)節(jié)和保真度上實(shí)現(xiàn)重大突破的基礎(chǔ)3D生成模型。

其開(kāi)源內(nèi)容，包括1.5B版本TripoSG的模型權(quán)重、推理代碼以及交互式演示Demo。

讓我們從技術(shù)側(cè)來(lái)剖析一下TripoSG的廬山真面目。

簡(jiǎn)單來(lái)說(shuō)，TripoSG身上體現(xiàn)了VAST針對(duì)3D領(lǐng)域特性，引入的多項(xiàng)關(guān)鍵設(shè)計(jì)創(chuàng)新。

第一，率先將基于校正流（RF，Rectified Flow）的Transformer架構(gòu)應(yīng)用于3D形狀生成。

之所以選擇基于矯正流來(lái)做，是因?yàn)閂AST在研究過(guò)程中發(fā)現(xiàn)，相較于傳統(tǒng)的擴(kuò)散模型（Diffusion Model），矯正流在噪聲和數(shù)據(jù)之間提供了更簡(jiǎn)潔的線性路徑建模，有助于實(shí)現(xiàn)更穩(wěn)定、高效的訓(xùn)練。

拿它結(jié)合已被驗(yàn)證的可擴(kuò)展性和卓越性能的Transformer架構(gòu)（如DiT），屬于強(qiáng)強(qiáng)結(jié)合，讓TripoSG擁有很穩(wěn)定的強(qiáng)大內(nèi)核。

第二，TripoSG是首個(gè)在3D領(lǐng)域發(fā)布的MoE Transformer模型。

以Transformer為基礎(chǔ)，TripoSG融合了包括跳躍連接（skip-connections）在內(nèi)的關(guān)鍵增強(qiáng)設(shè)計(jì)，以改善跨層特征融合。

此外，獨(dú)立的交叉注意力（cross-attention）機(jī)制能夠高效地注入全局（CLIP）和局部（DINOv2）圖像特征，讓輸入的2D圖像和輸出的3D形狀之間精準(zhǔn)對(duì)齊。

這還不夠，VAST團(tuán)隊(duì)為了實(shí)現(xiàn)TripoSG的高效Scaling——從1.5B拓展到4B那種——團(tuán)隊(duì)在Transformer中集成了MoE層。

這個(gè)辦法此前都只在大語(yǔ)言模型領(lǐng)域?qū)嵺`過(guò)，VAST發(fā)現(xiàn)3D領(lǐng)域同樣適用。

這樣一來(lái)，可以在幾乎不增加推理計(jì)算成本的前提下，顯著提升模型參數(shù)容量，并重點(diǎn)應(yīng)用于網(wǎng)絡(luò)中更深、更關(guān)鍵的層級(jí)。

第三，開(kāi)發(fā)了高質(zhì)量VAE與創(chuàng)新幾何監(jiān)督。

VAST開(kāi)發(fā)了一種采用符號(hào)距離函數(shù)（SDFs，Signed Distance Functions）進(jìn)行幾何表示的VAE，相較之下，比此前常用的體素占用柵格（occupancy grids）具有更高的精度。

需要注意的是，基于Transformer的VAE架構(gòu)在分辨率上有很強(qiáng)的泛化性，無(wú)需重新訓(xùn)練，即可處理更高分辨率的輸入。

與此同時(shí)，TripoSG還引入了一種混合監(jiān)督訓(xùn)練策略，將標(biāo)準(zhǔn)的SDF損失與表面法線引導(dǎo)?(surface normal guidance)和 程函方程損失 (eikonal loss)?相結(jié)合。

讓VAE能學(xué)習(xí)到幾何上更準(zhǔn)確、細(xì)節(jié)更豐富的表示，又能為后續(xù)的流模型提供了質(zhì)量更高的潛空間。

第四，重視數(shù)據(jù)治理，特意開(kāi)發(fā)一套完善、精細(xì)的數(shù)據(jù)構(gòu)建與治理流水線。

流程各階段如下：

質(zhì)量評(píng)分（Scoring）——數(shù)據(jù)篩選（Filtering）——修復(fù)與增強(qiáng)（Fixing & Augmentation）——SDF 數(shù)據(jù)生產(chǎn)（SDF Production）

通過(guò)這一流程，VAST為T(mén)ripoSG構(gòu)建了一個(gè)包含200萬(wàn)高質(zhì)量“圖像-SDF”訓(xùn)練樣本對(duì)的數(shù)據(jù)集。

消融實(shí)驗(yàn)明確證明，在此高質(zhì)量數(shù)據(jù)集上訓(xùn)練的模型性能顯著優(yōu)于在更大規(guī)模、但未經(jīng)過(guò)濾的原始數(shù)據(jù)集上訓(xùn)練的模型（這一點(diǎn)凸顯了數(shù)據(jù)質(zhì)量與數(shù)量同等重要，甚至更為關(guān)鍵）。

集以上四點(diǎn)于一身的TripoSG，經(jīng)Normal-FID等量化指標(biāo)評(píng)估，以及基于大型多模態(tài)模型（如基于GPTEval3D框架的Claude 3.5）的定性評(píng)估，輕松拿下3D開(kāi)源模型界的新SOTA。

讓我們來(lái)看看3D模型開(kāi)源界新王的表現(xiàn)——

首先，TripoSG為什么能拿下新SOTA，必然是在語(yǔ)義一致性上有超出現(xiàn)有模型的表現(xiàn)。

簡(jiǎn)單來(lái)說(shuō)，TripoSG輸出的3D形狀，能準(zhǔn)確反映輸入圖像的語(yǔ)義內(nèi)容和視覺(jué)外觀。

當(dāng)你告訴它你想要一個(gè)三斗柜，既寫(xiě)實(shí)又稍微Q一點(diǎn)那種，你將得到：

不渲染可能視覺(jué)上沒(méi)那么明顯，但一上色，你就能發(fā)現(xiàn)“哎喲不錯(cuò)哦”，確實(shí)是古樸寫(xiě)實(shí)但又兼具可愛(ài)風(fēng)。

還有一些日常生活的使用痕跡：

非常能直觀感受到的一點(diǎn)是，即使面對(duì)具有復(fù)雜拓?fù)浣Y(jié)構(gòu)或包含精細(xì)元素的挑戰(zhàn)性輸入，TripoSG也能生成連貫、合理的形狀。

TripoSF

再來(lái)看TripoSF。

研發(fā)TripoSF，VAST有專(zhuān)門(mén)的針對(duì)性目標(biāo)，旨在突破傳統(tǒng)3D建模在細(xì)節(jié)、復(fù)雜結(jié)構(gòu)和擴(kuò)展性上的瓶頸。

具體來(lái)說(shuō)，3D模型雖然也在不斷發(fā)展之中，但現(xiàn)有方法仍有不足。比如預(yù)處理帶來(lái)的細(xì)節(jié)損失、對(duì)復(fù)雜幾何形狀表達(dá)能力的不足，或在高分辨率下面臨高昂的內(nèi)存和計(jì)算成本……

令人頭禿。

據(jù)VAST官方表示，此前一直在研究中尋找3D模型的tokenizer，現(xiàn)在終于有所進(jìn)展——

沒(méi)錯(cuò)，就是TripoSF的核心表示方法，SparseFlex。這家伙拉高了3D生成任務(wù)的上限。

它借鑒了Flexicubes（可微分地提取帶尖銳特征的網(wǎng)格）的優(yōu)勢(shì)，并創(chuàng)造性地引入了稀疏體素結(jié)構(gòu)，僅在物體表面附近的區(qū)域存儲(chǔ)和計(jì)算體素信息。

帶來(lái)的效果很顯著，約有以下三點(diǎn)：

• 大幅降低內(nèi)存占用，讓TripoSF能夠在10243的高分辨率下進(jìn)行訓(xùn)練和推理。
• 原生支持任意拓?fù)涮幚?/strong>：不僅通過(guò)省略空白區(qū)域的體素，自然地表示開(kāi)放表面（如布料、葉片），還有效捕捉內(nèi)部結(jié)構(gòu)。
• 支持基于渲染損失的直接優(yōu)化：SparseFlex是可微分的，允許TripoSF使用渲染損失進(jìn)行端到端訓(xùn)練，避免了數(shù)據(jù)轉(zhuǎn)換（如水密化）導(dǎo)致的細(xì)節(jié)退化。

為了實(shí)現(xiàn)上述第一點(diǎn)，VAST還做了很多功課，最終推出一種叫“視錐體感知的分區(qū)體素訓(xùn)練”的策略。

視錐體感知的分區(qū)體素訓(xùn)練借鑒了實(shí)時(shí)渲染中的視錐體剔除思想，在每次訓(xùn)練迭代中，僅激活和處理位于相機(jī)視錐體內(nèi)的SparseFlex體素。

有針對(duì)性和選擇性的激活，顯著降低訓(xùn)練開(kāi)銷(xiāo)，讓10243這樣高分辨率下的高效訓(xùn)練成為可能。

另一邊，視錐體感知的分區(qū)體素訓(xùn)練策略首次使僅通過(guò)渲染監(jiān)督即可重建模型的內(nèi)部精細(xì)結(jié)構(gòu)——在此之前，依賴(lài)水密表面數(shù)據(jù)的方法沒(méi)法完成這個(gè)任務(wù)。

當(dāng)然，還有不得不提的關(guān)鍵一步，即基于SparseFlex表示和高效的訓(xùn)練策略，VAST還構(gòu)建了TripoSF VAE（變分自編碼器），它成為了TripoSF重建和生成能力的基礎(chǔ)。

具體到輸入到輸出，是醬嬸兒的：

• 輸入：處理從三維網(wǎng)格采樣得到的點(diǎn)云數(shù)據(jù)。
• 編碼：使用稀疏Transformer將輸入幾何映射為緊湊的隱空間編碼。
• 解碼：從隱編碼重建高分辨率的SparseFlex參數(shù)，并采用自剪枝上采樣模塊?(self-pruning upsampling)?來(lái)保持稀疏性并精確定義邊界，尤其對(duì)開(kāi)放表面效果顯著。
• 輸出：生成SparseFlex參數(shù)，可用于提取高質(zhì)量的三維網(wǎng)格。

一頓操作過(guò)后，來(lái)看TripoSF的實(shí)戰(zhàn)表現(xiàn)——

實(shí)驗(yàn)結(jié)果表明，TripoSF的質(zhì)量達(dá)到了新SOTA。

在多個(gè)標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中，TripoSF與先前方法相比，實(shí)現(xiàn)了約82%的Chamfer Distance降低和約88%的F-score提升。

而用TripoSF得到的模型，是這樣的：

多看幾個(gè)項(xiàng)目效果也能發(fā)現(xiàn)，確如論文中表述的那樣，有了SparseFlex的TripoSF，分辨率高，細(xì)節(jié)退化情況大幅降低。

就，獲得的3D模型真的更真實(shí)了！我們多看幾個(gè)Case：

BTW，與TripoSG的開(kāi)源策略不同，TirpoSF選擇了階段性開(kāi)源的方法。

現(xiàn)在，TirpoSF開(kāi)源了TripoSF VAE的預(yù)訓(xùn)練模型及相關(guān)的推理代碼。

不過(guò)滿血版開(kāi)源應(yīng)該也不遠(yuǎn)了！VAST官方表示，滿血版預(yù)計(jì)將在Tripo 3.0時(shí)開(kāi)放。

且按耐住著急的心多等一會(huì)兒吧～

開(kāi)源全家桶，從基礎(chǔ)模型到創(chuàng)新應(yīng)用全覆蓋

開(kāi)源月第二周發(fā)布兩個(gè)基礎(chǔ)模型之外，量子位也搶先打聽(tīng)到了VAST開(kāi)源月的后續(xù)內(nèi)容。

主打一個(gè)3D生成全流程技術(shù)覆蓋。

下周的開(kāi)源月第三彈，主打3D生成模型的專(zhuān)業(yè)能力——

三維部件補(bǔ)全模型、通用三維模型綁定生成模型。

開(kāi)源月最后一周的壓軸好戲，主打在3D生成領(lǐng)域的前沿探索——

三維幾何精細(xì)化模型以及SIGGRAPH Asia 2024 RTL收錄的交互式草圖生三維模型。

至于開(kāi)源質(zhì)量嘛，我們可以通過(guò)今天的TripoSG和TripoSF，以及近期VAST的其它動(dòng)作，窺一斑而知全豹。

這次開(kāi)源月正式啟幕的第一周，VAST第一發(fā)是在3月13日開(kāi)源了兩個(gè)項(xiàng)目：

一個(gè)是MV-Adapter，VAST和北航、上海交大聯(lián)合出品。

雖于去年12月第一次問(wèn)世，但3月13日又有新一步的進(jìn)展，開(kāi)放了幾何控制下的多視圖生成模型權(quán)重。

它是第一個(gè)基于適配器的多視圖圖像生成解決方案，可以在不改變?cè)季W(wǎng)絡(luò)結(jié)構(gòu)或特征空間的情況下，增強(qiáng)文生圖模型及其衍生產(chǎn)品。

另一個(gè)開(kāi)源的項(xiàng)目叫MIDI。

它能僅憑單張圖像，創(chuàng)建高保真3D場(chǎng)景，論文已中CVPR 2025。

這一系列開(kāi)源屬于是既有技術(shù)深度，又有覆蓋廣度了。

實(shí)際上，作為全球領(lǐng)先的3D生成技術(shù)提供方，VAST一直很看重在技術(shù)前沿的探索。

單在2024年一年里，就發(fā)表了幾十篇新論文；同時(shí)積極投身開(kāi)源社區(qū)，此前的開(kāi)源項(xiàng)目還包括：

世界最大3D生成算法框架threestudio、圖生3D的Wonder3D，和Stable Diffusion背后公司Stability AI一起開(kāi)源的TripoSR……

憑借技術(shù)上的活躍度，VAST旗下的Tripo系列在全網(wǎng)社交媒體上，也屬于是3D生成領(lǐng)域的當(dāng)紅炸子雞（doge）。

不僅業(yè)余玩家玩得起勁，也獲得了不少專(zhuān)業(yè)藝術(shù)工作者的認(rèn)可，可以說(shuō)是3D生成版的國(guó)產(chǎn)之光了。

對(duì)了，關(guān)于技術(shù)，此前VAST的CTO梁鼎還給量子位分享過(guò)他們的總體目標(biāo)：

第一步是靜態(tài)的內(nèi)容生成，就像生成一個(gè)個(gè)雕塑。

第二步是動(dòng)態(tài)的內(nèi)容生成，讓原本靜態(tài)的雕塑動(dòng)起來(lái)，和用戶互動(dòng)。

他還認(rèn)為，在今年（2025年）年底之前，每個(gè)人都可以零門(mén)檻、零成本地進(jìn)行實(shí)時(shí)3D內(nèi)容創(chuàng)作。

現(xiàn)在，VAST用開(kāi)源月，讓每個(gè)人朝向這個(gè)目標(biāo)更進(jìn)一步。

而一系列技術(shù)新成果和開(kāi)源推進(jìn)之下，VAST也越來(lái)越受到關(guān)注，正在成為3D大模型賽道最具代表性的明星公司。

有個(gè)VC和技術(shù)招聘領(lǐng)域的江湖套梗是這樣說(shuō)的：

語(yǔ)言、圖像和視頻之后，3D是AIGC領(lǐng)域的下一個(gè)未來(lái)……那3D大模型賽道，究竟有誰(shuí)在啊？

VAST。

【 TripoSG 】

Homepage：https://yg256li.github.io/TripoSG-Page/

論文arXiv：https://arxiv.org/abs/2502.06608

GitHub代碼：https://github.com/VAST-AI-Research/TripoSG

抱抱臉模型權(quán)重：https://huggingface.co/VAST-AI/TripoSG

抱抱臉演示：https://huggingface.co/spaces/VAST-AI/TripoSG

【 TripoSF 】

Homepage：https://xianglonghe.github.io/TripoSF/

論文arXiv：https://arxiv.org/abs/2503.21732

GitHub代碼：https://github.com/VAST-AI-Research/TripoSF

抱抱臉模型權(quán)重：https://huggingface.co/VAST-AI/TripoSF

版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。