3D版DeepSeek卷起開源月：兩大基礎(chǔ)模型率先SOTA！又是VAST

衡宇 2025-03-28 18:30:46 來源：量子位

衡宇 魚羊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

3D生成版DeepSeek再上新高度！

國產(chǎn)、易用、性能強且開源——

新模型一露面就刷新SOTA，并且第一時間加入開源全家桶。

順時針轉(zhuǎn)個圈圈給大家看，效果是這樣：

加上“皮膚”是這樣：

再來一個，效果是這樣：

肉眼可見，這次妥妥升級變成了更細(xì)節(jié)的細(xì)節(jié)控～

以上效果，都來自3D大模型明星初創(chuàng)公司VAST，其剛剛上新的兩個基礎(chǔ)模型，TripoSG和TripoSF，為團(tuán)隊的最新研發(fā)成果。該團(tuán)隊去年3月開源了TripoSR，在開源3D生成基礎(chǔ)模型中爆火全球。

TripoSG，發(fā)布即開源，一露面就刷新開源3D生成模型SOTA，讓廣大開發(fā)者第一時間享受技術(shù)進(jìn)步的成果。

TripoSF，目前為開源第一階段，已經(jīng)用實力證明了自己：橫掃一切開源和閉源的現(xiàn)有方法，拿下新SOTA。

你就說秀不秀吧（手動狗頭）？！

——但基礎(chǔ)模型還只是VAST最近大秀一波技術(shù)肌肉的上半程表演。

量子位獲悉，接下來VAST要連續(xù)開源一個月，每周都有新開源項目公布。而TripoSG和TripoSF是開源月里第二周的項目。

在整個開源月里，除了第一波單張圖像端到端生成三維組合場景、第二波3D基礎(chǔ)模型，接下來還有三維部件補全模型、通用三維模型綁定生成模型、三維幾何精細(xì)化模型以及SIGGRAPH Asia 2024 RTL收錄的交互式草圖生三維模型等等技術(shù)將與大家見面。

港真，我的胃口已經(jīng)被吊起來了。

在DeepSeek之后，各領(lǐng)域的國產(chǎn)之光們紛紛開啟了開源大秀。而VAST，就是領(lǐng)先的3D大模型領(lǐng)域公司率先發(fā)起的攻勢。

并且這個開源攻勢，持續(xù)一個月！

開源月第一彈，兩個基礎(chǔ)模型拿下開閉源新SOTA

3D版DeepSeek登場，一出手就是開源月；第二波出擊比第一波更猛，開源2個強大的基礎(chǔ)模型，很有誠意的那種。

它們分別是：

• TripoSG：開源的3D模型新SOTA；目前開源1.5B版本。
• TripoSF：以開源之身，刷新閉源3D模型SOTA；目前階段性開源部分成果。

都沿用了VAST最著名的Tripo系列來命名，但各有偏重——

TripoSG

對于TripoSG，官方介紹是這樣的：

一款在質(zhì)量、細(xì)節(jié)和保真度上實現(xiàn)重大突破的基礎(chǔ)3D生成模型。

其開源內(nèi)容，包括1.5B版本TripoSG的模型權(quán)重、推理代碼以及交互式演示Demo。

讓我們從技術(shù)側(cè)來剖析一下TripoSG的廬山真面目。

簡單來說，TripoSG身上體現(xiàn)了VAST針對3D領(lǐng)域特性，引入的多項關(guān)鍵設(shè)計創(chuàng)新。

第一，率先將基于校正流（RF，Rectified Flow）的Transformer架構(gòu)應(yīng)用于3D形狀生成。

之所以選擇基于矯正流來做，是因為VAST在研究過程中發(fā)現(xiàn)，相較于傳統(tǒng)的擴(kuò)散模型（Diffusion Model），矯正流在噪聲和數(shù)據(jù)之間提供了更簡潔的線性路徑建模，有助于實現(xiàn)更穩(wěn)定、高效的訓(xùn)練。

拿它結(jié)合已被驗證的可擴(kuò)展性和卓越性能的Transformer架構(gòu)（如DiT），屬于強強結(jié)合，讓TripoSG擁有很穩(wěn)定的強大內(nèi)核。

第二，TripoSG是首個在3D領(lǐng)域發(fā)布的MoE Transformer模型。

以Transformer為基礎(chǔ)，TripoSG融合了包括跳躍連接（skip-connections）在內(nèi)的關(guān)鍵增強設(shè)計，以改善跨層特征融合。

此外，獨立的交叉注意力（cross-attention）機(jī)制能夠高效地注入全局（CLIP）和局部（DINOv2）圖像特征，讓輸入的2D圖像和輸出的3D形狀之間精準(zhǔn)對齊。

這還不夠，VAST團(tuán)隊為了實現(xiàn)TripoSG的高效Scaling——從1.5B拓展到4B那種——團(tuán)隊在Transformer中集成了MoE層。

這個辦法此前都只在大語言模型領(lǐng)域?qū)嵺`過，VAST發(fā)現(xiàn)3D領(lǐng)域同樣適用。

這樣一來，可以在幾乎不增加推理計算成本的前提下，顯著提升模型參數(shù)容量，并重點應(yīng)用于網(wǎng)絡(luò)中更深、更關(guān)鍵的層級。

第三，開發(fā)了高質(zhì)量VAE與創(chuàng)新幾何監(jiān)督。

VAST開發(fā)了一種采用符號距離函數(shù)（SDFs，Signed Distance Functions）進(jìn)行幾何表示的VAE，相較之下，比此前常用的體素占用柵格（occupancy grids）具有更高的精度。

需要注意的是，基于Transformer的VAE架構(gòu)在分辨率上有很強的泛化性，無需重新訓(xùn)練，即可處理更高分辨率的輸入。

與此同時，TripoSG還引入了一種混合監(jiān)督訓(xùn)練策略，將標(biāo)準(zhǔn)的SDF損失與表面法線引導(dǎo)?(surface normal guidance)和 程函方程損失 (eikonal loss)?相結(jié)合。

讓VAE能學(xué)習(xí)到幾何上更準(zhǔn)確、細(xì)節(jié)更豐富的表示，又能為后續(xù)的流模型提供了質(zhì)量更高的潛空間。

第四，重視數(shù)據(jù)治理，特意開發(fā)一套完善、精細(xì)的數(shù)據(jù)構(gòu)建與治理流水線。

流程各階段如下：

質(zhì)量評分（Scoring）——數(shù)據(jù)篩選（Filtering）——修復(fù)與增強（Fixing & Augmentation）——SDF 數(shù)據(jù)生產(chǎn)（SDF Production）

通過這一流程，VAST為TripoSG構(gòu)建了一個包含200萬高質(zhì)量“圖像-SDF”訓(xùn)練樣本對的數(shù)據(jù)集。

消融實驗明確證明，在此高質(zhì)量數(shù)據(jù)集上訓(xùn)練的模型性能顯著優(yōu)于在更大規(guī)模、但未經(jīng)過濾的原始數(shù)據(jù)集上訓(xùn)練的模型（這一點凸顯了數(shù)據(jù)質(zhì)量與數(shù)量同等重要，甚至更為關(guān)鍵）。

集以上四點于一身的TripoSG，經(jīng)Normal-FID等量化指標(biāo)評估，以及基于大型多模態(tài)模型（如基于GPTEval3D框架的Claude 3.5）的定性評估，輕松拿下3D開源模型界的新SOTA。

讓我們來看看3D模型開源界新王的表現(xiàn)——

首先，TripoSG為什么能拿下新SOTA，必然是在語義一致性上有超出現(xiàn)有模型的表現(xiàn)。

簡單來說，TripoSG輸出的3D形狀，能準(zhǔn)確反映輸入圖像的語義內(nèi)容和視覺外觀。

當(dāng)你告訴它你想要一個三斗柜，既寫實又稍微Q一點那種，你將得到：

不渲染可能視覺上沒那么明顯，但一上色，你就能發(fā)現(xiàn)“哎喲不錯哦”，確實是古樸寫實但又兼具可愛風(fēng)。

還有一些日常生活的使用痕跡：

非常能直觀感受到的一點是，即使面對具有復(fù)雜拓?fù)浣Y(jié)構(gòu)或包含精細(xì)元素的挑戰(zhàn)性輸入，TripoSG也能生成連貫、合理的形狀。

TripoSF

再來看TripoSF。

研發(fā)TripoSF，VAST有專門的針對性目標(biāo)，旨在突破傳統(tǒng)3D建模在細(xì)節(jié)、復(fù)雜結(jié)構(gòu)和擴(kuò)展性上的瓶頸。

具體來說，3D模型雖然也在不斷發(fā)展之中，但現(xiàn)有方法仍有不足。比如預(yù)處理帶來的細(xì)節(jié)損失、對復(fù)雜幾何形狀表達(dá)能力的不足，或在高分辨率下面臨高昂的內(nèi)存和計算成本……

令人頭禿。

據(jù)VAST官方表示，此前一直在研究中尋找3D模型的tokenizer，現(xiàn)在終于有所進(jìn)展——

沒錯，就是TripoSF的核心表示方法，SparseFlex。這家伙拉高了3D生成任務(wù)的上限。

它借鑒了Flexicubes（可微分地提取帶尖銳特征的網(wǎng)格）的優(yōu)勢，并創(chuàng)造性地引入了稀疏體素結(jié)構(gòu)，僅在物體表面附近的區(qū)域存儲和計算體素信息。

帶來的效果很顯著，約有以下三點：

• 大幅降低內(nèi)存占用，讓TripoSF能夠在10243的高分辨率下進(jìn)行訓(xùn)練和推理。
• 原生支持任意拓?fù)涮幚?/strong>：不僅通過省略空白區(qū)域的體素，自然地表示開放表面（如布料、葉片），還有效捕捉內(nèi)部結(jié)構(gòu)。
• 支持基于渲染損失的直接優(yōu)化：SparseFlex是可微分的，允許TripoSF使用渲染損失進(jìn)行端到端訓(xùn)練，避免了數(shù)據(jù)轉(zhuǎn)換（如水密化）導(dǎo)致的細(xì)節(jié)退化。

為了實現(xiàn)上述第一點，VAST還做了很多功課，最終推出一種叫“視錐體感知的分區(qū)體素訓(xùn)練”的策略。

視錐體感知的分區(qū)體素訓(xùn)練借鑒了實時渲染中的視錐體剔除思想，在每次訓(xùn)練迭代中，僅激活和處理位于相機(jī)視錐體內(nèi)的SparseFlex體素。

有針對性和選擇性的激活，顯著降低訓(xùn)練開銷，讓10243這樣高分辨率下的高效訓(xùn)練成為可能。

另一邊，視錐體感知的分區(qū)體素訓(xùn)練策略首次使僅通過渲染監(jiān)督即可重建模型的內(nèi)部精細(xì)結(jié)構(gòu)——在此之前，依賴水密表面數(shù)據(jù)的方法沒法完成這個任務(wù)。

當(dāng)然，還有不得不提的關(guān)鍵一步，即基于SparseFlex表示和高效的訓(xùn)練策略，VAST還構(gòu)建了TripoSF VAE（變分自編碼器），它成為了TripoSF重建和生成能力的基礎(chǔ)。

具體到輸入到輸出，是醬嬸兒的：

• 輸入：處理從三維網(wǎng)格采樣得到的點云數(shù)據(jù)。
• 編碼：使用稀疏Transformer將輸入幾何映射為緊湊的隱空間編碼。
• 解碼：從隱編碼重建高分辨率的SparseFlex參數(shù)，并采用自剪枝上采樣模塊?(self-pruning upsampling)?來保持稀疏性并精確定義邊界，尤其對開放表面效果顯著。
• 輸出：生成SparseFlex參數(shù)，可用于提取高質(zhì)量的三維網(wǎng)格。

一頓操作過后，來看TripoSF的實戰(zhàn)表現(xiàn)——

實驗結(jié)果表明，TripoSF的質(zhì)量達(dá)到了新SOTA。

在多個標(biāo)準(zhǔn)基準(zhǔn)測試中，TripoSF與先前方法相比，實現(xiàn)了約82%的Chamfer Distance降低和約88%的F-score提升。

而用TripoSF得到的模型，是這樣的：

多看幾個項目效果也能發(fā)現(xiàn)，確如論文中表述的那樣，有了SparseFlex的TripoSF，分辨率高，細(xì)節(jié)退化情況大幅降低。

就，獲得的3D模型真的更真實了！我們多看幾個Case：

BTW，與TripoSG的開源策略不同，TirpoSF選擇了階段性開源的方法。

現(xiàn)在，TirpoSF開源了TripoSF VAE的預(yù)訓(xùn)練模型及相關(guān)的推理代碼。

不過滿血版開源應(yīng)該也不遠(yuǎn)了！VAST官方表示，滿血版預(yù)計將在Tripo 3.0時開放。

且按耐住著急的心多等一會兒吧～

開源全家桶，從基礎(chǔ)模型到創(chuàng)新應(yīng)用全覆蓋

開源月第二周發(fā)布兩個基礎(chǔ)模型之外，量子位也搶先打聽到了VAST開源月的后續(xù)內(nèi)容。

主打一個3D生成全流程技術(shù)覆蓋。

下周的開源月第三彈，主打3D生成模型的專業(yè)能力——

三維部件補全模型、通用三維模型綁定生成模型。

開源月最后一周的壓軸好戲，主打在3D生成領(lǐng)域的前沿探索——

三維幾何精細(xì)化模型以及SIGGRAPH Asia 2024 RTL收錄的交互式草圖生三維模型。

至于開源質(zhì)量嘛，我們可以通過今天的TripoSG和TripoSF，以及近期VAST的其它動作，窺一斑而知全豹。

這次開源月正式啟幕的第一周，VAST第一發(fā)是在3月13日開源了兩個項目：

一個是MV-Adapter，VAST和北航、上海交大聯(lián)合出品。

雖于去年12月第一次問世，但3月13日又有新一步的進(jìn)展，開放了幾何控制下的多視圖生成模型權(quán)重。

它是第一個基于適配器的多視圖圖像生成解決方案，可以在不改變原始網(wǎng)絡(luò)結(jié)構(gòu)或特征空間的情況下，增強文生圖模型及其衍生產(chǎn)品。

另一個開源的項目叫MIDI。

它能僅憑單張圖像，創(chuàng)建高保真3D場景，論文已中CVPR 2025。

這一系列開源屬于是既有技術(shù)深度，又有覆蓋廣度了。

實際上，作為全球領(lǐng)先的3D生成技術(shù)提供方，VAST一直很看重在技術(shù)前沿的探索。

單在2024年一年里，就發(fā)表了幾十篇新論文；同時積極投身開源社區(qū)，此前的開源項目還包括：

世界最大3D生成算法框架threestudio、圖生3D的Wonder3D，和Stable Diffusion背后公司Stability AI一起開源的TripoSR……

憑借技術(shù)上的活躍度，VAST旗下的Tripo系列在全網(wǎng)社交媒體上，也屬于是3D生成領(lǐng)域的當(dāng)紅炸子雞（doge）。

不僅業(yè)余玩家玩得起勁，也獲得了不少專業(yè)藝術(shù)工作者的認(rèn)可，可以說是3D生成版的國產(chǎn)之光了。

對了，關(guān)于技術(shù)，此前VAST的CTO梁鼎還給量子位分享過他們的總體目標(biāo)：

第一步是靜態(tài)的內(nèi)容生成，就像生成一個個雕塑。

第二步是動態(tài)的內(nèi)容生成，讓原本靜態(tài)的雕塑動起來，和用戶互動。

他還認(rèn)為，在今年（2025年）年底之前，每個人都可以零門檻、零成本地進(jìn)行實時3D內(nèi)容創(chuàng)作。

現(xiàn)在，VAST用開源月，讓每個人朝向這個目標(biāo)更進(jìn)一步。

而一系列技術(shù)新成果和開源推進(jìn)之下，VAST也越來越受到關(guān)注，正在成為3D大模型賽道最具代表性的明星公司。

有個VC和技術(shù)招聘領(lǐng)域的江湖套梗是這樣說的：

語言、圖像和視頻之后，3D是AIGC領(lǐng)域的下一個未來……那3D大模型賽道，究竟有誰在啊？

VAST。

【 TripoSG 】

Homepage：https://yg256li.github.io/TripoSG-Page/

論文arXiv：https://arxiv.org/abs/2502.06608

GitHub代碼：https://github.com/VAST-AI-Research/TripoSG

抱抱臉模型權(quán)重：https://huggingface.co/VAST-AI/TripoSG

抱抱臉演示：https://huggingface.co/spaces/VAST-AI/TripoSG

【 TripoSF 】

Homepage：https://xianglonghe.github.io/TripoSF/

論文arXiv：https://arxiv.org/abs/2503.21732

GitHub代碼：https://github.com/VAST-AI-Research/TripoSF

抱抱臉模型權(quán)重：https://huggingface.co/VAST-AI/TripoSF

版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。