直觀即時繪制3D模型，可添加文本提示，VAST又開源了

衡宇 2025-04-21 19:14:27 來源：量子位

VAST 投稿

量子位 | 公眾號 QbitAI

3D生成明星玩家VAST，又又又又又開源了！

Tripo Doodle（內(nèi)部代號TripoSG Scribble)?，能夠?qū)⒑唵蔚?D草圖和文本提示（Text Prompt）實時轉(zhuǎn)化為精細(xì)的3D模型。

它改進了傳統(tǒng)3D建模學(xué)習(xí)曲線陡峭、耗時耗力的痛點，尤其是在初期“打形”階段。

現(xiàn)在，該項目的關(guān)鍵組件已經(jīng)開源。

通過Tripo Doodle，用戶可以：

1. 直觀繪制（Sketch Intuitively）：在畫布上隨手勾勒簡單的 2D 形狀和線條。
2. 添加文本提示（Add Text Prompts）：通過文字輸入，賦予模型語義信息或特定屬性。
3. 即時生成（Generate Instantly）：實時看到基于草圖和文本生成的 3D 模型，并隨著輸入的修改而動態(tài)更新。

在SIGGRAPH Asia 2024 Real-Time LIVE! 的首次亮相中，Tripo Doodle展示了一個“萬物皆可畫”的未來——3D 建?？梢韵?D涂鴉一樣流暢自然、觸手可及。

它讓創(chuàng)作者能從繁瑣的工具操作中解放出來，將精力完全聚焦于創(chuàng)意本身。

基于TripoSG的實時交互延伸

Tripo Doodle是一款旨在徹底簡化并加速3D創(chuàng)作流程的全新交互界面。

值得注意的是，Tripo Doodle并非從零構(gòu)建，它巧妙地利用并擴展了VAST旗下TripoSG基礎(chǔ)模型的能力，并針對實時、多模態(tài)交互進行了創(chuàng)新：

首先來了解一下TripoSG基礎(chǔ)模型（TripoSG Base Model）。

TripoSG是它的底層引擎，它是一圖像到3D（Image-to-3D）形狀生成模型。

該模型開創(chuàng)性地采用了大規(guī)模整流流 Transformer（Large-Scale Rectified Flow Transformer）架構(gòu)，能在精選數(shù)據(jù)集上進行訓(xùn)練，直接從條件輸入（基礎(chǔ)模型通常是圖像）生成高保真3D網(wǎng)格。

其內(nèi)部通過定制的VAE管理精確的符號距離函數(shù)（Signed Distance Function, SDF）表征。

其次是多模態(tài)條件注入（Multimodal Conditioning – Sketch + Text）。

Tripo Doodle的核心突破在于增強了TripoSG，使其能夠理解并同時融合草圖和文本兩種輸入模態(tài)。

其一，草圖引導(dǎo)（Sketch Guidance）。

2D繪圖提供了強幾何約束，定義了3D模型的核心形狀、結(jié)構(gòu)和姿態(tài)。

其二，文本引導(dǎo)（Text Guidance）。

自然語言提示則負(fù)責(zé)引導(dǎo)語義理解，影響物體的類型、風(fēng)格和具體特征（例如，演示中加入“dragon”文本提示，就能將一個基礎(chǔ)的怪獸草圖轉(zhuǎn)化為龍形態(tài)）。

再者還有實時性能優(yōu)化（Real-Time Optimization – 例如蒸餾技術(shù)）。

為了實現(xiàn)“涂鴉”體驗所必需的近乎實時的生成速度，Tripo Doodle采用了CFG Distillation等優(yōu)化技術(shù)。

通過訓(xùn)練一個更快的“學(xué)生”模型來模擬（或“學(xué)習(xí)”）更大TripoSG 模型的輸出能力，從而實現(xiàn)能在用戶連續(xù)輸入時進行快速推理和實時更新。

從概念到初步3D可視化的時間縮短至秒級

SIGGRAPH Asia 2024 Real-Time LIVE! 現(xiàn)場，Tripo Doodle生動演示了自己的能力。

以下實例突顯了Tripo Doodle如何將從概念到初步3D可視化的時間縮短至秒級，讓3D創(chuàng)作變得前所未有的簡單和有趣。

輕松創(chuàng)建

無論是植物、桌子、戒指還是怪獸，簡單的幾筆草圖都能即時轉(zhuǎn)化為3D物體。

實時迭代

隨著用戶繪制、擦除、修改草圖，或添加/更改文本提示（如將普通怪獸變?yōu)椤盀觚敼肢F”或帶翅膀的“龍怪獸”），3D模型會動態(tài)、無縫地更新。

創(chuàng)意探索

“Randomize”（隨機化）功能允許用戶基于同一份草圖和文本輸入，快速瀏覽多種不同的、合理的3D解釋，極大地促進了創(chuàng)意發(fā)散。

易用性與效率

“Doodle 1v1” 環(huán)節(jié)中，觀眾成員在30秒內(nèi)創(chuàng)作怪獸。

即使是初次使用者，也能快速上手并創(chuàng)造出如“番茄怪獸”、“毛毛蟲怪獸”等充滿趣味（有時甚至出人意料）的作品，充分證明了其直觀性和高效性。

一直以來，VAST致力于通過開放合作推動領(lǐng)域發(fā)展。

此次，TripoSG Scribble（即Tripo Doodle）與TripoSG的核心組件都將對外開放。

VAST誠邀全球的研究者、開發(fā)者和創(chuàng)作者們，深入探索TripoSG及Tripo Doodle背后的技術(shù)理念，在其基礎(chǔ)上構(gòu)建應(yīng)用。

TripoSG-Scribble抱抱臉：
https://huggingface.co/spaces/VAST-AI/TripoSG-scribble
TripoSG抱抱臉：
https://huggingface.co/spaces/VAST-AI/TripoSG
TripoSG GitHub：
https://github.com/VAST-AI-Research/TripoSG
TripoSG arXiv：
https://arxiv.org/abs/2502.06608