明年，每個人都能零基礎(chǔ)創(chuàng)作3D內(nèi)容 | 對話VAST宋亞宸

視點 發(fā)自 凹非寺

量子位｜公眾號 QbitAI

大家對生成視覺領(lǐng)域有著這樣的認知：先有圖像生成、視頻生成，再有3D生成。

圖像生成的DALL·E、Midjourney，視頻生成的Sora、可靈都已經(jīng)有了驚艷的表現(xiàn)。實際上3D生成發(fā)展也并不落后。

早在去年年底VAST就推出了AI 3D大模型Tripo。今年3月，VAST與Stability共同發(fā)布了能0.5秒圖生3D的開源模型TripoSR。

量子位「365行AI落地方案」邀請到了VAST CEO宋亞宸為我們介紹3D大模型的落地進展，以及對發(fā)展前景的思考。

在宋亞宸看來，做3D大模型是先做「手機攝像頭」，再做3D內(nèi)容平臺即「3D抖音」。對于在3D生成領(lǐng)域眾望所歸的VAST而言，已經(jīng)有了充足勢能從技術(shù)、產(chǎn)品，做到內(nèi)容平臺。

宋亞宸也反復強調(diào)作為創(chuàng)業(yè)公司，最重要的壁壘其實是初心。三個月后，我們會看到VAST帶來3D大模型用戶體驗的拐點嗎？讓我們拭目以待。

以下根據(jù)分享實錄整理成文，在不改變原意基礎(chǔ)上有所刪減

VAST是一家做3D大模型的公司。什么叫3D大模型呢？

3D大模型的主要交互方式是通過文字或者圖片生成3D模型，這個生成的3D模型的表達方式是帶貼圖材質(zhì)的Mesh，可以在很多傳統(tǒng)的3D管線中得到應用，比如動畫、游戲、3D打印、工業(yè)設(shè)計、數(shù)字孿生、仿真模擬等等。

VAST的大模型產(chǎn)品已經(jīng)上線了，叫做Tripo，已經(jīng)可以在Discord或Web中使用。包括靜態(tài)3D模型的生成、骨骼自動綁定、動作生成、3D風格化，及各種格式的導出和轉(zhuǎn)換，都可以在tripo3d.ai中體驗。

再過三個月，會是3D大模型用戶體驗的拐點

大家可能對語言大模型像ChatGPT，或是文生圖大模型像Midjourney更熟悉，那么3D大模型和他們有什么區(qū)別，又在什么樣的發(fā)展節(jié)點上呢？

3D大模型與圖形學的關(guān)系很大，過去圖形學和AI的結(jié)合并不多，直到最近一些新的3D表達方式出現(xiàn)，讓3D模型可以更好地被作為AI大模型訓練的數(shù)據(jù)。

現(xiàn)在是2024年6月，3D大模型的成熟度已經(jīng)超越了類似于GPT3或者Midjourney V3的水平。再過三個月2024年9月，我們相信它可以達到GPT3.5或是Midjoueney V4的水平，也就是用戶體驗的拐點。

所以當我們?nèi)ビ懻撋虡I(yè)化、包括產(chǎn)品功能的時候，我們首先應該認識到現(xiàn)在的技術(shù)還不是完全成熟的技術(shù)，很多商業(yè)化場景還不能直接使用現(xiàn)在生成的3D模型。因此，隨著近期3D生成大模型的快速迭代和演進，技術(shù)的落地場景會更加廣泛，商業(yè)化潛力也會更大。

當然除了我們，谷歌、英偉達、OpenAI、Meta、Adobe等大廠也紛紛布局了3D生成賽道。但是過去3D生成其實一直都存在問題。

首先是技術(shù)路線不清晰，其次是訓練數(shù)據(jù)集稀缺，公開數(shù)據(jù)集少，而且開源數(shù)據(jù)集數(shù)量和質(zhì)量都較差。不管創(chuàng)業(yè)公司還是大廠、研究院都沒有足夠數(shù)據(jù)來訓練。最后是生成成本高，需要大量GPU進行訓練和推理。

我們一一解決了這三點問題。第一，是在學術(shù)上統(tǒng)一了技術(shù)路線，第二，是收集了大量的3D原生的、高質(zhì)量數(shù)據(jù)集，目前在2000多萬的級別，可以說是全球第一。第三，是生成成本，因為算法工程團隊的極致優(yōu)化，每個模型的生成成本幾乎接近于零。

我們在技術(shù)、數(shù)據(jù)的優(yōu)勢都離不開優(yōu)秀的算法團隊。去年，我們6投6中CVPR，同時其他幾篇論文也被Siggraph、ICLR、ECCV等學術(shù)頂會所接收。我們也進行了不少開源項目的嘗試。今年3月，與Stability AI合作推出了TripoSR（GitHub 4K stars），是最大、最好、最快的3D生成大模型。還有ThreeStudio（GitHub?5.9K stars）、Wonder3D（GitHub?4.5K stars）、TGS、CSD等等受到行業(yè)矚目的高質(zhì)量開源項目。

在技術(shù)上我們主要有三點優(yōu)勢。第一點，是我們生成的結(jié)果精度高，泛化性強。我們生成3D模型的幾何、布線、材質(zhì)、紋理非常優(yōu)秀，在復雜的組合模型的泛化性上表現(xiàn)也很好，比如生成騎在烏龜背上的綠色大象等等。

第二點，是我們對于生成過程有非常強的可控性，不管是在文生的正負向提示詞上還是在圖生的高度還原上，我們都可以保持本身風格的一致性，這在商業(yè)化管線中意義重大。

第三點，是我們生成的不只是靜態(tài)的虛擬資產(chǎn)，還包括物體的動態(tài)表達，比如自動骨骼綁定及動作生成。我們希望未來能夠生成更豐富的3D內(nèi)容模態(tài)，不斷降低3D內(nèi)容的創(chuàng)作門檻。

我們通過兩方面不斷積累技術(shù)優(yōu)勢。一方面，是我們認為3D的表達方式很關(guān)鍵，我們投入了大量的時間和技術(shù)來研究最適合大模型訓練的表達方式，需要使tokenizer達到最高的壓縮率、保真率、還原率等等特征。

另一方面，是產(chǎn)品上線以來，Tripo3d.ai獲得了業(yè)界的廣泛關(guān)注?，F(xiàn)在海外有數(shù)十萬開發(fā)者在使用Tripo進行創(chuàng)作，與數(shù)百家客戶緊密合作，目前已生成超過400萬個3D模型，這些用戶和客戶的真實反饋給我們迭代技術(shù)提供了大量的human feedback，形成了數(shù)據(jù)的飛輪。

希望明年，讓每個人零基礎(chǔ)也能創(chuàng)作3D內(nèi)容

那么VAST最終想要做什么呢？我們希望在明年，能夠讓每個人都有能力創(chuàng)作完整的3D內(nèi)容。即使完全不會使用專業(yè)3D建模工具的創(chuàng)作者，也能夠通過描述可控地、低成本地生成完整的3D內(nèi)容。

文字、圖片、視頻、聲音等各種信息載體，都已經(jīng)有了屬于自己品類的大眾內(nèi)容平臺了，比如說文字信息的Twitter，圖片的Instagram，視頻的TikTok，音樂的Spotify等。

但是對于3D內(nèi)容，目前還未出現(xiàn)大眾級別的內(nèi)容平臺，而大眾內(nèi)容平臺的商業(yè)化價值是被無數(shù)次驗證的，市場的空間非常大。

我們認為現(xiàn)在還沒有出現(xiàn)3D大眾內(nèi)容平臺的原因是，3D缺乏一個大眾級別的創(chuàng)作者工具，可以理解為我們?nèi)狈σ粋€3D品類的“手機攝像頭”。在這樣的大眾工具出現(xiàn)之前，3D的創(chuàng)作成本和門檻過高，很難出現(xiàn)一個大眾內(nèi)容平臺。所以所謂3D大模型，可以理解為創(chuàng)作3D內(nèi)容的“手機攝像頭”。

就像是昨晚做了一個夢，我醒來后想要把夢境創(chuàng)造出來，讓朋友來我的夢境里去玩、去體驗。現(xiàn)在聽起來還很天方夜譚，但當3D大模型達到V4、V5水平時，就有了這樣的機會。

當大眾級別的創(chuàng)作工具出現(xiàn)后，我們認為內(nèi)容平臺才會有機會誕生。那么緊接著就會是3D內(nèi)容，也可以說是虛擬內(nèi)容的大爆發(fā)。

隨著更多人使用Tripo這樣大眾級別的創(chuàng)作工具，和3D內(nèi)容平臺，自然就會有更多3D原生數(shù)據(jù)來訓練3D大模型，促進技術(shù)的進一步迭代。同樣的，技術(shù)也會反哺應用，進一步提升用戶體驗，形成數(shù)據(jù)的閉環(huán)。

先把技術(shù)能力商業(yè)化

Tripo Web工具是我們的一大亮點，它通過會員訂閱和API接口為個人和企業(yè)提供服務。3D藝術(shù)家、游戲建模師、獨立開發(fā)者等個人用戶可以通過訂閱獲得強大的建模工具。對于企業(yè)客戶，我們不僅提供API接口，還提供定制化的專業(yè)解決方案。

海外市場是我們重要的增長點。目前，我們在海外已經(jīng)擁有數(shù)十萬開發(fā)者。

在游戲解決方案方面，我們與國內(nèi)外眾多知名游戲公司、游戲編輯器和游戲引擎建立了官方合作。我們的技術(shù)主要應用于游戲前期概念設(shè)計階段，幫助團隊快速生成角色、場景、載具等3D資產(chǎn)，激發(fā)創(chuàng)意靈感。在游戲制作過程中，我們的技術(shù)也能用于生成中遠景美術(shù)資產(chǎn)，還可以提供中模幫助主美與外包團隊進行高效溝通。

除了提供降本增效的服務，我們也在探索將3D生成技術(shù)融入游戲玩法。

我們的開發(fā)者社區(qū)創(chuàng)造了TripoGo這款游戲，玩家通過生成3D模型進行對戰(zhàn)，勝利者可以獲取對方的prompt進行進化生成。這種玩法類似于小時候玩的數(shù)碼暴龍機，但3D生成技術(shù)賦予了它全新的樂趣。TripoGo通過社交媒體傳播，一周內(nèi)就吸引了超過10萬海外用戶。

我們還與小型游戲開發(fā)團隊和工作室合作，嘗試開發(fā)各種AI游戲。

此外，我們還舉辦了全球首屆AI 3D渲染大賽Behind the Scenes。我自己也參與了比賽，雖然我完全不會建模和動畫，但借助Tripo的AI生成能力，我只用了半天時間就制作出了參賽作品，還獲得了入圍獎。

VASTAI

，贊124

這場比賽共收到兩三百份作品，全部都是使用Tripo AI生成的。優(yōu)秀作品的特點是，在給定固定機位和場景的前提下，利用Tripo生成模型和動畫。這充分展示了AI技術(shù)如何幫助虛擬內(nèi)容創(chuàng)作者，即使零基礎(chǔ)也能高效地制作出令人驚艷的作品。

此外，一些教育或小游戲開發(fā)者也在利用Tripo的能力開發(fā)生成式?jīng)Q策系統(tǒng)。XR也是一個重要的應用場景，Tripo目前已上架Vision Pro應用商店。

3D生成技術(shù)對于3D打印行業(yè)同樣意義重大。由于會建模的用戶量很小，3D打印（尤其是家用3D打?。┑陌l(fā)展一直受到限制。但隨著3D生成技術(shù)的進步，即使不會建模，人們也可以通過文字或圖片生成所需的模型，并將其打印出來。

我自己就嘗試過將照片上傳到Tripo，生成卡通形象，然后通過3D打印制作成我自己的定制化玩具手辦。

家具、鞋服、燈具、首飾等行業(yè)也可以利用3D生成技術(shù)進行設(shè)計和模擬。針對每個場景，我們都提供專門的定制化解決方案。例如，燈具模型需要中空，預留放置燈泡的空間，并能模擬點亮效果。

目前，VAST在海內(nèi)外都享有良好聲譽，并在SIGGRAPH、CVPR等頂級會議上發(fā)表了多篇論文。Tripo也入選了A16Z的AIGC產(chǎn)業(yè)地圖。最后是我們公司的Slogan——為世界增文明，為人類造幸福。

Q&A

先有「手機攝像頭」才會有「抖音」

Q：大家談到大模型產(chǎn)品時，常會提到ROI（投資回報率）。VAST在這方面是怎么看的？

VAST宋亞宸：3D生成的ROI可能會超出大家的預期。視頻、圖像或文字生成都面臨推理成本高的問題，但3D生成成本相對較低，因此我們的產(chǎn)品在銷售時ROI更容易實現(xiàn)。

例如，我們與Stability合作開發(fā)的開源3D大模型TripoSR，在CPU上只需0.5秒就能生成一個3D模型，算力成本很低。對我們來說，更大的挑戰(zhàn)在于數(shù)據(jù)而非算力。

Q：視覺生成模型通常按技術(shù)難度分為圖像、視頻、3D三個階段。您怎么看這種劃分？

VAST宋亞宸：我認為3D生成的技術(shù)成熟度并不比視頻生成差，歡迎大家親自體驗tripo3d.ai。視頻生成本身還存在3D一致性等問題。

Luma原本專注于3D生成技術(shù)，曾是我們最大的競爭對手，現(xiàn)在轉(zhuǎn)向視頻，反而在視頻生成賽道取得很大優(yōu)勢。

我觀察到，文字、圖片、聲音、視頻等與3D生成有本質(zhì)區(qū)別。前者早已有低成本、低門檻的制作方式，AI只是眾多選項之一。而3D內(nèi)容過去是大眾無法制作的，3D生成技術(shù)拓展了人類能力的邊界，實現(xiàn)了從0到1的突破。

在Sketchfab等模型網(wǎng)站上，3D模型平均價格在40美元左右，質(zhì)量高一些的模型甚至價格高達幾百美元，這說明3D生成有很大的商業(yè)潛力。

而且，3D內(nèi)容的消費市場已經(jīng)成熟。全球最賺錢的游戲大多是3D的，如原神、王者榮耀、黑神話悟空等。早在2012年，3D和2.5D手游就占了87%的比例。2024年的今天，3D在游戲領(lǐng)域已是一個巨大的市場。

隨著3D大模型降低了創(chuàng)作3D內(nèi)容的門檻，未來每個人都可以創(chuàng)作3D內(nèi)容。大家說Vision Pro、XR眼鏡現(xiàn)在買回來也吃灰，我認為不是硬件的問題，而是缺乏好的內(nèi)容。像小時候在MP3上看幾百萬字的小說，幾百萬字的斗羅大陸、斗破蒼穹都可以用MP3看——只要有好的內(nèi)容，多差的硬件也一定會有人來使用。

你可以用MP3來看500萬字的小說，但你說Vision Pro不能支持你去玩一段時間，核心的點是在于沒有好的內(nèi)容，用戶的創(chuàng)作門檻和成本太高了。如果有哪一天創(chuàng)造一個3D內(nèi)容，成本幾乎為0而且不需要任何專業(yè)技能，那大眾都會去創(chuàng)作3D內(nèi)容，用3D去交流、交互、表達、分享、創(chuàng)作、創(chuàng)造、實現(xiàn)等等。

Q：那您覺得，您剛剛描述的這樣一個世界，什么時候可以到來呢？就像這樣每個人都可以在3D世界中創(chuàng)作？

VAST宋亞宸：我們認為大眾級創(chuàng)作工具的成熟是第一步，就像手機攝像頭是抖音出現(xiàn)的前提。我們正在研發(fā)類似手機攝像頭的3D大模型，預計今年年底能達到不錯的效果。

一開始我們迭代模型，很多人評論這個布線和PBR等等，這其實不是最關(guān)鍵的。關(guān)鍵的是普羅大眾第一次可以去這樣創(chuàng)作3D模型或者3D內(nèi)容，這件事情本身就是跨時代的。

今年年底，我們的大模型將達到3D建模初學者水平；明年，我們認為它將超越有3年工作經(jīng)驗的建模師，達到至少Midjourney V5或V6的水平。

但是我們也得承認，不是手機攝像頭誕生了，就一定會出現(xiàn)抖音，也不是說做手機攝像頭的廠商就能做出抖音這樣的內(nèi)容平臺。所以我們在說不是一定有了大眾級別的創(chuàng)作工具，就一定會誕生內(nèi)容平臺。

在沒有手機攝像頭之前，就已經(jīng)有大量公司在嘗試做內(nèi)容平臺了，甚至Facebook都改名為Meta，說要實現(xiàn)元宇宙，也就是3D內(nèi)容平臺。為什么大家那個時候說，這些人說做元宇宙是騙子嗎？其實不是，他們只是卡在了沒有攝像頭。

我們既在做大眾級創(chuàng)作工具，又在3D大模型技術(shù)上領(lǐng)先，因此有足夠的時間窗口和技術(shù)優(yōu)勢去做內(nèi)容平臺。無論是積累的內(nèi)容創(chuàng)作者社區(qū)、海外開發(fā)者生態(tài)，還是3D大模型技術(shù)和創(chuàng)作者們創(chuàng)作的3D內(nèi)容，我們在打造“3D抖音”方面都有一定的先發(fā)優(yōu)勢。

創(chuàng)業(yè)公司的高壁壘，在于初心

Q：您把3D內(nèi)容平臺比作3D抖音，很有意思。您提到有足夠的時間窗口，但通常大家認為初創(chuàng)公司做通用大模型很難，在3D生成領(lǐng)域是不是也有類似挑戰(zhàn)？目前市場和時間窗口情況如何？

VAST宋亞宸：3D生成賽道非常獨特。舉幾個例子大家就明白了。首先，語言、圖片、音樂、聲音、視頻等多模態(tài)領(lǐng)域，基本都被海外公司領(lǐng)先，我們處于追趕狀態(tài)。但3D生成不同，我們的水平是全球頂尖的。

為什么會有這樣的差異？關(guān)鍵在于3D生成核心是AI和圖形學的結(jié)合，才能誕生可擴展的3D大模型。3D大模型作為一個新興領(lǐng)域，人才稀缺。當頂尖人才聚集在一起，就會形成人才黑洞，因為最好的人都在同一個團隊，都想做同一件事。相比之下，大廠砸錢挖人，但挖來的人未必是最好的。

其次，3D生成所需的訓練算力與語言模型不同。語言模型可能需要越多算力越好，因此需要大量融資。但3D生成不是這樣，算力并非越多越好。即使有數(shù)十萬張卡，可以做很多實驗，但不代表算法就能領(lǐng)先。

其三，我認為我們這樣的AI 2.0公司不應該被小覷。AI 2.0公司非常專注，而大廠如英偉達、Meta、騰訊等，投入到這件事的人力、財力、算力都不如我們。因為我們只做這一件事，而他們要做很多事，他們之前可能更擅長發(fā)論文、做研究。但現(xiàn)在，我們的研究已經(jīng)比他們做得更好了。

此外，我們在3D生成這個垂直賽道的資源其實比大廠更多。舉個例子，英偉達很早就說要在LATTE 3D模型上打造“皮克斯”，瘋狂放demo，把我們嚇得夠嗆。但結(jié)果出來可能就是沒人用，效果也很一般，與宣傳相差甚遠。這讓我們對大廠或所謂的競爭對手祛魅了。

最近Meta出了新版本的3D Gen，我們也發(fā)現(xiàn)其實即使是Meta出了報告，我們也在其中有非常不錯的表現(xiàn)。

當大家提起3D就想到VAST，或者說AI 3D就想到Tripo時，我們在這件事上已經(jīng)積累了足夠的基礎(chǔ)，這種勢能讓我們無所畏懼。

Q：看來3D生成的壁壘確實很高？

VAST宋亞宸：是的，可以說已經(jīng)有很多壁壘了。我們在數(shù)據(jù)量上遠超同行，人才方面也形成了黑洞。市場調(diào)研顯示，我們的3D建模工具在用戶量和口碑方面都遙遙領(lǐng)先其他產(chǎn)品。

但我覺得這些都不是本質(zhì)。對于創(chuàng)業(yè)公司來說，最本質(zhì)的壁壘是初心和使命，也就是到底想做什么。

就像OpenAI推出Sora時，大家擔心他們要做世界模擬器，覺得這個概念很厲害，會影響我們的計劃。但我想的是，OpenAI的初心是什么？我的初心又是什么？如果初心一樣，那他們確實有錢、人才也多；然而關(guān)鍵是我們想做的事情不一樣。

別人也會把我們和一些大廠、教授創(chuàng)辦的公司比較。我就會說，第一，他們玩不玩游戲？真的想不想進入虛擬世界？如果讓他們天天不上班，在家戴著XR眼鏡打游戲，他們愿不愿意？如果待一個月就會瘋，那對不起，他們就和我們有本質(zhì)的不同。

這也是為什么我們看到這個賽道上的很多“競爭對手”都在做其他事情了，甚至連Luma也去做視頻了。

Q：您覺得現(xiàn)在VAST是處于從0到1的階段，還是1到100的階段？

VAST宋亞宸：我們肯定是剛剛起步。雖然產(chǎn)品和業(yè)務層面看起來比較順利，但公司成立才一年多，還很年輕。3D大模型也是一件很新的事情，市場非常大且長期，這肯定是剛剛開始的狀態(tài)。不過萬事開頭難，可能這第一步就占了50%。在第一步里，我還是那句話，邁出步去的初心最重要。

Q：那什么時候會是一個節(jié)點，比如完成了「1」？

VAST宋亞宸：我覺得這個“1”已經(jīng)很快了。今年9、10月份，到今年年底，可能算是一個“1”和一個“2”，也就是我們的3D生成達到Midjourney V4甚至有望達到V5的水平。

這件事的關(guān)鍵不在于技術(shù)有什么質(zhì)的突破，或者某個公關(guān)活動讓大家關(guān)注這件事，而是說大模型生成的3D內(nèi)容終于跨過了用戶體驗的紅線。

我們內(nèi)部從來不用技術(shù)術(shù)語講事情，我們只關(guān)注用戶體驗和用戶需求。當我們跨過了用戶體驗的門檻時，自然就達到了Midjourney V4甚至V5的水平。我們一直不斷地與開發(fā)者、創(chuàng)作者、客戶交流，了解他們到底想要什么，還缺少什么，這些反饋對于我們來說非常寶貴。

可能不是什么技術(shù)本質(zhì)的突破，比如幾何更平滑、布線更平直。關(guān)鍵是知道用戶想要什么，知道什么功能能滿足用戶體驗。當我們達到這一水平時，就完成了“1”；當我們超越用戶期望時，就達到了“2”。

關(guān)于365行AI落地方案

AI技術(shù)的落地應用不僅限于科技領(lǐng)域，它已經(jīng)滲透到各行各業(yè)，成為推動產(chǎn)業(yè)升級的重要力量。因此，“365行AI落地方案”主題策劃應運而生，我們尋找各行各業(yè)中成功應用AI技術(shù)的案例和方案，分享給更多的產(chǎn)業(yè)內(nèi)人士。