最新爆火3D生成模型，清北硬核00后成團再出擊丨開源

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

一張圖30秒高質(zhì)量轉(zhuǎn)3D，3D生成圈的一個開源模型，最近成了新晉當(dāng)紅炸子雞。

不僅上線即沖抱抱臉熱榜，GitHub也已攬星超1.6k。

Gradio官方也忍不住下場發(fā)推文分享，讓大伙兒瞧瞧這個算不算是目前最好的圖像轉(zhuǎn)3D模型：

重點是該模型，背后的團隊，還是一支來自清北的00后年輕初創(chuàng)團隊。

CEO畢業(yè)于北大計算機系，NOI WC金牌、最佳女選手得主；CTO來自清華姚班；不少成員還是CG Artist，擅長利用CG進行藝術(shù)創(chuàng)作，COO就是北大藝術(shù)史論與工商管理雙學(xué)位；團隊成立一年內(nèi)就順利完成了三輪融資……

量子位還打聽到，基于該模型打造的產(chǎn)品還即將上線一波新功能：一張圖生成3D全景圖，一鍵將視頻人物替換為生成角色。

這次走紅，或許只是這支明星團隊的開始。

一張圖30秒轉(zhuǎn)3D

細心的家人們可能已經(jīng)發(fā)現(xiàn)了，開頭提到的這個爆火的開源模型名為Unique3D，主打高保真度、高一致性、高效率單圖轉(zhuǎn)3D。

比起以往基于Score Distillation Sampling（SDS）等方法，Unique3D解決了模型生成需要長時間優(yōu)化，幾何質(zhì)量差，存在不一致性的問題。

而且Unique3D也優(yōu)化了基于多視圖擴散模型方法受限于局部不一致性和生成分辨率，難以產(chǎn)生精細的紋理和復(fù)雜的幾何細節(jié)的問題。

Unique3D一上線，團隊就開源了使用大型開源3D數(shù)據(jù)集Objaverse訓(xùn)練出的模型版本，還放出了Demo給大伙兒玩。

網(wǎng)友玩過后，一致認為Unique3D的諸多表現(xiàn)都很不錯。

胳膊、腿、手腕都做的很好：

這位網(wǎng)友還為生成好的3D模型搭入骨架，解鎖高階玩法：

搭配其他工具，在Blender中組建3D動畫也可以：

有網(wǎng)友表示，生成的Mesh視圖質(zhì)量很高：

看到這，量子位也忍不住上手體驗了一番。

Demo界面很簡潔，只需要上傳一張圖片，然后點擊Generate 3D就可以了，也可以簡單調(diào)整參數(shù)Seed，勾選去除背景：

緊接著，生成速度非?？?，相比此前模型需要幾分鐘的生成時間，Unique3D幾十秒就能將一張圖“啪”的一下轉(zhuǎn)3D：

隨手用GPT-4生成一張小怪獸的圖，然后上傳：

你別說，感覺3D生成后的可愛度直線上升，關(guān)鍵Unique3D生成的紋理和質(zhì)感都和原圖高度一致。

而這一特點也是最為網(wǎng)友所稱贊的。

不少網(wǎng)友指出，Unique3D生成的質(zhì)感很真實，甚至比Stability AI和Tripo AI合作推出的單圖轉(zhuǎn)3D模型TripoSR還要好。

在抱抱臉的3D競技場中，Unique3D目前排名第二，和第一名的InstantMesh差距也很小，票差24：

不過，Unique3D的生成也會有一些瑕疵，比如有時背面分辨率不高，會有一些小斑點等。

生成企鵝效果很好，生成梯子結(jié)構(gòu)就亂了：

對此開發(fā)團隊表示會繼續(xù)優(yōu)化算法，并且有個小Tip：上傳的圖最好是標準的正面圖、無遮擋的那種。

此外，團隊還表示最近將加入更多視角的參考，提升對不同視角的兼容度，由于一直在優(yōu)化算法，模型穩(wěn)定性可能會受干擾。

說回來，Unique3D是如何將一張圖高質(zhì)量轉(zhuǎn)成3D模型的？

Unique3D里面有什么？

用一張圖展現(xiàn)Unique3D的Pipeline是這樣嬸兒的：

整個流程分三個主要階段：多視圖生成、高分辨率上采樣、3D Mesh重建。

具體來說，輸入一張圖，首先微調(diào)版Stable Diffusion模型會根據(jù)這張圖生成四個256×256分辨率的正交多視圖圖像，也就是從單一視角推斷出物體的其它視角。

然后，通過一個高分辨率上采樣過程，使用ControlNet-Tile將圖像分辨率提升至512×512，再用Real-ESRGAN進一步提升至2048×2048，同時利用專門的法線擴散模型生成對應(yīng)的高分辨率法線圖。

利用多級上采樣策略，逐步提高圖像分辨率，可以較好地保證生成細節(jié)。

接著，團隊提出了ISOMER算法，直接基于Mesh進行3D重建，計算負載與空間分辨率的平方成正比。

其中包括以下步驟：

• 利用前后視圖直接快速估計初始Mesh；
• 通過300次迭代的SGD優(yōu)化進行粗到細的Mesh優(yōu)化，引入擴張正則化，避免表面坍塌問題；
• 利用ExplicitTarget技術(shù)為每個頂點分配唯一的優(yōu)化目標，處理多視圖不一致性；
• 基于多視圖圖像對精確的幾何結(jié)構(gòu)進行著色，使用高效的平滑著色算法完成不可見區(qū)域的著色。

由此，從性能上講，輸入一張圖在RTX4090 GPU上僅需30秒即可完成3D轉(zhuǎn)換，生成的3D Mesh模型在幾何精度和紋理細節(jié)上都顯著優(yōu)于基準。

以下是定性比較以及細節(jié)對比：

所以，Unique3D背后的這個年輕的學(xué)霸團隊又是哪個？

“年輕人就要玩新模態(tài)”

Unique3D背后團隊是AVAR AI。

有些人對其可能并不陌生，畢竟自2021年成立以來，AVAR AI就在3D這條賽道上多次嶄露頭角，成立一年后成功融資三輪。

創(chuàng)始人兼CEO胡雅婷，畢業(yè)于北大計算機系，曾在谷歌、阿里、字節(jié)做過算法工程師。

技術(shù)合伙人兼CTO吳凱路，來自清華姚班，在叉院做3D生成和NeRF相關(guān)研究，曾提出了FSD（text-to-3d流分數(shù)蒸餾）和MemSR（高效訓(xùn)練超分辨率模型）等工作。

在此之前，胡雅婷和吳凱路均拿過NOI全國信息學(xué)奧林匹克競賽WC金牌、金牌，吳凱路是國家集訓(xùn)隊，胡雅婷是最佳女選手。

COO任靳珊，本科畢業(yè)于北大，獲藝術(shù)史論與工商管理雙學(xué)位，碩士畢業(yè)于芝加哥大學(xué)，曾在海內(nèi)外美術(shù)館、騰訊藝術(shù)等有過策展商務(wù)文創(chuàng)經(jīng)歷。

總之，一句話形容AVAR AI團隊：全員平均00后學(xué)霸。

CEO胡雅婷還透露，團隊目前嚴格意義上的全職員工很少，有一半是深度合作的AI研究員，還有一半是3D藝術(shù)家。

其本人在參加信息學(xué)算法競賽前也非常喜歡藝術(shù)創(chuàng)作，算法在她看來也是一個非常有創(chuàng)造性的過程：

之所以想創(chuàng)業(yè)做圖形學(xué)，也是因為很喜歡皮克斯，皮克斯就是一個典型的技術(shù)+藝術(shù)團隊。

基于此，AVAR AI的定位也更專注于創(chuàng)作方向。

胡雅婷直言并不想賣3D生成的技術(shù)，所以選擇直接開源Unique3D：

我們比較關(guān)注3D應(yīng)用場景以及它的下一步，希望可以通過比如做動畫以及新的交互方式實現(xiàn)4D，這樣就可以讓創(chuàng)作者創(chuàng)作出真正有表達力的IP或是數(shù)字媒體內(nèi)容。

所以這個過程中可能競爭力并不是技術(shù)本身，我們接下來也會重點關(guān)注作品的藝術(shù)性和IP的潛力，以及做好創(chuàng)作者社群。

在她看來，形成這種“創(chuàng)作者經(jīng)濟”會是AVAR AI區(qū)別于API工具等模式的壁壘，像是Midjourney就形成了一套創(chuàng)作者生態(tài)和網(wǎng)絡(luò)效應(yīng)。

而AVAR AI此前在AI生成3D內(nèi)容方面的工作，也為團隊新的3D生成項目打下了基礎(chǔ)。

在Unique3D之前，AVAR AI的一條業(yè)務(wù)主線是專注于元宇宙數(shù)字品牌，與動畫影視公司、知名IP、互聯(lián)網(wǎng)大廠等都有過合作，例如曾和阿里合作推出3D星球生成器、與奧飛娛樂合作打造IP形象。

面向年輕用戶，AVAR AI推出的應(yīng)用也更加多元，AR、VR、XR方面也有涉獵。

對于新研發(fā)的Unique3D模型，團隊除開源了用開源數(shù)據(jù)集訓(xùn)練的模型外，還用更高質(zhì)量的商用私有數(shù)據(jù)對模型進行了工程優(yōu)化并上線到產(chǎn)品網(wǎng)頁端——Aiuni AI。

上面提到的更多更具表達力的3D應(yīng)用場景，也在部署中，打開Aiuni AI主頁就能看到即將上線的新功能。

例如3D world，一句話、一張圖就能生成一個360度全景，而且不只是一張全景圖，用戶可以導(dǎo)出Mesh，也就是整個場景的3D文件。

此外，還有一個叫做DreamCamera功能也將會逐步推出，基于團隊的另一項研究Camera Dreamer打造，可以一鍵將視頻人物替換為生成角色，同時Aiuni AI還兼容VisionPro等MR的渲染環(huán)境：

在被量子位問到作為一名年輕的科技創(chuàng)業(yè)者，有何見解可以分享給其他有志于進入科技和創(chuàng)業(yè)領(lǐng)域的年輕人，Aiuni AI CEO胡雅婷給出了這樣的回答：

我覺得年輕人就一定要做新模態(tài)。比如AIGC創(chuàng)業(yè)，文本、圖像、視頻，大廠都已經(jīng)入局了，造了很多通用大模型。而年輕人就得去找一些新的模態(tài)，要有新的數(shù)據(jù)和算法，并且有增量的或是下一代的應(yīng)用場景。

你覺得Unique3D、Aiuni AI的表現(xiàn)如何？感興趣的家人們可以玩起來了～

Github鏈接：https://github.com/AiuniAI/Unique3D
Huggingface Demo：https://huggingface.co/spaces/Wuvin/Unique3D
項目主頁：https://wukailu.github.io/Unique3D/
論文鏈接：https://arxiv.org/pdf/2405.20343

參考鏈接：
[1]https://x.com/NegiTurkey/status/1804750164680483003
[2]https://x.com/fffiloni/status/1799400868074459574
[3]https://x.com/dylan_ebert_/status/1800959099774943470
[4]https://x.com/hAru_mAki_ch/status/1797958793948721178
[5]https://x.com/Frezoaiart/status/1801135447076462608