3D模型“換皮膚”有多簡單？也就一句話的事
3D設(shè)計師福音
給灰突突的3D模型加“新皮膚”，這事兒能有多簡單？
現(xiàn)在，只需要一句話就能搞定。
看！
一個普通小臺燈，給個“Brick Lamp”的描述，瞬間變“磚塊燈”：
一匹灰色小馬，加上“Astronaut Horse”，搖身一變就成了“宇航馬”：
操作簡單不說，每一個角度上的細節(jié)和紋理也都呈現(xiàn)出來了。
這就是用一個專門給3D物體“換皮膚”的模型Text2Mesh做出來的，由芝加哥大學和特拉維夫大學聯(lián)合打造。
是不是有點意思？
一句話給3D物體“換皮膚”
Text2Mesh模型的輸入只需一個3D Mesh（無論原始圖像質(zhì)量高低），外加一句文字描述。
具體變換過程如下：
輸入的原始網(wǎng)格模型mesh，頂點V∈Rn×3，表面F∈{1, . . . , n}m×3，它們在整個訓練過程中固定不變。
然后再構(gòu)造一個神經(jīng)風格（neural style）網(wǎng)絡(luò)，為mesh每個頂點生成一個樣式屬性，后續(xù)好在整個表面上定義風格。
具體來說，該網(wǎng)絡(luò)將網(wǎng)格表面p∈V上的點映射成相應的RGB顏色，并沿法線方向位移，生成一個風格化了的初始mesh。
接著從多個視圖對這個mesh進行渲染。
再使用CLIP嵌入的2D增強技術(shù)讓結(jié)果更逼真。
在這個過程中，渲染圖像和文本提示之間的CLIP相似性得分，會被作為更新神經(jīng)網(wǎng)絡(luò)權(quán)重的信號。
整個Text2Mesh不需要預訓練，也不需要專門的3D Mesh數(shù)據(jù)集，更無需進行UV參數(shù)化（將三角網(wǎng)格展開到二維平面）。
具體效果如何？
Text2Mesh在單個GPU上訓練的時間只需不到25分鐘，高質(zhì)量的結(jié)果可以在10分鐘之內(nèi)出現(xiàn)。
它可以生成各種風格，并且細節(jié)還原非常到位：
再比如下面這個，不管是變雪人、忍者、蝙蝠俠、綠巨人，還是喬布斯、梅西、律師……衣服的褶皺、配飾、肌肉、發(fā)絲……等細節(jié)都可以生動呈現(xiàn)。
研究人員還設(shè)計了一個用戶調(diào)查，將Text2Mesh與基線方法VQGAN相比。
評分涉及三個問題：1、生成的結(jié)果自然程度；2、文本與結(jié)果的匹配度；3、結(jié)果與原始圖像的匹配度。
57名用戶打分后，得出的結(jié)果如下：
Text2Mesh在每一項上得分都比VQGAN高。
此外，在更復雜、更特殊的文本描述之下，Text2Mesh也能hold住。
比如“由鉤針編織成的閃亮的金色衣服熨斗”：
“帶波紋金屬的藍鋼luxo臺燈”：
更厲害的是，Text2Mesh模型還可以直接使用圖片驅(qū)動。
比如就給一張仙人掌的照片，也能直接把原始灰色的3D小豬變成“仙人掌風格”：
One More Thing
Text2Mesh代碼已開源，在Kaggle Notebook上也有人上傳了demo。感興趣的便朋友可以一試：
最后，大家知道這是只啥么？
demo地址：
論文：
https://arxiv.org/abs/2112.03221
代碼：
https://github.com/threedle/text2mesh
參考鏈接：
https://threedle.github.io/text2mesh/
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發(fā)場景，專為企業(yè)私有部署設(shè)計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數(shù)學和計算機最高獎“雙料王”出現(xiàn)了2024-04-10
- 8.3K Stars!《多模態(tài)大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
相關(guān)閱讀
AI用50個三角形畫出抽象版蒙娜麗莎，有股后現(xiàn)代的感覺了 | 谷歌大腦出品
只需一個詞就能創(chuàng)作抽象畫，CLIP+ES算法的組合成了現(xiàn)代藝術(shù)家。
差點以為是本人！這個3D人體生成模型厲害了，還能自己改POSE
來自三星AI中心（莫斯科）等團隊的技術(shù)人員一直致力于此方面的研究，最終他們開發(fā)出這樣一個模型。
