把「我的世界」馬賽克變成逼真大片，英偉達(dá)又出黑科技
真·我的世界，這次不是別人的世界了！
子豪 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
先來看一張海島大片：
這可不是哪個攝影師的杰作，而是出自GANcraft之手。
原圖是「我的世界」中一個馬賽克畫質(zhì)的場景：
這下「我的世界」真的變成了，我的世界！
GANcraft由英偉達(dá)和康奈爾大學(xué)合作完成，它是一個無監(jiān)督3D神經(jīng)渲染框架，可以將大型3D塊狀世界生成為逼真圖像。
空前的真實(shí)感
究竟有多逼真？和與其他模型對比來看。
以下是在兩個場景中，分別使用MUNIT、GauGAN用到的SPADE、wc-vid2vid，以及NSVF-W（NSVF+NeRF-W）生成的效果。
再感受下GANcraft的效果：（色彩和畫質(zhì)有所壓縮）
通過對比可以看到：
諸如MUNIT和SPADE這類im2im（圖像到圖像轉(zhuǎn)換）方法，無法保持視角的一致性，這是因?yàn)槟Ｐ筒涣私?D幾何形狀，而且每個幀是獨(dú)立生成的。
wc-vid2vid產(chǎn)生了視圖一致的視頻，但是由于塊狀幾何圖形和訓(xùn)練測試域的誤差累積，圖像質(zhì)量隨著時間迅速下降。
NSVF-W也可以產(chǎn)生與視圖一致的輸出，但是看起來色彩暗淡，且缺少細(xì)節(jié)。
而GANcraft生成的圖像，既保持了視圖一致性，同時具有高質(zhì)量。
這是怎么做到的？
原理概述
GANcraft中神經(jīng)渲染的使用保證了視圖的一致性，而創(chuàng)新的模型架構(gòu)和訓(xùn)練方案實(shí)現(xiàn)了空前的真實(shí)感。
具體而言，研究人員結(jié)合了3D體積渲染器和2D圖像空間渲染器，使用Hybird體素條件神經(jīng)渲染方法。
首先，定義一個以體素（即體積元素）為邊界的神經(jīng)輻射場，并且為塊的每個角，分配一個可學(xué)習(xí)的特征向量；
再使用三線性插值法，在體素內(nèi)的任意位置定義位置代碼，把世界表示為一個連續(xù)的體積函數(shù)；并且每個塊都被分配了一個語義標(biāo)簽，如泥土、草地或水。
然后，使用MLP隱式定義輻射場，將位置代碼、語義標(biāo)簽和共享的樣式代碼作為輸入，并生成點(diǎn)特征（類似于輻射）及其體積密度。
最后給定相機(jī)參數(shù)，通過渲染輻射場獲得2D特征圖，再利用CNN轉(zhuǎn)換為圖像。
雖然能夠建立體素條件神經(jīng)渲染模型，但是沒有圖像能用作ground truth，為此，研究人員采用了對抗訓(xùn)練方式。
但是「我的世界」不同于真實(shí)世界，其街區(qū)通常具有完全不同的標(biāo)簽分布，比如：場景完全被雪或水覆蓋，或是多個生物群落出現(xiàn)在一個區(qū)域。
在隨機(jī)采樣時，使用互聯(lián)網(wǎng)照片進(jìn)行對抗訓(xùn)練，會生成脫離實(shí)際的結(jié)果：
因此研究人員生成Pseudo-ground truth，用來進(jìn)行訓(xùn)練。
使用預(yù)訓(xùn)練的SPADE模型，通過2D語義分割蒙版，獲得具有相同語義的Pseudo-ground truth圖像。
這不僅減少了標(biāo)簽和圖像分配的不匹配，而且還能用更強(qiáng)的損失，來進(jìn)行更快、更穩(wěn)定的訓(xùn)練。生成效果得到了顯著改善：
此外，GANcraft還允許用戶控制場景語義和輸出風(fēng)格：
其介紹頁中提到：它將每個Minecraft玩家變成了3D藝術(shù)家！
并且，簡化了復(fù)雜風(fēng)景場景的3D建模過程，無需多年的專業(yè)知識。
GANcraft即將開源，感興趣的讀者可戳鏈接了解詳情~
參考鏈接：
[1]https://nvlabs.github.io/GANcraft/
[2]https://arxiv.org/abs/2104.07659
[3]https://news.ycombinator.com/item?id=26833972
相關(guān)閱讀
英特爾突襲英偉達(dá)H100，新AI芯片訓(xùn)練快40%，推理快50%，CEO蹦迪慶祝
CEO現(xiàn)場蹦迪慶祝
