把「我的世界」馬賽克變成逼真大片，英偉達(dá)又出黑科技
真·我的世界，這次不是別人的世界了！
子豪 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
先來看一張海島大片：
這可不是哪個(gè)攝影師的杰作，而是出自GANcraft之手。
原圖是「我的世界」中一個(gè)馬賽克畫質(zhì)的場(chǎng)景：
這下「我的世界」真的變成了，我的世界！
GANcraft由英偉達(dá)和康奈爾大學(xué)合作完成，它是一個(gè)無監(jiān)督3D神經(jīng)渲染框架，可以將大型3D塊狀世界生成為逼真圖像。
空前的真實(shí)感
究竟有多逼真？和與其他模型對(duì)比來看。
以下是在兩個(gè)場(chǎng)景中，分別使用MUNIT、GauGAN用到的SPADE、wc-vid2vid，以及NSVF-W（NSVF+NeRF-W）生成的效果。
再感受下GANcraft的效果：（色彩和畫質(zhì)有所壓縮）
通過對(duì)比可以看到：
諸如MUNIT和SPADE這類im2im（圖像到圖像轉(zhuǎn)換）方法，無法保持視角的一致性，這是因?yàn)槟Ｐ筒涣私?D幾何形狀，而且每個(gè)幀是獨(dú)立生成的。
wc-vid2vid產(chǎn)生了視圖一致的視頻，但是由于塊狀幾何圖形和訓(xùn)練測(cè)試域的誤差累積，圖像質(zhì)量隨著時(shí)間迅速下降。
NSVF-W也可以產(chǎn)生與視圖一致的輸出，但是看起來色彩暗淡，且缺少細(xì)節(jié)。
而GANcraft生成的圖像，既保持了視圖一致性，同時(shí)具有高質(zhì)量。
這是怎么做到的？
原理概述
GANcraft中神經(jīng)渲染的使用保證了視圖的一致性，而創(chuàng)新的模型架構(gòu)和訓(xùn)練方案實(shí)現(xiàn)了空前的真實(shí)感。
具體而言，研究人員結(jié)合了3D體積渲染器和2D圖像空間渲染器，使用Hybird體素條件神經(jīng)渲染方法。
首先，定義一個(gè)以體素（即體積元素）為邊界的神經(jīng)輻射場(chǎng)，并且為塊的每個(gè)角，分配一個(gè)可學(xué)習(xí)的特征向量；
再使用三線性插值法，在體素內(nèi)的任意位置定義位置代碼，把世界表示為一個(gè)連續(xù)的體積函數(shù)；并且每個(gè)塊都被分配了一個(gè)語(yǔ)義標(biāo)簽，如泥土、草地或水。
然后，使用MLP隱式定義輻射場(chǎng)，將位置代碼、語(yǔ)義標(biāo)簽和共享的樣式代碼作為輸入，并生成點(diǎn)特征（類似于輻射）及其體積密度。
最后給定相機(jī)參數(shù)，通過渲染輻射場(chǎng)獲得2D特征圖，再利用CNN轉(zhuǎn)換為圖像。
雖然能夠建立體素條件神經(jīng)渲染模型，但是沒有圖像能用作ground truth，為此，研究人員采用了對(duì)抗訓(xùn)練方式。
但是「我的世界」不同于真實(shí)世界，其街區(qū)通常具有完全不同的標(biāo)簽分布，比如：場(chǎng)景完全被雪或水覆蓋，或是多個(gè)生物群落出現(xiàn)在一個(gè)區(qū)域。
在隨機(jī)采樣時(shí)，使用互聯(lián)網(wǎng)照片進(jìn)行對(duì)抗訓(xùn)練，會(huì)生成脫離實(shí)際的結(jié)果：
因此研究人員生成Pseudo-ground truth，用來進(jìn)行訓(xùn)練。
使用預(yù)訓(xùn)練的SPADE模型，通過2D語(yǔ)義分割蒙版，獲得具有相同語(yǔ)義的Pseudo-ground truth圖像。
這不僅減少了標(biāo)簽和圖像分配的不匹配，而且還能用更強(qiáng)的損失，來進(jìn)行更快、更穩(wěn)定的訓(xùn)練。生成效果得到了顯著改善：
此外，GANcraft還允許用戶控制場(chǎng)景語(yǔ)義和輸出風(fēng)格：
其介紹頁(yè)中提到：它將每個(gè)Minecraft玩家變成了3D藝術(shù)家！
并且，簡(jiǎn)化了復(fù)雜風(fēng)景場(chǎng)景的3D建模過程，無需多年的專業(yè)知識(shí)。
GANcraft即將開源，感興趣的讀者可戳鏈接了解詳情~
參考鏈接：
[1]https://nvlabs.github.io/GANcraft/
[2]https://arxiv.org/abs/2104.07659
[3]https://news.ycombinator.com/item?id=26833972
相關(guān)閱讀
谷歌大腦研究員指明GAN研究方向：7大問題全面梳理，附贈(zèng)研究建議
希望通過這七個(gè)問題，能向大家闡明他對(duì)于GAN這個(gè)研究課題的看法。
《我的世界》AI大戰(zhàn)降臨：6000萬(wàn)幀超大數(shù)據(jù)集已發(fā)布，NeurIPS 19向你約戰(zhàn)
勝者可喜提英偉達(dá)GPU
