推理成本降低48倍！1張GPU就能讓靜態(tài)圖像動(dòng)起來(lái) | 格拉茲科技大學(xué)&Facebook
基于深度預(yù)言網(wǎng)絡(luò)的NeRF
魚(yú)羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
自打伯克利和谷歌聯(lián)合打造的NeRF橫空出世，江湖上靜態(tài)圖變動(dòng)圖的魔法就風(fēng)靡開(kāi)來(lái)。
不過(guò)，想要像這樣依靠AI來(lái)簡(jiǎn)化3D動(dòng)態(tài)效果的制作，算力開(kāi)銷(xiāo)可不小：
以NeRF為例，想要在1440×1600像素、90Hz的VR頭盔中實(shí)現(xiàn)實(shí)時(shí)渲染，需要37 petaFLOPS（每秒10^15次浮點(diǎn)運(yùn)算）的算力——這在目前的GPU上根本不可能實(shí)現(xiàn)。
怎么降低點(diǎn)計(jì)算復(fù)雜度？
現(xiàn)在，來(lái)自?shī)W地利格拉茲科技大學(xué)和Facebook的研究人員，就想出一招：引入真實(shí)深度信息。
就這一下，很快的，推理成本最高能降低48倍，并且只用1個(gè)GPU，就能以每秒20幀的速度實(shí)現(xiàn)交互式渲染。
畫(huà)質(zhì)什么的，也沒(méi)啥影響，甚至還能有所提升：
具體是怎樣一招，咱們往下接著聊。
基于深度預(yù)言網(wǎng)絡(luò)的NeRF
首先需要說(shuō)明的是，NeRF，即神經(jīng)輻射場(chǎng)（neural radiance field）方法，是沿相機(jī)射線采樣5D坐標(biāo)，來(lái)實(shí)現(xiàn)圖像合成的。
也就是說(shuō)，在NeRF的渲染過(guò)程中，需要對(duì)每條射線都進(jìn)行網(wǎng)絡(luò)評(píng)估，以輸出對(duì)應(yīng)的顏色和體積密度值等信息。
這正是造成NeRF在實(shí)時(shí)渲染應(yīng)用中開(kāi)銷(xiāo)過(guò)大的主要原因。
而現(xiàn)在，格拉茲科技大學(xué)和Facebook的研究人員發(fā)現(xiàn)，引入真實(shí)深度信息，只考慮物體表面周?chē)闹匾獦颖荆織l視圖射線（view ray）所需的樣本數(shù)量能夠大大減少，并且不會(huì)影響到圖像質(zhì)量。
基于此，他們提出了DONeRF。
DONeRF由兩個(gè)網(wǎng)絡(luò)組成，其一，是Sampling Oracle Network，使用分類(lèi)法來(lái)預(yù)測(cè)沿視圖射線的最佳采樣位置。
具體來(lái)說(shuō)，這個(gè)深度預(yù)言網(wǎng)絡(luò)通過(guò)將空間沿射線離散化，并預(yù)測(cè)沿射線的采樣概率，來(lái)預(yù)測(cè)每條射線上的多個(gè)潛在采樣對(duì)象。
如下圖所示，3個(gè)顏色通道編碼了沿射線的3種最高采樣概率，灰度值表明其中可能只有一個(gè)表面需要被采樣，而彩色數(shù)值則表明這些樣本需要在深度上展開(kāi)。
其二，是一個(gè)著色網(wǎng)絡(luò)，使用類(lèi)似于NeRF的射線行進(jìn)累積法來(lái)提供RGBA輸出。
為了消除輸入的模糊性，研究人員還將射線轉(zhuǎn)換到了一個(gè)統(tǒng)一的空間，并使用非線性采樣來(lái)追蹤接近的區(qū)域。
另外，在兩個(gè)網(wǎng)絡(luò)之間，研究人員對(duì)局部采樣進(jìn)行扭曲，以使著色網(wǎng)絡(luò)的高頻預(yù)測(cè)被引導(dǎo)到前景上。
本文還引入了視圖單元（view cell）的概念。一個(gè)視圖單元被定義為一個(gè)具有主要方向和最大視角的邊界框。
簡(jiǎn)單來(lái)說(shuō)，這個(gè)邊界框能夠捕捉到所有源于框內(nèi)、并且在一定旋轉(zhuǎn)范圍內(nèi)的視圖射線。
利用這樣的方法，就可以對(duì)大場(chǎng)景進(jìn)行分割，解決NeRF沒(méi)有辦法應(yīng)用于大場(chǎng)景的問(wèn)題。
此外，較小的視圖單元減少了場(chǎng)景中的可見(jiàn)內(nèi)容，因此可能會(huì)進(jìn)一步提高成像質(zhì)量。
對(duì)比結(jié)果
所以，DONeRF相較于前輩NeRF，到底能快多少?
不妨直接來(lái)看對(duì)比結(jié)果。
在相似的質(zhì)量下，NeRF總共使用了256個(gè)樣本。而DONeRF只用到了4個(gè)樣本，在速度上可以實(shí)現(xiàn)20-48倍的提升。
并且在成像細(xì)節(jié)方面，DONeRF的圖像邊緣更為清晰。
研究人員還指出，在16個(gè)樣本的情況下，從峰值信噪比（PSNR）來(lái)看，幾乎所有場(chǎng)景中DONeRF都超越了NeRF。
傳送門(mén)
論文地址：
https://arxiv.org/abs/2103.03231
項(xiàng)目地址：
https://depthoraclenerf.github.io/
— 完 —
- 馬斯克收購(gòu)OpenAI新計(jì)劃實(shí)錘了：找小扎籌千億美元，果然敵人的敵人就是朋友…2025-08-23
- 標(biāo)準(zhǔn)化3D生成質(zhì)量榜單來(lái)了！首創(chuàng)層次化評(píng)價(jià)體系，告別“誰(shuí)的demo更吸睛”主觀評(píng)估2025-08-16
- 阿里閃電入局Agent Infra！智能體新基建亮相WAIC，“超級(jí)大腦”開(kāi)箱即用2025-07-31
- 世紀(jì)華通謝斐：在“三大平衡”中領(lǐng)跑，實(shí)現(xiàn)游戲行業(yè)更高質(zhì)量的發(fā)展2025-08-01
相關(guān)閱讀
Facebook推出VR版遠(yuǎn)程辦公應(yīng)用，白板共享、手勢(shì)/鍵盤(pán)追蹤等技能解鎖沉浸式開(kāi)會(huì)體驗(yàn)
讓你在家化身卡通人跟同事面對(duì)面。
聊天機(jī)器人有了長(zhǎng)期記憶，遇到不懂的還能上網(wǎng)搜索，網(wǎng)友：像極了不懂裝懂時(shí)偷偷百度的我
LeCun點(diǎn)贊，馬斯克擔(dān)憂它的三觀
