只用一張圖+相機(jī)走位，AI就能腦補(bǔ)周圍環(huán)境，來(lái)自華人團(tuán)隊(duì) | CVPR2022
AI看一眼門口，就能腦補(bǔ)出房間內(nèi)部畫面
明敏 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
站在門口看一眼，AI就能腦補(bǔ)出房間里面長(zhǎng)什么樣：
是不是有線上VR看房那味兒了？
不只是室內(nèi)效果，來(lái)個(gè)遠(yuǎn)景長(zhǎng)鏡頭航拍也是so easy：
而且渲染出的圖像通通都是高保真效果，仿佛是用真相機(jī)拍出來(lái)的一樣。
最近一段時(shí)間，用2D圖片合成3D場(chǎng)景的研究火了一波又一波。
但是過(guò)去的許多研究，合成場(chǎng)景往往都局限在一個(gè)范圍比較小的空間里。
比如此前大火的NeRF，效果就是圍繞畫面主體展開(kāi)。
這一次的新進(jìn)展，則是將視角進(jìn)一步延伸，更側(cè)重讓AI預(yù)測(cè)出遠(yuǎn)距離的畫面。
比如給出一個(gè)房間門口，它就能合成穿過(guò)門、走過(guò)走廊后的場(chǎng)景了。
目前，該研究的相關(guān)論文已被CVPR2022接收。
輸入單張畫面和相機(jī)軌跡
讓AI根據(jù)一個(gè)畫面，就推測(cè)出后面的內(nèi)容，這個(gè)感覺(jué)是不是和讓AI寫文章有點(diǎn)類似？
實(shí)際上，研究人員這次用到的正是NLP領(lǐng)域常用的Transformer。
他們利用自回歸Transformer的方法，通過(guò)輸入單個(gè)場(chǎng)景圖像和攝像機(jī)運(yùn)動(dòng)軌跡，讓生成的每幀畫面與運(yùn)動(dòng)軌跡位置一一對(duì)應(yīng)，從而合成出一個(gè)遠(yuǎn)距離的長(zhǎng)鏡頭效果。
整個(gè)過(guò)程可以分為兩個(gè)階段。
- 第一階段先預(yù)訓(xùn)練了一個(gè)VQ-GAN，可以把輸入圖像映射到token上。
VQ-GAN是一個(gè)基于Transformer的圖像生成模型，其最大特點(diǎn)就是生成的圖像非常高清。
在這部分，編碼器會(huì)將圖像編碼為離散表示，解碼器將表示映射為高保真輸出。
- 第二階段，在將圖像處理成token后，研究人員用了類似GPT的架構(gòu)來(lái)做自回歸。
具體訓(xùn)練過(guò)程中，要將輸入圖像和起始相機(jī)軌跡位置編碼為特定模態(tài)的token，同時(shí)添加一個(gè)解耦的位置輸入P.E.。
然后，token被喂給自回歸Transformer來(lái)預(yù)測(cè)圖像。
模型從輸入的單個(gè)圖像開(kāi)始推理，并通過(guò)預(yù)測(cè)前后幀來(lái)不斷增加輸入。
研究人員發(fā)現(xiàn)，并非每個(gè)軌跡時(shí)刻生成的幀都同樣重要。因此，他們還利用了一個(gè)局部性約束來(lái)引導(dǎo)模型更專注于關(guān)鍵幀的輸出。
這個(gè)局部性約束是通過(guò)攝像機(jī)軌跡來(lái)引入的。
基于兩幀畫面所對(duì)應(yīng)的攝像機(jī)軌跡位置，研究人員可以定位重疊幀，并能確定下一幀在哪。
為了結(jié)合以上內(nèi)容，他們利用MLP計(jì)算了一個(gè)“相機(jī)感知偏差”。
這種方法會(huì)使得在優(yōu)化時(shí)更加容易，而且對(duì)保證生成畫面的一致性上，起到了至關(guān)重要的作用。
實(shí)驗(yàn)結(jié)果
本項(xiàng)研究在RealEstate10K、Matterport3D數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。
結(jié)果顯示，相較于不規(guī)定相機(jī)軌跡的模型，該方法生成圖像的質(zhì)量更好。
與離散相機(jī)軌跡的方法相比，該方法的效果也明顯更好。
作者還對(duì)模型的注意力情況進(jìn)行了可視化分析。
結(jié)果顯示，運(yùn)動(dòng)軌跡位置附近貢獻(xiàn)的注意力更多。
在消融實(shí)驗(yàn)上，結(jié)果顯示該方法在Matterport3D數(shù)據(jù)集上，相機(jī)感知偏差和解耦位置的嵌入，都對(duì)提高圖像質(zhì)量和幀與幀之間的一致性有所幫助。
兩位作者均是華人
Xuanchi Ren為香港科技大學(xué)本科生。
他曾在微軟亞研院實(shí)習(xí)過(guò)，2021年暑期與Xiaolong Wang教授有過(guò)合作。
Xiaolong Wang是加州大學(xué)圣地亞哥分校助理教授。
他博士畢業(yè)于卡內(nèi)基梅隆大學(xué)機(jī)器人專業(yè)。
研究興趣有計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)和機(jī)器人等。特別自我監(jiān)督學(xué)習(xí)、視頻理解、常識(shí)推理、強(qiáng)化學(xué)習(xí)和機(jī)器人技術(shù)等領(lǐng)域。
論文地址：
https://xrenaa.github.io/look-outside-room/
相關(guān)閱讀
圓圈在動(dòng)嗎？這個(gè)騙過(guò)人眼的動(dòng)圖火了，LeCun解釋原理：和CNN對(duì)抗攻擊類似
「類似CNN的結(jié)構(gòu)都有盲點(diǎn)」
Meta AI推出“雜食者”：一個(gè)模型搞定圖像、視頻和3D數(shù)據(jù)三大分類任務(wù)，性能還不輸獨(dú)立模型
在ImageNet上精度達(dá)86.0%
加強(qiáng)版CycleGAN！賈佳亞等提出卡通圖與真實(shí)人臉轉(zhuǎn)換模型，看女神突破次元壁長(zhǎng)啥樣
動(dòng)漫女神沖破了次元壁之后，變成了這個(gè)樣子→
