古典人像秒變3D，視角還能隨意切，華為&上交聯(lián)手出品

明敏 2021-10-30 18:27:11 來源：量子位

明敏 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

如果讓GAN生成的逼真人像變成3D版，會怎樣？

仿佛有攝像機(jī)對著人像直拍，正面、側(cè)面、仰視、俯視不同角度都能展現(xiàn)。

真的有種人要從畫中走出來那味兒了。

而且，這些效果都是由靜態(tài)單視角圖片生成的！

甚至能讓卡通人像立體起來。

這就是上海交通大學(xué)和華為的最新研究：CIPS-3D。

它是一種基于GAN的3D感知生成器，只用原始單視角圖像，無需任何上采樣，就能生成分辨率256×256的清晰圖像。

并且創(chuàng)下3D感知圖像合成的新記錄，F(xiàn)ID僅為6.97。

現(xiàn)在，這個項(xiàng)目在GitHub上已有200+星，作者已將源代碼開源，訓(xùn)練配置文件將在后續(xù)發(fā)布。

搞定鏡像對稱

在高清人臉數(shù)據(jù)集FFHQ上，CIPS-3D的表現(xiàn)可以說非常nice，連古典畫都能變成立體版。

當(dāng)然也能搞定不同動物的face。

看到圖像從2D直接變成3D，可能有人已經(jīng)想到了谷歌大名鼎鼎的NeRF。

它只需要輸入少量靜態(tài)圖片，就能做到多視角的逼真3D效果。

而這次的CIPS-3D，也是基于NeRF開發(fā)。

它主要用到了兩個網(wǎng)絡(luò)：NeRF和INR（隱式神經(jīng)表示法，Implicit Neural Representations）。

淺層是NeRF，它主要負(fù)責(zé)把人像從2D變?yōu)?D。

它將場景的體積表示優(yōu)化為向量函數(shù)，輸入為3D位置坐標(biāo)和視圖方向。

具體而言，就是沿相機(jī)射線采樣信息，來合成圖像。

然后，將這樣的場景表示參數(shù)化為一個完全連接深度網(wǎng)絡(luò)（MLP），輸出對應(yīng)的顏色和體積密度值。

為了獲得更為準(zhǔn)確的3D圖像，往往需要對每條光線上多點(diǎn)采樣，這也就造成NeRF所需的內(nèi)存非常大。

因此，如果神經(jīng)網(wǎng)絡(luò)中只用NeRF，就會限制網(wǎng)絡(luò)的深度，導(dǎo)致生成圖像模糊、缺乏細(xì)節(jié)。

△第一列為NeRF生成，第二列為INR生成

所以在CIFS-3D中，研究人員將深層網(wǎng)絡(luò)設(shè)置為INR，讓它負(fù)責(zé)合成高保真的圖像。

這種方法也能將各種信號參數(shù)化，輸出RGB值。

而且由于不再與空間分辨率耦合，它可以對任意空間分辨率進(jìn)行采樣。

論文中也提到，該方法也沒有任何上采樣。

但是受限于CPU內(nèi)存，如果直接訓(xùn)練高分辨率圖像會有一定難度，為此研究人員提出了一種部分梯度反向傳播的方法。

在訓(xùn)練時，該方法僅對隨機(jī)采樣中的綠色光線進(jìn)行梯度反向傳播計(jì)算，其余光線則不計(jì)算。

解決了3D化問題，還能保證高保真，你以為這就結(jié)束了？

NO、NO、NO

在研究過程中，工作人員發(fā)現(xiàn)CIPS-3D還存在鏡像對稱問題。

這種現(xiàn)象其實(shí)在許多3D GAN中都存在，比如GIRAFFE、StyleNeRF。

比如在下面這個案例中，初始單角度圖像的劉海是偏左的，但是生成的不同角度圖像中，劉海會隨著視角的變化而變化，就像是鏡像一樣。

出現(xiàn)這樣的問題，是因?yàn)镹eRF網(wǎng)絡(luò)輸入的坐標(biāo)就有存在鏡像對稱。

比如圖中a、c兩點(diǎn)的坐標(biāo)就是完全鏡像對稱的關(guān)系。

這對于生成完全對稱的物體而言沒什么問題。

但是放在只給側(cè)面角度的人像上來說，可能就是一場災(zāi)難。

為此，研究人員在神經(jīng)網(wǎng)絡(luò)中添加了一個鑒別器（discriminator），讓它來輔助鑒別這種問題。

最后結(jié)果表明，與其他可生成3D人像的方法相比，F(xiàn)ID、KID值明顯降低，這兩個值越低意味著生成圖像質(zhì)量越好。

團(tuán)隊(duì)介紹

值得一提的是，該論文通訊作者為田奇。

2010-2015年于美國伊利諾伊大學(xué)香檳分校新加坡高等研究院擔(dān)任研究科學(xué)家。

發(fā)表文章約550余篇，包括250+ IEEE TPAMI、IJCV、CVPR/ICCV/ECCV、NeurIPS等國際頂級期刊和會議。

2018年加入華為云，研究主要方向?yàn)橛?jì)算機(jī)視覺、自然語言處理和語音交互。

華為謝凌曦博士、上海交通大學(xué)倪冰冰教授也參與了此次研究。

謝凌曦，本科博士均畢業(yè)于清華大學(xué)計(jì)算機(jī)專業(yè)，專長計(jì)算機(jī)視覺、自動機(jī)器學(xué)習(xí)。目前為華為高級研究員。

倪冰冰，現(xiàn)為上海交通大學(xué)電子系特別研究員/長聘教軌副教授，博士生導(dǎo)師。

本科畢業(yè)于上海交通大學(xué)電子工程系，之后赴新加坡國立大學(xué)攻讀博士。

博士期間，先后在微軟亞洲研究院和谷歌公司美國總部工作，擔(dān)任算法科學(xué)家。

2010-2015年于美國伊利諾伊大學(xué)香檳分校新加坡高等研究院擔(dān)任研究科學(xué)家。

研究方向?yàn)橛?jì)算機(jī)視覺、機(jī)器學(xué)習(xí)等。

本項(xiàng)研究已經(jīng)由論文一作Peng Zhou（上海交通大學(xué)）上傳至其GitHub主頁，感興趣的童鞋可以前去圍觀~

論文地址：
https://arxiv.org/abs/2110.09788

GitHub地址：
https://github.com/PeterouZh/CIPS-3D