騰訊優(yōu)圖13篇論文入選ICCV2019，涉及2D圖像多視圖生成等研究

允中 2019-10-27 13:47:25 來源：量子位

允中 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號 QbitAI

兩年一度AI頂會ICCV已經(jīng)召開，今年在韓國首爾舉辦。

隨著論文收錄名單揭曉，大會也進(jìn)入放榜收獲時(shí)刻。

騰訊旗下頂級視覺研發(fā)平臺騰訊優(yōu)圖，官宣有13篇論文入選，居業(yè)界實(shí)驗(yàn)室前列，其中3篇被選做口頭報(bào)告（Oral），該類論文占總投稿數(shù)的4.3%（200/4323）。

ICCV——國際計(jì)算機(jī)視覺大會，英文全稱International Conference on Computer Vision。

被譽(yù)為計(jì)算機(jī)視覺領(lǐng)域三大頂級會議之一，與CVPR和ECCV并列，錄用率非常低，其論文集代表了計(jì)算機(jī)視覺領(lǐng)域最新的發(fā)展方向和水平。

本屆ICCV共收到4323篇論文投稿，其中1075篇被錄用，錄取率25%。

而優(yōu)圖入圍的13篇論文中，涉及2D圖像多視圖生成、人臉照片的圖像轉(zhuǎn)換等喜聞樂見研究。

我們選取其中代表性的2篇初步解析，2篇均有賈佳亞教授參與，詳細(xì)論文見傳送門。

2篇論文

基于視角無關(guān)特征的多視圖對抗生成框架

View Independent Generative Adversarial Network for Novel View Synthesis

本論文與香港中文大學(xué)合作完成，論文入選Oral。

2D圖像的多視圖生成任務(wù)，指的是基于單張2D圖像，生成其不同視角下的圖像信息。

此類方法可以在不涉及復(fù)雜的三維重建的基礎(chǔ)上，實(shí)現(xiàn)多個(gè)視角下的信息的合成觀察。

例如下圖中給定特定視角的2D圖像，可以生成其他各個(gè)視角的圖像信息：

該論文提出了一種適用于此類任務(wù)的對抗生成框架，旨在通過結(jié)合圖像對應(yīng)的相機(jī)參數(shù)信息，實(shí)現(xiàn)對于多類物體均適用的多視角轉(zhuǎn)換框架。

長遠(yuǎn)來看，這項(xiàng)技術(shù)的應(yīng)用有望讓普通的2D視頻也能實(shí)現(xiàn)3D觀感，就像在電影院觀看的3D電影一樣。

現(xiàn)有的多視圖生成任務(wù)中，當(dāng)前基于生成模型的方法將預(yù)先提取輸入圖像中與視角信息無關(guān)的特征，而后將視角信息相關(guān)的參數(shù)作用于此特征，進(jìn)而得到生成的結(jié)果。

該論文中，作者使用此種思路，配合以多種損失函數(shù)的設(shè)置，利用相機(jī)參數(shù)加上圖像信息來得到與視角無關(guān)的特征。

相比于現(xiàn)有的方法，該方法適用于連續(xù)相機(jī)參數(shù)下的多視圖生成，并不限制于數(shù)個(gè)固定的視角。

除了合成視圖與監(jiān)督信息之間的損失函數(shù)之外，本文提出使用一種基于循環(huán)生成的重建損失函數(shù)，來提升合成視圖的準(zhǔn)確性；同時(shí)借鑒目前的對抗生成技術(shù)，從圖像本身的生成分布，與圖像的姿態(tài)準(zhǔn)確性保證兩方面出發(fā)，提出兩個(gè)不同作用的對抗學(xué)習(xí)損失，以提升生成圖像的質(zhì)量和合成視圖的姿態(tài)準(zhǔn)確度。

該框架可以適用于不同類別的物體。

首先是人臉在預(yù)先設(shè)定的有限數(shù)目的視角之間的轉(zhuǎn)換結(jié)果。最左邊是輸入的2D圖像，箭頭右側(cè)均為生成的，不同視角下的結(jié)果。

應(yīng)對其他一般的物體。通過在Shape-Net這個(gè)數(shù)據(jù)集上的多個(gè)類別物體作為數(shù)據(jù)，得到以下結(jié)果：

通過在多個(gè)類別的物體上進(jìn)行多視圖生成任務(wù)，利用多個(gè)定量定性指標(biāo)來進(jìn)行評價(jià)，證明該方法具有通用性，且在多個(gè)類別任務(wù)上表現(xiàn)良好。

基于屬性自光流域的非監(jiān)督圖像轉(zhuǎn)換算法

Attribute-Driven Spontaneous Motion in Unpaired Image Translation

△微笑表情轉(zhuǎn)換結(jié)果圖。從左到右依次為:輸入、StarGAN結(jié)果、該論文結(jié)果

本論文與香港中文大學(xué)、哈工大深圳研究院合作完成。

人臉照片隨著社交軟件的普及被大幅度地應(yīng)用于各種社交應(yīng)用中，而人臉照片的自動化編輯一方面作為社交軟件的娛樂應(yīng)用促進(jìn)了社交用戶的交流，另一方面也幫助用戶對人臉照片進(jìn)行快速的自動化編輯。

由于深度學(xué)習(xí)的興起，基于深度神經(jīng)網(wǎng)絡(luò)的圖像轉(zhuǎn)換(Image translation)技術(shù)常常被應(yīng)用于圖像編輯任務(wù)上。

現(xiàn)有的圖像變換算法主要基于生成對抗神經(jīng)網(wǎng)絡(luò)，這些算法盡管能生成較高分辨率的圖像，但由于它們較少考慮圖像之間的幾何變形關(guān)系，轉(zhuǎn)換后的圖像往往包含許多瑕疵和失真，尤其是在原圖像域和目標(biāo)圖像域幾何結(jié)構(gòu)不一致的情況下。

本論文提出了SPM（自光流模塊），希望通過學(xué)習(xí)不同圖像域間的光流解決圖像的幾何變換問題。

其框架以傳統(tǒng)的生成器-判別器作為基礎(chǔ)，其中，生成器用于生成更好的圖像，而判別器用于判別生成器生成圖像的質(zhì)量好壞。

此外，他們在生成器的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)上做出擴(kuò)展以適應(yīng)圖像轉(zhuǎn)換之中的幾何變換。

擴(kuò)展后的生成器包含兩個(gè)主要模塊，自光流模塊SPM和微調(diào)模塊R。

最后，該論文還引入了從低分辨率圖像到高分辨率的生成方案。

△整體框架圖

本文提出的自光流模塊，通過輸入原圖像和目標(biāo)屬性,自光流域模塊旨在預(yù)測光流，并利用光流對原圖像采用變形操作得到中間結(jié)果圖像。

該論文利用一個(gè)編碼-解碼網(wǎng)絡(luò)作為該模塊的主要結(jié)構(gòu)，其中他們主要考慮了網(wǎng)絡(luò)結(jié)構(gòu)、域分類器、微調(diào)模塊、殘差結(jié)構(gòu)、注意力掩碼幾方面的設(shè)計(jì)。

同時(shí)，為了產(chǎn)生更高分辨率的圖像，該論文采用了一種新穎的粗到細(xì)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練策略。

在訓(xùn)練好低分辨的神經(jīng)網(wǎng)絡(luò)后會有許多中間結(jié)果的低分辨率表示。

具體地，低分辨率的自光流域w殘差r以及注意力掩碼m是已知的。為了得到它們的高分辨率表示，首先對它們進(jìn)行雙線性插值上采樣到分辨率更高的w, r以及m。

但是通過雙線性插值的上采樣所得到的結(jié)果往往是模糊的，因此對于這三個(gè)變量他們引入了三個(gè)小的增強(qiáng)神經(jīng)網(wǎng)絡(luò)對上采樣的結(jié)果進(jìn)行微調(diào)。

利用微調(diào)后的高分辨率中間結(jié)果，我們即可對高分辨率的輸入圖像進(jìn)行處理和轉(zhuǎn)換，并最后得到相應(yīng)的高分辨轉(zhuǎn)換結(jié)果。

如圖所示，RaFD數(shù)據(jù)集上的圖像轉(zhuǎn)換結(jié)果，從左到右依次為:輸入、憤怒、驚恐、開心（后三個(gè)為算法生成結(jié)果）。

本論文通過提出自光流模塊，將圖像域間的幾何變換顯式地引入到了圖像轉(zhuǎn)換框架中。算法主要在CelebA-HQ和RaFD數(shù)據(jù)集上進(jìn)行驗(yàn)證，其結(jié)果相比于現(xiàn)有算法都有一定的提升。

其各部分的實(shí)驗(yàn)充分證明了該框架的有效性，并且取得了很好的圖像轉(zhuǎn)換效果。

這一框架也給解決圖像轉(zhuǎn)換中的幾何變換問題提供了新的解決思路。

傳送門：

基于視角無關(guān)特征的多視圖對抗生成框架

http://jiaya.me/papers/vigan_iccv19.pdf

基于屬性自光流域的非監(jiān)督圖像轉(zhuǎn)換算法

https://arxiv.org/abs/1907.01452