GAN和PS合體會怎樣？東京大學(xué)圖像增強(qiáng)新研究：無需配對圖像，增強(qiáng)效果還可解釋

十三 2019-12-22 13:30:57 來源：量子位

十三 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI

GAN和PS合體，會擦出怎樣的火花？

在讓圖像變美的這條道路上，方法可謂是層出不窮。

過去，若是有大量的原始圖像和增強(qiáng)圖像，那么我們就可以用類似CNN的方法進(jìn)行訓(xùn)練，來讓圖像變得更美。

但在現(xiàn)實(shí)中，成對的圖像并沒有那么多。于是，像CycleGAN這樣方法就誕生了。

然而，我們都知道，生成對抗網(wǎng)絡(luò)的過程就像一個黑盒子，人們無法手動調(diào)節(jié)細(xì)節(jié)部分，以及輸出圖像的分辨率也有限制。

于是乎，來自東京大學(xué)的研究人員想出了一個辦法——讓GAN和PS軟件做個合體。

我們在PS美化圖片的時候，會對圖像的參數(shù)進(jìn)行一些設(shè)置。

研究人員提出的這個方法是一個強(qiáng)化學(xué)習(xí)框架，讓GAN和PS做結(jié)合，這樣就可以用PS美化圖像的參數(shù)，以及在不需要大量成對圖像的情況下，輸出較好的結(jié)果。

圖像集無需成對，效果逼近專業(yè)水平

話不多說，先來看看這個強(qiáng)化學(xué)習(xí)框架的效果吧！

實(shí)驗(yàn)主要是從兩方面進(jìn)行，一是圖片增強(qiáng)，二是人臉美化。

圖片增強(qiáng)(Photo Enhancement)

在這個實(shí)驗(yàn)中，研究人員采用的數(shù)據(jù)集是MIT-Adobe 5K。

這個數(shù)據(jù)集包含了5000張圖片，每張照片都由5位專家處理過。

為了呈現(xiàn)不成對的圖像集，研究人員將其中的2250張?jiān)紙D像和2250張不重疊且修飾過的圖像作為訓(xùn)練集，另外500張作為測試集。

△在MIT-Adobe 5K數(shù)據(jù)集上，不同方法間的定量比較

研究人員首先進(jìn)行了定量比較。

和提出的強(qiáng)化學(xué)習(xí)框架做比較的，是其他一些無需成對圖像集的現(xiàn)有方法，例如CycleGAN。

從上表的實(shí)驗(yàn)數(shù)據(jù)可以看出，無論是大圖還是小圖，在PSNR和SSIM這兩個評測指標(biāo)方面多取得了最優(yōu)結(jié)果。

△在MIT-Adobe 5K數(shù)據(jù)集的一張測試圖像上，不同方法間的定性比較

接下來是定性比較。

此處，使用了Adobe Lightroom中提供的“auto white-balance”和“auto-tone adjustment”功能，研究人員將其命名為Lightroom (auto)。

如上圖所示，Lightroom (auto)會讓顏色變暗，CycleGAN會讓天空和建筑之間的邊界產(chǎn)生偽影，Exposure會讓圖像過度曝光，D&R輸出的圖像比目標(biāo)圖像稍微暗一些。

而研究人員的方法更加接近上圖(h)中專家修飾過的圖像。

值得注意的是，雖然DPE的方法也比較接近，但在定量實(shí)驗(yàn)中會表現(xiàn)出尺度敏感性。

人臉美化(Face Beautification)

第二個實(shí)驗(yàn)就是對人臉照片進(jìn)行美化。

在這個實(shí)驗(yàn)中所用到的數(shù)據(jù)集是SCUTFBP5500，共包含5500人臉圖像以及附帶的“顏值評分”。

研究人員假定評分前1500的是“高顏值”人臉照片，其他的便是顏值不那么高的人臉照片。

△在SCUT-FBP5500數(shù)據(jù)集上的定性比較

同樣，先做的是定性實(shí)驗(yàn)。

作比較的方法包括ResGAN、CycelGAN、DFI和Facelet，這些方法都使用CNN來處理人臉圖像。

從上圖的實(shí)驗(yàn)結(jié)果不難看出，ResGAN只能產(chǎn)生眼部周圍的偽影。后三者雖然試圖讓人臉看著更好看些，但是痕跡過于明顯。

而這個強(qiáng)化學(xué)習(xí)框架的效果，會讓人臉美化得更加自然。

GAN和PS如何做結(jié)合?

研究人員提出的強(qiáng)化學(xué)習(xí)框架如下圖所示。

判別器D的訓(xùn)練過程和一般GAN中的判別器是一樣的。

也就是說，判別器D是用來學(xué)習(xí)將生成圖像和真實(shí)圖像作區(qū)分。

而生成器將原始圖像作為輸入，并輸出一些參數(shù)，提供給PS軟件。

由于PS軟件是不可微分的，所以研究人員利用強(qiáng)化學(xué)習(xí)來訓(xùn)練生成器。

值得注意的是，在現(xiàn)有的圖像處理RL方法中，agent接收圖像后按順序決定操作，而這個方法的agent接收圖像并只選擇一個操作。

于是，這個方法的生成器和判別器分別如下所示。

研究人員交替地訓(xùn)練判別器和生成器，并且還創(chuàng)建了一個緩沖區(qū)(replay buffer)，用于保存訓(xùn)練過程中生成的圖像。

研究小結(jié)

總的來說，這項(xiàng)研究所提出的強(qiáng)化學(xué)習(xí)框架，解決了如下問題：

由于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的原因，生成圖像會存在一些偽影；
在不配對圖像增強(qiáng)方法中，生成的圖像分辨率有限；
增強(qiáng)效果無法解釋。

而這個RL框架，可以有效的將GAN和PS進(jìn)行結(jié)合，從而得到更好的圖像增強(qiáng)效果。

傳送門

論文地址：

https://arxiv.org/pdf/1912.07833.pdf

—?完?—