美圖秀秀又有P圖黑科技：上GAN修老照片，消除人臉馬賽克，在線就能體驗(yàn)

乾明 2019-09-05 13:22:48 來源：量子位

乾明 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號 QbitAI

美圖秀秀，現(xiàn)在P圖新增最新黑科技。

一言以蔽之，不服就GAN（生成對抗網(wǎng)絡(luò)）。

不僅能夠照片模糊、失焦等問題，還能去掉馬賽克。

當(dāng)然，也會(huì)順手幫你美顏。

比如，這是一張20年前的圖片，流傳至今已經(jīng)變得模糊了。P圖后，效果是這樣的：

圖片是不模糊了，但是這個(gè)美顏效果……Emmm

甚至打上馬賽克，它也能給你把皮膚“磨得”相對來說比較平整。

這就是美圖最近推出的“老照片修復(fù)”功能，能夠取得這樣的效果，不僅僅只是靠傳統(tǒng)P圖算法，還用上了GAN。

用GAN來P圖

美圖的GAN，名為BeautyGAN，由美圖影像實(shí)驗(yàn)室MTlab研發(fā)。

主要用于解決圖片被壓縮，或者夜拍、抓拍或是抖動(dòng)造成的照片模糊或者失焦等問題。

修復(fù)一張照片通常分兩步：人像修復(fù)和畫質(zhì)增強(qiáng)。

人像修復(fù)

人像修復(fù)基本上對人臉進(jìn)行修復(fù)，包括人臉裁框和臉部生成修復(fù)。

實(shí)現(xiàn)人臉裁框方面，美圖舍棄了以往單純利用眼睛間距來裁切人臉的方式，而采用最小包圍盒矩形框來裁切人臉，具體來說是這樣的：

先用目前成熟的基于CNN的人臉檢測和人臉對齊方法獲得圖像中的人臉點(diǎn)集，計(jì)算其外接矩形，向外拓展得到人臉的裁切矩形。

然后通過人臉的裁切矩形，獲得人臉的旋轉(zhuǎn)角度，從原圖中裁取擺正后的人臉圖像。

臉部修復(fù)，就是GAN發(fā)揮作用的地方。

美圖介紹稱，人臉生成存在五官變形、丟失遮擋(如手、劉海等)信息等，導(dǎo)致大部分深度學(xué)習(xí)生成的人臉和真實(shí)人臉存在較大差距，生成的臉一眼就能看出來是假的。

還好StyleGAN出現(xiàn)了，借用圖像風(fēng)格遷移能生成逼真人臉。但這僅僅只是生成，并不能實(shí)現(xiàn)一對一的人臉修復(fù)。

為了用StyleGAN，美圖為其設(shè)計(jì)了一個(gè)編碼器-解碼器網(wǎng)絡(luò)形式。

他們說，在這個(gè)過程中，如果想復(fù)用編碼器中的featuremap，保留臉部的五官特征，避免發(fā)生變形，就需要將其和解碼器對應(yīng)大小的featuremap連接起來。

與以往采用加的連接形式，美圖采用的是concat的方式，可保留編碼器結(jié)構(gòu)的部分featuremap，避免臉部嚴(yán)重變形或者丟失臉部遮擋(如手、劉海等)的信息。

實(shí)際的操作過程，是在網(wǎng)絡(luò)中，輸入一張s x s的圖，經(jīng)過五次下采樣，得到一張大小s32 x s32的featuremap，再經(jīng)5次上采樣，生成一張大小為S x S的修復(fù)臉部圖。

為了進(jìn)一步增強(qiáng)BeautyGAN的生成能力，美圖還借助了StyleGAN的訓(xùn)練方式。

首先，他們訓(xùn)練了解碼器的生成能力，即輸入一個(gè)大小為s32 x s32的隨機(jī)向量，通過逐層的上采樣加上concat的隨機(jī)向量，最終生成一張s x s大小的人臉，確保生成的人臉看不出真假。

上述的解碼器網(wǎng)絡(luò)結(jié)構(gòu)就是一個(gè)生成器，然后加上判別器，就構(gòu)成了美圖的BeautyGAN。

美圖表示，直到解碼器結(jié)構(gòu)訓(xùn)練穩(wěn)定具備生成人臉的能力后，才會(huì)與編碼器結(jié)構(gòu)合并，并進(jìn)行整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)的訓(xùn)練。

人像修復(fù)之后，就會(huì)進(jìn)入下一階段。

畫質(zhì)增強(qiáng)

美團(tuán)表示，在這個(gè)過程中，分辨率比較高的圖片在進(jìn)行全圖去噪等操作時(shí)，比較耗時(shí)間。

為了提高計(jì)算效率，他們將待修復(fù)圖縮小到一定尺度，再進(jìn)行分塊、去噪等修復(fù)操作。然后通過guided-filter網(wǎng)絡(luò)結(jié)構(gòu)的畫質(zhì)增強(qiáng)方案恢復(fù)為原始分辨率。

之后，再利用超分辨率網(wǎng)絡(luò)，最終使得畫質(zhì)整體變得更加清晰。

至此，整個(gè)圖像的處理流程也就大致明了。

美圖影像實(shí)驗(yàn)室MTlab

最后，簡單介紹下這次技術(shù)背后的美圖影像實(shí)驗(yàn)室MTlab。

美圖影像實(shí)驗(yàn)室（MTlab）成立于2010年。2014年正式獨(dú)立，目標(biāo)是利用不斷累計(jì)的圖像數(shù)據(jù)，訓(xùn)練出更加精準(zhǔn)的機(jī)器算法，利用算法提供更多服務(wù)。

目前，核心技術(shù)服務(wù)有人臉技術(shù)、3D技術(shù)、肢體檢測、圖像恢復(fù)、圖像增強(qiáng)、增強(qiáng)現(xiàn)實(shí)、圖像分割、影像生成、極致美顏、美妝技術(shù)、AI測膚等11項(xiàng)。

根據(jù)官方網(wǎng)站介紹，自2015年以來，美圖影像實(shí)驗(yàn)室已經(jīng)發(fā)表20多篇論文，其中不乏ICCV、ECCV、CVPR等計(jì)算機(jī)視覺領(lǐng)域的頂級學(xué)術(shù)會(huì)議。而且，在今年的CVPR和ICCV上的競賽中，也都獲得了有冠軍。

基于MTlab，美圖在2019年4月推出AI開放平臺，對外進(jìn)行解決方案輸出，已經(jīng)有用寶潔、屈臣氏、歐萊雅、絲芙蘭、淘寶、百度等多家公司使用。

現(xiàn)在美圖影像實(shí)驗(yàn)室MTlab的負(fù)責(zé)人是萬鵬飛，博士畢業(yè)于香港科技大學(xué)ECE系，本科畢業(yè)于中國科學(xué)技術(shù)大學(xué)EEIS系。研究方向主要包括計(jì)算機(jī)視覺和計(jì)算成像。

One more thing…..

還是溫馨提示一下吧。

美圖這只AI，雖然能夠去掉馬賽克，但比較重的馬賽克，效果并不太理想。

而且也只能去掉人臉上的馬賽克，連沸羊羊就不行：

看，根本沒啥效果……

所以，有大膽想法的小伙伴們，也不是想GAN就能GAN的。