美圖秀秀又有P圖黑科技：上GAN修老照片，消除人臉馬賽克，在線就能體驗

乾明 2019-09-05 13:22:48 來源：量子位

乾明 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

美圖秀秀，現(xiàn)在P圖新增最新黑科技。

一言以蔽之，不服就GAN（生成對抗網(wǎng)絡）。

不僅能夠照片模糊、失焦等問題，還能去掉馬賽克。

當然，也會順手幫你美顏。

比如，這是一張20年前的圖片，流傳至今已經(jīng)變得模糊了。P圖后，效果是這樣的：

圖片是不模糊了，但是這個美顏效果……Emmm

甚至打上馬賽克，它也能給你把皮膚“磨得”相對來說比較平整。

這就是美圖最近推出的“老照片修復”功能，能夠取得這樣的效果，不僅僅只是靠傳統(tǒng)P圖算法，還用上了GAN。

用GAN來P圖

美圖的GAN，名為BeautyGAN，由美圖影像實驗室MTlab研發(fā)。

主要用于解決圖片被壓縮，或者夜拍、抓拍或是抖動造成的照片模糊或者失焦等問題。

修復一張照片通常分兩步：人像修復和畫質(zhì)增強。

人像修復

人像修復基本上對人臉進行修復，包括人臉裁框和臉部生成修復。

實現(xiàn)人臉裁框方面，美圖舍棄了以往單純利用眼睛間距來裁切人臉的方式，而采用最小包圍盒矩形框來裁切人臉，具體來說是這樣的：

先用目前成熟的基于CNN的人臉檢測和人臉對齊方法獲得圖像中的人臉點集，計算其外接矩形，向外拓展得到人臉的裁切矩形。

然后通過人臉的裁切矩形，獲得人臉的旋轉(zhuǎn)角度，從原圖中裁取擺正后的人臉圖像。

臉部修復，就是GAN發(fā)揮作用的地方。

美圖介紹稱，人臉生成存在五官變形、丟失遮擋(如手、劉海等)信息等，導致大部分深度學習生成的人臉和真實人臉存在較大差距，生成的臉一眼就能看出來是假的。

還好StyleGAN出現(xiàn)了，借用圖像風格遷移能生成逼真人臉。但這僅僅只是生成，并不能實現(xiàn)一對一的人臉修復。

為了用StyleGAN，美圖為其設計了一個編碼器-解碼器網(wǎng)絡形式。

他們說，在這個過程中，如果想復用編碼器中的featuremap，保留臉部的五官特征，避免發(fā)生變形，就需要將其和解碼器對應大小的featuremap連接起來。

與以往采用加的連接形式，美圖采用的是concat的方式，可保留編碼器結(jié)構(gòu)的部分featuremap，避免臉部嚴重變形或者丟失臉部遮擋(如手、劉海等)的信息。

實際的操作過程，是在網(wǎng)絡中，輸入一張s x s的圖，經(jīng)過五次下采樣，得到一張大小s32 x s32的featuremap，再經(jīng)5次上采樣，生成一張大小為S x S的修復臉部圖。

為了進一步增強BeautyGAN的生成能力，美圖還借助了StyleGAN的訓練方式。

首先，他們訓練了解碼器的生成能力，即輸入一個大小為s32 x s32的隨機向量，通過逐層的上采樣加上concat的隨機向量，最終生成一張s x s大小的人臉，確保生成的人臉看不出真假。

上述的解碼器網(wǎng)絡結(jié)構(gòu)就是一個生成器，然后加上判別器，就構(gòu)成了美圖的BeautyGAN。

美圖表示，直到解碼器結(jié)構(gòu)訓練穩(wěn)定具備生成人臉的能力后，才會與編碼器結(jié)構(gòu)合并，并進行整個網(wǎng)絡結(jié)構(gòu)的訓練。

人像修復之后，就會進入下一階段。

畫質(zhì)增強

美團表示，在這個過程中，分辨率比較高的圖片在進行全圖去噪等操作時，比較耗時間。

為了提高計算效率，他們將待修復圖縮小到一定尺度，再進行分塊、去噪等修復操作。然后通過guided-filter網(wǎng)絡結(jié)構(gòu)的畫質(zhì)增強方案恢復為原始分辨率。

之后，再利用超分辨率網(wǎng)絡，最終使得畫質(zhì)整體變得更加清晰。

至此，整個圖像的處理流程也就大致明了。

美圖影像實驗室MTlab

最后，簡單介紹下這次技術(shù)背后的美圖影像實驗室MTlab。

美圖影像實驗室（MTlab）成立于2010年。2014年正式獨立，目標是利用不斷累計的圖像數(shù)據(jù)，訓練出更加精準的機器算法，利用算法提供更多服務。

目前，核心技術(shù)服務有人臉技術(shù)、3D技術(shù)、肢體檢測、圖像恢復、圖像增強、增強現(xiàn)實、圖像分割、影像生成、極致美顏、美妝技術(shù)、AI測膚等11項。

根據(jù)官方網(wǎng)站介紹，自2015年以來，美圖影像實驗室已經(jīng)發(fā)表20多篇論文，其中不乏ICCV、ECCV、CVPR等計算機視覺領域的頂級學術(shù)會議。而且，在今年的CVPR和ICCV上的競賽中，也都獲得了有冠軍。

基于MTlab，美圖在2019年4月推出AI開放平臺，對外進行解決方案輸出，已經(jīng)有用寶潔、屈臣氏、歐萊雅、絲芙蘭、淘寶、百度等多家公司使用。

現(xiàn)在美圖影像實驗室MTlab的負責人是萬鵬飛，博士畢業(yè)于香港科技大學ECE系，本科畢業(yè)于中國科學技術(shù)大學EEIS系。研究方向主要包括計算機視覺和計算成像。

One more thing…..

還是溫馨提示一下吧。

美圖這只AI，雖然能夠去掉馬賽克，但比較重的馬賽克，效果并不太理想。

而且也只能去掉人臉上的馬賽克，連沸羊羊就不行：

看，根本沒啥效果……

所以，有大膽想法的小伙伴們，也不是想GAN就能GAN的。