Adobe把GAN搞成了縫合怪，憑空P出1024分辨率全身人像 | CVPR 2022
提出一種結(jié)合多個(gè)預(yù)訓(xùn)練的GAN進(jìn)行圖像生成的新方法
博雯 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
換臉見(jiàn)多了，換身材的見(jiàn)過(guò)嗎？
給定一張臉，就能自動(dòng)換一個(gè)下半身，服飾、身材、膚色都毫無(wú)PS痕跡：
核心技術(shù)當(dāng)然還是我們熟悉的GAN，但不同的是，現(xiàn)在身體的每個(gè)部分都能被PS了。
從臉，膚色、服飾、頭發(fā)等身體各個(gè)部位，甚至到肢體動(dòng)作，都能被隨意設(shè)計(jì)和組合，最終“縫”成一張1024 × 1024分辨率的全身照片：
而且這張“縫合怪”還完全沒(méi)有拼接行為帶來(lái)的陰影和邊界：
△上方的面部由新方法生成，陰影邊界很少
怎么做到的？把用于生成人體不同部位的GAN“拼”起來(lái)。
這就是Adobe團(tuán)隊(duì)最新提出的一種結(jié)合多個(gè)預(yù)訓(xùn)練的GAN進(jìn)行圖像生成的新方法，論文目前已被CVPR 2022接收：
接下來(lái)就一起來(lái)看看他們到底是如何實(shí)現(xiàn)的。
用PS的方式GAN出個(gè)人體
如我們開(kāi)頭所說(shuō)，這是一種將多個(gè)GAN拼接起來(lái)使用的方法，研究團(tuán)隊(duì)將其稱之為InsetGAN。
共分為兩類GAN：
- 全身GAN?（Full-Body GAN），基于中等質(zhì)量的數(shù)據(jù)進(jìn)行訓(xùn)練并生成一個(gè)人體。
- 部分GAN，其中包含了多個(gè)針對(duì)臉部、手、腳等特定部位進(jìn)行訓(xùn)練的GAN。
這兩類GAN的合作方式類似于PS：全身GAN是一張已經(jīng)有打底線稿的畫(huà)布，而部分GAN則是一張一張疊在上面的圖層。
但不同邊界的“圖層”在疊到畫(huà)布上時(shí)，一定會(huì)有出現(xiàn)對(duì)齊問(wèn)題。
比如，將一張臉添加到身體上時(shí)，在膚色的一致性、衣服邊界和頭發(fā)披散的自然性上可能出現(xiàn)細(xì)節(jié)的扭曲和丟失，或出現(xiàn)偽影（Artifacts）：
如何才能更好地協(xié)調(diào)多個(gè)GAN，讓它們產(chǎn)生一致的像素呢？
研究團(tuán)隊(duì)設(shè)計(jì)了這樣一種架構(gòu)：
他們首先引入了一個(gè)邊界框檢測(cè)器，檢測(cè)部分GAN生成的特定區(qū)域在底層畫(huà)布，也就是全身GAN生成的區(qū)域中的位置，經(jīng)過(guò)裁剪后再將特定區(qū)域嵌入。
這一過(guò)程相當(dāng)于找到了兩個(gè)區(qū)域之間的一種隨機(jī)潛碼?（latent code），使得所選區(qū)域的邊界能夠和嵌入?yún)^(qū)域相匹配，以實(shí)現(xiàn)無(wú)縫合成。
同時(shí)，他們還會(huì)對(duì)這兩個(gè)區(qū)域進(jìn)行下采樣（Downsample），再次增加圖像像素內(nèi)容的一致性。
基于這種方法，InsetGAN可以在訓(xùn)練后生成多張完整人像，同時(shí)膚色、頭發(fā)和相關(guān)姿勢(shì)都能作出相應(yīng)調(diào)整：
研究團(tuán)隊(duì)也與之前的生成全身人像的方法CoModGAN做了比較，都是基于左側(cè)的人體進(jìn)行面部的替換，顯然，InsetGAN生成的面部更加自然：
△上為InsetGAN，下為CoModGAN
作者介紹
論文共有6位作者，5位來(lái)自Adobe研究院，還有1位來(lái)自阿卜杜拉國(guó)王科技大學(xué)（KAUST）。
其中有Adobe的首席科學(xué)家Jingwan Lu，是PS 2020中智能肖像、皮膚平滑、著色和神經(jīng)風(fēng)格化等過(guò)濾器的主要算法貢獻(xiàn)者，也是RealBrush筆刷合成器的開(kāi)發(fā)者。
她目前領(lǐng)導(dǎo)的團(tuán)隊(duì)主要致力于利用大數(shù)據(jù)和生成性AI（比如GAN）來(lái)進(jìn)行視覺(jué)內(nèi)容的創(chuàng)造。
所以，準(zhǔn)備好足不出戶換身材了嗎？（手動(dòng)狗頭）
論文地址：
https://arxiv.org/abs/2203.07293
參考鏈接：
[1]https://www.youtube.com/watch?v=YKFYEt5hvOo
[2]http://afruehstueck.github.io/insetgan/
相關(guān)閱讀
一鍵完成室內(nèi)設(shè)計(jì)：哈佛學(xué)霸造出ArchiGAN，房間規(guī)劃家具擺放全都有，Demo可玩
這是pix2pix的絕妙應(yīng)用
給GAN一句描述，它就能按要求畫(huà)畫(huà)，微軟CVPR新研究 | 附PyTorch代碼
ObjGAN可以理解一段說(shuō)明文字，生成草圖布局，并根據(jù)確切描述完善圖像細(xì)節(jié)。
