一鍵cosplay各路動漫人物！快手的這個BlendGAN火了 | NeurIPS 2021
GAN版“百變大咖秀”：蘿莉御姐女王，可駕馭任何風(fēng)格
金磊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
動漫、藝術(shù)作品里的人物，他們極具張力的形象往往給人們留下深刻的印象。
但如果說現(xiàn)在，你也可擁有他們的同款造型呢？
沒錯，依舊來自是“無所不能”的GAN。
只要把你pick好的形象“投喂”進去，接下來妝發(fā)的工作交給它就行了：
紅的、黃的、藍的、白的……發(fā)色隨意改變，風(fēng)格也隨之變換。
這就是來自快手的BlendGAN，而且這項工作還被頂會NeurIPS 2021接收。
而與以往“變妝”GAN不同的是，BlendGAN號稱能駕馭的風(fēng)格是——任意！
是有種“百變大咖秀”的那味了。
于是乎，這個項目成功在網(wǎng)上引起了眾多網(wǎng)友的圍觀。
如何絲滑變妝？
那么，怎樣擁有動漫人物同款造型呢？
很簡單，只需要準(zhǔn)備2張照片：
- 一張生活照
- 一張動漫人物造型
現(xiàn)在在Hugging Face里已經(jīng)有了在線可玩的demo。
最簡單的辦法就是把這兩張照片上傳進去，等待一會兒就可以出結(jié)果了。
當(dāng)然，稍微“技術(shù)”點的方法就是自己跑一遍程序了。
就在這兩天，BlendGAN在GitHub上也已開源。
首先需要下載一些預(yù)訓(xùn)練模型，包括BlendGAN模型、PSP編碼器模型和Style編碼器模型。
然后僅需幾句Python代碼，便可出效果。
例如用隨機人臉代碼生成圖像對，就輸入：
python generate_image_pairs.py –size 1024 –pics N_PICS –ckpt ./pretrained_models/blendgan.pt –style_img ./test_imgs/style_imgs/100036.png –outdir results/generated_pairs/reference_guided/
若是要給照片換風(fēng)格，則輸入：
python style_transfer_folder.py –size 1024 –ckpt ./pretrained_models/blendgan.pt –psp_encoder_ckpt ./pretrained_models/psp_encoder.pt –style_img_path ./test_imgs/style_imgs/ –input_img_path ./test_imgs/face_imgs/ –outdir results/style_transfer/
要生成插值視頻，則：
python gen_video.py –size 1024 –ckpt ./pretrained_models/blendgan.pt –psp_encoder_ckpt ./pretrained_models/psp_encoder.pt –style_img_path ./test_imgs/style_imgs/ –input_img_path ./test_imgs/face_imgs/ –outdir results/inter_videos/
為什么可以hold住任意風(fēng)格？
那么快手的這個BlendGAN，為什么可以同時駕馭這么多的風(fēng)格？
據(jù)研究介紹，團隊首先是利用靈活的混合策略和通用的藝術(shù)數(shù)據(jù)集，來生成任意樣式化的臉。
具體來說，就是在通用藝術(shù)數(shù)據(jù)集上，訓(xùn)練一個自監(jiān)督Style編碼器來提取任意樣式的表示。
在生成器部分，則提出了一種叫做加權(quán)混合模塊?(WBM)的方法，來隱式混合人臉和樣式表示，并控制任意的程式化效果。
以往諸如StyleGAN2在這個步驟中，不同分辨率層（resolution layer）負(fù)責(zé)生成圖像中的不同特征，而團隊認(rèn)為它們在不同層的混合權(quán)值不應(yīng)當(dāng)是一致的。
因此，研究人員將人臉和風(fēng)格latent代碼轉(zhuǎn)換到它們的W空間，然后再由WBM進行一個組合的工作。
由此得到的結(jié)果顯示，與以往方法比較，BlendGAN能夠得到更加逼真的效果。
作者介紹
本文的通訊作者是Li Qiang，現(xiàn)任快手Y-tech的算法工程師。
本科和碩士就讀于華中科技大學(xué)；博士畢業(yè)于悉尼科技大學(xué)，師從陶大程教授。
其主要研究方向為深度學(xué)習(xí)、機器學(xué)習(xí)和概率圖形模型，對卷積神經(jīng)網(wǎng)絡(luò)、深度生成模型、表示學(xué)習(xí)和結(jié)構(gòu)化預(yù)測感興趣。
最后，想試試變妝的小伙伴，可以戳下方鏈接體驗一下~
在線試玩：
https://huggingface.co/spaces/akhaliq/BlendGAN
參考鏈接：
[1]https://pythonrepo.com/repo/onion-liu-BlendGAN-python-deep-learning
[2]https://github.com/onion-liu/BlendGAN
[3]https://arxiv.org/pdf/2110.11728.pdf
- 有道智能學(xué)習(xí)燈發(fā)布，通過“桌面學(xué)習(xí)分析引擎”實現(xiàn)全球最快指尖查詞2022-04-08
- 科學(xué)證明：狗勾真的懂你有多累，聽到聲音0.25秒后就知道你是誰，對人比對狗更親近2022-04-14
- 在M1芯片上跑原生Linux：編譯速度比macOS還快40%2022-04-05
- 小學(xué)生們在B站講算法，網(wǎng)友：我只會阿巴阿巴2022-03-28
相關(guān)閱讀
