路人妹子秒變老婆，兇惡大狗秒變萌犬：日本開源GAN插件，局部P圖無壓力
發(fā)型，臉型，瞳色，都能定制啊
花栗子 發(fā)自 凹非寺
量子位 出品 | 公眾號 QbitAI
這是一只面露兇光的哈士奇。
但它兇不過三秒，只要在眼睛上刷一刷：
就回歸了呆萌的本性。
機智的你可能已經(jīng)發(fā)現(xiàn)，是左下角那只 (有點像博美的) 小狗，幫它找到了自我。
既然眼睛圓潤了，耳朵就沒必要再掙扎，也刷一下吧：
一鍵換上梗犬的耳朵，更加溫柔了。
還有，只要讓憂郁的小獵犬保持皺眉，再把嘴張開，便可以獲得職業(yè)假笑。
想修哪里點哪里，這是東京大學(xué)和日本獨角獸Preferred Networks開源的“插件”，可調(diào)教各種GAN：包括BigGAN和StyleGAN，也不用重新訓(xùn)練。
另外，既然是來自東瀛的AI，當然可以定制老婆啦：
已為您生成，棕瞳的貓女。
有Demo可以玩，還有開源代碼。
不過為什么，修改局部也可以這樣天衣無縫？
面露兇光
團隊用了兩種方法。
一種是標簽拼貼?(Label Collage) 。拼貼大法名叫sCBN。
通俗地說，圖上的各種色彩代表不同的標簽，共同組成一張標簽圖?(Label Map) 。比如，紅色是狐貍的頭：
修改一個標簽，把圖上的某個部分，標成自己想要的樣子：比如把狐貍的頭，標成狗頭。它就真的變成了狗：
△“綠色”的后背部分也修改了
這就是從標簽圖上生成的結(jié)果。
做法很簡單，只要在歸一化參數(shù)上，應(yīng)用一下位置相關(guān)的仿射變換 (Affine-Transformations) ，就能在空間上改變語義信息，不用重新訓(xùn)練一只GAN，直接用預(yù)訓(xùn)練網(wǎng)絡(luò)就可以。
這樣，把金毛變成獅子，人類依然笑得燦爛：
就算不是動物，兩岸青山相對出，中間的綠草如茵，也能變成碧波粼粼：
但有時候，要修改的部分，對應(yīng)的并不是單一的標簽。
這時，便有了名叫特征混合?(Feature Blending) 的第二種方法。
它不需要用標簽圖，直接把幾張圖拼起來就可以了。
一張是源圖：
兩張作為樣本，老爺爺?shù)暮?，和小朋友的劉海?/p>
然后，最初的男生就有了花白的胡子和棕色的頭簾：
原理是，雖然想要修改的部位，對應(yīng)的不是某一個標簽；但圖上的一個區(qū)域，依然可以對應(yīng)到一組神經(jīng)元。
前段時間轟動的GAN Dissection算法，就是給網(wǎng)絡(luò)做解剖，找到一組神經(jīng)元，對應(yīng)某個中間特征?(Intermediate Feature) 。
特征混合，就是要加工各種中間特征，把它們無縫融合到一起。
你看，丹鳳眼的面癱少年：
有了棕色的大眼睛，再加上愉快的嘴：
畫風(fēng)就全然不一樣了。
你一定還記得，開頭的老婆也是這樣生成的：
如果“紅瞳才是正義！”，今后就可以把這樣的方法插進各種GAN，一鍵追求正義，不用再截下轉(zhuǎn)瞬即逝的緣分了：
△ 這是英偉達StyleGAN的作品
開源了
上周，新版本的論文已經(jīng)發(fā)布了。
算法也開源了，近期可能有更新。
想定制老婆的同學(xué)，可以使用Demo：
https://colab.research.google.com/github/quolc/neural-collage/blob/master/NeuralCollage_demo.ipynb
代碼傳送門：
https://github.com/quolc/neural-collage
論文傳送門：
https://arxiv.org/pdf/1811.10153v2.pdf
- 馬云正式卸任后，阿里巴巴開盤跌0.87%2019-09-10
- 亞馬遜在華拓展云計算團隊，挑戰(zhàn)阿里巴巴和騰訊2019-10-16
- AI獨角獸云知聲，已完成一期科創(chuàng)板IPO輔導(dǎo)2019-10-17
- IDC：今年上半年中國公有云服務(wù)市場規(guī)模達54.2億美元2019-11-07
相關(guān)閱讀
