這個(gè)AI“大師級(jí)”簡(jiǎn)筆畫(huà)水平，驚艷到了網(wǎng)友：竟然不用GAN

十三 2020-12-19 13:21:38 來(lái)源：量子位

金磊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

AI畫(huà)的簡(jiǎn)筆畫(huà)能到什么水平？

給一張美國(guó)演員Rami Malek的照片，效果是這樣的。

是不是和原圖很逼近了？

再來(lái)看下輸入《老友記》合影的效果。

雖然人物眾多，但出來(lái)的簡(jiǎn)筆畫(huà)效果，依舊還是能分清劇中的人物。

如果毛發(fā)特別濃密的人物照，AI還能hold得住嗎？

小姐姐“爆炸頭”的邊緣毛發(fā)，也算得上是完美還原了。

再近距離一些的呢？來(lái)看“霉霉”（Taylor Swift）照片的效果。

可以說(shuō)是相當(dāng)?shù)募?xì)節(jié)了，把發(fā)絲的層次感、光感，以及衣物的褶皺，都發(fā)揮的“淋漓盡致”。

……

這些就是出自一個(gè)叫ArtLine的AI的作品。

而且它在Reddit非?；鸨?，已經(jīng)達(dá)到了1100+的熱度。

如此惟妙惟肖的效果，你是不是認(rèn)為又是GAN的功勞？

錯(cuò)！

ArtLine完全沒(méi)有用到GAN：

也正因如此，ArtLine的效果真真兒的驚艷到了網(wǎng)友。

那么，它是如何做到的呢？

ArtLine背后的三大“法寶”

ArtLine的作者十分爽快地分享了其背后的三大技術(shù)：

• Self-Attention
• Progressive Resizing
• Generator Loss

接下來(lái)，一起逐一看下各個(gè)技術(shù)背后的細(xì)節(jié)內(nèi)容。

Self-Attention部分引用的技術(shù)，出自?xún)赡昵癎AN之父lan Goodfellow等人提出的研究。

等等，剛才不是還說(shuō)“沒(méi)用到GAN”嗎？

作者對(duì)此的解釋是：

并沒(méi)有起到太大作用。

這項(xiàng)研究主要是在GAN生成中加入了注意力機(jī)制，同時(shí)將SNgan的思想引入到生成器當(dāng)中。

所要解決的是傳統(tǒng)GAN自身存在的一些問(wèn)題，例如：

• 使用小的卷積核很難發(fā)現(xiàn)圖像中的依賴(lài)關(guān)系
• 使用大的卷積核就會(huì)喪失卷積網(wǎng)絡(luò)參數(shù)與計(jì)算的效率

研究中核心的自注意力機(jī)制如下圖所示。

其中，f(x)，g(x)和h(x)都是普通的1×1卷積，差別只在于輸出通道大小不同。

而后，將f(x)的輸出轉(zhuǎn)置，并和g(x)的輸出相乘，再經(jīng)過(guò)softmax歸一化，得到一個(gè)Attention Map。

得到Attention Map之后，和h(x)逐像素點(diǎn)相乘，得到自適應(yīng)的注意力feature maps。

從結(jié)果上來(lái)看，引入自注意力機(jī)制的效果，確實(shí)在FID和IS兩個(gè)性能指標(biāo)下，得到了較好的效果。

ArtLine涉及到的第二個(gè)技術(shù)靈感，來(lái)自英偉達(dá)在2018年的一項(xiàng)研究。

這項(xiàng)研究主要提出了一種新的訓(xùn)練對(duì)抗神經(jīng)網(wǎng)絡(luò)的方法。

核心思想是逐步訓(xùn)練生成器和判別器：從低分辨率開(kāi)始，隨著訓(xùn)練進(jìn)程推進(jìn)，逐步增加新的層來(lái)提煉細(xì)節(jié)。

這種方法不僅加快了訓(xùn)練速度并且更加穩(wěn)定，可以產(chǎn)生高質(zhì)量的圖像。

ArtLine所涉及到的最后一個(gè)技術(shù)，是來(lái)自斯坦福大學(xué)李飛飛團(tuán)隊(duì)在2016年提出的研究。

這項(xiàng)研究主要解決了實(shí)現(xiàn)的風(fēng)格轉(zhuǎn)換，比較費(fèi)時(shí)的問(wèn)題。

風(fēng)格轉(zhuǎn)換部分主要用了上面的網(wǎng)絡(luò)模型，這個(gè)模型可以分為兩部分：左側(cè)是圖像轉(zhuǎn)換網(wǎng)絡(luò)，而右側(cè)是損耗網(wǎng)絡(luò)。

其超分辨率重建也是采用上面的網(wǎng)絡(luò)模型，只是具體內(nèi)部的圖像轉(zhuǎn)換網(wǎng)絡(luò)部分稍有區(qū)別。

這個(gè)網(wǎng)絡(luò)與之前的研究相比，效果達(dá)到了相當(dāng)?shù)乃剑俣葏s提升了百倍之多，達(dá)到3個(gè)數(shù)量級(jí)。

關(guān)于作者

ArtLine的項(xiàng)目作者叫做Vijish Madhavan。

他在GitHub中坦言自己并非程序員出身，也道出了ArtLine目前存在的一些缺陷，例如處理像素低于500px的圖像時(shí)，效果并不理想等。

現(xiàn)在，ArtLine可以在線玩了！

感興趣的讀者，可以戳下方鏈接體驗(yàn)一下。

Colab鏈接：

https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb.ipynb)
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine.ipynb

GitHub項(xiàng)目地址：

https://github.com/vijishmadhavan/ArtLine