這個AI“大師級”簡筆畫水平，驚艷到了網(wǎng)友：竟然不用GAN
demo在線可玩
金磊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
AI畫的簡筆畫能到什么水平？
給一張美國演員Rami Malek的照片，效果是這樣的。
是不是和原圖很逼近了？
再來看下輸入《老友記》合影的效果。
雖然人物眾多，但出來的簡筆畫效果，依舊還是能分清劇中的人物。
如果毛發(fā)特別濃密的人物照，AI還能hold得住嗎？
小姐姐“爆炸頭”的邊緣毛發(fā)，也算得上是完美還原了。
再近距離一些的呢？來看“霉霉”（Taylor Swift）照片的效果。
可以說是相當(dāng)?shù)募?xì)節(jié)了，把發(fā)絲的層次感、光感，以及衣物的褶皺，都發(fā)揮的“淋漓盡致”。
……
這些就是出自一個叫ArtLine的AI的作品。
而且它在Reddit非?；鸨?，已經(jīng)達到了1100+的熱度。
如此惟妙惟肖的效果，你是不是認(rèn)為又是GAN的功勞？
錯！
ArtLine完全沒有用到GAN：
也正因如此，ArtLine的效果真真兒的驚艷到了網(wǎng)友。
那么，它是如何做到的呢？
ArtLine背后的三大“法寶”
ArtLine的作者十分爽快地分享了其背后的三大技術(shù)：
- Self-Attention
- Progressive Resizing
- Generator Loss
接下來，一起逐一看下各個技術(shù)背后的細(xì)節(jié)內(nèi)容。
Self-Attention部分引用的技術(shù)，出自兩年前GAN之父lan Goodfellow等人提出的研究。
等等，剛才不是還說“沒用到GAN”嗎？
作者對此的解釋是：
并沒有起到太大作用。
這項研究主要是在GAN生成中加入了注意力機制，同時將SNgan的思想引入到生成器當(dāng)中。
所要解決的是傳統(tǒng)GAN自身存在的一些問題，例如：
- 使用小的卷積核很難發(fā)現(xiàn)圖像中的依賴關(guān)系
- 使用大的卷積核就會喪失卷積網(wǎng)絡(luò)參數(shù)與計算的效率
研究中核心的自注意力機制如下圖所示。
其中，f(x)，g(x)和h(x)都是普通的1×1卷積，差別只在于輸出通道大小不同。
而后，將f(x)的輸出轉(zhuǎn)置，并和g(x)的輸出相乘，再經(jīng)過softmax歸一化，得到一個Attention Map。
得到Attention Map之后，和h(x)逐像素點相乘，得到自適應(yīng)的注意力feature maps。
從結(jié)果上來看，引入自注意力機制的效果，確實在FID和IS兩個性能指標(biāo)下，得到了較好的效果。
ArtLine涉及到的第二個技術(shù)靈感，來自英偉達在2018年的一項研究。
這項研究主要提出了一種新的訓(xùn)練對抗神經(jīng)網(wǎng)絡(luò)的方法。
核心思想是逐步訓(xùn)練生成器和判別器：從低分辨率開始，隨著訓(xùn)練進程推進，逐步增加新的層來提煉細(xì)節(jié)。
這種方法不僅加快了訓(xùn)練速度并且更加穩(wěn)定，可以產(chǎn)生高質(zhì)量的圖像。
ArtLine所涉及到的最后一個技術(shù)，是來自斯坦福大學(xué)李飛飛團隊在2016年提出的研究。
這項研究主要解決了實現(xiàn)的風(fēng)格轉(zhuǎn)換，比較費時的問題。
風(fēng)格轉(zhuǎn)換部分主要用了上面的網(wǎng)絡(luò)模型，這個模型可以分為兩部分：左側(cè)是圖像轉(zhuǎn)換網(wǎng)絡(luò)，而右側(cè)是損耗網(wǎng)絡(luò)。
其超分辨率重建也是采用上面的網(wǎng)絡(luò)模型，只是具體內(nèi)部的圖像轉(zhuǎn)換網(wǎng)絡(luò)部分稍有區(qū)別。
這個網(wǎng)絡(luò)與之前的研究相比，效果達到了相當(dāng)?shù)乃?，但速度卻提升了百倍之多，達到3個數(shù)量級。
關(guān)于作者
ArtLine的項目作者叫做Vijish Madhavan。
他在GitHub中坦言自己并非程序員出身，也道出了ArtLine目前存在的一些缺陷，例如處理像素低于500px的圖像時，效果并不理想等。
現(xiàn)在，ArtLine可以在線玩了！
感興趣的讀者，可以戳下方鏈接體驗一下。
Colab鏈接：
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb.ipynb)
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine.ipynb
GitHub項目地址：
https://github.com/vijishmadhavan/ArtLine
- 商湯林達華萬字長文回答AGI：4層破壁，3大挑戰(zhàn)2025-08-12
- 商湯多模態(tài)大模型賦能鐵路勘察設(shè)計，讓70年經(jīng)驗“活”起來2025-08-13
- 以“具身智能基座”為核，睿爾曼攜全產(chǎn)品矩陣及新品亮相2025 WRC2025-08-11
- 哇塞，今天北京被機器人人人人人塞滿了！2025-08-08
相關(guān)閱讀
初二男生為外婆發(fā)明認(rèn)人神器，幫認(rèn)親人，20分鐘召喚回家，并報出家庭地址
現(xiàn)實版《尋夢環(huán)游記》
