AI新海誠就是在下，不信來玩
動畫工作者福音
魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
這樣的東京街景，是不是有點日系紀(jì)實動漫那種feel了？
現(xiàn)在，不需要人類畫師一幀幀描畫，把你拍下的視頻喂給AI，就能讓現(xiàn)實世界分分鐘掉進二次元世界。
布景：
美食：
甚至復(fù)仇者聯(lián)盟，也能瞬間打破電影宇宙和漫畫宇宙的界限。
這項研究名為White-box-Cartoonization，來自字節(jié)跳動、東京大學(xué)和Style2Paints研究所。
論文已收錄于CVPR 2020。
白盒卡通表示
如此AI「魔法」的關(guān)鍵，還是生成對抗網(wǎng)絡(luò)（GAN）。
并且，研究人員提出了三個白盒表示方法，分別用來表示平滑表面、結(jié)構(gòu)和紋理。
表面表示：表示動漫圖像的光滑表面。
使用導(dǎo)向濾波器對圖像進行處理，在保持圖像邊緣的同時平滑圖像，去除圖像的紋理和細節(jié)信息。
結(jié)構(gòu)表示：獲取全局結(jié)構(gòu)信息和稀疏色塊。
首先使用felzenszwalb算法將圖像分割成不同的區(qū)域。
由于超像素算法只考慮像素的相似性而忽略語義信息，研究人員進一步引入選擇性搜索來合并分割區(qū)域，提取稀疏分割圖。
另外，標(biāo)準(zhǔn)的超像素算法會使全局對比度降低，導(dǎo)致圖像變暗。
為此，研究人員提出了一種自適應(yīng)著色算法，以增強圖像對比度，減少朦朧效果。
然后，用預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)提取生成器生成的圖像和抽取的結(jié)構(gòu)表示的高級特征，限制空間結(jié)構(gòu)。
紋理表示：反映卡通圖像中的高頻紋理、輪廓和細節(jié)。
研究人員提出了一種從色彩圖像中提取單通道紋理表示的隨機顏色偏移算法，以保留高頻紋理，減少色彩和亮度的影響。
整個GAN框架帶有一個生成器G，以及兩個判別器Ds和Dt。其中Ds旨在區(qū)分模型輸出的表面表示和真正的動漫圖像。Dt用于區(qū)分模型輸出的紋理表示和真正的動漫圖像。
具體而言，生成器網(wǎng)絡(luò)是一個類似U-Net的全卷積網(wǎng)絡(luò)。
研究人員使用 stride=2 的卷積層進行下采樣，以雙線性插值層作為上采樣，以避免棋盤式偽影。
該網(wǎng)絡(luò)只由3種層組成：卷積層、Leaky ReLU（LReLU）和雙線性調(diào)整層。這使得該網(wǎng)絡(luò)能輕松嵌入到手機等邊緣設(shè)備中。
判別器網(wǎng)絡(luò)則基于PatchGAN進行了調(diào)整，其最后一層為卷積層。
輸出特征圖中的每個像素對應(yīng)輸入圖像中的一個圖像塊（patch），用于判斷圖像塊屬于真正的動漫圖像還是生成圖像。
訓(xùn)練數(shù)據(jù)集方面，風(fēng)景圖像采集自新海誠、宮崎駿和細田守的動漫作品，人像圖像則來自京都動畫和PA Works。影片都被剪輯成幀并隨機剪裁，大小為256×256。
實驗結(jié)果
所以，這種圖像卡通化方法的效果究竟如何。
在定量實驗中，研究人員發(fā)現(xiàn)，AI提取的表示成功愚弄了訓(xùn)練好的分類器。
與原始圖像相比，分類器在三個提取的卡通表示中準(zhǔn)確率都比較低。
另外，計算出的FID指標(biāo)也顯示，卡通表征有助于縮小真實世界照片和卡通圖像之間的差距。
再來看一組直觀的對比。
△(f)-(g)為CartoonGAN
與之前的方法相比，白盒框架能生成更為清晰的邊界輪廓，并有助于保持色彩的和諧。
比如，圖中(f)-(g)所展示的CartoonGAN的某些風(fēng)格就存在色彩失真的問題，而白盒框架色彩更為自然。
另外，白盒框架也有效地減少了偽影，效果超越CartoonGAN。
網(wǎng)友：驚艷
如此效果，讓不少網(wǎng)友大呼「驚艷」，在reddit上達到了500+的熱度。
有網(wǎng)友表示，有了這樣的黑科技，未來，或許只需要一個創(chuàng)意，就能打造一部好作品。市場的準(zhǔn)入門檻將因此而降低。
也有網(wǎng)友認(rèn)為，顏藝、賣萌這類現(xiàn)實中不存在的畫面，還是要靠動漫制作人員的創(chuàng)作。不過，這樣的AI將來無疑能減輕動漫制作人員的工作量。
現(xiàn)在，研究人員還放出了在線Demo，如果你感興趣，可以親自上手試試~
最后，左邊出自人類的畫筆，右邊是AI的大作，你pick哪一個？
傳送門
GitHub地址：https://github.com/SystemErrorWang/White-box-Cartoonization
在線Demo：https://cartoonize-lkqov62dia-de.a.run.app/cartoonize
— 完 —
相關(guān)閱讀
站-2.png)
