AI新海誠就是在下，不信來玩

魚羊 2020-08-11 13:10:11 來源：量子位

魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

這樣的東京街景，是不是有點(diǎn)日系紀(jì)實(shí)動(dòng)漫那種feel了？

現(xiàn)在，不需要人類畫師一幀幀描畫，把你拍下的視頻喂給AI，就能讓現(xiàn)實(shí)世界分分鐘掉進(jìn)二次元世界。

布景：

美食：

甚至復(fù)仇者聯(lián)盟，也能瞬間打破電影宇宙和漫畫宇宙的界限。

這項(xiàng)研究名為White-box-Cartoonization，來自字節(jié)跳動(dòng)、東京大學(xué)和Style2Paints研究所。

論文已收錄于CVPR 2020。

白盒卡通表示

如此AI「魔法」的關(guān)鍵，還是生成對抗網(wǎng)絡(luò)（GAN）。

并且，研究人員提出了三個(gè)白盒表示方法，分別用來表示平滑表面、結(jié)構(gòu)和紋理。

表面表示：表示動(dòng)漫圖像的光滑表面。

使用導(dǎo)向?yàn)V波器對圖像進(jìn)行處理，在保持圖像邊緣的同時(shí)平滑圖像，去除圖像的紋理和細(xì)節(jié)信息。

結(jié)構(gòu)表示：獲取全局結(jié)構(gòu)信息和稀疏色塊。

首先使用felzenszwalb算法將圖像分割成不同的區(qū)域。

由于超像素算法只考慮像素的相似性而忽略語義信息，研究人員進(jìn)一步引入選擇性搜索來合并分割區(qū)域，提取稀疏分割圖。

另外，標(biāo)準(zhǔn)的超像素算法會(huì)使全局對比度降低，導(dǎo)致圖像變暗。

為此，研究人員提出了一種自適應(yīng)著色算法，以增強(qiáng)圖像對比度，減少朦朧效果。

然后，用預(yù)訓(xùn)練的VGG16網(wǎng)絡(luò)提取生成器生成的圖像和抽取的結(jié)構(gòu)表示的高級特征，限制空間結(jié)構(gòu)。

紋理表示：反映卡通圖像中的高頻紋理、輪廓和細(xì)節(jié)。

研究人員提出了一種從色彩圖像中提取單通道紋理表示的隨機(jī)顏色偏移算法，以保留高頻紋理，減少色彩和亮度的影響。

整個(gè)GAN框架帶有一個(gè)生成器G，以及兩個(gè)判別器Ds和Dt。其中Ds旨在區(qū)分模型輸出的表面表示和真正的動(dòng)漫圖像。Dt用于區(qū)分模型輸出的紋理表示和真正的動(dòng)漫圖像。

具體而言，生成器網(wǎng)絡(luò)是一個(gè)類似U-Net的全卷積網(wǎng)絡(luò)。

研究人員使用 stride=2 的卷積層進(jìn)行下采樣，以雙線性插值層作為上采樣，以避免棋盤式偽影。

該網(wǎng)絡(luò)只由3種層組成：卷積層、Leaky ReLU（LReLU）和雙線性調(diào)整層。這使得該網(wǎng)絡(luò)能輕松嵌入到手機(jī)等邊緣設(shè)備中。

判別器網(wǎng)絡(luò)則基于PatchGAN進(jìn)行了調(diào)整，其最后一層為卷積層。

輸出特征圖中的每個(gè)像素對應(yīng)輸入圖像中的一個(gè)圖像塊（patch），用于判斷圖像塊屬于真正的動(dòng)漫圖像還是生成圖像。

訓(xùn)練數(shù)據(jù)集方面，風(fēng)景圖像采集自新海誠、宮崎駿和細(xì)田守的動(dòng)漫作品，人像圖像則來自京都動(dòng)畫和PA Works。影片都被剪輯成幀并隨機(jī)剪裁，大小為256×256。

實(shí)驗(yàn)結(jié)果

所以，這種圖像卡通化方法的效果究竟如何。

在定量實(shí)驗(yàn)中，研究人員發(fā)現(xiàn)，AI提取的表示成功愚弄了訓(xùn)練好的分類器。

與原始圖像相比，分類器在三個(gè)提取的卡通表示中準(zhǔn)確率都比較低。

另外，計(jì)算出的FID指標(biāo)也顯示，卡通表征有助于縮小真實(shí)世界照片和卡通圖像之間的差距。

再來看一組直觀的對比。

△(f)-(g)為CartoonGAN

與之前的方法相比，白盒框架能生成更為清晰的邊界輪廓，并有助于保持色彩的和諧。

比如，圖中(f)-(g)所展示的CartoonGAN的某些風(fēng)格就存在色彩失真的問題，而白盒框架色彩更為自然。

另外，白盒框架也有效地減少了偽影，效果超越CartoonGAN。

網(wǎng)友：驚艷

如此效果，讓不少網(wǎng)友大呼「驚艷」，在reddit上達(dá)到了500+的熱度。

有網(wǎng)友表示，有了這樣的黑科技，未來，或許只需要一個(gè)創(chuàng)意，就能打造一部好作品。市場的準(zhǔn)入門檻將因此而降低。

也有網(wǎng)友認(rèn)為，顏藝、賣萌這類現(xiàn)實(shí)中不存在的畫面，還是要靠動(dòng)漫制作人員的創(chuàng)作。不過，這樣的AI將來無疑能減輕動(dòng)漫制作人員的工作量。

現(xiàn)在，研究人員還放出了在線Demo，如果你感興趣，可以親自上手試試~

最后，左邊出自人類的畫筆，右邊是AI的大作，你pick哪一個(gè)？

傳送門

GitHub地址：https://github.com/SystemErrorWang/White-box-Cartoonization

在線Demo：https://cartoonize-lkqov62dia-de.a.run.app/cartoonize

— 完 —