0.7秒，完成動(dòng)漫線稿上色

魚(yú)羊 2020-12-12 12:01:35 來(lái)源：量子位

魚(yú)羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

給一張這樣繁復(fù)的線稿：

一步步填上顏色、賦上光影：

你猜需要多長(zhǎng)時(shí)間？

答案是最快0.7秒。

沒(méi)錯(cuò)，這又是AI的手筆。

厚涂不在話下，換種漫畫(huà)上色風(fēng)格，只要給出示例，這只AI也能迅速get到靈魂。

而這，還不是Ta的全部實(shí)力。

有別于業(yè)內(nèi)針對(duì)靜態(tài)漫畫(huà)的上色AI，這個(gè)來(lái)自愛(ài)奇藝的智能上色引擎，還能用來(lái)給動(dòng)態(tài)漫畫(huà)賦上前后風(fēng)格統(tǒng)一的色彩。

并且是已經(jīng)正式「出道」的那種——

在愛(ài)奇藝自制輕動(dòng)畫(huà)《吞噬永恒》中，這只自動(dòng)上色AI就已經(jīng)落地應(yīng)用，施展了自己的才能。

所以，這樣一只AI的「上色靈感」源自何處？

我們照例一起扒一扒背后的技術(shù)~

理解線稿，精細(xì)上色

想要學(xué)會(huì)上色，AI首先要明白線稿為何物。

愛(ài)奇藝工程師們的做法，是在基于GAN的模型中引入注意力機(jī)制和語(yǔ)義參考模塊，使得AI能夠自動(dòng)識(shí)別人類畫(huà)師給出的線稿。

如下圖所示，智能上色引擎能get到眼球、斧頭等各個(gè)部分完整的語(yǔ)義信息。

看懂了線稿，就可以進(jìn)入到上色環(huán)節(jié)了。

為了使得上色效果精準(zhǔn)，并在多幀情況下保持各幀風(fēng)格的一致性，愛(ài)奇藝工程師們祭出了以下幾招：

• 根據(jù)具體需求調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，使模型與數(shù)據(jù)更加匹配
• 設(shè)計(jì)色彩參考模塊和風(fēng)格參考模塊等預(yù)處理模塊，提高上色圖片的色彩豐富度和風(fēng)格統(tǒng)一性
• 多種loss相結(jié)合，實(shí)現(xiàn)像素級(jí)別的精細(xì)匹配和上色。

具體的上色手法，就像這樣：

雖然啪一下很快的，但其實(shí)愛(ài)奇藝智能上色引擎對(duì)人類老司機(jī)很「講武德」——提供了分圖層的輸出模式，專業(yè)畫(huà)師可以輕松在AI的基礎(chǔ)上靈活調(diào)整上色細(xì)節(jié)。

需要說(shuō)明的是，在給動(dòng)態(tài)漫畫(huà)上色的過(guò)程中，AI倒是也「參考」了一些人工上色的方法，比如背景和特效大多可以重復(fù)使用，上色模型可以只專注于對(duì)人物進(jìn)行上色。

另外，值得一提的是，在打磨上色算法的過(guò)程中，工程師們也積累下了一套線稿數(shù)據(jù)生產(chǎn)系統(tǒng)。

對(duì)于用戶而言，基于愛(ài)奇藝智能上色引擎獲取到的數(shù)據(jù)，可以構(gòu)建線稿數(shù)據(jù)庫(kù)和不同風(fēng)格的動(dòng)態(tài)漫畫(huà)數(shù)據(jù)庫(kù)。

自動(dòng)動(dòng)畫(huà)上色模型

看到這里，你可能會(huì)有這樣一個(gè)疑問(wèn)：這樣的AI能應(yīng)用在動(dòng)態(tài)漫畫(huà)的制作過(guò)程中，那么更高難度的動(dòng)畫(huà)呢？

最近，愛(ài)奇藝在一篇WACV 2021論文中，通過(guò)最新的研究進(jìn)展，展示了未來(lái)的一種可能性。（論文地址見(jiàn)文末）

研究人員發(fā)現(xiàn)，動(dòng)畫(huà)幀之間存在著很強(qiáng)的關(guān)聯(lián)性，很多只是身體位置和動(dòng)作發(fā)生了變化，如果能獲得幀間的相關(guān)性，只需要一幀上好色的圖片，就能將其顏色變換到其他待上色幀，減少大量重復(fù)、非創(chuàng)造性的勞動(dòng)。

為此，研究人員設(shè)計(jì)了一種相關(guān)匹配特征轉(zhuǎn)移模型，稱為：基于相關(guān)性匹配的特征遷移模塊，Correlation Matching Feature Transfer(CMFT)，來(lái)將參考幀的顏色特征與待上色幀進(jìn)行對(duì)齊。

并且，研究人員將該模型以coarse-to-fine的方式嵌入到基于U-Net的生成網(wǎng)絡(luò)中，逐步對(duì)匹配的特征進(jìn)行細(xì)化和修正。

效果如何？

上圖中，實(shí)際上只有第一幀是人類畫(huà)師的作品，后面幾張都是AI根據(jù)第一幀生成的。

實(shí)驗(yàn)表明，在幀間一致性和上色質(zhì)量上，這只AI都超越了前輩。

這也就意味著，AI自動(dòng)上色技術(shù)未來(lái)還可能在更為復(fù)雜的動(dòng)畫(huà)領(lǐng)域大展身手。

等到這樣的AI模型從實(shí)驗(yàn)室落地到工業(yè)界，一方面，能在更廣闊的領(lǐng)域中解放創(chuàng)作者的雙手，讓他們將更多的精力投入到藝術(shù)創(chuàng)意工作中。

另一方面，無(wú)疑能進(jìn)一步提高動(dòng)畫(huà)的工業(yè)化生產(chǎn)效率、降低生產(chǎn)成本。

好番連連看的日子，想想都覺(jué)得幸福感爆棚了。

當(dāng)然啦，在這個(gè)過(guò)程中，想要實(shí)現(xiàn)AI和創(chuàng)作者習(xí)慣之間的無(wú)縫銜接，讓AI模型能「摸透」創(chuàng)作者的想法，還是少不了算法研究者和動(dòng)漫創(chuàng)作者之間的緊密交流、合作。

推動(dòng)動(dòng)漫工業(yè)化新流程

轉(zhuǎn)回當(dāng)下，像愛(ài)奇藝智能上色引擎這樣的AI，其實(shí)已經(jīng)開(kāi)始在產(chǎn)業(yè)中發(fā)揮價(jià)值。

事實(shí)上，熟悉動(dòng)漫畫(huà)制作過(guò)程的小伙伴都知道，線稿上色這一步處于腳本創(chuàng)作、分鏡和線稿之后，隨著劇情的推進(jìn)，動(dòng)漫內(nèi)容需要不斷去更新延續(xù)，在流程中存在重復(fù)勞動(dòng)環(huán)節(jié)，工作量巨大。

以漫畫(huà)為例，一話通常在十到二十格之間，一部作品基本又是成百上千話的量，其中涉及大量對(duì)相同或相似幀的上色工作。

而AI恰恰能夠輔助人工完成上色環(huán)節(jié)中的底色和光影著色，有效提高行業(yè)生產(chǎn)力。

在2020年中國(guó)二次元用戶規(guī)模有望突破4億的背景之下，對(duì)于動(dòng)漫產(chǎn)業(yè)而言，人工成本的攀升和有限的上色效率，目前已經(jīng)成為限制動(dòng)漫產(chǎn)量提高的一大障礙。

而愛(ài)奇藝智能上色引擎這樣已經(jīng)實(shí)際落地到動(dòng)態(tài)漫產(chǎn)業(yè)中的AI，恰恰為解決這一矛盾帶來(lái)了一種全新的可能性：改變傳統(tǒng)工作方式，把創(chuàng)意交給人類，把重復(fù)交給AI。

愛(ài)奇藝表示，相較于純?nèi)斯ど仙?，智能上色引擎預(yù)計(jì)可在動(dòng)態(tài)漫制作上色環(huán)節(jié)中，節(jié)省約30%的人力。

除此之外，對(duì)于專業(yè)上色畫(huà)師而言，這樣的AI或許也能夠提供參考，激發(fā)新的靈感，甚至衍生出更多更有意思的玩法。

那么，你是不是有什么大膽的想法了呢？

文章最后，傳送一下這只AI的作者——愛(ài)奇藝AI創(chuàng)作團(tuán)隊(duì)。

該團(tuán)隊(duì)的目標(biāo)是：不斷探索新技術(shù)與內(nèi)容制作的深度融合，以技術(shù)替代操作簡(jiǎn)單、重復(fù)性高且繁瑣的基礎(chǔ)性、非原創(chuàng)性工作，讓創(chuàng)作者把時(shí)間投入到創(chuàng)意中，進(jìn)而優(yōu)化內(nèi)容生產(chǎn)流程，推動(dòng)行業(yè)的工業(yè)化水平。

目前，不僅是在動(dòng)態(tài)漫上色領(lǐng)域，在錄制、素材管理、后期等綜藝節(jié)目制作環(huán)節(jié)，愛(ài)奇藝均探索了AI輔助一體化智能制作方案的應(yīng)用。

論文鏈接：https://arxiv.org/abs/2004.06718

— 完 —