0.7秒，完成動漫線稿上色

魚羊 2020-12-12 12:01:35 來源：量子位

魚羊 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

給一張這樣繁復(fù)的線稿：

一步步填上顏色、賦上光影：

你猜需要多長時間？

答案是最快0.7秒。

沒錯，這又是AI的手筆。

厚涂不在話下，換種漫畫上色風(fēng)格，只要給出示例，這只AI也能迅速get到靈魂。

而這，還不是Ta的全部實力。

有別于業(yè)內(nèi)針對靜態(tài)漫畫的上色AI，這個來自愛奇藝的智能上色引擎，還能用來給動態(tài)漫畫賦上前后風(fēng)格統(tǒng)一的色彩。

并且是已經(jīng)正式「出道」的那種——

在愛奇藝自制輕動畫《吞噬永恒》中，這只自動上色AI就已經(jīng)落地應(yīng)用，施展了自己的才能。

所以，這樣一只AI的「上色靈感」源自何處？

我們照例一起扒一扒背后的技術(shù)~

理解線稿，精細(xì)上色

想要學(xué)會上色，AI首先要明白線稿為何物。

愛奇藝工程師們的做法，是在基于GAN的模型中引入注意力機(jī)制和語義參考模塊，使得AI能夠自動識別人類畫師給出的線稿。

如下圖所示，智能上色引擎能get到眼球、斧頭等各個部分完整的語義信息。

看懂了線稿，就可以進(jìn)入到上色環(huán)節(jié)了。

為了使得上色效果精準(zhǔn)，并在多幀情況下保持各幀風(fēng)格的一致性，愛奇藝工程師們祭出了以下幾招：

• 根據(jù)具體需求調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，使模型與數(shù)據(jù)更加匹配
• 設(shè)計色彩參考模塊和風(fēng)格參考模塊等預(yù)處理模塊，提高上色圖片的色彩豐富度和風(fēng)格統(tǒng)一性
• 多種loss相結(jié)合，實現(xiàn)像素級別的精細(xì)匹配和上色。

具體的上色手法，就像這樣：

雖然啪一下很快的，但其實愛奇藝智能上色引擎對人類老司機(jī)很「講武德」——提供了分圖層的輸出模式，專業(yè)畫師可以輕松在AI的基礎(chǔ)上靈活調(diào)整上色細(xì)節(jié)。

需要說明的是，在給動態(tài)漫畫上色的過程中，AI倒是也「參考」了一些人工上色的方法，比如背景和特效大多可以重復(fù)使用，上色模型可以只專注于對人物進(jìn)行上色。

另外，值得一提的是，在打磨上色算法的過程中，工程師們也積累下了一套線稿數(shù)據(jù)生產(chǎn)系統(tǒng)。

對于用戶而言，基于愛奇藝智能上色引擎獲取到的數(shù)據(jù)，可以構(gòu)建線稿數(shù)據(jù)庫和不同風(fēng)格的動態(tài)漫畫數(shù)據(jù)庫。

自動動畫上色模型

看到這里，你可能會有這樣一個疑問：這樣的AI能應(yīng)用在動態(tài)漫畫的制作過程中，那么更高難度的動畫呢？

最近，愛奇藝在一篇WACV 2021論文中，通過最新的研究進(jìn)展，展示了未來的一種可能性。（論文地址見文末）

研究人員發(fā)現(xiàn)，動畫幀之間存在著很強(qiáng)的關(guān)聯(lián)性，很多只是身體位置和動作發(fā)生了變化，如果能獲得幀間的相關(guān)性，只需要一幀上好色的圖片，就能將其顏色變換到其他待上色幀，減少大量重復(fù)、非創(chuàng)造性的勞動。

為此，研究人員設(shè)計了一種相關(guān)匹配特征轉(zhuǎn)移模型，稱為：基于相關(guān)性匹配的特征遷移模塊，Correlation Matching Feature Transfer(CMFT)，來將參考幀的顏色特征與待上色幀進(jìn)行對齊。

并且，研究人員將該模型以coarse-to-fine的方式嵌入到基于U-Net的生成網(wǎng)絡(luò)中，逐步對匹配的特征進(jìn)行細(xì)化和修正。

效果如何？

上圖中，實際上只有第一幀是人類畫師的作品，后面幾張都是AI根據(jù)第一幀生成的。

實驗表明，在幀間一致性和上色質(zhì)量上，這只AI都超越了前輩。

這也就意味著，AI自動上色技術(shù)未來還可能在更為復(fù)雜的動畫領(lǐng)域大展身手。

等到這樣的AI模型從實驗室落地到工業(yè)界，一方面，能在更廣闊的領(lǐng)域中解放創(chuàng)作者的雙手，讓他們將更多的精力投入到藝術(shù)創(chuàng)意工作中。

另一方面，無疑能進(jìn)一步提高動畫的工業(yè)化生產(chǎn)效率、降低生產(chǎn)成本。

好番連連看的日子，想想都覺得幸福感爆棚了。

當(dāng)然啦，在這個過程中，想要實現(xiàn)AI和創(chuàng)作者習(xí)慣之間的無縫銜接，讓AI模型能「摸透」創(chuàng)作者的想法，還是少不了算法研究者和動漫創(chuàng)作者之間的緊密交流、合作。

推動動漫工業(yè)化新流程

轉(zhuǎn)回當(dāng)下，像愛奇藝智能上色引擎這樣的AI，其實已經(jīng)開始在產(chǎn)業(yè)中發(fā)揮價值。

事實上，熟悉動漫畫制作過程的小伙伴都知道，線稿上色這一步處于腳本創(chuàng)作、分鏡和線稿之后，隨著劇情的推進(jìn)，動漫內(nèi)容需要不斷去更新延續(xù)，在流程中存在重復(fù)勞動環(huán)節(jié)，工作量巨大。

以漫畫為例，一話通常在十到二十格之間，一部作品基本又是成百上千話的量，其中涉及大量對相同或相似幀的上色工作。

而AI恰恰能夠輔助人工完成上色環(huán)節(jié)中的底色和光影著色，有效提高行業(yè)生產(chǎn)力。

在2020年中國二次元用戶規(guī)模有望突破4億的背景之下，對于動漫產(chǎn)業(yè)而言，人工成本的攀升和有限的上色效率，目前已經(jīng)成為限制動漫產(chǎn)量提高的一大障礙。

而愛奇藝智能上色引擎這樣已經(jīng)實際落地到動態(tài)漫產(chǎn)業(yè)中的AI，恰恰為解決這一矛盾帶來了一種全新的可能性：改變傳統(tǒng)工作方式，把創(chuàng)意交給人類，把重復(fù)交給AI。

愛奇藝表示，相較于純?nèi)斯ど仙?，智能上色引擎預(yù)計可在動態(tài)漫制作上色環(huán)節(jié)中，節(jié)省約30%的人力。

除此之外，對于專業(yè)上色畫師而言，這樣的AI或許也能夠提供參考，激發(fā)新的靈感，甚至衍生出更多更有意思的玩法。

那么，你是不是有什么大膽的想法了呢？

文章最后，傳送一下這只AI的作者——愛奇藝AI創(chuàng)作團(tuán)隊。

該團(tuán)隊的目標(biāo)是：不斷探索新技術(shù)與內(nèi)容制作的深度融合，以技術(shù)替代操作簡單、重復(fù)性高且繁瑣的基礎(chǔ)性、非原創(chuàng)性工作，讓創(chuàng)作者把時間投入到創(chuàng)意中，進(jìn)而優(yōu)化內(nèi)容生產(chǎn)流程，推動行業(yè)的工業(yè)化水平。

目前，不僅是在動態(tài)漫上色領(lǐng)域，在錄制、素材管理、后期等綜藝節(jié)目制作環(huán)節(jié)，愛奇藝均探索了AI輔助一體化智能制作方案的應(yīng)用。

論文鏈接：https://arxiv.org/abs/2004.06718

— 完 —