AI「復(fù)活」《延禧攻略》眾生相

十三 2020-11-20 14:08:16 來(lái)源：量子位

金磊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

一部《延禧攻略》，讓清朝古裝劇在國(guó)內(nèi)大火了一把。

敢愛(ài)敢恨的魏瓔珞，賢良淑德的富察皇后，深藏不漏的純妃……

人物特點(diǎn)各個(gè)鮮明，令人印象著實(shí)深刻。

但歷史中的她們，究竟長(zhǎng)什么樣呢？

最近，B站一位名為Jack-Cui的Up主便利用AI技術(shù)，讓乾隆的后宮們從畫(huà)中「復(fù)活」了一把。

話不多說(shuō)，現(xiàn)在就讓我們一同欣賞。

AI神還原《延禧攻略》眾生相

據(jù)這位Up主介紹，AI在「施法」前所基于的畫(huà)像，是來(lái)自清代宮廷畫(huà)師郎世寧的《心寫(xiě)治平》。

當(dāng)然，他對(duì)這些畫(huà)像也是做了一些「數(shù)據(jù)預(yù)處理」，專(zhuān)門(mén)挑了一些好看、出名的嬪妃：

有些好像得罪畫(huà)師的畫(huà)像，就不復(fù)原了……

首先登場(chǎng)的是純妃。

古代畫(huà)像、《延禧攻略》中的劇照長(zhǎng)這樣。

AI修復(fù)后的純妃，是這樣的。

比起扁平的畫(huà)像，AI修復(fù)后的人像更具立體感，不僅眼睛可以眨動(dòng)，腦袋也能左右晃動(dòng)。

接下來(lái)是富察皇后的畫(huà)像和劇照。

AI較為逼真地還原了畫(huà)像中皇后的臉型。

而這次，修復(fù)后的畫(huà)像，嘴也能動(dòng)起來(lái)「說(shuō)話」。

當(dāng)然，缺不了《延禧攻略》的女1號(hào)——魏瓔珞。

確實(shí)有幾分令妃在劇中的靈動(dòng)感。

除此之外，Jack Cui還修復(fù)了嘉妃和舒妃這兩位后宮佳麗的音容笑貌。

「復(fù)活術(shù)」背后的黑科技

僅根據(jù)古代畫(huà)像，Jack Cui是如何讓它們變得活靈活現(xiàn)的呢？

據(jù)他介紹，此次「復(fù)活術(shù)」所用到的技術(shù)包括：

• StyleGAN2-Face-Modificator
• Artbreeder
• First-Order-Model
• DAIN

StyleGAN2-Face-Modificator

StyleGAN是英偉達(dá)在2018年發(fā)布的人臉生成模型，支持2014×1024的高清大圖生成。

并在2019年升級(jí)成為了效果更加逼真、無(wú)暇的StyleGAN2。

而StyleGAN2-Face-Modificator則是基于此，開(kāi)發(fā)出來(lái)的人臉編輯工具。

Artbreeder

Artbreeder是一個(gè)在線圖像生成網(wǎng)站，基于的技術(shù)是我們所熟知的生成對(duì)抗網(wǎng)絡(luò)（GAN）。

在Artbreeder上，用戶(hù)可以通過(guò)調(diào)整滑塊，來(lái)創(chuàng)建不同風(fēng)格的人像、動(dòng)畫(huà)。

First-Order-Model

這項(xiàng)技術(shù)來(lái)自意大利特倫托大學(xué)。

一張名人照片，加上隨便一段視頻，就能讓照片里的人物分分鐘動(dòng)起來(lái)。

比如輸入一段川普的視頻，原本靜止在畫(huà)面中的史塔克們，也忍不住跟著動(dòng)了起來(lái)。

DAIN

DAIN是上海交通大學(xué)開(kāi)發(fā)的插幀算法，能把30fps的視頻一口氣插幀到480fps，讓視頻絲滑流暢，毫無(wú)卡頓。

以「琦玉老師」為例，效果如下。

前情回顧：除了后宮佳麗，還有三位皇帝

其實(shí)早在今年8月份，Jack Cui就已經(jīng)利用類(lèi)似技術(shù)，「復(fù)活」清朝三位著名的皇帝：康熙、雍正和乾隆。

比起畫(huà)像中年邁的康熙，AI修復(fù)后的樣子顯得年輕了不少。

修復(fù)出來(lái)的雍正就比較俏皮了，還學(xué)會(huì)了「拋媚眼」。

乾隆的樣子，可以說(shuō)是修復(fù)出來(lái)的皇帝中，最像的一個(gè)。

然而，看完這三位皇帝后，有調(diào)皮的網(wǎng)友留言道：

最想看的還是朱元璋的帝王之相。

（那張圖請(qǐng)自行搜索）……

對(duì)話Jack Cui

量子位也聯(lián)系到了Jack Cui本人，進(jìn)行了簡(jiǎn)單的交流。

具有如此鮮活想法的Jack Cui，并不是學(xué)生，而是已經(jīng)步入職場(chǎng)。

至于職業(yè)，并無(wú)太大懸念——程序員。

在問(wèn)及「為什么要選擇做修復(fù)古人畫(huà)像工作」時(shí)，他回答道：

想做一些有趣的東西，修復(fù)古人樣貌，挺有意義且好玩的一件事。

并且Jack Cui認(rèn)為，業(yè)余時(shí)間做這樣的事情，對(duì)于本職工作來(lái)說(shuō)，「可以一直關(guān)注一些前沿算法，保持活力」。

量子位也獲取到了他接下來(lái)的要做項(xiàng)目的動(dòng)向，稍微劇透一下：

會(huì)出一些技術(shù)學(xué)習(xí)教程，以及軟件硬件結(jié)合的視頻。

感興趣的讀者，可以持續(xù)保持關(guān)注。

參考鏈接：
https://www.bilibili.com/video/av842816833/

StyleGAN2-Face-Modificator：
https://github.com/tg-bomze/StyleGAN2-Face-Modificator

Artbreeder：
https://artbreeder.com

First-Order-Model：
https://github.com/AliaksandrSiarohin/first-order-model

DAIN：
https://github.com/baowenbo/DAIN