杜甫在線演唱《奇跡再現(xiàn)》、兵馬俑都能開口說話……微博網(wǎng)友用AI技術(shù)分分鐘打破次元壁

十三 2020-08-29 10:24:07 來源：量子位

魚羊 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

霍格沃茨的同學(xué)們都知道，想要進入格蘭芬多休息室，得先過胖夫人這一關(guān)。

所以，會說話的照片/畫像它科學(xué)嗎？

其實，在AI時代的麻瓜世界里，這早就不算事兒了。

不信，你看看這個激情演唱迪迦奧特曼主題曲《奇跡再現(xiàn)》的杜甫：

△網(wǎng)友：0202年，杜甫越來越忙了

還有這個目光如炬，侃侃而談的明太祖朱元璋：

以及從大秦帝國穿越而來的這位大哥：

誰見了不得喊一句：鵝妹子嚶。

想必你已經(jīng)猜到了，這樣的「魔法」依然是由AI帶來，涉及的技術(shù)包括圖像生成、運動估計等等。

而打造這些作品的，就是那位給100年前的北平城上色的獨立藝術(shù)家、微博博主@大谷Spitzer。

就僅僅在8月份月，@大谷Spitzer 在微博上先后被@人民日報 、@央視新聞、@頭條新聞 等諸多媒體和微博大號“點名”，粗略統(tǒng)計微博上關(guān)于他的視頻總播放量達數(shù)千萬。

用一個時下熱門的詞來說，@大谷Spitzer 這位原本將自己定位為“游戲”的博主，憑借AI還原技術(shù)一夜之間在微博“出圈”了。

背后的AI黑科技

那么，AI具體是怎么讓這些藝術(shù)作品動起來的呢？

大谷介紹，基于YouTube大神Denis Shiryaev的教程，他這次用到的AI項目分別是（鏈接見文末）：

• Artbreeder
• StyleGAN-Art
• Realistic-Neural-Talking-Head-Models
• First-Order-Model（加文章超鏈）
• DAIN
• Topaz Labs

Artbreeder

Artbreeder是一個基于生成對抗網(wǎng)絡(luò)（GAN）技術(shù)的在線圖像生成網(wǎng)站。

在Artbreeder上，用戶可以通過調(diào)整滑塊，來創(chuàng)建不同風(fēng)格的人像、動畫。

StyleGAN-Art

StyleGAN是英偉達在2018年發(fā)布的人臉生成模型，支持2014×1024的高清大圖生成。

并在2019年升級成為了效果更加逼真、無暇的StyleGAN2。

StyleGAN-Art則是經(jīng)過了特殊調(diào)教的StyleGAN，專注于肖像畫的生成。效果是醬嬸的：

Realistic-Neural-Talking-Head-Models

這項研究來自莫斯科三星AI中心和斯科爾科沃科學(xué)技術(shù)研究所。

只需要少量圖像樣本，就能學(xué)習(xí)到高度逼真和個性化的目標人物面部模型。甚至對于肖像畫也一樣適用。

First-Order-Model

一張名人照片，加上隨便一段視頻，就能讓照片里的人物分分鐘動起來。

比如輸入一段川普的視頻，原本靜止在畫面中的史塔克們，也忍不住跟著動了起來。

這就是來自意大利特倫托大學(xué)的「First-Order-Model」。

DAIN

DAIN是上海交通大學(xué)開發(fā)的插幀算法，能把30fps的視頻一口氣插幀到480fps，讓視頻絲滑流暢，毫無卡頓。

△看琦玉老師這絲滑的披風(fēng)

并且，這項技術(shù)不僅適用于真實拍攝的視頻，電影、定格動畫、動漫都能搞定。

Topaz Labs

Topaz Labs的能力，是基于機器學(xué)習(xí)技術(shù)和trimap技術(shù)，增加照片的分辨率，補充像素細節(jié)。

提供添加蒙版，AI色彩、細節(jié)增強，AI降噪，無損失放大等功能。

不過，這是一系列收費軟件。

當然，除了這些AI黑科技，作者的耐心調(diào)教也是不可或缺的。

大谷本人也在接受新京報采訪時坦承，制作過程中，翻車的例子也不少。

沒有點亮AI技能點怎么辦？

最后的最后，還有一個問題：

如果沒有點亮AI技能點，就不能親自體驗這樣的「魔法時刻」了嗎？

或許，你可以期待一下Adobe的產(chǎn)品。

在去年的Adobe MAX大會上，Adobe露了這么一手：加入音軌，畫中人就能一鍵對口型。

哪怕只是簡筆畫，也能被賦予自然的動態(tài)。

Adobe表示，在不遠的將來，這樣的功能可能會出現(xiàn)在Adobe全家桶里面，作為新增功能或新產(chǎn)品出現(xiàn)。

介時，穿越到哈利波特的世界還不是分分鐘的事？（狗頭）

傳送門

完整視頻： https://weibo.com/1649367031/JhgqvED8r?filter=hot&root_comment_id=0&type=comment https://weibo.com/2395607675/JhqwlENKe?filter=hot&root_comment_id=0&type=comment

Artbreeder： https://www.artbreeder.com/

StyleGAN-Art： https://github.com/ak9250/stylegan-art

Realistic-Neural-Talking-Head-Models： https://github.com/vincent-thevenin/Realistic-Neural-Talking-Head-Models https://arxiv.org/abs/1905.08233

First-Order-Model： https://github.com/AliaksandrSiarohin/first-order-model https://arxiv.org/abs/2003.00196

DAIN： https://github.com/baowenbo/DAIN https://sites.google.com/view/wenbobao/dain