AI為半世紀(jì)前的黑白電影照片上色：效果驚艷，Demo在線可玩

安妮 2019-05-08 09:46:38 來(lái)源：量子位

銅靈 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

半個(gè)世紀(jì)前拍攝的黑白老舊電影，現(xiàn)在迎來(lái)了人生的“第二春”。

在AI的幫助下，這些只有黑白灰三色的視頻片段，已經(jīng)變成了彩色的。

在Facebook的F8大會(huì)上，國(guó)外技術(shù)小哥Jason Antic展示了一種叫DeOldify的AI模型，這種技術(shù)為老電影上色效果堪稱驚艷。

不信？直接看效果：

比如，1960年的美國(guó)驚悚恐怖電影《驚魂記》：

用AI上色后的毫不違和，人臉部分的妝容也不別扭：

黑白電影時(shí)代的幽默大師卓別林，第一次在鏡頭下有了顏色：

89年前的美國(guó)電影Reefer Madness，就這樣被輕松還原了：

輸入黑白灰，輸出紅綠藍(lán)，這個(gè)AI模型開始大火。Jason Antic小哥的推特收獲了近800贊，推特網(wǎng)友直呼“Amazing?。。　?、“very cool”、“wow”。

不過(guò)，這還不是DeOldify模型的全部實(shí)力。

在線試玩

除了視頻，DeOldify還能處理老舊的黑白照片和圖像。

比如1936年Dorothea Lange的攝影作品《移民母親》：

1920年在臥室放松的瑞典婦女：

1911年的Thanksgiving Maskers：

1941年在農(nóng)場(chǎng)的Lemuel Smith先生及其夫人以及他們年幼的孩子們：

1890年代末的挪威新娘：

1880年吸食鴉片的中國(guó)人：

以上這些畫作的上色，均由DeOldify完成。無(wú)論是人像還是場(chǎng)景，或是綠油油的田園景象，這只AI上色畫師的處理都自然完美。

好消息是，這個(gè)為圖像上色的模型現(xiàn)在還有了demo，你也能在線試玩了。

試玩地址：

https://colorize.cc/

操作也非常簡(jiǎn)單，傳入一張黑白圖像，輸入自己的郵箱地址，不一會(huì)兒就能收到上了色的版本。

高效的NoGAN

上色大師DeOldify是怎么做出來(lái)的？

作者小哥表示，這背后是一套名為NoGAN的架構(gòu)。他自稱這是一種奇怪，但是非常高效的圖像到圖像的訓(xùn)練方法。

這種深度學(xué)習(xí)模型借鑒了當(dāng)前多種主流技術(shù)方法，包括：

自注意生成對(duì)抗網(wǎng)絡(luò)（Self-Attention Generative Adversarial Network）

生成器是一個(gè)預(yù)訓(xùn)練的Unet，小哥進(jìn)行了一個(gè)非常簡(jiǎn)單的轉(zhuǎn)換過(guò)程，將其修改成了具有譜歸一化和自注意力。

相關(guān)研究：

https://arxiv.org/abs/1805.08318

兩個(gè)時(shí)間尺度更新規(guī)則

也就是說(shuō)這是一個(gè)一對(duì)一的生成/辨別迭代，并且具有更高的辨別器學(xué)習(xí)率。這種修改能夠確保辨別器在生成器訓(xùn)練前被“捕獲”。

相關(guān)研究：

https://arxiv.org/abs/1706.08500

生成器的損失分為兩部分

一是基于VGG16的基本感知損失（或特征損失），這讓生成模型更偏向于輸入生成圖像。二是來(lái)自辨別器的損失，因?yàn)閮H單一模仿輸入并不能帶來(lái)很好的生成結(jié)果，可能會(huì)出現(xiàn)一些棕色/綠色/藍(lán)色的簡(jiǎn)單堆疊來(lái)欺騙檢測(cè)。

所以需要意識(shí)到，生成對(duì)抗網(wǎng)絡(luò)的本質(zhì)就是學(xué)習(xí)損失函數(shù)。

NoGAN

重頭戲來(lái)了，NoGAN是一種新型的GAN訓(xùn)練方法，能用來(lái)解決此前GAN訓(xùn)練過(guò)程中的關(guān)鍵問(wèn)題。

NoGAN的相關(guān)論文雖然還沒(méi)有放出，但小哥在Github中大致介紹了NoGAN的特點(diǎn)。

此前，訓(xùn)練模型的大部分時(shí)間都用在了預(yù)訓(xùn)練生成器和critic這一部分，但NoGAN可以花費(fèi)最少的時(shí)間直接進(jìn)行訓(xùn)練。

這種方法的訓(xùn)練流程為：

先用常規(guī)方法訓(xùn)練具有特征損失的生成器，接下來(lái)從中生成圖像，并把辨別器當(dāng)成一個(gè)二元分類器，區(qū)分輸出圖像和真實(shí)圖像之間的差距。對(duì)于辨別器來(lái)說(shuō)有一個(gè)拐點(diǎn)，在拐點(diǎn)附近生成圖像質(zhì)量最佳。為了找到這個(gè)拐點(diǎn)，小哥也只能通過(guò)數(shù)次嘗試，沒(méi)有巧方法。

NoGAN訓(xùn)練還有一個(gè)關(guān)鍵問(wèn)題，可以在最初GAN訓(xùn)練后，用相同的方式對(duì)生成的圖像重復(fù)進(jìn)行預(yù)訓(xùn)練。

傳送門

Github地址：

https://github.com/jantic/DeOldify/blob/master/README.md

— 完 —

誠(chéng)摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號(hào)簽約作者

?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)