百年古董電影秒變4K高清、60FPS，AI插值，還能著色

十三 2020-02-09 12:20:59 來源：量子位

十三 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

古董級(jí)電影秒變4K高清，還能黑白變彩色。

由于技術(shù)原因，最早的影像資料都是較為模糊且卡頓的，這就讓大大降低了我們的觀感體驗(yàn)。

而最近，國(guó)外網(wǎng)友Denis Shiryaev利用一種增強(qiáng)程序(Gigapixel AI)，將1896年的古董電影《火車進(jìn)站》，轉(zhuǎn)變成了4K 60fps高清“大電影”。

可以看到畫面中火車進(jìn)站、人物走動(dòng)、衣服擺動(dòng)都非常流暢、逼真。

當(dāng)然，看慣了高清電影的大家可能對(duì)此不以為然，那么請(qǐng)欣賞下1896年的原片。

沒有對(duì)比就沒有傷害，這才是原始《火車進(jìn)站》的效果，低清、卡頓，還有大量的噪點(diǎn)。

不僅如此，另一位網(wǎng)友還將這段高清視頻進(jìn)行了著色，可謂是賦予了古董電影新生命。

那么，這究竟怎么做到的呢？

AI插值，自動(dòng)填充百萬像素

據(jù)Shiryaev介紹，他采用的是一種叫做Gigapixel AI的商業(yè)圖像編輯軟件(付費(fèi))。這款軟件由Topaz實(shí)驗(yàn)室創(chuàng)造，可以讓圖像的質(zhì)量提升600%。

△Gigapixel AI

它利用一種專有的插值算法，對(duì)圖像做分析、識(shí)別其細(xì)節(jié)和結(jié)構(gòu)，最后將額外的“信息”填充到圖像中。

這個(gè)工作量是什么概念？

普通的高清是1920×1080，總像素為2073600，而4K高清是3840×2160，總像素是8294400。

也就是說，光是要把普通高清提升到4K高清，就需要額外填充600萬個(gè)像素。

不僅如此，還需要弄清楚如何顯示這些額外的像素，這就是插值過程的用武之地。

插值估計(jì)每個(gè)新像素要顯示什么內(nèi)容，這個(gè)過程是基于它們周邊的像素。對(duì)于這一點(diǎn)，有許多方法可以來衡量。

最近鄰?(Nearest Neighbor)方法，會(huì)簡(jiǎn)單地用與其最近鄰相同的顏色填充空白像素。它雖然簡(jiǎn)單而有效，但結(jié)果是一個(gè)鋸齒狀、明顯像素化的圖像。

雙線性插值?(Bilinear Interpolation)方法需要更多的處理能力，但它基于最近的兩個(gè)像素來分析空白像素，并在它們之間生成一個(gè)梯度，這會(huì)讓圖像變得更加清晰。

而雙三次插值?(Bicubic Interpolation)會(huì)對(duì)其16個(gè)最近鄰像素進(jìn)行了采樣，這樣就會(huì)讓著色變得精確，但仍然存在圖像模糊的問題。

通過結(jié)合雙線性插值和雙三次插值，就可以生成光學(xué)質(zhì)量損失最小的放大圖像。

而這一過程，Gigapixel AI利用深度卷積神經(jīng)網(wǎng)絡(luò)來完成。正如產(chǎn)品頁面介紹的那樣：

神經(jīng)網(wǎng)絡(luò)分析成千上萬對(duì)照片，了解圖像細(xì)節(jié)是如何丟失的。算法會(huì)根據(jù)所學(xué)知識(shí)在新圖像中填充信息，有效地為照片添加新細(xì)節(jié)。

解決了像素低的問題，還需要解決視頻卡頓問題。

Gigapixel AI在關(guān)鍵幀之間進(jìn)行“想像”之后，把這些想像出來的幀插進(jìn)去。

而它插入的幀數(shù)多到可以讓視頻速率提高到60 FPS。

這就是古董電影也能變得如此清晰、流暢的原因。

黑白變彩色

雖然Shiryaev的視頻中，只是提高了老電影的清晰度和流暢度，但也有網(wǎng)友在此基礎(chǔ)上做了進(jìn)一步的工作——著色。

同樣是利用神經(jīng)網(wǎng)絡(luò)，從一堆彩色照片開始，將它們轉(zhuǎn)換成黑色和白色，然后再重建彩色原圖。

網(wǎng)友就把Shiryaev的視頻放到了這樣的安卓程序中，給這個(gè)黑白電影著色。

可以看到，AI正確的判斷出了樹木是綠色，砂石是棕色，以及路人衣服的顏色。

當(dāng)然，這位網(wǎng)友也表示，希望看到更好的著色技術(shù)讓這部經(jīng)典的古董電影煥發(fā)新生命。

那么，你想試試嗎？

博主簡(jiǎn)介

△Denis Shiryaev

Denis Shiryaev出生于1988年6月28日，俄羅斯人。

曾在Комитет公司和Futurico公司擔(dān)任產(chǎn)品經(jīng)理，也在Merck KGaA和Bellerage Vostok兩家商店擔(dān)任系統(tǒng)管理員。

傳送門

博客：https://arstechnica.com/science/2020/02/someone-used-neural-networks-to-upscale-a-famous-1896-video-to-4k-quality/

https://www.engadget.com/2020/02/04/how-ai-helped-upscale-an-antique-1896-film-to-4k/

視頻地址：https://www.youtube.com/watch?v=3RYNThid23g&feature=emb_logo