單幀風(fēng)景照變延時(shí)攝影，分分鐘搞定，還能有晝夜變化，這是來自日本的開源動(dòng)畫景觀算法

魚羊 曉查 2020-05-16 10:26:13 來源：量子位

邊策 魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

潮起浪涌，拍擊礁石。

你以為這是慢動(dòng)作錄制的自然片段？

非也。

只要一張靜態(tài)風(fēng)景照，幾分鐘之內(nèi)，AI就能還原出這自然界的壯闊動(dòng)態(tài)。

延時(shí)攝影，慢動(dòng)作效果，一圖即可復(fù)現(xiàn)。

畫質(zhì)是清晰的1080p，入門門檻卻不高，僅需一個(gè)GPU和幾百兆字節(jié)的預(yù)訓(xùn)練數(shù)據(jù)。

紀(jì)錄片缺素材，后期制作太麻煩？有了這只AI就不怕了。

這項(xiàng)來自日本筑波大學(xué)的研究，登上計(jì)算機(jī)圖形學(xué)頂會(huì)SIGGRARH Asia，預(yù)訓(xùn)練模型和代碼均已開源（地址見文末）。

還原自然的云卷云舒

這只AI，專注于自然界云與水的律動(dòng)。

△輸出

△輸入

天上云卷云舒，水面云的倒影也會(huì)隨之移動(dòng)。

不僅有空間移動(dòng)，晨光暮色，亦能動(dòng)態(tài)呈現(xiàn)。

△4倍速

像不像記錄片里的片段？

不僅如此，天空云涌，水面潮起，在這場(chǎng)AI的魔術(shù)表演中，就像在自然界中一樣兩不相誤。

與前輩作品相比，這樣的表現(xiàn)完全是大師級(jí)別。

△上排為前輩作品，下排為新方法

難怪網(wǎng)友驚嘆：這太美了！

原理

這一魔法的實(shí)現(xiàn)，需要以下相關(guān)的工作：光流預(yù)測(cè)、風(fēng)格遷移、視頻預(yù)測(cè)等。

光流是一種描述圖像中各像素運(yùn)動(dòng)速度和方向的方法，根據(jù)物體相鄰兩幀的差異可以計(jì)算出圖像的光流，同樣也可以根據(jù)光流推測(cè)是視頻下一秒可能的樣子。

風(fēng)格遷移通過感知損失的反向傳播來優(yōu)化輸出圖像，在保留源內(nèi)容的前提下，改變圖像的風(fēng)格，而本文中，風(fēng)格遷移的主要作用是對(duì)圖像中變化部分的顏色進(jìn)行更改。

去年有人提出了通過風(fēng)格遷移方法實(shí)現(xiàn)圖像的晝夜交替、四季更迭的轉(zhuǎn)換。而輸出視頻的難度在于要實(shí)現(xiàn)這種變換的平滑性。

下圖展示了視頻合成的整個(gè)流程：給定輸入圖像和控制未來變化的潛在代碼，運(yùn)動(dòng)預(yù)測(cè)器會(huì)生成將來的向后光流（backward flows）。

這些流使輸入圖像變形，合成添加了運(yùn)動(dòng)的圖像，然后將它們轉(zhuǎn)換為運(yùn)動(dòng)循環(huán)。

但是，僅僅讓圖片動(dòng)起來還不夠，由于延時(shí)攝影的特點(diǎn)是時(shí)間長(zhǎng)，在這段時(shí)間里，天色還會(huì)變暗。

因此還要對(duì)整張圖片的色調(diào)進(jìn)行更改，不是簡(jiǎn)單的調(diào)個(gè)色，而是要讓視頻畫面的顏色隨著時(shí)間推進(jìn)平滑地過渡。

這就是外觀預(yù)測(cè)器負(fù)責(zé)的工作，它能夠更改運(yùn)動(dòng)預(yù)測(cè)器生成圖片的顏色，從而獲得輸出視頻。

在一般的循環(huán)推理中，錯(cuò)誤會(huì)在循環(huán)的輸出幀中累積。而在這篇論文的運(yùn)動(dòng)預(yù)測(cè)中，這些光流在空間上是平滑的，因此對(duì)錯(cuò)誤的敏感度較低。

此外，算法通過回溯到輸入圖像來重構(gòu)每個(gè)預(yù)測(cè)幀，避免由于重復(fù)的顏色采樣而導(dǎo)致RGB值的錯(cuò)誤累積。

運(yùn)動(dòng)預(yù)測(cè)器

訓(xùn)練運(yùn)動(dòng)預(yù)測(cè)器的方法非常直接，最終目標(biāo)就是讓模型預(yù)測(cè)的光流場(chǎng)與真實(shí)光流場(chǎng)之間的差異最小化。

至于推理過程，首先從單個(gè)輸入圖像生成加入的運(yùn)動(dòng)幀，通過線性混合（linear blending）使其循環(huán)，然后對(duì)每個(gè)幀進(jìn)行顏色轉(zhuǎn)換。

在這個(gè)過程中反復(fù)使用預(yù)測(cè)幀作為下一個(gè)運(yùn)動(dòng)預(yù)測(cè)的輸入幀，重復(fù)此過程獲得多個(gè)幀。

但是自監(jiān)督的環(huán)境中預(yù)測(cè)光流場(chǎng)是有挑戰(zhàn)性的，因?yàn)檫@本質(zhì)上是要找到兩個(gè)具有較大自由度的連續(xù)幀之間的對(duì)應(yīng)關(guān)系，這很容易陷入局部最優(yōu)值中，從而產(chǎn)生不一致的流場(chǎng)。

為此，作者在預(yù)測(cè)和訓(xùn)練階段都限制了輸出光流場(chǎng)的范圍，以一個(gè)常數(shù)除預(yù)測(cè)的光流場(chǎng)，限制它們的幅度范圍。事實(shí)也證明了這種方法的有效性。

外觀預(yù)測(cè)器

由于外觀預(yù)測(cè)器是使用輸入圖像和每個(gè)訓(xùn)練視頻中兩幀之間任意幀來訓(xùn)練的，因此需要一個(gè)潛在代碼來控制每個(gè)幀的外觀。

最終，顏色遷移圖通過輸入圖像和控制的潛在編碼來共同計(jì)算完成。這種方法避免了反復(fù)直接從輸入圖像預(yù)測(cè)導(dǎo)致隨時(shí)間變化的色彩。

日本團(tuán)隊(duì)

論文的第一作者，是日本筑波大學(xué)計(jì)算機(jī)幾何與圖形實(shí)驗(yàn)室（CGG）的副教授遠(yuǎn)藤裕紀(jì)（Yuki Endo）。

另外兩位合作者，分別是同實(shí)驗(yàn)室的金森佳宏（Yoshihiro Kanamori）副教授，和豐橋技術(shù)科技大學(xué)的栗山繁（ Kuriyama Shigeru）教授。

傳送門

PyTorch代碼：https://github.com/endo-yuki-t/Animating-Landscape

項(xiàng)目地址：http://www.cgg.cs.tsukuba.ac.jp/~endo/projects/AnimatingLandscape/

論文地址：https://arxiv.org/abs/1910.07192

— 完 —