高清還原破損視頻，參數(shù)和訓(xùn)練時間減少三分之二，臺大這項研究登上了BMVC 2019

郭一璞 2019-07-23 08:12:01 來源：量子位

郭一璞 發(fā)自 凹非寺

量子位 報道 | 公眾號 QbitAI

小刺猬的視頻，被潑了墨。

用AI“清洗”一下，就干凈了。

支離破碎的滑板視頻。

這下變了回來。

一位黑哥哥在擼巨型老鼠，但是畫面破損，看不清。

AI還原一下，現(xiàn)在好了。

每個被破損的視頻，經(jīng)過AI還原之后，仿佛從來沒有被破壞過一樣，完整清晰。

這是臺灣大學(xué)發(fā)表在BMVC 2019的一項研究，一作是臺大通訊與多媒體實驗室學(xué)生Ya-Liang Chang。

核心創(chuàng)造：LGTSM

之所以能將視頻畫面修補的那么完美，要歸功于研究者們提出的可學(xué)習(xí)的門控時移模塊，Learnable Gated Temporal Shift Module，LGTSM。

LGTSM改進自2018年MIT-IBM沃森實驗室提出的TSM模塊，增加了門控卷積濾波器，設(shè)計了可學(xué)習(xí)的時間移位內(nèi)核（temporal shifting kernels）。

由于移位操作僅使用1/4通道大小的附加緩沖器，因此與傳統(tǒng)的2D卷積相比，它在計算時間和運行時內(nèi)存方面成本很低。

這樣，這個模塊就能將模型的參數(shù)和訓(xùn)練時間都減少到原來的33%，達到幾乎相同的表現(xiàn)效果。

在這個模塊之外，整體的模型則是由U-net類生成器和TSMGAN鑒別器構(gòu)成，LGTSM模塊所處的位置就是生成器內(nèi)，除此之外生成器還包括11個卷積層。

在不同數(shù)據(jù)集上跑的結(jié)果

用到的數(shù)據(jù)集是基于YouTube視頻制作的FaceForensics和FVI數(shù)據(jù)集，總共視頻數(shù)量超過16000個。

在兩個數(shù)據(jù)集上，LGTSM和目前成績最好的3DGated非常接近，但參數(shù)的數(shù)量卻只有前者的三分之一。

傳送門

論文：

Learnable Gated Temporal Shift Module for Deep Video Inpainting

Ya-Liang Chang, Zhe Yu Liu, Kuan-Ying Lee, Winston Hsu

https://arxiv.org/abs/1907.01131

GitHub：

https://github.com/amjltc295/Free-Form-Video-Inpainting

視頻效果全集：

https://www.youtube.com/playlist?list=PLPoVtv-xp_dL5uckIzz1PKwNjg1yI0I94

—?完?—