AI把視頻里的你抹掉了！效果絲滑，毫無(wú)痕跡，還能完美去水印 | ECCV

魚(yú)羊 郭一璞 2020-09-05 12:50:57 來(lái)源：量子位

郭一璞 魚(yú)羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

男子騎自行車(chē)，越過(guò)沙丘，無(wú)影無(wú)蹤，目擊者稱(chēng)就消失在眼前：

因擊球過(guò)猛，網(wǎng)球運(yùn)動(dòng)員攜球拍共同湮滅：

男大學(xué)生熱愛(ài)徒步運(yùn)動(dòng)，進(jìn)入深山戈壁后失蹤：

白色面包車(chē)離奇消失，查遍監(jiān)控?cái)z像頭均未發(fā)現(xiàn)蹤影：

妙齡少女廣場(chǎng)起舞，光天白日下原地消失不知去向：

中學(xué)男生周末蕩秋千，飛到半空只剩秋千椅，家長(zhǎng)稱(chēng)1秒前孩子還安然無(wú)恙：

馬術(shù)選手騎馬越過(guò)柵欄后人馬雙雙消失，網(wǎng)民懷疑任意門(mén)現(xiàn)世：

帆船選手出海后離奇失蹤，主辦方搜尋后仍未獲蹤影：

詭異的現(xiàn)象，讓人懷疑視頻中使用了和九又四分之三站臺(tái)同樣的魔法。

沒(méi)錯(cuò)，這就是今年ECCV上最神奇的AI隱身衣技術(shù)。

讓網(wǎng)友們驚嘆，此情此景堪稱(chēng)滅霸。

甚至開(kāi)始擔(dān)心，如果這個(gè)技術(shù)被小偷用上，家具都會(huì)“飄走”。

也有外國(guó)網(wǎng)友開(kāi)心，覺(jué)得可以用來(lái)屏蔽廣告，很不錯(cuò)。

這件隱身衣，究竟是怎么創(chuàng)造出來(lái)的？

基于光流邊緣引導(dǎo)的視頻補(bǔ)全算法

AI這種完美去水印、刪人物的「隱身」超能力，實(shí)際上是一種基于光流的視頻修復(fù)算法。

此前，量子位就曾經(jīng)介紹過(guò)港中大商湯聯(lián)合實(shí)驗(yàn)室和南洋理工大學(xué)的光流引導(dǎo)視頻修復(fù)算法。

不過(guò)，以往的基于光流的方法往往無(wú)法保留運(yùn)動(dòng)邊界的銳度，使得修復(fù)后的畫(huà)面不夠平滑。

另外，由于此前的方法是在相鄰幀之間的局部光流連接中傳播色彩，但并非所有視頻中被水印、物體遮住的區(qū)域都可以通過(guò)這種方式恢復(fù)，就會(huì)造成偽影。

為了解決這些問(wèn)題，來(lái)自弗吉尼亞大學(xué)和Facebook的研究團(tuán)隊(duì)主要采取了以下三種方法：

• 分段平滑流補(bǔ)全（Piecewise-smooth flow completion）
• 非局部流連接（Non-local flow neighbors）
• 無(wú)縫融合（Seamless blending）

具體而言，首先，網(wǎng)絡(luò)的輸入包括待修復(fù)的視頻本身，和一個(gè)二進(jìn)制掩碼視頻，用以指明哪些部分需要算法合成。

然后，計(jì)算相鄰幀之間的光流，以及一組非相鄰幀之間的光流，提取并補(bǔ)完流的邊緣。下圖中紅線部分，即為神經(jīng)網(wǎng)絡(luò)“腦補(bǔ)”出來(lái)的邊緣。

接著用流邊緣來(lái)引導(dǎo)視頻中被水印/人物擋住的缺失區(qū)域的修復(fù)。

下一步，是按照光流的軌跡，為每個(gè)缺失的像素計(jì)算出一組候選像素。每個(gè)候選像素都有一個(gè)對(duì)應(yīng)的置信度分?jǐn)?shù)和一個(gè)二進(jìn)制有效性指標(biāo)。

以上圖為例，綠色區(qū)域?yàn)槿笔У牟糠?，黃線、橙線和棕線分別代表第一非局部幀、當(dāng)前幀和第三非局部幀的掃描線。

可以看到，通過(guò)跟蹤光流軌跡（黑色虛線），圖上藍(lán)色的像素點(diǎn)的候選像素被計(jì)算了出來(lái)。但由于人腿的運(yùn)動(dòng)形成了遮擋，計(jì)算紅色像素點(diǎn)的候選像素就出現(xiàn)了困難。

但在引入非相鄰幀的非局部光流后，紅色像素點(diǎn)就得到了額外的非局部領(lǐng)域（黃線和棕線上的紅色像素點(diǎn)），由此，就可以計(jì)算出被人腿遮擋的真實(shí)背景。

然后，再在梯度域中，使用置信度加權(quán)平均，融合每個(gè)缺失像素點(diǎn)的候選對(duì)象以重建顏色。

最后，迭代這個(gè)過(guò)程，直到?jīng)]有缺失像素為止。

實(shí)驗(yàn)結(jié)果：SOTA

從視覺(jué)效果上來(lái)說(shuō)，這只AI的隱身大法修煉得十分成功。

與Diffusion和商湯的徐瑞等人的算法相比，新方法提供了更為清晰的運(yùn)動(dòng)邊界，效果更加平滑。

那么定量對(duì)比的結(jié)果又如何呢？直接來(lái)看數(shù)據(jù)。

在DAVIS數(shù)據(jù)集上，研究人員將該方法與現(xiàn)有方法進(jìn)行對(duì)比，比較了水印之類(lèi)的靜止對(duì)象和運(yùn)動(dòng)對(duì)象兩類(lèi)合成掩碼的視頻補(bǔ)完結(jié)果。

結(jié)果顯示，新方法在各項(xiàng)指標(biāo)上都達(dá)到了最佳性能。

關(guān)于作者

這件酷炫的AI隱身衣，由弗吉尼亞理工大學(xué)和Facebook打造。

一作是弗吉尼亞理工大學(xué)的三年級(jí)博士生Chen Gao。他的研究方向是計(jì)算攝影和計(jì)算機(jī)視覺(jué)，師從弗吉尼亞理工大學(xué)助理教授Jia-Bin Huang。

這項(xiàng)工作是他在Facebook實(shí)習(xí)期間完成。目前，他在谷歌擔(dān)任研究實(shí)習(xí)生。

作者還表示，會(huì)很快開(kāi)源這件AI隱形衣的代碼，并放出在線Demo。

傳送門(mén)

項(xiàng)目地址：
http://chengao.vision/FGVC/

論文地址：
https://arxiv.org/abs/2009.01835

— 完 —