AI把視頻里的你抹掉了！效果絲滑，毫無痕跡，還能完美去水印 | ECCV
郭一璞不用特效，打造哈利波特隱身衣
郭一璞 魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
男子騎自行車，越過沙丘，無影無蹤，目擊者稱就消失在眼前：
因擊球過猛，網(wǎng)球運(yùn)動(dòng)員攜球拍共同湮滅：
男大學(xué)生熱愛徒步運(yùn)動(dòng)，進(jìn)入深山戈壁后失蹤：
白色面包車離奇消失，查遍監(jiān)控?cái)z像頭均未發(fā)現(xiàn)蹤影：
妙齡少女廣場(chǎng)起舞，光天白日下原地消失不知去向：
中學(xué)男生周末蕩秋千，飛到半空只剩秋千椅，家長稱1秒前孩子還安然無恙：
馬術(shù)選手騎馬越過柵欄后人馬雙雙消失，網(wǎng)民懷疑任意門現(xiàn)世：
帆船選手出海后離奇失蹤，主辦方搜尋后仍未獲蹤影：
詭異的現(xiàn)象，讓人懷疑視頻中使用了和九又四分之三站臺(tái)同樣的魔法。
沒錯(cuò)，這就是今年ECCV上最神奇的AI隱身衣技術(shù)。
讓網(wǎng)友們驚嘆，此情此景堪稱滅霸。
甚至開始擔(dān)心，如果這個(gè)技術(shù)被小偷用上，家具都會(huì)“飄走”。
也有外國網(wǎng)友開心，覺得可以用來屏蔽廣告，很不錯(cuò)。
這件隱身衣，究竟是怎么創(chuàng)造出來的？
基于光流邊緣引導(dǎo)的視頻補(bǔ)全算法
AI這種完美去水印、刪人物的「隱身」超能力，實(shí)際上是一種基于光流的視頻修復(fù)算法。
此前，量子位就曾經(jīng)介紹過港中大商湯聯(lián)合實(shí)驗(yàn)室和南洋理工大學(xué)的光流引導(dǎo)視頻修復(fù)算法。
不過，以往的基于光流的方法往往無法保留運(yùn)動(dòng)邊界的銳度，使得修復(fù)后的畫面不夠平滑。
另外，由于此前的方法是在相鄰幀之間的局部光流連接中傳播色彩，但并非所有視頻中被水印、物體遮住的區(qū)域都可以通過這種方式恢復(fù)，就會(huì)造成偽影。
為了解決這些問題，來自弗吉尼亞大學(xué)和Facebook的研究團(tuán)隊(duì)主要采取了以下三種方法：
- 分段平滑流補(bǔ)全（Piecewise-smooth flow completion）
- 非局部流連接（Non-local flow neighbors）
- 無縫融合（Seamless blending）
具體而言，首先，網(wǎng)絡(luò)的輸入包括待修復(fù)的視頻本身，和一個(gè)二進(jìn)制掩碼視頻，用以指明哪些部分需要算法合成。
然后，計(jì)算相鄰幀之間的光流，以及一組非相鄰幀之間的光流，提取并補(bǔ)完流的邊緣。下圖中紅線部分，即為神經(jīng)網(wǎng)絡(luò)“腦補(bǔ)”出來的邊緣。
接著用流邊緣來引導(dǎo)視頻中被水印/人物擋住的缺失區(qū)域的修復(fù)。
下一步，是按照光流的軌跡，為每個(gè)缺失的像素計(jì)算出一組候選像素。每個(gè)候選像素都有一個(gè)對(duì)應(yīng)的置信度分?jǐn)?shù)和一個(gè)二進(jìn)制有效性指標(biāo)。
以上圖為例，綠色區(qū)域?yàn)槿笔У牟糠?，黃線、橙線和棕線分別代表第一非局部幀、當(dāng)前幀和第三非局部幀的掃描線。
可以看到，通過跟蹤光流軌跡（黑色虛線），圖上藍(lán)色的像素點(diǎn)的候選像素被計(jì)算了出來。但由于人腿的運(yùn)動(dòng)形成了遮擋，計(jì)算紅色像素點(diǎn)的候選像素就出現(xiàn)了困難。
但在引入非相鄰幀的非局部光流后，紅色像素點(diǎn)就得到了額外的非局部領(lǐng)域（黃線和棕線上的紅色像素點(diǎn)），由此，就可以計(jì)算出被人腿遮擋的真實(shí)背景。
然后，再在梯度域中，使用置信度加權(quán)平均，融合每個(gè)缺失像素點(diǎn)的候選對(duì)象以重建顏色。
最后，迭代這個(gè)過程，直到?jīng)]有缺失像素為止。
實(shí)驗(yàn)結(jié)果：SOTA
從視覺效果上來說，這只AI的隱身大法修煉得十分成功。
與Diffusion和商湯的徐瑞等人的算法相比，新方法提供了更為清晰的運(yùn)動(dòng)邊界，效果更加平滑。
那么定量對(duì)比的結(jié)果又如何呢？直接來看數(shù)據(jù)。
在DAVIS數(shù)據(jù)集上，研究人員將該方法與現(xiàn)有方法進(jìn)行對(duì)比，比較了水印之類的靜止對(duì)象和運(yùn)動(dòng)對(duì)象兩類合成掩碼的視頻補(bǔ)完結(jié)果。
結(jié)果顯示，新方法在各項(xiàng)指標(biāo)上都達(dá)到了最佳性能。
關(guān)于作者
這件酷炫的AI隱身衣，由弗吉尼亞理工大學(xué)和Facebook打造。
一作是弗吉尼亞理工大學(xué)的三年級(jí)博士生Chen Gao。他的研究方向是計(jì)算攝影和計(jì)算機(jī)視覺，師從弗吉尼亞理工大學(xué)助理教授Jia-Bin Huang。
這項(xiàng)工作是他在Facebook實(shí)習(xí)期間完成。目前，他在谷歌擔(dān)任研究實(shí)習(xí)生。
作者還表示，會(huì)很快開源這件AI隱形衣的代碼，并放出在線Demo。
傳送門
項(xiàng)目地址：
http://chengao.vision/FGVC/
論文地址：
https://arxiv.org/abs/2009.01835
— 完 —
