谷歌最新視頻摳圖術(shù)：影子煙霧都能摳，添加水印更順滑，UP主剪輯利器 | 開源
可重構(gòu)時(shí)序?qū)崿F(xiàn)分身
楊凈 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
如何更順滑的添加水印？
谷歌的這項(xiàng)新技術(shù)，讓文本簡(jiǎn)直就像貼在地面上，哪怕是在沙塵橫飛的場(chǎng)景里。
方法也很簡(jiǎn)單。
只需輸入一段視頻，和指定對(duì)象的粗略蒙版。
那這個(gè)對(duì)象的所有相關(guān)場(chǎng)景元素，都能解鎖！
比如人和狗的影子。
還有黑天鵝緩緩拂過的漣漪~
以及上述那個(gè)賽車疾馳過后激起的沙塵。
不管是任意對(duì)象和主體，不論怎么移動(dòng)，所有元素都能摳出來(lái)。
這就是谷歌最新的視頻分層技術(shù)——omnimatte，入選CVPR 2021 Oral。
目前這項(xiàng)技術(shù)都已開源。
如何實(shí)現(xiàn)
計(jì)算機(jī)視覺在分割圖像或視頻中的對(duì)象方面越來(lái)越有效，然而與對(duì)象相關(guān)的場(chǎng)景效果。
比如陰影、反射、產(chǎn)生的煙霧等場(chǎng)景效果常常被忽略。
而識(shí)別這些場(chǎng)景效果，對(duì)提高AI的視覺理解很重要，那谷歌這項(xiàng)新技術(shù)又是如何實(shí)現(xiàn)的呢？
簡(jiǎn)單來(lái)說(shuō)，用分層神經(jīng)網(wǎng)絡(luò)渲染方法自監(jiān)督訓(xùn)練CNN，來(lái)將主體與背景圖像分割開來(lái)。
由于CNN的特有結(jié)構(gòu)，會(huì)有傾向性地學(xué)習(xí)圖像效果之間的相關(guān)性，且相關(guān)性卻強(qiáng)，CNN越容易學(xué)習(xí)。
輸入一段有移動(dòng)物體的視頻，以及一個(gè)或者多個(gè)標(biāo)記主體的粗略分割蒙版。
首先，使用現(xiàn)成的分割網(wǎng)絡(luò)比如Mask RCNN，來(lái)講這些主體分成多個(gè)遮罩層和背景噪聲圖層，并按照某種規(guī)則進(jìn)行排序。
比如，在一個(gè)騎手、一輛自行車以及幾個(gè)路人的場(chǎng)景中，就會(huì)把騎手和自行車歸入一個(gè)層，把人群歸入第二層。
omnimatte模型是一個(gè)二維UNet，逐幀處理視頻。每一幀都用現(xiàn)成的技術(shù)來(lái)計(jì)算物體掩碼，來(lái)標(biāo)記運(yùn)動(dòng)中的主體，并尋找和關(guān)聯(lián)蒙版中未捕捉到的效果，比如陰影、反射或者煙霧，重建輸入幀。
為了保證其他靜止的背景元素不被捕獲，研究人員引入了稀疏損失。
此外，還計(jì)算了視頻中每一幀和連續(xù)幀之間的密集光流場(chǎng)，為網(wǎng)絡(luò)提供與該層對(duì)象相關(guān)的流信息。
最終生成Alpha圖像（不透明度圖）和RGBA彩色圖像，尤其RGBA圖像，簡(jiǎn)直可以說(shuō)是視頻/圖像剪輯法寶！
目前這一技術(shù)已經(jīng)開源，配置環(huán)境如下：
- Linux
- Python 3.6+
- NVIDIA GPU + CUDA CuDNN
有什么用途
技術(shù)效果如此，那有什么樣的用途呢？
首先就可以復(fù)制或者刪除圖像。
還有順滑地切換背景。
還可以實(shí)現(xiàn)這一經(jīng)典操作，讓原本依次掉水的小孩一起入水~
背后的團(tuán)隊(duì)
最后再來(lái)說(shuō)一下背后的團(tuán)隊(duì)。
這項(xiàng)研究由谷歌研究院、牛津大學(xué)以及魏茨曼科學(xué)研究所共同完成。
其中，論文一作是牛津大學(xué)四年級(jí)博士生Erika Lu，曾是谷歌實(shí)習(xí)生，在麻省理工學(xué)院獲得了計(jì)算機(jī)科學(xué)與工程學(xué)士學(xué)位。
論文鏈接：
https://arxiv.org/pdf/2105.06993.pdf
參考鏈接：
https://ai.googleblog.com/2021/08/introducing-omnimattes-new-approach-to.html
https://github.com/erikalu/omnimatte
https://omnimatte.github.io/
https://erikalu.com/
- 英偉達(dá)最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團(tuán)隊(duì)打破圖靈獎(jiǎng)得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時(shí)代！納米AI多智能體蜂群，可創(chuàng)作最長(zhǎng)10分鐘AI視頻2025-08-06
相關(guān)閱讀
馬斯克感嘆硅谷AI春招太瘋狂！百萬(wàn)美元年薪隨便開，小扎一線當(dāng)獵頭，谷歌創(chuàng)始人返場(chǎng)搶人
硅谷AI人才爭(zhēng)奪進(jìn)入白熱化
