注入Attention，精度漲30%！谷歌發(fā)表最新多目標(biāo)“動(dòng)態(tài)摳圖”模型
只需第1幀圖像并框好物體邊界就能“摳”
只需第一幀圖像+邊界提示，就能將視頻中各物體“摳”出來并進(jìn)行軌跡跟蹤：
以上就是谷歌的最新研究成果。
該方法通過在視頻中引入注意力機(jī)制，成功地解決此前采用了無監(jiān)督學(xué)習(xí)的多目標(biāo)分割和跟蹤方法的一些不足。
現(xiàn)在的它，不僅可以泛化到更多樣、視覺上更復(fù)雜的視頻中，還能處理更長的視頻序列。
通過實(shí)驗(yàn)還發(fā)現(xiàn)，相比此前的模型，谷歌這個(gè)新方法在MOVi數(shù)據(jù)集上的mIoU直接提高了近30%。
為“動(dòng)態(tài)摳圖”引入注意力機(jī)制
方法被命名為SAVi（Slot Attention for Video）。
而此前的無監(jiān)督目標(biāo)分割和跟蹤方法最大的問題，就是只能應(yīng)用到非常簡單的視頻上。
為了處理視覺效果更復(fù)雜的視頻，SAVi采用弱監(jiān)督學(xué)習(xí)：
（1）以光流（optical flow）預(yù)測為訓(xùn)練目標(biāo)，并引入注意力機(jī)制；
（2）在第一幀圖像上給出初始提示（一般是框出待分割物體，或者給出物體上單個(gè)點(diǎn)的坐標(biāo)），進(jìn)行分割指導(dǎo)。
具體來說，受到常微分方程的“預(yù)測-校正器”方法的啟發(fā)，SAVi對每個(gè)可見的視頻幀執(zhí)行預(yù)測和校正步驟。
為了描述視頻物體隨時(shí)間變化的狀態(tài)，包括與其它物體的交互，SAVi在進(jìn)行光流預(yù)測時(shí)在slot之間使用自注意力。
slot就是指視頻中各物體，用不同顏色區(qū)分。
校正階段，帶有輸入的slot-normalized交叉注意用于校正（更新）slot表示集。
然后預(yù)測器的輸出根據(jù)時(shí)間來初始化矯正器，使模型最終能夠以一致的方式隨時(shí)間跟蹤物體。
△ SAVi模型架構(gòu)圖
在訓(xùn)練中，每個(gè)視頻被分成六個(gè)6幀子序列，第一幀接收提示信號，每幀兩輪slot注意力。
在完全無監(jiān)督視頻分割中，研究人員以64的batch size訓(xùn)練了十萬步。
沒有提示，也能進(jìn)行簡單視頻的分割和跟蹤
在CATER數(shù)據(jù)集上，測試表明，SAVi架構(gòu)完全適用于無監(jiān)督的物體表示學(xué)習(xí)。
在光流條件監(jiān)督的情況下，SAVi在MOVi數(shù)據(jù)集上獲得72.1%的mIoU，比基線模型CRW和T-VOS分別高了近30%和近20%。
SAVi在MOVi++數(shù)據(jù)集上的mIoU得分為45.9%，比T-VOS略高一點(diǎn)，比CRW低了5%。
另外，還可以看到，在第一幀圖像上給出質(zhì)心形式的提示效果會比邊界框好一點(diǎn)，但區(qū)別不大。
值得注意的是，即使沒有任何提示，該方法也能分割一些具有簡單紋理的動(dòng)態(tài)場景，比如在數(shù)據(jù)集Sketchy上。
不過，在將SAVi完全用于現(xiàn)實(shí)世界里的復(fù)雜視頻時(shí)，還有一些挑戰(zhàn)需克服：
1、所采用的訓(xùn)練方法假設(shè)在訓(xùn)練時(shí)光流信息是可用的，而在真實(shí)視頻中，這不一樣有；
2、研究中所涉及的都是一些簡單物體的基本運(yùn)動(dòng)，現(xiàn)實(shí)遠(yuǎn)比這個(gè)復(fù)雜。
最后，作者表示，SAVi在分割和跟蹤方面仍然表現(xiàn)出色，在第一幀給出提示信息的做法也可能會衍生出各種相關(guān)的半監(jiān)督方法。
論文地址：
https://arxiv.org/abs.2111.12594
參考鏈接：
[1]https://slot-attention-video.github.io/(代碼即將開源)
[2]https://www.marktechpost.com/2021/11/28/google-research-open-sources-savi-an-object-centric-architecture-that-extends-the-slot-attention-mechanism-to-videos/
相關(guān)閱讀
谷歌放棄中國以及其他國家的云計(jì)算市場，已關(guān)閉在華項(xiàng)目
并不會對中國云服務(wù)質(zhì)量產(chǎn)生影響
