注入Attention，精度漲30%！谷歌發(fā)表最新多目標“動態(tài)摳圖”模型
只需第1幀圖像并框好物體邊界就能“摳”
只需第一幀圖像+邊界提示，就能將視頻中各物體“摳”出來并進行軌跡跟蹤：
以上就是谷歌的最新研究成果。
該方法通過在視頻中引入注意力機制，成功地解決此前采用了無監(jiān)督學習的多目標分割和跟蹤方法的一些不足。
現在的它，不僅可以泛化到更多樣、視覺上更復雜的視頻中，還能處理更長的視頻序列。
通過實驗還發(fā)現，相比此前的模型，谷歌這個新方法在MOVi數據集上的mIoU直接提高了近30%。
為“動態(tài)摳圖”引入注意力機制
方法被命名為SAVi（Slot Attention for Video）。
而此前的無監(jiān)督目標分割和跟蹤方法最大的問題，就是只能應用到非常簡單的視頻上。
為了處理視覺效果更復雜的視頻，SAVi采用弱監(jiān)督學習：
（1）以光流（optical flow）預測為訓練目標，并引入注意力機制；
（2）在第一幀圖像上給出初始提示（一般是框出待分割物體，或者給出物體上單個點的坐標），進行分割指導。
具體來說，受到常微分方程的“預測-校正器”方法的啟發(fā)，SAVi對每個可見的視頻幀執(zhí)行預測和校正步驟。
為了描述視頻物體隨時間變化的狀態(tài)，包括與其它物體的交互，SAVi在進行光流預測時在slot之間使用自注意力。
slot就是指視頻中各物體，用不同顏色區(qū)分。
校正階段，帶有輸入的slot-normalized交叉注意用于校正（更新）slot表示集。
然后預測器的輸出根據時間來初始化矯正器，使模型最終能夠以一致的方式隨時間跟蹤物體。
△ SAVi模型架構圖
在訓練中，每個視頻被分成六個6幀子序列，第一幀接收提示信號，每幀兩輪slot注意力。
在完全無監(jiān)督視頻分割中，研究人員以64的batch size訓練了十萬步。
沒有提示，也能進行簡單視頻的分割和跟蹤
在CATER數據集上，測試表明，SAVi架構完全適用于無監(jiān)督的物體表示學習。
在光流條件監(jiān)督的情況下，SAVi在MOVi數據集上獲得72.1%的mIoU，比基線模型CRW和T-VOS分別高了近30%和近20%。
SAVi在MOVi++數據集上的mIoU得分為45.9%，比T-VOS略高一點，比CRW低了5%。
另外，還可以看到，在第一幀圖像上給出質心形式的提示效果會比邊界框好一點，但區(qū)別不大。
值得注意的是，即使沒有任何提示，該方法也能分割一些具有簡單紋理的動態(tài)場景，比如在數據集Sketchy上。
不過，在將SAVi完全用于現實世界里的復雜視頻時，還有一些挑戰(zhàn)需克服：
1、所采用的訓練方法假設在訓練時光流信息是可用的，而在真實視頻中，這不一樣有；
2、研究中所涉及的都是一些簡單物體的基本運動，現實遠比這個復雜。
最后，作者表示，SAVi在分割和跟蹤方面仍然表現出色，在第一幀給出提示信息的做法也可能會衍生出各種相關的半監(jiān)督方法。
論文地址：
https://arxiv.org/abs.2111.12594
參考鏈接：
[1]https://slot-attention-video.github.io/(代碼即將開源)
[2]https://www.marktechpost.com/2021/11/28/google-research-open-sources-savi-an-object-centric-architecture-that-extends-the-slot-attention-mechanism-to-videos/
- 北大開源最強aiXcoder-7B代碼大模型！聚焦真實開發(fā)場景，專為企業(yè)私有部署設計2024-04-09
- 剛剛，圖靈獎揭曉！史上首位數學和計算機最高獎“雙料王”出現了2024-04-10
- 8.3K Stars!《多模態(tài)大語言模型綜述》重大升級2024-04-10
- 谷歌最強大模型免費開放了！長音頻理解功能獨一份，100萬上下文敞開用2024-04-10
