Meta推出像素級(jí)動(dòng)作追蹤模型，簡(jiǎn)易版在線可玩 | GitHub 1.4K星
測(cè)評(píng)成績(jī)超DINOv2
克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
視頻動(dòng)作跟蹤，已經(jīng)精確到了每個(gè)像素！
Meta最新推出的視頻跟蹤工具CoTracker，發(fā)布沒(méi)多久就在GitHub上斬獲了1.4k星標(biāo)。
從官方發(fā)布的幾個(gè)DEMO來(lái)看，效果還是很震撼的。
一場(chǎng)馬術(shù)比賽中，馬匹在騎手的操縱下優(yōu)雅地跨過(guò)障礙，畫(huà)出了優(yōu)美的弧線。
還有一架帆船乘風(fēng)破浪，仿佛捉住了風(fēng)的影子。
另一邊，一位跳傘運(yùn)動(dòng)員從空中劃過(guò)，留下了一道絢麗的彩虹……
對(duì)這個(gè)新“玩具”，有網(wǎng)友評(píng)論說(shuō)，它不僅能改變物體追蹤技術(shù)，也將在體育(動(dòng)作)分析、野生動(dòng)物追蹤，甚至電影后期領(lǐng)域掀起一場(chǎng)新的革命。
我們也第一時(shí)間上手試玩了一下線上的簡(jiǎn)易版本，下面就一起來(lái)看看吧。
精準(zhǔn)記錄像素軌跡
首先有請(qǐng)四川知名網(wǎng)紅、熊貓界的當(dāng)紅炸子雞“果賴”隆重登場(chǎng)。
只見(jiàn)花花六親不認(rèn)的步伐被CoTracker整個(gè)記錄了下來(lái)，真的是太可愛(ài)了。
不過(guò)要論戲劇性的話，可能還得是我們的“西直門(mén)三太子”萌蘭。
看完了可愛(ài)的胖達(dá)，接下來(lái)就要進(jìn)入整活環(huán)節(jié)了，來(lái)點(diǎn)名場(chǎng)面！
這個(gè)就不用再多介紹了吧（確信）。
除了上面的這位老朋友，還有王境澤吃炒飯的鏡頭。
只見(jiàn)他手上誠(chéng)實(shí)的動(dòng)作在CoTracker面前暴露無(wú)遺。
而在地球的另一邊，馬斯克正在直播用FSD開(kāi)著特斯拉去找小扎，準(zhǔn)備進(jìn)行一番親切友好的交流。
CoTracker的效果就展示到這里了，朋友們?nèi)绻肟雌渌Ч梢宰约和嫱婵础?/p>
傳送門(mén)：
https://huggingface.co/spaces/facebook/cotracker
不過(guò)，在線DEMO是個(gè)簡(jiǎn)易版本，還不支持自定義跟蹤位置，只能根據(jù)輸入的跟蹤數(shù)量等距分配。
但是如果自己部署、用代碼操縱的話，就可以設(shè)置任意跟蹤點(diǎn)了。
說(shuō)到這我們正好來(lái)看一下CoTracker該怎么部署。
首先是Colab版本，我們剛剛說(shuō)到的自定義跟蹤點(diǎn)也在Colab當(dāng)中。
傳送門(mén)：
https://colab.research.google.com/github/facebookresearch/co-tracker/blob/master/notebooks/demo.ipynb
Colab的過(guò)程不必過(guò)多介紹，進(jìn)入之后運(yùn)行筆記中的代碼就可以了。
而如果想自己動(dòng)手的話，最簡(jiǎn)單的方式是從torch.hub中直接調(diào)用已完成預(yù)訓(xùn)練的版本。
如果要對(duì)模型進(jìn)行評(píng)估或訓(xùn)練，那么使用GitHub Repo更為合適。
首先要安裝一下程序和相關(guān)依賴：
然后下載模型：
有關(guān)評(píng)估和訓(xùn)練的方式，可以到GitHub項(xiàng)目頁(yè)來(lái)查看，鏈接放在了文末。
那么，CoTracker又是怎么實(shí)現(xiàn)像素級(jí)追蹤的呢？
評(píng)分超過(guò)DINOv2
雖然都是追蹤，但CoTracker和物體追蹤模型有很大區(qū)別。
CoTracker并沒(méi)有基于語(yǔ)義理解對(duì)視頻中物體進(jìn)行分割的過(guò)程，而是把重點(diǎn)放在了像素點(diǎn)上。
底層方面，CoTracker采用了Transformer架構(gòu)。
Transformer編碼了視頻中點(diǎn)的跟蹤信息，并迭代更新點(diǎn)的位置。
推理上，CoTracker還采用了一種窗口機(jī)制，在時(shí)間軸上劃分出滑動(dòng)窗口。
CoTracker使用上個(gè)窗口的輸出對(duì)后面的窗口進(jìn)行初始化，并在每個(gè)窗口上運(yùn)行多次Transformer迭代。
這樣就使得CoTracker能夠?qū)ΩL(zhǎng)的視頻進(jìn)行像素級(jí)跟蹤。
總之，經(jīng)過(guò)一番訓(xùn)練之后，CoTracker取得了一份不俗的成績(jī)單。
在FastCapture數(shù)據(jù)集測(cè)試上，CoTracker的成績(jī)?cè)谝槐娔Ｐ椭忻摲f而出，其中也包括Meta自家的DINOv2。
總之，喜歡的話，就趕緊體驗(yàn)一下試試吧！
論文地址：
https://arxiv.org/pdf/2307.07635.pdf
GitHub項(xiàng)目頁(yè)：
https://github.com/facebookresearch/co-tracker
相關(guān)閱讀
Meta大模型成了“科學(xué)造假發(fā)動(dòng)機(jī)”，發(fā)布3天就在爭(zhēng)議中下架
LeCun：模型沒(méi)有錯(cuò)，是被人濫用
小扎All in 開(kāi)源AGI：正訓(xùn)練Llama 3，年底將有35萬(wàn)塊H100
總算力將相當(dāng)于60萬(wàn)塊H100。
