李飛飛團(tuán)隊(duì)將ViT用在機(jī)器人身上，規(guī)劃推理最高提速512倍，還cue了何愷明的MAE
論文主要內(nèi)容只有8頁(yè)
楊凈 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
人類的預(yù)測(cè)能力+ViT，會(huì)產(chǎn)生什么樣的化學(xué)反應(yīng)？
會(huì)讓機(jī)器人的行動(dòng)規(guī)劃能力又快又準(zhǔn)。
這是李飛飛團(tuán)隊(duì)的最新研究——MaskViT，通過(guò)MVM，掩碼視覺(jué)建模對(duì)Transformer進(jìn)行預(yù)訓(xùn)練，從而建立視頻預(yù)測(cè)模型。
結(jié)果顯示，MaskViT不僅能生成256*256視頻，還可以讓機(jī)器人行動(dòng)規(guī)劃的推理速度最高提高了512倍。
來(lái)看看這是項(xiàng)什么樣的研究？
從人類身上找靈感
神經(jīng)科學(xué)領(lǐng)域的研究表明，人類的認(rèn)知、感知能力是有一種預(yù)測(cè)機(jī)制來(lái)支持的。
這種對(duì)世界的預(yù)測(cè)模型，可以用來(lái)模擬、評(píng)估和選擇不同的可能行動(dòng)。
對(duì)人類來(lái)說(shuō)，這一過(guò)程是快速和準(zhǔn)確的。
如果能賦予機(jī)器人類似的預(yù)測(cè)能力。那么他們就可以在復(fù)雜的動(dòng)態(tài)環(huán)境中快速規(guī)劃、執(zhí)行各類任務(wù)。
比如，通過(guò)視覺(jué)模型來(lái)預(yù)測(cè)控制，也許就是一種方式，但也對(duì)算力和準(zhǔn)確性提出了更高的要求。
于是，李飛飛團(tuán)隊(duì)就想到了最近諸多進(jìn)展的ViT架構(gòu)，以及以何愷明MAE為代表的基于MVM，Masked Visual Modeling這一自監(jiān)督預(yù)訓(xùn)練表征。
但具體要操作起來(lái)，仍有不少的技術(shù)挑戰(zhàn)。
一方面，全局注意力機(jī)制的復(fù)雜度與輸入序列長(zhǎng)度的平方呈正比，導(dǎo)致視頻處理成本過(guò)高。
另一方面，視頻預(yù)測(cè)任務(wù)和自回歸掩碼視覺(jué)預(yù)訓(xùn)練之間存在不一致。實(shí)際測(cè)試時(shí)，模型必須從頭預(yù)測(cè)完整的未來(lái)幀序列，導(dǎo)致視頻預(yù)測(cè)質(zhì)量不好。
基于這樣的背景，李飛飛團(tuán)隊(duì)提出了MaskViT——通過(guò)掩碼視覺(jué)建模對(duì)Transformer進(jìn)行預(yù)訓(xùn)練，從而建立視頻預(yù)測(cè)模型。
具體有兩種設(shè)計(jì)決策。
首先，為了提高記憶和訓(xùn)練效率，使用了兩種類型的窗口注意力：空間注意力和時(shí)空注意力。
其次，訓(xùn)練過(guò)程中掩碼的token比例是可變的。
在推理階段，視頻是通過(guò)迭代細(xì)化生成的，其中按照掩碼調(diào)度函數(shù)逐步降低掩碼率。
實(shí)驗(yàn)結(jié)果
研究團(tuán)隊(duì)在三個(gè)不同數(shù)據(jù)集，以及四個(gè)不同指標(biāo)來(lái)評(píng)估了MaskViT。
結(jié)果顯示，跟以往先進(jìn)的方法比較，MaskViT都表現(xiàn)出了更好的性能，可生成分辨率達(dá)256 × 256的視頻。
還在BAIR進(jìn)行了消融實(shí)驗(yàn)。
隨后，團(tuán)隊(duì)還展示了真實(shí)機(jī)器人使用MaskViT進(jìn)行實(shí)時(shí)規(guī)劃的效果。
推理速度最高可提升512倍。
研究人員表示，本次工作表明，可以通過(guò)最小的領(lǐng)域知識(shí)，利用掩碼視覺(jué)建模的一般框架，賦予像智能體強(qiáng)大的預(yù)測(cè)模型。
但同時(shí)表示，也具有一定的局限性。
比如在每幀量化時(shí)會(huì)出現(xiàn)閃爍偽影，尤其是在RoboNet這種有靜態(tài)背景的視頻中。
還有如果要擴(kuò)大視頻預(yù)測(cè)的規(guī)模，也仍然具有挑戰(zhàn)性，特別是那種有大量攝像機(jī)運(yùn)動(dòng)的場(chǎng)景。
未來(lái)，他們將探索把這一視頻預(yù)測(cè)方法整合到更復(fù)雜的規(guī)劃算法中。
值得一提的是，在今年5月，何愷明團(tuán)隊(duì)曾提出過(guò)視頻版MAE，并發(fā)現(xiàn)最佳掩蔽率高達(dá) 90%。
論文鏈接：
https://arxiv.org/abs/2206.11894
項(xiàng)目鏈接：
https://maskedvit.github.io/
何愷明論文：
https://arxiv.org/abs/2205.09113
- 英偉達(dá)最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團(tuán)隊(duì)打破圖靈獎(jiǎng)得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時(shí)代！納米AI多智能體蜂群，可創(chuàng)作最長(zhǎng)10分鐘AI視頻2025-08-06
相關(guān)閱讀
李飛飛團(tuán)隊(duì)給機(jī)器人造了一個(gè)“模擬廚房”：洗切炒菜一條龍訓(xùn)練！人類還能VR監(jiān)管 | 開(kāi)源
2.0版本新增5種物理狀態(tài)
李飛飛團(tuán)隊(duì)從動(dòng)物身上get AI新思路，提出RL計(jì)算框架，讓機(jī)器在復(fù)雜環(huán)境學(xué)習(xí)和進(jìn)化
深度進(jìn)化強(qiáng)化學(xué)習(xí)計(jì)算框架DERL
李飛飛團(tuán)隊(duì)實(shí)現(xiàn)“隔空建?！保高^(guò)遮擋物還原完整3D人體模型
遮擋部分建模質(zhì)量接近翻倍
2040張圖片訓(xùn)練出的ViT，準(zhǔn)確率96.7%，連遷移性能都令人驚訝 | 南京大學(xué)
訣竅是轉(zhuǎn)為參數(shù)化實(shí)例判別
李飛飛吳佳俊團(tuán)隊(duì)推出具身智能決策能力評(píng)價(jià)基準(zhǔn)，o1-preview登頂
更深入了解大模型優(yōu)勢(shì)和缺陷
