紐大具身智能新進展：靠視覺反饋學(xué)會開罐頭，任務(wù)成功率提高135%，LeCun點贊
還學(xué)會了使用工具
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
注意看，這個機器人用手中的鉗子輕松剪斷了一根金屬絲。
蓋上的鐵盒子，也三下五除二就打開了。
除此之外，物體抓取等任務(wù)更是能輕松完成。
這個機器人的背后，是紐約大學(xué)聯(lián)合Meta AI實驗室推出的最新具身智能成果。
研究人員提出了一種名為TAVI的新訓(xùn)練方法，將視覺與觸覺相結(jié)合，把機器人執(zhí)行任務(wù)的效果提高一倍以上。
目前，研究團隊的論文已經(jīng)公開發(fā)表，相關(guān)代碼也已經(jīng)開源。
看到這個機器人的表現(xiàn)，Meta首席科學(xué)家LeCun也不禁感嘆這是一項驚人的進展。
那么用這種方法訓(xùn)練出的機器人，還能做些什么呢？
取物置物易如反掌
它可以把摞在一起的兩只碗分開，然后拿取上面的一個。
仔細觀察可以發(fā)現(xiàn)，在分開的過程當中，機器人的手部做出了攆的動作，讓黃色的碗沿著綠色碗的內(nèi)壁滑動。
這個機器人不僅能“分”，還能“合”。
將紅色的物塊拿起之后，機器人將它精準地放入了紫色的蓋子當中。
或者，給橡皮翻個身。
只見它將一大塊橡皮拿起，然后利用下面的盒子調(diào)整角度。
雖然不知道為什么不多用幾根手指，但畢竟也是學(xué)會了借助工具。
總之，用TAVI方式訓(xùn)練出的具身智能機器人，動作已經(jīng)和人類有了幾分相似。
數(shù)據(jù)上，TAVI方式在6項典型任務(wù)中明顯優(yōu)于只用觸覺或視覺反饋的方法。
和不使用觸覺信息的AVI方式相比，TAVI的平均成功率提高了135%，和圖像+觸覺獎勵模型的方式相比也翻了倍。
而同樣采用視覺觸覺混合模式的T-DEX訓(xùn)練方式，成功率還不到TAVI的四分之一。
TAVI訓(xùn)練的機器人還有很強的泛化能力——對于未曾見過的物體，機器人也可以完成任務(wù)。
在“拿碗”和“裝盒”兩項任務(wù)中，機器人面對未知物體的成功率均超過了半數(shù)。
此外，TAVI方法訓(xùn)練出的機器人不僅能出色完成各項任務(wù)，還能按順序依次執(zhí)行多項子任務(wù)。
魯棒性方面，研究團隊通過調(diào)整相機角度進行了測試，結(jié)果機器人依舊保持了高成功率。
那么，TAVI方法是如何實現(xiàn)這樣的效果的呢？
用視覺信息評價機器人表現(xiàn)
TAVI的核心是使用視覺上的反饋來訓(xùn)練機器人，工作主要分為三個步驟。
首先是從視覺和觸覺兩個維度收集人類給出的演示信息。
收集到的視覺信息會被用于建立獎勵函數(shù)，以供后續(xù)學(xué)習過程中使用。
這一過程中，系統(tǒng)通過對比學(xué)習的方式來獲取對完成任務(wù)有用的視覺特征，對機器人動作完成度進行評價。
然后結(jié)合觸覺信息和視覺反饋，通過強化學(xué)習方式進行訓(xùn)練，讓機器人反復(fù)嘗試，直到獲得較高的完成度評分。
而TAVI的學(xué)習是一個循序漸進的過程，隨著學(xué)習步驟的增加，獎勵函數(shù)越來越完善，機器人的動作也越來越精準。
而為了提高TAVI的靈活性，研究團隊還引入了一種殘差策略。
遇到與基礎(chǔ)策略出現(xiàn)差別時，只需要對有差別的部分進行學(xué)習，而不必從頭開始。
消融實驗結(jié)果表明，如果沒有殘差策略，而是每次都從頭學(xué)起，機器人完成任務(wù)的成功率將有所降低。
如果對具身智能有興趣，可以閱讀研究團隊的論文了解更多詳情。
論文地址：
https://arxiv.org/abs/2309.12300
GitHub項目頁：
https://github.com/irmakguzey/see-to-touch
- “智元機器人收購A股上市公司是創(chuàng)新需要…現(xiàn)金流能撐三年”2025-08-22
- 稚暉君新大招：機器人二次開發(fā)0門檻了！2025-08-22
- 賣酒的茅臺要學(xué)AI了！和奔馳麥當勞一起拜師百度2025-08-17
- VLA進化后降維打擊！雙手揀貨，漂移操作，還能批量化秀舞，太空艙直接開上街，被銀河通用卷到了2025-08-11
相關(guān)閱讀
具身智能工業(yè)場景需求明確,擴大應(yīng)用場景處理復(fù)雜數(shù)據(jù)是發(fā)展重點
未來要提高機器人在更多行業(yè)的泛化能力
