人類淪為工具人！斯坦福機器人“吸星大法”：從演示中轉(zhuǎn)移技能，400美元打破訓練數(shù)據(jù)悖論

西風 2024-02-23 18:42:55 來源：量子位

夢晨 西風 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

斯坦福最新“技能轉(zhuǎn)移”大法，讓人類淪為給機器人提供訓練數(shù)據(jù)的工具人。

小哥拿上機械手做示范，機器人就能從收集到的數(shù)據(jù)中學會刷碗，并且能隨機應變。

打開水龍頭、抓取盤子、用百潔布清洗一氣呵成，外界干擾使壞也不怕。

整套系統(tǒng)從硬件到代碼完全開源，成本只需400美元，就可以在沒有機器人的情況下收集訓練機器人所需數(shù)據(jù)。

更詳細的3D打印、組裝教程視頻也即將發(fā)布。

要知道，在這項工作之前要想大規(guī)模訓練機器人be like：

對此，李飛飛團隊具身智能成果VoxPoser一作黃文龍表示：驚人的工作，破解了機器人數(shù)據(jù)收集中的先有雞先有蛋難題。

有網(wǎng)友覺得，這項工作和之前爆火的斯坦福家務(wù)機器人ALOHA等工作同樣令人印象深刻。

實際上，都是來自斯坦福大學的兩個團隊，已經(jīng)在實驗室里帶著各自的機器人對練碰拳、握手了。

破解數(shù)據(jù)的先有雞先有蛋難題

新方法收集數(shù)據(jù)的秘密，就藏在這對手持夾持器里。

左右手各一個300美元的Go Pro攝像頭，搭配一面鏡子就能得到隱式立體信息，大大節(jié)省成本和重量。

再加上內(nèi)置的慣性傳感器，聯(lián)合優(yōu)化視覺跟蹤和慣性姿態(tài)。

錄好的第一視角演示影像就像這樣：

機器人學會之后，即使照明環(huán)境發(fā)生劇烈變化也絲毫不受影響。

再疊加上人為干擾，機器人最后也不忘把水龍頭關(guān)好。

除刷碗之外，還展示了疊衣服、擺放餐具和拋物投籃，都是學習了人類演示后，機器人全自主行動無遙控，1倍速播放。

通用操作接口

斯坦福的這項研究名為通用操作接口（UMI），是一種數(shù)據(jù)收集和策略學習框架，允許將技能從人類演示直接轉(zhuǎn)移到可部署的機器人策略。

其中硬件，設(shè)計了一個手持夾持器，長這樣嬸兒：

上面搭載的GoPro運動相機，是唯一的傳感器和記錄設(shè)備，這種設(shè)計可以最小化人機觀測空間上的差異，保證策略部署時的魯棒性，同時也簡化了硬件搭建。

相機配有155°寬視角魚眼鏡頭，可以收集足夠的視覺上下文和關(guān)鍵深度信息。相機的兩邊還配有兩塊物理側(cè)鏡，用于提供隱式的立體視角，輔助深度估計。

下圖中綠色框圈出的部分就是側(cè)鏡在相機鏡頭上的顯示：

結(jié)合內(nèi)置的IMU傳感器，UMI能夠在快速運動下穩(wěn)健跟蹤，即使在運動模糊或視覺特征缺失時也能在短時間內(nèi)保持跟蹤。

并且，可以通過視覺標記實時檢測夾持器張開寬度，進行精細和連續(xù)的抓取控制，同時可隱式檢測抓取力度。

總的來說，UMI夾持器的重量為780克，其中3D打印的夾持器材料成本為73美元，GoPro相機及配件的總成本為298美元。

可謂集便攜、低成本、信息豐富的數(shù)據(jù)收集于一身，在任何家庭或餐廳，2分鐘內(nèi)就可以開始進行數(shù)據(jù)收集。

再來看策略接口設(shè)計。

UMI在觀測和推理時間上可能會有延遲，為此研究人員進行了延遲匹配。

具體來說，測量不同數(shù)據(jù)流的延遲將其對齊到最大延遲，通過圖像時間戳進行線性插值，獲得同步觀測序列；測量機械臂和手持夾持器延遲，提前對應時間發(fā)送控制指令。

此外，作為策略輸入的端效器（機械臂）位姿狀態(tài)采用的是相對位姿序列的表示方法，所以與機器人基座的位置無關(guān)，可跨多個機器人平臺部署，不需要重新訓練或校準。

憑借多樣化操作數(shù)據(jù)集，UMI能訓練出一個擴散策略（Diffusion Policy），實現(xiàn)零樣本泛化到新環(huán)境和對象，使得機器人在新環(huán)境下執(zhí)行任務(wù)，也能展示出高度的適應性和靈活性。

擴散策略基于團隊之前的研究成果，把擴散模型用于機器人視覺運動策略學習，可優(yōu)雅地處理多模態(tài)動作分布、適用于高維動作空間以及表現(xiàn)出令人印象深刻的訓練穩(wěn)定性。

做到即使是水上作業(yè)也游刃有余：

斯隆獎得主領(lǐng)銜

UMI來自斯坦福大學 、哥倫比亞大學 、豐田研究院聯(lián)合團隊。

通訊作者為斯隆獎得主、斯坦福助理教授、哥倫比亞大學兼職副教授宋舒然，兩位共同一作都是宋舒然的博士生。

論文公布后，她還補充總結(jié)了在這個項目中學到的三件事：

• 通過正確的硬件設(shè)計，腕戴式相機足以應對具有挑戰(zhàn)性的操作任務(wù)。
• 通過合適的策略接口，可以實現(xiàn)跨實體（cross-embodiment）的策略。
• 如果數(shù)據(jù)合適，行為克?。˙C）可以實現(xiàn)泛化。

共同一作Cheng Chi（遲宬），哥倫比亞大學博士生及斯坦福Student of New Faculty。

共同一作上交大校友Zhenjia Xu，哥倫比亞大學博士生及斯坦福大學機器人與具身智能實驗室 (REAL)成員。

Cheng Chi認為，新方法在大多數(shù)任務(wù)上實現(xiàn)了70-90%的成功率，但仍然沒有達到商業(yè)部署的標準。

最后還自曝了一波UMI系統(tǒng)的翻車集錦。

可以看出，機器人在真實場景中還會碰到很多意想不到的問題，但這回新方法啟動了數(shù)據(jù)飛輪，解決也只是時間問題。

論文地址：
https://umi-gripper.github.io

參考鏈接：
[1]https://twitter.com/chichengcc/status/1758539728444629158
[2]https://twitter.com/chichengcc/status/1758539728444629158