對(duì)此，BRS通過(guò)兩項(xiàng)關(guān)鍵創(chuàng)新來(lái)解決軟硬件協(xié)同問(wèn)題：

• 推出JoyLo，一種通用的低成本全身遙操作接口；
• 提出新的學(xué)習(xí)算法WB-VIMA；

展開(kāi)來(lái)說(shuō)，JoyLo（Joy-Con on Low-Cost Kinematic-Twin Arms）通過(guò)基于操縱木偶的方法，利用運(yùn)動(dòng)學(xué)孿生臂和任天堂Joy-Con控制器，實(shí)現(xiàn)高效的全身控制。

同時(shí)提供豐富的用戶反饋，優(yōu)化了策略學(xué)習(xí)數(shù)據(jù)質(zhì)量。

在總成本不超過(guò)500美元的情況下，團(tuán)隊(duì)在R1機(jī)器人上實(shí)現(xiàn)了JoyLo的設(shè)計(jì)目標(biāo)：

• 高效的全身協(xié)調(diào)控制系統(tǒng)，實(shí)現(xiàn)復(fù)雜動(dòng)作的流暢銜接；
• 豐富的用戶反饋機(jī)制，帶來(lái)直觀的遠(yuǎn)程操作體驗(yàn)；
• 確保高質(zhì)量的示范動(dòng)作，提升策略學(xué)習(xí)效果；
• 低成本實(shí)現(xiàn)方案，大幅提高系統(tǒng)可及性；
• 實(shí)時(shí)、便捷的控制器設(shè)計(jì)，確保操作無(wú)縫順暢。

而另一項(xiàng)WB-VIMA（Whole-Body VisuoMotor Attention）學(xué)習(xí)算法，核心目標(biāo)是利用機(jī)器人的固有運(yùn)動(dòng)學(xué)層次結(jié)構(gòu)來(lái)建模全身動(dòng)作。

基于Transformer，通過(guò)自回歸全身動(dòng)作去噪和多模態(tài)觀察注意力機(jī)制，WB-VIMA能幫助機(jī)器人有效學(xué)習(xí)協(xié)調(diào)的全身動(dòng)作。

同時(shí)在訓(xùn)練和部署時(shí)，使用特定的優(yōu)化器和噪聲調(diào)度器，并在工作站上進(jìn)行推理以實(shí)現(xiàn)低延遲控制。

值得一提的是，WB-VIMA還解決了一個(gè)關(guān)鍵問(wèn)題：

尤其在人形機(jī)器人中，在移動(dòng)基座或軀干動(dòng)作中出現(xiàn)的微小錯(cuò)誤會(huì)在末端執(zhí)行器處顯著放大。

對(duì)此，WB-VIMA在預(yù)測(cè)下游組件動(dòng)作時(shí)，不是孤立地進(jìn)行，而是先分析上游組件當(dāng)前的動(dòng)作狀態(tài)、位置等信息，將這些信息作為條件和依據(jù)，去推算下游組件應(yīng)該做出怎樣的動(dòng)作，從而實(shí)現(xiàn)整體的協(xié)調(diào)運(yùn)動(dòng)。

BRS適用于各種家庭任務(wù)

研究團(tuán)隊(duì)在五個(gè)具有代表性的家庭任務(wù)上評(píng)估BRS，包括清潔房屋、清潔廁所、倒垃圾、放置物品到架子上和晾曬衣服。

結(jié)果表明，BRS能完成多種家庭任務(wù)。

同時(shí)，實(shí)驗(yàn)環(huán)節(jié)還進(jìn)一步驗(yàn)證了兩個(gè)創(chuàng)新方法的有效性。

整體而言，JoyLo在數(shù)據(jù)收集效率、策略學(xué)習(xí)適用性和用戶體驗(yàn)方面表現(xiàn)出色，WB-VIMA在性能上優(yōu)于基線方法。

對(duì)于JoyLo，團(tuán)隊(duì)對(duì)10名參與者進(jìn)行了全面的用戶研究，以評(píng)估JoyLo的效果及其收集數(shù)據(jù)對(duì)策略學(xué)習(xí)的適用性。

下圖為JoyLo與VR控制器和Apple Vision Pro進(jìn)行比較的示意：

從結(jié)果來(lái)看，JoyLo在所有接口中表現(xiàn)出色，任務(wù)成功率最高、完成時(shí)間最短，其完成任務(wù)平均成功率是VR控制器的5倍，而使用Apple Vision Pro無(wú)人能完成全部任務(wù)。

且在用戶研究中，所有參與者都認(rèn)為JoyLo是最友好的界面。

另外，WB-VIMA在所有任務(wù)中全面超越基準(zhǔn)方法。

其端到端任務(wù)成功率比DP3高13倍，比RGB-DP高21倍；平均子任務(wù)表現(xiàn)分別優(yōu)于DP3（1.6 倍）和RGB-DP（3.4 倍）。

而且WB-VIMA在任務(wù)中出錯(cuò)的幾率更小。它與環(huán)境物體的碰撞極少，且?guī)缀醪粫?huì)因施加過(guò)度力量而導(dǎo)致電機(jī)失去動(dòng)力。

最后，關(guān)于BRS框架的所有工作已全部開(kāi)源，感興趣可以進(jìn)一步了解。

項(xiàng)目主頁(yè)：
https://behavior-robot-suite.github.io/論文：https://arxiv.org/abs/2503.05652算法代碼：https://github.com/behavior-robot-suite/brs-algo機(jī)器人代碼：https://github.com/behavior-robot-suite/brs-ctrl訓(xùn)練數(shù)據(jù)：https://huggingface.co/datasets/behavior-robot-suite/data