機(jī)器人高層指揮低層做，“坐標(biāo)系轉(zhuǎn)移接口”一次演示實(shí)現(xiàn)泛化學(xué)習(xí) | ICML2025

不圓 2025-07-22 17:28:14 來源：量子位

HEP團(tuán)隊(duì) 投稿

量子位 | 公眾號(hào) QbitAI

如何讓AI像人一樣，僅憑少量演示，就能穩(wěn)健適應(yīng)復(fù)雜多變的真實(shí)場(chǎng)景？

美國(guó)東北大學(xué)和波士頓動(dòng)力RAI提出了HEP（Hierarchical Equivariant Policy via Frame Transfer）框架，首創(chuàng)“坐標(biāo)系轉(zhuǎn)移接口”，讓機(jī)器人學(xué)習(xí)更高效、泛化更靈活。

總的來說，HEP框架具有以下亮點(diǎn)：

• 極簡(jiǎn)高效的分層結(jié)構(gòu)
• 高層負(fù)責(zé)全局目標(biāo)設(shè)定，低層自主在本地坐標(biāo)下優(yōu)化動(dòng)作，顯著提升操作的靈活性與效率；
• 空間對(duì)稱性自然泛化
• 模型自動(dòng)適應(yīng)目標(biāo)平移、旋轉(zhuǎn)等變化，極大降低泛化對(duì)數(shù)據(jù)量的依賴；
• 創(chuàng)新型體素編碼器
• 三維視覺信息高效表達(dá)，兼顧細(xì)節(jié)還原與計(jì)算速度。

論文已被ICML2025收錄。

核心創(chuàng)新

在機(jī)器人智能操作領(lǐng)域，數(shù)據(jù)稀缺和泛化難題長(zhǎng)期困擾著AI的落地應(yīng)用。大多數(shù)方法或依賴大量數(shù)據(jù)，或在環(huán)境稍有變化時(shí)表現(xiàn)失靈。

而HEP框架使用了一種用于層級(jí)策略學(xué)習(xí)的框架轉(zhuǎn)換接口，該接口使用高級(jí)代理的輸出作為低級(jí)代理的坐標(biāo)系，能夠在保持靈活性的同時(shí)提供強(qiáng)大的歸納偏差。

簡(jiǎn)單地說，HEP 基于兩個(gè)核心思想：分層策略結(jié)構(gòu)和“坐標(biāo)系轉(zhuǎn)移接口”，高層策略僅需給出任務(wù)的“參考坐標(biāo)”，低層策略在此基礎(chǔ)上自主優(yōu)化執(zhí)行細(xì)節(jié)。

• 高層策略：負(fù)責(zé)通過預(yù)測(cè)一個(gè)“關(guān)鍵姿態(tài)”（即一個(gè)目標(biāo) 3D 平移）來進(jìn)行全局、長(zhǎng)時(shí)程規(guī)劃，該關(guān)鍵姿態(tài)作為子目標(biāo)。
• 低層策略：在以關(guān)鍵姿態(tài)為錨點(diǎn)的局部坐標(biāo)系中生成細(xì)粒度的運(yùn)動(dòng)軌跡。

而“坐標(biāo)系轉(zhuǎn)移接口”具有以下特點(diǎn)：

• 傳遞泛化能力：高層的泛化能力可以傳遞到低層。
• 軟約束：局部軌跡優(yōu)化。
• 歸納偏差：自然泛化到新姿態(tài)。

這樣的設(shè)計(jì)不僅釋放了低層的靈活性，也將高層的泛化能力、抗干擾性自洽地傳遞到底層，實(shí)現(xiàn)了“泛化性與魯棒性”的一體式提升。

效果展示

為驗(yàn)證HEP框架的有效性，研究團(tuán)隊(duì)在RLBench上的30個(gè)模擬任務(wù)中進(jìn)行了測(cè)試——包括高精度任務(wù)、長(zhǎng)時(shí)程任務(wù)和關(guān)節(jié)物體操作——并在真實(shí)機(jī)器人上通過3個(gè)真實(shí)世界操作任務(wù)進(jìn)一步驗(yàn)證。

結(jié)果顯示：

分層策略在復(fù)雜長(zhǎng)程任務(wù)上優(yōu)勢(shì)顯著
在真實(shí)機(jī)器人上，HEP分層框架僅用30條演示數(shù)據(jù)，就學(xué)會(huì)了包括移鍋蓋、加清潔劑、擦洗等多步協(xié)作的魯棒“洗鍋”任務(wù)，明顯優(yōu)于非分層方法。

坐標(biāo)系轉(zhuǎn)移接口：泛化性與魯棒性的傳遞橋梁

在Pick&Place任務(wù)上，HEP僅憑一次演示，低層擴(kuò)散模型即可實(shí)現(xiàn)1-shot泛化學(xué)習(xí)，顯著提升了數(shù)據(jù)效率。

證明了坐標(biāo)系轉(zhuǎn)移接口能將高層對(duì)空間變化的適應(yīng)能力無(wú)損傳遞至低層，策略整體更易擴(kuò)展至新場(chǎng)景。

并且，在環(huán)境變化和引入無(wú)關(guān)物體的擾動(dòng)測(cè)試下，HEP成功率較傳統(tǒng)方法提升高達(dá)60%。

接口設(shè)計(jì)帶來未來擴(kuò)展可能

坐標(biāo)系轉(zhuǎn)移接口對(duì)低層策略僅施加軟約束，這不僅保證了靈活性，也為未來引入VLM或Cross-embodiment等多模態(tài)、跨平臺(tái)高層策略作為決策規(guī)劃器提供了天然接口。
一句話結(jié)論：坐標(biāo)系轉(zhuǎn)移接口不僅實(shí)現(xiàn)了高層泛化性和魯棒性的無(wú)損傳遞，還為多模態(tài)智能體的開放性集成與泛化部署打開了新路徑。

論文地址：https://openreview.net/pdf?id=nAv5ketrHq
項(xiàng)目代碼：https://codemasterzhao.github.io/HierEquiPo.github.io/