北大具身智能成果入選CVPR’24：只需一張圖一個(gè)指令，就能讓大模型玩轉(zhuǎn)機(jī)械臂
與谷歌RT2相比，更側(cè)重以物體為中心
北大前沿計(jì)算研究中心 投稿 投稿
量子位 | 公眾號(hào) QbitAI
只靠一張物體圖片，大語(yǔ)言模型就能控制機(jī)械臂完成各種日常物體操作嗎？
北大最新具身大模型研究成果ManipLLM將這一愿景變成了現(xiàn)實(shí)：
在提示詞的引導(dǎo)下，大語(yǔ)言模型在物體圖像上直接預(yù)測(cè)機(jī)械臂的操作點(diǎn)和方向。
進(jìn)而，得以操控機(jī)械臂直接玩轉(zhuǎn)各項(xiàng)具體的任務(wù)：
例如打開(kāi)抽屜、冰箱，揭鍋蓋、掀馬桶蓋……
作者表示：
該方法利用LLM的推理和面對(duì)開(kāi)放世界的泛化能力，成功提升了模型在物體操縱方面的泛化能力。
在仿真和真實(shí)世界中，ManipLLM在各種類(lèi)別的物體上均取得了令人滿(mǎn)意的效果，證明了其在多樣化類(lèi)別物體中的可靠性和適用性。
與谷歌RT2等輸出機(jī)器人本體動(dòng)作的策略相比(如下圖所示)，該方法側(cè)重于以物體為中心（Object-centric）的操縱，關(guān)注物體本身，從而輸出機(jī)器人對(duì)物體操縱的位姿。
以物體為中心的操縱策略，設(shè)計(jì)針對(duì)物體本身特性的表征，與任務(wù)、動(dòng)作、機(jī)器人型號(hào)無(wú)關(guān)。
這樣就可以將物體和任務(wù)及環(huán)境解耦開(kāi)來(lái)，使得方法本身可以適應(yīng)于各類(lèi)任務(wù)、各類(lèi)機(jī)器人，從而實(shí)現(xiàn)面對(duì)復(fù)雜世界的泛化。
目前，該工作已被CVPR 2024會(huì)議接收，團(tuán)隊(duì)由北大助理教授、博導(dǎo)董豪領(lǐng)銜。
大模型如何直接操控機(jī)械臂？
大多的具身操縱工作主要依賴(lài)大語(yǔ)言模型的推理能力來(lái)進(jìn)行任務(wù)編排和規(guī)劃。
然而，鮮有研究探索大語(yǔ)言模型在實(shí)現(xiàn)低層原子任務(wù)（low-level action）方面的潛力。
因此，該方法致力于探索和激發(fā)大語(yǔ)言模型在預(yù)測(cè)低層原子任務(wù)的能力，從而實(shí)現(xiàn)對(duì)更多類(lèi)別物體的以物體為中心（object-centric）的通用操縱。
具體而言，通過(guò)以下三個(gè)學(xué)習(xí)階段，ManipLLM實(shí)現(xiàn)了具有泛化能力的以物體為中心的操縱：
1）類(lèi)別級(jí)別（category-level）：識(shí)別物體類(lèi)別；
2）區(qū)域級(jí)別（region-level）：預(yù)測(cè)物體的可操縱性分?jǐn)?shù)（affordance score），反映哪些部位更可能被操縱；
3）位姿級(jí)別：預(yù)測(cè)操作物體的位姿。在訓(xùn)練時(shí)，模型只更新適配器模塊（adapter），這樣既可以保有LLMs本身的能力，同時(shí)賦予其具身操縱的能力。
在獲得初始接觸姿態(tài)的輸出后，該方法利用一種無(wú)需學(xué)習(xí)的閉環(huán)主動(dòng)式阻抗適應(yīng)策略，來(lái)完成完整的操縱。
它的作用是不斷地微調(diào)末端執(zhí)行器的旋轉(zhuǎn)方向，這樣就能夠靈活地適應(yīng)物體的形狀和軸向，從而逐步地完成對(duì)物體的操控任務(wù)。
具體來(lái)說(shuō)，我們會(huì)在當(dāng)前方向的周?chē)尤胍恍┪⑿〉淖兓?，生成多個(gè)可能的移動(dòng)方向。
然后我們會(huì)試著每個(gè)方向輕輕地移動(dòng)一下，看看哪個(gè)方向可以讓物體移動(dòng)最遠(yuǎn)，然后我們選擇這個(gè)方向作為下一步的移動(dòng)方向。
在推理階段，該模型只需輸入兩個(gè)信息：
1）文本提示：“請(qǐng)指出操縱物體的接觸點(diǎn)和夾爪方向?！保⊿pecify the contact point and gripper direction of manipulating the object)；
2）一張RGB圖片。然后，模型就能夠輸出物體操縱的2D坐標(biāo)和旋轉(zhuǎn)信息。其中，2D坐標(biāo)會(huì)通過(guò)深度圖映射到3D空間。
更多細(xì)節(jié)可查看論文原文：
https://arxiv.org/pdf/2312.16217.pdf
和項(xiàng)目主頁(yè)：
https://sites.google.com/view/manipllm
- 北大開(kāi)源最強(qiáng)aiXcoder-7B代碼大模型！聚焦真實(shí)開(kāi)發(fā)場(chǎng)景，專(zhuān)為企業(yè)私有部署設(shè)計(jì)2024-04-09
- 剛剛，圖靈獎(jiǎng)揭曉！史上首位數(shù)學(xué)和計(jì)算機(jī)最高獎(jiǎng)“雙料王”出現(xiàn)了2024-04-10
- 8.3K Stars!《多模態(tài)大語(yǔ)言模型綜述》重大升級(jí)2024-04-10
- 谷歌最強(qiáng)大模型免費(fèi)開(kāi)放了！長(zhǎng)音頻理解功能獨(dú)一份，100萬(wàn)上下文敞開(kāi)用2024-04-10
相關(guān)閱讀
