達(dá)摩院開源具身智能“三大件”，機(jī)器人上下文協(xié)議首次開源
8月11日消息，在世界機(jī)器人大會(huì)上，阿里達(dá)摩院宣布開源自研的 VLA 模型RynnVLA-001-7B、世界理解模型RynnEC、以及機(jī)器人上下文協(xié)議RynnRCP ，推動(dòng)數(shù)據(jù)、模型和機(jī)器人的兼容適配，打通具身智能開發(fā)全流程。
具身智能領(lǐng)域飛速發(fā)展，但仍面臨開發(fā)流程碎片化，數(shù)據(jù)、模型與機(jī)器人本體適配難等重大挑戰(zhàn)。達(dá)摩院將MCP（Model Context Protocol）理念引入具身智能，首次提出并開源了RCP（Robotics Context Protocol）協(xié)議以推動(dòng)不同的數(shù)據(jù)、模型與本體之間的對(duì)接適配。達(dá)摩院打造了名為RynnRCP的一套完整的機(jī)器人服務(wù)協(xié)議和框架，能夠打通從傳感器數(shù)據(jù)采集、模型推理到機(jī)器人動(dòng)作執(zhí)行的完整工作流，幫助用戶根據(jù)自身場(chǎng)景輕松適配。RynnRCP現(xiàn)已經(jīng)支持Pi0、GR00T N1.5等多款熱門模型以及SO-100、SO-101等多種機(jī)械臂，正持續(xù)拓展。
具體而言，RynnRCP包括RCP框架和RobotMotion兩個(gè)主要模塊。RCP框架旨在建立機(jī)器人本體與傳感器的連接，提供標(biāo)準(zhǔn)化能力接口，并實(shí)現(xiàn)不同的傳輸層和模型服務(wù)之間的兼容。RobotMotion則是具身大模型與機(jī)器人本體控制之間的橋梁，能將離散的低頻推理命令實(shí)時(shí)轉(zhuǎn)換為高頻的連續(xù)控制信號(hào)，實(shí)現(xiàn)平滑、符合物理約束的機(jī)器人運(yùn)動(dòng)。同時(shí)，RobotMotion還提供了一體化仿真-真機(jī)控制工具，幫助開發(fā)者快速上手，支持任務(wù)規(guī)控、仿真同步、數(shù)據(jù)采集與回放、軌跡可視化等功能，降低策略遷移難度。
大會(huì)上，達(dá)摩院還宣布開源兩款具身智能大模型。RynnVLA-001是達(dá)摩院自主研發(fā)的基于視頻生成和人體軌跡預(yù)訓(xùn)練的視覺-語(yǔ)言-動(dòng)作模型，其特點(diǎn)是能夠從第一人稱視角的視頻中學(xué)習(xí)人類的操作技能，隱式遷移到機(jī)器人手臂的操控上，從而讓機(jī)械臂操控更加連貫、平滑，更接近于人類動(dòng)作。
世界理解模型RynnEC將多模態(tài)大語(yǔ)言模型引入具身世界，賦予了大模型理解物理世界的能力。該模型能夠從位置、功能、數(shù)量等11個(gè)維度全面解析場(chǎng)景中的物體，并在復(fù)雜的室內(nèi)環(huán)境中精準(zhǔn)定位和分割目標(biāo)物體。無需3D模型，該模型僅靠視頻序列就能建立連續(xù)的空間感知，還支持靈活交互。
據(jù)了解，達(dá)摩院正積極投入具身智能，聚焦于系統(tǒng)和模型研發(fā)，與多方共建產(chǎn)業(yè)基礎(chǔ)設(shè)施，包括硬件本體和標(biāo)準(zhǔn)組件適配、數(shù)據(jù)采集，以及技術(shù)社區(qū)DAMO開發(fā)者矩陣等，希望拓展機(jī)器人的產(chǎn)業(yè)空間，加速場(chǎng)景落地。達(dá)摩院還在上月開源了WorldVLA模型,首次將世界模型與動(dòng)作模型融合，提升了圖像與動(dòng)作的理解與生成能力，受到業(yè)界關(guān)注。
開源鏈接：
機(jī)器人上下文協(xié)議RynnRCP
https://github.com/alibaba-damo-academy/RynnRCP
視覺-語(yǔ)言-動(dòng)作模型 RynnVLA-001
https://github.com/alibaba-damo-academy/RynnVLA-001
世界理解模型 RynnEC
https://github.com/alibaba-damo-academy/RynnEC
相關(guān)閱讀
字節(jié)跳動(dòng)開源分布式訓(xùn)練框架BytePS，登上GitHub熱榜
比Horovod更強(qiáng)
全球首個(gè)類Sora開源復(fù)現(xiàn)方案來了！全面公開訓(xùn)練細(xì)節(jié)和模型權(quán)重
詳細(xì)上手教程已發(fā)布在GitHub
