稚暉君開源百萬機器人真機數(shù)據(jù)集

衡宇 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

年末大禮包，稚暉君他又雙叒來開源了！

百萬真機數(shù)據(jù)集開源項目AgiBot World，也是全球首個基于全域真實場景、全能硬件平臺、全程質(zhì)量把控的大規(guī)模機器人數(shù)據(jù)集。

該項目由稚暉君具身智能創(chuàng)業(yè)項目智元機器人，攜手上海AI Lab、國家地方共建人形機器人創(chuàng)新中心以及上海庫帕思聯(lián)合發(fā)布。

GitHub和抱抱臉上已經(jīng)可以自取了（本文文末附直通車）～

說起來，此前在該領(lǐng)域在全球內(nèi)，不是沒有玩家做過大規(guī)模的數(shù)據(jù)集：

比如谷歌DeepMind曾構(gòu)建過Open X-Embodiment數(shù)據(jù)集，數(shù)據(jù)整合自22種不同本體的機器人。

但其中大部分?jǐn)?shù)據(jù)缺乏統(tǒng)一標(biāo)準(zhǔn)化的采集流程，且許多用于數(shù)據(jù)采集的機器人構(gòu)型已經(jīng)過時，數(shù)據(jù)質(zhì)量格式參差不齊——這就可能在機器人策略學(xué)習(xí)過程中帶來副作用。

△谷歌DeepMind的Open X-Embodiment

又比如斯坦福、UC伯克利、谷歌等構(gòu)建的DROID數(shù)據(jù)集，涵蓋了相對豐富的場景與技能，雖然盡可能實現(xiàn)規(guī)范化的數(shù)據(jù)采集流程。

但作者團隊自己在后續(xù)研究中指出，DROID存在大量低質(zhì)量數(shù)據(jù)，反而讓機器人越學(xué)越迷茫。

2024年以來，具身智能備受矚目，行業(yè)玩家紛紛涌現(xiàn)，很多初創(chuàng)公司都基于自采集的大規(guī)模高質(zhì)量雙臂機器人數(shù)據(jù)訓(xùn)練的模型展現(xiàn)出了整理、分揀、洗衣等執(zhí)行復(fù)雜動作的能力。

這雖然進(jìn)一步印證了高質(zhì)量數(shù)據(jù)在當(dāng)前具身智能領(lǐng)域研究階段的重要性，但這類數(shù)據(jù)集一般僅作自用。

據(jù)介紹，相比于Open X-Embodiment數(shù)據(jù)集，此次開源的AgiBot World長程數(shù)據(jù)規(guī)模高出10倍，場景范圍覆蓋面擴大100倍，數(shù)據(jù)質(zhì)量從實驗室級上升到工業(yè)級標(biāo)準(zhǔn)。

一起來看看，這個數(shù)據(jù)集包含了些什么——

日常生活中多樣化任務(wù)，可多機器人協(xié)作

官方資料顯示，AgiBot World數(shù)據(jù)集收錄了80余種日常生活中的多樣化技能。

從抓取、放置、推、拉等基礎(chǔ)操作，到攪拌、折疊、熨燙等精細(xì)長程、雙臂協(xié)同復(fù)雜交互，幾乎涵蓋了日常生活所需的絕大多數(shù)動作需求。

下面舉幾個栗子～

毫米級精細(xì)控制。

演示場景為插內(nèi)存條。需要如神經(jīng)纖維般靈敏的末端觸覺傳感器助力機器人精準(zhǔn)對接，稍有不慎可能導(dǎo)致設(shè)備損壞。

繁瑣長流程家務(wù)整理。

該任務(wù)下演示場景1為整理洗碗機。

畫面中，勺筷碗盤層層堆疊在洗碗池里。在這條數(shù)據(jù)中，機器人將雜亂的餐具逐一整理到洗碗機相應(yīng)卡槽中。

該任務(wù)下演示場景2為掛式熨燙衣物。

機器人通過雙手協(xié)作，一只手抓住襯衫的一角，另一只手控制掛燙機與衣物的距離，熨燙衣物褶皺。

搭建物體搬運。

搬運大件物體這項任務(wù)，目前對單機器人來說是個老大難。

數(shù)據(jù)集中采集的是雙機器人協(xié)作，分擔(dān)重量的同時，通過實時調(diào)整位置與角度，確保物體搬運過程中的穩(wěn)定安全。

盡可能覆蓋日常生產(chǎn)、生活全域場景

團隊介紹，AgiBot World是從智元機器人自建的大規(guī)模數(shù)據(jù)采集工廠與應(yīng)用實驗基地中采集的，采集空間總面積超過4000平方米，包含3000多種真實物品。

為了盡可能覆蓋機器人在生產(chǎn)、生活中的典型應(yīng)用需求，為機器人提供高度真實的生產(chǎn)生活環(huán)境，采集環(huán)境包含超過100種真實場景、3000多種物品。

其中，80%的任務(wù)為長程任務(wù)，時長集中在60s-150s之間，且涵蓋多個原子技能，是DROID和OpenX-Embodiment工作的5倍。

值得一提的是，按照日常生活真實需求，團隊主要復(fù)刻了5個核心場景，分別是：

家居（40%）、餐飲（20%）、工業(yè)（20%）、商超（10%）和辦公（10%）。

主打的就是通過多場景的高度還原與任務(wù)設(shè)計，為機器人研發(fā)和測試構(gòu)建一個能夠?qū)崿F(xiàn)具身智能的必要條件。

首先，家居場景。

主要再現(xiàn)真實住宅布局，包括臥室、客廳、廚房、衛(wèi)生間等核心空間。有助于訓(xùn)練機器人家務(wù)清潔、物品整理和廚房任務(wù)等。

在客廳，機器人可以精確控制機械臂抓取花材，精確定位花瓶的插孔，將花朵按計劃插入適當(dāng)位置。

也可以使用清掃工具對地面進(jìn)行全面清潔，包括碎屑、灰塵和液體等。

還可以清理家居表面的灰塵和污垢，精確控制撣子或軟布進(jìn)行擦拭，避免劃傷表面。

讓我們把視線從客廳轉(zhuǎn)換到廚房。

在廚房，機器人可以根據(jù)食材種類和沙拉配方，完成切割、混合和裝盤操作，也可以控制清潔工具對瓶內(nèi)外進(jìn)行刷洗，去除污漬。

如果再把場景切換到衛(wèi)生間，機器人可以精準(zhǔn)控制機械臂使用刷子清潔衛(wèi)生間馬桶。

其次，餐飲場景。

主要實現(xiàn)智能服務(wù)體驗，模擬前廳、后廚與用餐區(qū)域，包括點餐臺、備餐區(qū)、餐桌等。有助于訓(xùn)練機器人實現(xiàn)餐廳服務(wù)（點餐、上菜、清理餐桌）、食材傳遞、后廚協(xié)作等。

再者，工業(yè)場景。

主要模擬分揀與物流自動化，復(fù)刻工業(yè)倉庫與生產(chǎn)線，包括分揀系統(tǒng)、打包設(shè)備、傳輸帶等。有助于訓(xùn)練機器人實現(xiàn)物料分揀、包裝打包、物流搬運等。

在工廠，機器人在流水線上利用機械臂精準(zhǔn)控制將物品放入指定的包裝盒中，實現(xiàn)物品自動打包。

還有商超場景。

這一場景下，主要高度還原超市貨架布局與收銀區(qū)設(shè)計，包含生鮮、日用、冷凍等多個品類區(qū)域。有助于訓(xùn)練機器人模擬物品上架、貨物盤點、顧客引導(dǎo)、無人結(jié)算等。

在超市，機器人可以精準(zhǔn)控制掃碼槍對待結(jié)算物品進(jìn)行掃描和幫助客人裝袋。

采集本體過硬+嚴(yán)控數(shù)據(jù)質(zhì)量

上面所提到的AgiBot World的所有數(shù)據(jù)，都是由下面這款機器人采集的：

它具有以下幾個特點：

• 360°感知：8個攝像頭環(huán)繞式布局，實時全方位感知周圍環(huán)境的動態(tài)變化。
• 靈巧操作：可配備具有6個主動自由度的靈巧手，保障動作精準(zhǔn)且靈活，完成多種復(fù)雜操作。
• 末端精細(xì)感知：標(biāo)配末端六維力傳感器，并可配備高精度視觸覺傳感器，能夠感知力的微小變化，做到“拿捏有度”。
• 高自由度：全身最高32個自由度，應(yīng)對洗衣、做飯、分揀、搬運等復(fù)雜任務(wù)。

此外，由于AgiBot World的超大規(guī)模真實數(shù)據(jù)特性，團隊通過專業(yè)培訓(xùn)、多級質(zhì)量把控、全程人工在環(huán)，以確保嚴(yán)格精細(xì)化控制數(shù)據(jù)質(zhì)量。

在任務(wù)設(shè)計環(huán)節(jié)，AgiBot World從設(shè)計初稿到設(shè)計迭代流程，均邀請了學(xué)術(shù)、工業(yè)、消費者來進(jìn)行多視角任務(wù)把關(guān)。

在數(shù)據(jù)采集環(huán)節(jié)，由管理體系下的專業(yè)管理圖那對來保障采集員培訓(xùn)和采集質(zhì)量把控。

在審核標(biāo)注環(huán)節(jié)，首先會經(jīng)過端云兩側(cè)，嚴(yán)格篩選采集的數(shù)據(jù)，自動剔除不符合要求的數(shù)據(jù)。

此外專業(yè)審核員會人工對全量數(shù)據(jù)進(jìn)行逐幀審核，確保每一個動作都符合任務(wù)標(biāo)準(zhǔn)，并對關(guān)鍵幀和數(shù)據(jù)特性進(jìn)行多維度標(biāo)注。

在算法驗證環(huán)節(jié)，通過人工審核的數(shù)據(jù)，還會由AgiBot World團隊進(jìn)一步通過算法進(jìn)行驗證。

對于未能通過驗證的數(shù)據(jù)，會重新設(shè)計任務(wù)進(jìn)行數(shù)據(jù)補采，確保數(shù)據(jù)可用性。

One More Thing

這次開源AgiBot World數(shù)據(jù)集，是稚暉君在三個月內(nèi)的第三次開源舉動。

第一次是9月底，開源了專為具身智能打造的輕量化、高性能通信框架AimRT。

上一次是10月24日（沒錯就是踩點1024），智元人形機器人靈犀X1全套資料全球開源，包括設(shè)計圖紙和代碼。

至于下一步——

量子位得來的消息是，開源，開源，還是開源（莫不是稚暉君想做源神）。

內(nèi)幕消息一并放在這里，大家就等著他慢慢慢慢慢慢填坑吧，真的（真誠臉.jpg）。

• 百萬真機全量數(shù)據(jù)將陸續(xù)開源；
• 千萬仿真數(shù)據(jù)同步推送，支持更泛化和更通用的大模型訓(xùn)練；
• 發(fā)布具身基座大模型，支持模型微調(diào)，賦能千行百業(yè)；
• 發(fā)布全套工具鏈，實現(xiàn)采集、訓(xùn)練和評測完美閉環(huán)；
• 舉辦一系列AgiBot World Challenge。

GitHub鏈接：

https://github.com/OpenDriveLab/AgiBot-World

抱抱臉鏈接:

https://huggingface.co/agibot-world

項目主頁：

https://agibot-world.com/