稚暉君開源百萬機(jī)器人真機(jī)數(shù)據(jù)集

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

年末大禮包，稚暉君他又雙叒來開源了！

百萬真機(jī)數(shù)據(jù)集開源項(xiàng)目AgiBot World，也是全球首個(gè)基于全域真實(shí)場(chǎng)景、全能硬件平臺(tái)、全程質(zhì)量把控的大規(guī)模機(jī)器人數(shù)據(jù)集。

該項(xiàng)目由稚暉君具身智能創(chuàng)業(yè)項(xiàng)目智元機(jī)器人，攜手上海AI Lab、國家地方共建人形機(jī)器人創(chuàng)新中心以及上海庫帕思聯(lián)合發(fā)布。

GitHub和抱抱臉上已經(jīng)可以自取了（本文文末附直通車）～

說起來，此前在該領(lǐng)域在全球內(nèi)，不是沒有玩家做過大規(guī)模的數(shù)據(jù)集：

比如谷歌DeepMind曾構(gòu)建過Open X-Embodiment數(shù)據(jù)集，數(shù)據(jù)整合自22種不同本體的機(jī)器人。

但其中大部分?jǐn)?shù)據(jù)缺乏統(tǒng)一標(biāo)準(zhǔn)化的采集流程，且許多用于數(shù)據(jù)采集的機(jī)器人構(gòu)型已經(jīng)過時(shí)，數(shù)據(jù)質(zhì)量格式參差不齊——這就可能在機(jī)器人策略學(xué)習(xí)過程中帶來副作用。

△谷歌DeepMind的Open X-Embodiment

又比如斯坦福、UC伯克利、谷歌等構(gòu)建的DROID數(shù)據(jù)集，涵蓋了相對(duì)豐富的場(chǎng)景與技能，雖然盡可能實(shí)現(xiàn)規(guī)范化的數(shù)據(jù)采集流程。

但作者團(tuán)隊(duì)自己在后續(xù)研究中指出，DROID存在大量低質(zhì)量數(shù)據(jù)，反而讓機(jī)器人越學(xué)越迷茫。

2024年以來，具身智能備受矚目，行業(yè)玩家紛紛涌現(xiàn)，很多初創(chuàng)公司都基于自采集的大規(guī)模高質(zhì)量雙臂機(jī)器人數(shù)據(jù)訓(xùn)練的模型展現(xiàn)出了整理、分揀、洗衣等執(zhí)行復(fù)雜動(dòng)作的能力。

這雖然進(jìn)一步印證了高質(zhì)量數(shù)據(jù)在當(dāng)前具身智能領(lǐng)域研究階段的重要性，但這類數(shù)據(jù)集一般僅作自用。

據(jù)介紹，相比于Open X-Embodiment數(shù)據(jù)集，此次開源的AgiBot World長(zhǎng)程數(shù)據(jù)規(guī)模高出10倍，場(chǎng)景范圍覆蓋面擴(kuò)大100倍，數(shù)據(jù)質(zhì)量從實(shí)驗(yàn)室級(jí)上升到工業(yè)級(jí)標(biāo)準(zhǔn)。

一起來看看，這個(gè)數(shù)據(jù)集包含了些什么——

日常生活中多樣化任務(wù)，可多機(jī)器人協(xié)作

官方資料顯示，AgiBot World數(shù)據(jù)集收錄了80余種日常生活中的多樣化技能。

從抓取、放置、推、拉等基礎(chǔ)操作，到攪拌、折疊、熨燙等精細(xì)長(zhǎng)程、雙臂協(xié)同復(fù)雜交互，幾乎涵蓋了日常生活所需的絕大多數(shù)動(dòng)作需求。

下面舉幾個(gè)栗子～

毫米級(jí)精細(xì)控制。

演示場(chǎng)景為插內(nèi)存條。需要如神經(jīng)纖維般靈敏的末端觸覺傳感器助力機(jī)器人精準(zhǔn)對(duì)接，稍有不慎可能導(dǎo)致設(shè)備損壞。

繁瑣長(zhǎng)流程家務(wù)整理。

該任務(wù)下演示場(chǎng)景1為整理洗碗機(jī)。

畫面中，勺筷碗盤層層堆疊在洗碗池里。在這條數(shù)據(jù)中，機(jī)器人將雜亂的餐具逐一整理到洗碗機(jī)相應(yīng)卡槽中。

該任務(wù)下演示場(chǎng)景2為掛式熨燙衣物。

機(jī)器人通過雙手協(xié)作，一只手抓住襯衫的一角，另一只手控制掛燙機(jī)與衣物的距離，熨燙衣物褶皺。

搭建物體搬運(yùn)。

搬運(yùn)大件物體這項(xiàng)任務(wù)，目前對(duì)單機(jī)器人來說是個(gè)老大難。

數(shù)據(jù)集中采集的是雙機(jī)器人協(xié)作，分擔(dān)重量的同時(shí)，通過實(shí)時(shí)調(diào)整位置與角度，確保物體搬運(yùn)過程中的穩(wěn)定安全。

盡可能覆蓋日常生產(chǎn)、生活全域場(chǎng)景

團(tuán)隊(duì)介紹，AgiBot World是從智元機(jī)器人自建的大規(guī)模數(shù)據(jù)采集工廠與應(yīng)用實(shí)驗(yàn)基地中采集的，采集空間總面積超過4000平方米，包含3000多種真實(shí)物品。

為了盡可能覆蓋機(jī)器人在生產(chǎn)、生活中的典型應(yīng)用需求，為機(jī)器人提供高度真實(shí)的生產(chǎn)生活環(huán)境，采集環(huán)境包含超過100種真實(shí)場(chǎng)景、3000多種物品。

其中，80%的任務(wù)為長(zhǎng)程任務(wù)，時(shí)長(zhǎng)集中在60s-150s之間，且涵蓋多個(gè)原子技能，是DROID和OpenX-Embodiment工作的5倍。

值得一提的是，按照日常生活真實(shí)需求，團(tuán)隊(duì)主要復(fù)刻了5個(gè)核心場(chǎng)景，分別是：

家居（40%）、餐飲（20%）、工業(yè)（20%）、商超（10%）和辦公（10%）。

主打的就是通過多場(chǎng)景的高度還原與任務(wù)設(shè)計(jì)，為機(jī)器人研發(fā)和測(cè)試構(gòu)建一個(gè)能夠?qū)崿F(xiàn)具身智能的必要條件。

首先，家居場(chǎng)景。

主要再現(xiàn)真實(shí)住宅布局，包括臥室、客廳、廚房、衛(wèi)生間等核心空間。有助于訓(xùn)練機(jī)器人家務(wù)清潔、物品整理和廚房任務(wù)等。

在客廳，機(jī)器人可以精確控制機(jī)械臂抓取花材，精確定位花瓶的插孔，將花朵按計(jì)劃插入適當(dāng)位置。

也可以使用清掃工具對(duì)地面進(jìn)行全面清潔，包括碎屑、灰塵和液體等。

還可以清理家居表面的灰塵和污垢，精確控制撣子或軟布進(jìn)行擦拭，避免劃傷表面。

讓我們把視線從客廳轉(zhuǎn)換到廚房。

在廚房，機(jī)器人可以根據(jù)食材種類和沙拉配方，完成切割、混合和裝盤操作，也可以控制清潔工具對(duì)瓶?jī)?nèi)外進(jìn)行刷洗，去除污漬。

如果再把場(chǎng)景切換到衛(wèi)生間，機(jī)器人可以精準(zhǔn)控制機(jī)械臂使用刷子清潔衛(wèi)生間馬桶。

其次，餐飲場(chǎng)景。

主要實(shí)現(xiàn)智能服務(wù)體驗(yàn)，模擬前廳、后廚與用餐區(qū)域，包括點(diǎn)餐臺(tái)、備餐區(qū)、餐桌等。有助于訓(xùn)練機(jī)器人實(shí)現(xiàn)餐廳服務(wù)（點(diǎn)餐、上菜、清理餐桌）、食材傳遞、后廚協(xié)作等。

再者，工業(yè)場(chǎng)景。

主要模擬分揀與物流自動(dòng)化，復(fù)刻工業(yè)倉庫與生產(chǎn)線，包括分揀系統(tǒng)、打包設(shè)備、傳輸帶等。有助于訓(xùn)練機(jī)器人實(shí)現(xiàn)物料分揀、包裝打包、物流搬運(yùn)等。

在工廠，機(jī)器人在流水線上利用機(jī)械臂精準(zhǔn)控制將物品放入指定的包裝盒中，實(shí)現(xiàn)物品自動(dòng)打包。

還有商超場(chǎng)景。

這一場(chǎng)景下，主要高度還原超市貨架布局與收銀區(qū)設(shè)計(jì)，包含生鮮、日用、冷凍等多個(gè)品類區(qū)域。有助于訓(xùn)練機(jī)器人模擬物品上架、貨物盤點(diǎn)、顧客引導(dǎo)、無人結(jié)算等。

在超市，機(jī)器人可以精準(zhǔn)控制掃碼槍對(duì)待結(jié)算物品進(jìn)行掃描和幫助客人裝袋。

采集本體過硬+嚴(yán)控?cái)?shù)據(jù)質(zhì)量

上面所提到的AgiBot World的所有數(shù)據(jù)，都是由下面這款機(jī)器人采集的：

它具有以下幾個(gè)特點(diǎn)：

• 360°感知：8個(gè)攝像頭環(huán)繞式布局，實(shí)時(shí)全方位感知周圍環(huán)境的動(dòng)態(tài)變化。
• 靈巧操作：可配備具有6個(gè)主動(dòng)自由度的靈巧手，保障動(dòng)作精準(zhǔn)且靈活，完成多種復(fù)雜操作。
• 末端精細(xì)感知：標(biāo)配末端六維力傳感器，并可配備高精度視觸覺傳感器，能夠感知力的微小變化，做到“拿捏有度”。
• 高自由度：全身最高32個(gè)自由度，應(yīng)對(duì)洗衣、做飯、分揀、搬運(yùn)等復(fù)雜任務(wù)。

此外，由于AgiBot World的超大規(guī)模真實(shí)數(shù)據(jù)特性，團(tuán)隊(duì)通過專業(yè)培訓(xùn)、多級(jí)質(zhì)量把控、全程人工在環(huán)，以確保嚴(yán)格精細(xì)化控制數(shù)據(jù)質(zhì)量。

在任務(wù)設(shè)計(jì)環(huán)節(jié)，AgiBot World從設(shè)計(jì)初稿到設(shè)計(jì)迭代流程，均邀請(qǐng)了學(xué)術(shù)、工業(yè)、消費(fèi)者來進(jìn)行多視角任務(wù)把關(guān)。

在數(shù)據(jù)采集環(huán)節(jié)，由管理體系下的專業(yè)管理圖那對(duì)來保障采集員培訓(xùn)和采集質(zhì)量把控。

在審核標(biāo)注環(huán)節(jié)，首先會(huì)經(jīng)過端云兩側(cè)，嚴(yán)格篩選采集的數(shù)據(jù)，自動(dòng)剔除不符合要求的數(shù)據(jù)。

此外專業(yè)審核員會(huì)人工對(duì)全量數(shù)據(jù)進(jìn)行逐幀審核，確保每一個(gè)動(dòng)作都符合任務(wù)標(biāo)準(zhǔn)，并對(duì)關(guān)鍵幀和數(shù)據(jù)特性進(jìn)行多維度標(biāo)注。

在算法驗(yàn)證環(huán)節(jié)，通過人工審核的數(shù)據(jù)，還會(huì)由AgiBot World團(tuán)隊(duì)進(jìn)一步通過算法進(jìn)行驗(yàn)證。

對(duì)于未能通過驗(yàn)證的數(shù)據(jù)，會(huì)重新設(shè)計(jì)任務(wù)進(jìn)行數(shù)據(jù)補(bǔ)采，確保數(shù)據(jù)可用性。

One More Thing

這次開源AgiBot World數(shù)據(jù)集，是稚暉君在三個(gè)月內(nèi)的第三次開源舉動(dòng)。

第一次是9月底，開源了專為具身智能打造的輕量化、高性能通信框架AimRT。

上一次是10月24日（沒錯(cuò)就是踩點(diǎn)1024），智元人形機(jī)器人靈犀X1全套資料全球開源，包括設(shè)計(jì)圖紙和代碼。

至于下一步——

量子位得來的消息是，開源，開源，還是開源（莫不是稚暉君想做源神）。

內(nèi)幕消息一并放在這里，大家就等著他慢慢慢慢慢慢填坑吧，真的（真誠臉.jpg）。

• 百萬真機(jī)全量數(shù)據(jù)將陸續(xù)開源；
• 千萬仿真數(shù)據(jù)同步推送，支持更泛化和更通用的大模型訓(xùn)練；
• 發(fā)布具身基座大模型，支持模型微調(diào)，賦能千行百業(yè)；
• 發(fā)布全套工具鏈，實(shí)現(xiàn)采集、訓(xùn)練和評(píng)測(cè)完美閉環(huán)；
• 舉辦一系列AgiBot World Challenge。

GitHub鏈接：

https://github.com/OpenDriveLab/AgiBot-World

抱抱臉鏈接:

https://huggingface.co/agibot-world

項(xiàng)目主頁：

https://agibot-world.com/