用Vision Pro實(shí)時(shí)訓(xùn)練機(jī)器狗！MIT博士生開(kāi)源項(xiàng)目火了
作者：充滿前景的數(shù)據(jù)源
魚(yú)羊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
Vision Pro又現(xiàn)火爆新玩法，這回還和具身智能聯(lián)動(dòng)了~
就像這樣，MIT小哥利用Vision Pro的手部追蹤功能，成功實(shí)現(xiàn)了對(duì)機(jī)器狗的實(shí)時(shí)控制。
不僅開(kāi)門這樣的動(dòng)作能精準(zhǔn)get：
也幾乎沒(méi)什么延時(shí)。
Demo一出，不僅網(wǎng)友們大贊鵝妹子嚶，各路具身智能研究人員也嗨了。
比如這位準(zhǔn)清華叉院博士生：
還有人大膽預(yù)測(cè)：這就是我們與下一代機(jī)器互動(dòng)的方式。
項(xiàng)目如何實(shí)現(xiàn)，作者小哥樸英孝（Younghyo Park）已經(jīng)在GitHub上開(kāi)源。相關(guān)App可以直接在Vision Pro的App Store上下載。
用Vision Pro訓(xùn)練機(jī)器狗
具體來(lái)看看作者小哥開(kāi)發(fā)的App——Tracking Steamer。
顧名思義，這個(gè)應(yīng)用程序旨在利用Vision Pro追蹤人類動(dòng)作，并將這些動(dòng)作數(shù)據(jù)實(shí)時(shí)傳輸?shù)酵籛iFi下的其他機(jī)器人設(shè)備上。
動(dòng)作追蹤的部分，主要依靠蘋果的ARKit庫(kù)來(lái)實(shí)現(xiàn)。
其中頭部追蹤調(diào)用的是queryDeviceAnchor。用戶可以通過(guò)長(zhǎng)按數(shù)字表冠來(lái)重置頭部框架到當(dāng)前位置。
手腕和手指追蹤則通過(guò)HandTrackingProvider實(shí)現(xiàn)。它能夠追蹤左右手腕相對(duì)于地面框架的位置和方向，以及每只手25個(gè)手指關(guān)節(jié)相對(duì)于手腕框架的姿態(tài)。
網(wǎng)絡(luò)通信方面，這個(gè)App使用gRPC作為網(wǎng)絡(luò)通信協(xié)議來(lái)流式傳輸數(shù)據(jù)。這使得數(shù)據(jù)能被更多設(shè)備訂閱，包括Linux、Mac和Windows設(shè)備。
另外，為了方便數(shù)據(jù)傳輸，作者小哥還準(zhǔn)備了一個(gè)Python API，讓開(kāi)發(fā)者能夠通過(guò)編程方式訂閱和接收從Vision Pro流式傳輸?shù)淖粉檾?shù)據(jù)。
API返回的數(shù)據(jù)是字典形式，包含頭部、手腕、手指的SE(3)姿態(tài)信息，即三維位置和方向。開(kāi)發(fā)者可以直接在Python中處理這些數(shù)據(jù)，用于對(duì)機(jī)器人的進(jìn)一步分析和控制。
就像不少專業(yè)人士所指出的那樣，別看機(jī)器狗的動(dòng)作還是由人類控制，事實(shí)上，相比于“操控”本身，結(jié)合模仿學(xué)習(xí)算法，人類在這個(gè)過(guò)程中，更像是機(jī)器人的教練。
而Vision Pro通過(guò)追蹤用戶的動(dòng)作，提供了一種直觀、簡(jiǎn)單的交互方式，使得非專業(yè)人員也能夠?yàn)闄C(jī)器人提供精準(zhǔn)的訓(xùn)練數(shù)據(jù)。
作者本人也在論文中寫道：
在不久的將來(lái)，人們可能會(huì)像日常戴眼鏡一樣佩戴Vision Pro這樣的設(shè)備，想象一下我們可以從這個(gè)過(guò)程中收集多少數(shù)據(jù)！
這是一個(gè)充滿前景的數(shù)據(jù)源，機(jī)器人可以從中學(xué)習(xí)到，人類是如何與現(xiàn)實(shí)世界交互的。
最后，提醒一下，如果你想上手試一試這個(gè)開(kāi)源項(xiàng)目，那么除了必備一臺(tái)Vision Pro之外，還需要準(zhǔn)備：
- 蘋果開(kāi)發(fā)者賬戶
- Vision Pro開(kāi)發(fā)者配件（Developer Strap，售價(jià)299美元）
- 安裝了Xcode的Mac電腦
嗯，看樣子還是得先讓蘋果賺一筆了（doge）。
項(xiàng)目鏈接：
https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file
參考鏈接：
https://twitter.com/younghyo_park/status/1766274298422161830
— 完 —
- 標(biāo)準(zhǔn)化3D生成質(zhì)量榜單來(lái)了！首創(chuàng)層次化評(píng)價(jià)體系，告別“誰(shuí)的demo更吸睛”主觀評(píng)估2025-08-16
- 阿里閃電入局Agent Infra！智能體新基建亮相WAIC，“超級(jí)大腦”開(kāi)箱即用2025-07-31
- 世紀(jì)華通謝斐：在“三大平衡”中領(lǐng)跑，實(shí)現(xiàn)游戲行業(yè)更高質(zhì)量的發(fā)展2025-08-01
- 1.5B參數(shù)撬動(dòng)“吉卜力級(jí)”全能體驗(yàn)，國(guó)產(chǎn)開(kāi)源之光多模態(tài)統(tǒng)一模型，來(lái)了2025-07-30
相關(guān)閱讀
“具身智能 產(chǎn)業(yè)智變新引擎”2024科技創(chuàng)變者大會(huì)成功舉行
8月8日，“2024科技創(chuàng)變者大會(huì)”在北京中關(guān)村盛大啟幕。
對(duì)話它石智航丁文超：2025最火具身智能，2個(gè)自動(dòng)駕駛第一人帶隊(duì)，1.2億美元天使融資震動(dòng)江湖
跑慢了的VC都投不進(jìn)去
克10-EM-P-150x150.jpg)
