Meta用一個(gè)頭顯搞定全身動(dòng)捕，無需手柄和下身傳感器，網(wǎng)友：VR終于少點(diǎn)物理掛件了

蕭簫 2022-09-27 14:21:12 來源：量子位

蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

還記得你玩VR的時(shí)候，完全看不到自己下半身的樣子嗎？

畢竟，目前的VR設(shè)備通常只有手柄和頭顯，沒有下半身傳感器，系統(tǒng)無法直接判斷下半身的動(dòng)作，預(yù)測(cè)時(shí)也容易出bug。

現(xiàn)在，Meta終于邁出了一大步——只憑頭顯（甚至不用手柄），就能搞定全身動(dòng)捕，連雙腿的不同動(dòng)作都預(yù)測(cè)得一清二楚！

新研究一po出就在網(wǎng)上爆火。

有網(wǎng)友調(diào)侃，小扎的元宇宙終于要有腿了，順手還po了個(gè)Meta的股票。

還有VR玩家感到高興：玩游戲時(shí)終于可以在身上少掛點(diǎn)硬件了！

這項(xiàng)研究究竟是如何只用頭顯做到全身動(dòng)捕的？

給強(qiáng)化學(xué)習(xí)AI搞個(gè)物理約束

研究人員設(shè)計(jì)了一個(gè)框架，以頭顯（HMD）和手柄控制器的位置和方向數(shù)據(jù)作為輸入，其他數(shù)據(jù)全靠AI預(yù)測(cè)。

為此，他們先基于強(qiáng)化學(xué)習(xí)訓(xùn)練了一個(gè)策略（policy，基于三層MLP），根據(jù)僅有的HMD和手柄數(shù)據(jù)，盡可能逼真地還原真實(shí)動(dòng)作捕捉的姿勢(shì)（動(dòng)捕數(shù)據(jù)一共10小時(shí)）。

他們搞了4000個(gè)身高不同的仿真人形機(jī)器人，每個(gè)機(jī)器人具有33個(gè)自由度。

隨后，將這些機(jī)器人在英偉達(dá)的Isaac Gym（一個(gè)專門用于強(qiáng)化學(xué)習(xí)研究的機(jī)器人物理模擬環(huán)境）中同時(shí)進(jìn)行訓(xùn)練，比單個(gè)環(huán)境下訓(xùn)練一個(gè)機(jī)器人要更快。

在物理環(huán)境中一共訓(xùn)練了2天（約140億步）后，這只框架就能基于這個(gè)強(qiáng)化學(xué)習(xí)策略，根據(jù)頭顯和手柄數(shù)據(jù)直接預(yù)測(cè)用戶全身動(dòng)作了——

包括慢跑、行走、后退或過渡動(dòng)作（transition）等。

不僅如此，Isaac Gym還允許添加其他不同的模擬對(duì)象，因此還能通過訓(xùn)練環(huán)境復(fù)雜度以增強(qiáng)動(dòng)作真實(shí)性。

例如，根據(jù)虛擬環(huán)境中新增的皮球，模擬出“踢”的交互動(dòng)作：

所以，相比其他模型，為什么這個(gè)框架預(yù)測(cè)的效果更好？

（此前雖然也有手柄和頭顯預(yù)測(cè)全身姿態(tài)的AI，但預(yù)測(cè)全身動(dòng)作時(shí)往往會(huì)出現(xiàn)身體不自然抖動(dòng)、走路時(shí)腳像是在“滑冰”、接觸力不穩(wěn)定等bug）

Meta研究人員分析后認(rèn)為，此前模型難以準(zhǔn)確預(yù)測(cè)下半身姿態(tài)的原因，是預(yù)測(cè)時(shí)上下半身的關(guān)聯(lián)度較小。

因此，如果在預(yù)測(cè)時(shí)增加一定的物理約束（人體力學(xué)），例如慣性平衡和地面接觸力等，就能讓預(yù)測(cè)精度更上一層樓。

△腳上的紅色直條大小表示接觸力大小

研究人員還進(jìn)一步發(fā)現(xiàn)，即使不用手柄控制器，只需要頭顯的60個(gè)姿勢(shì)（包含位置和方向數(shù)據(jù)），就足以重建各種運(yùn)動(dòng)姿態(tài)，還原出來的效果同樣沒有物理偽影。

除此之外，由于這個(gè)策略是基于4000個(gè)身高不同的仿真人形機(jī)器人訓(xùn)練，因此它也能自動(dòng)根據(jù)用戶的不同身高來調(diào)整策略（具有基于動(dòng)捕的重定向功能）。

不過，也有網(wǎng)友好奇他為什么要采用強(qiáng)化學(xué)習(xí)來預(yù)測(cè)運(yùn)動(dòng)姿態(tài)，畢竟當(dāng)前監(jiān)督學(xué)習(xí)是主流方法。

對(duì)此作者回應(yīng)稱，強(qiáng)化學(xué)習(xí)更方便加入物理約束（即降低抖動(dòng)、腳滑等bug的關(guān)鍵原因），但對(duì)于監(jiān)督學(xué)習(xí)來說，這通常是個(gè)難點(diǎn)。

但研究人員也表示，目前這個(gè)框架還有一定限制，如果用戶做的動(dòng)作不包含在訓(xùn)練數(shù)據(jù)中（例如快速?zèng)_刺）、或是進(jìn)行了某些過于復(fù)雜的交互，那么虛擬環(huán)境中的仿真機(jī)器人就可能當(dāng)場(chǎng)跌倒、或出現(xiàn)模擬失敗的情況。

作者介紹

三位作者都來自Meta。

一作Alexander W. Winkler，目前是Meta Reality Lab的研究科學(xué)家，研究方向是非線性數(shù)值優(yōu)化、高自由度運(yùn)動(dòng)規(guī)劃、基于三維物理的仿真和可視化等。

他本碩畢業(yè)于德國(guó)卡爾斯魯厄理工學(xué)院（KIT），博士畢業(yè)于瑞士蘇黎世聯(lián)邦理工學(xué)院（ETH）。

Jungdam Won，目前是Meta AI Lab的研究科學(xué)家，本科和博士畢業(yè)于韓國(guó)首爾大學(xué)計(jì)算機(jī)科學(xué)與工程系，研究方向包括強(qiáng)化學(xué)習(xí)中智能體的控制和交互，以及通過機(jī)器學(xué)習(xí)方法優(yōu)化動(dòng)作捕捉等。

Yuting Ye，目前是Meta Reality Lab的研究科學(xué)家，參與過Quest和Quest 2的手柄跟蹤功能研發(fā)，本科畢業(yè)于北京大學(xué)，并在弗吉尼亞大學(xué)獲得碩士學(xué)位，博士畢業(yè)于佐治亞理工學(xué)院，研究方向是動(dòng)作捕捉和元宇宙等。

論文地址：
https://arxiv.org/abs/2209.09391

參考鏈接：
https://twitter.com/awinkler_/status/1572968904401776641