鵝廠(chǎng)機(jī)器狗搶起真狗「飯碗」！會(huì)撒歡兒做游戲，遛人也賊6

明敏 2023-06-14 14:47:04 來(lái)源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

讓機(jī)器狗學(xué)完真狗子的運(yùn)動(dòng)數(shù)據(jù)，真有二哈那感覺(jué)了！

它輕松跨個(gè)欄，后面“主人”差點(diǎn)沒(méi)跟上：

鉆個(gè)“狗洞”倒是輕車(chē)熟路：

還能兩只狗一起撒歡兒，它追、它逃……

這就是鵝廠(chǎng)機(jī)器狗的最新進(jìn)展。

利用預(yù)訓(xùn)練模型喂給機(jī)器狗真狗子的運(yùn)動(dòng)數(shù)據(jù)、并通過(guò)強(qiáng)化學(xué)習(xí)，機(jī)器狗Max不僅在行為上更靈動(dòng)，而且還能根據(jù)已經(jīng)掌握的技能“舉一反三”，去適應(yīng)更加復(fù)雜的環(huán)境。

總結(jié)來(lái)說(shuō)，就是里里外外都“更狗”了一些（doge）.

有策略地追逐撒歡兒

這次機(jī)器狗學(xué)習(xí)的新技能里，最強(qiáng)的一項(xiàng)還是玩游戲。

機(jī)器狗不僅能遵守規(guī)則，還能自己想出策略贏(yíng)比賽，可能比真狗子還要聰明些。

具體來(lái)看，這是一個(gè)障礙追逐比賽，受到“World Chase Tag”啟發(fā)，規(guī)則如下：

研究人員設(shè)置了不同游戲難度，最簡(jiǎn)單的就是空曠場(chǎng)地：

玩游戲過(guò)程里，機(jī)器狗很明顯是有策略的。

比如，一般等到躲避者離棋旗子較遠(yuǎn)時(shí)，追擊者才會(huì)發(fā)起猛攻，把它逼到死角，游戲結(jié)束。

如果追擊者發(fā)現(xiàn)躲避者離旗子很近，自己根本沒(méi)機(jī)會(huì)追上它時(shí)，它會(huì)先放棄追逐，等待下一個(gè)旗子出現(xiàn)：

有障礙物干擾也沒(méi)關(guān)系，倆狗子一樣玩得很6：

而能夠有如此表現(xiàn)，并不是機(jī)器狗從一開(kāi)始就拿這個(gè)游戲訓(xùn)練。

它其實(shí)是基于自己已經(jīng)學(xué)到的一些動(dòng)作、知識(shí)和技能，來(lái)應(yīng)對(duì)這個(gè)游戲場(chǎng)景。

具體怎么實(shí)現(xiàn)？往下看。

學(xué)了真·狗的數(shù)據(jù)

研究一共分為三個(gè)階段。

• 學(xué)習(xí)動(dòng)物運(yùn)動(dòng)姿態(tài)
• 將運(yùn)動(dòng)姿態(tài)和外界感知聯(lián)系起來(lái)
• 附加網(wǎng)絡(luò)獲取和復(fù)雜任務(wù)有關(guān)信息

第一階段，是通過(guò)游戲中常用的動(dòng)作捕捉系統(tǒng)，通過(guò)收集真狗的姿態(tài)數(shù)據(jù)，包括走、跑、跳、站立等動(dòng)作，在仿真器中構(gòu)建一個(gè)模仿學(xué)習(xí)任務(wù)。

然后將這些數(shù)據(jù)中的信息抽象并壓縮到深度神經(jīng)網(wǎng)絡(luò)模型中，使其在涵蓋運(yùn)動(dòng)姿態(tài)信息的同時(shí)，還具有一定可解釋性。

騰訊RoboticsX機(jī)器人實(shí)驗(yàn)室和騰訊游戲合作，用游戲技術(shù)提高了仿真引擎的準(zhǔn)確性和高效性，同時(shí)游戲制作和研發(fā)過(guò)程中積累了多元的動(dòng)捕素材。

這些技術(shù)以及數(shù)據(jù)對(duì)基于物理仿真的智能體訓(xùn)練以及真實(shí)世界機(jī)器人策略部署也起到了一定的輔助作用。

在模仿學(xué)習(xí)的過(guò)程中，神經(jīng)網(wǎng)絡(luò)僅接受機(jī)器狗的本體感知信息作為輸入，例如機(jī)器人身上電機(jī)的狀態(tài)等。

再下一步，模型引入周邊環(huán)境的感知數(shù)據(jù)，例如通過(guò)其他傳感器“看到”的腳下的障礙物。

第二階段，通過(guò)額外的網(wǎng)絡(luò)參數(shù)，將第一階段掌握的動(dòng)物姿態(tài)和外界感知聯(lián)系在一起。

這樣機(jī)器狗就能通過(guò)已經(jīng)學(xué)會(huì)的動(dòng)作，來(lái)應(yīng)對(duì)外界環(huán)境。

當(dāng)機(jī)器人能夠適應(yīng)多種復(fù)雜的環(huán)境后，這些將動(dòng)物姿態(tài)與外界感知聯(lián)系在一起的知識(shí)也會(huì)被固化下來(lái)，存在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中。

然后機(jī)器狗就能自如上樓梯了。

或者在不連續(xù)、不平整地面上奔跑：

然后就到了最后一階段，讓機(jī)器狗根據(jù)上面學(xué)會(huì)的技能，去解決實(shí)際問(wèn)題

也就是上面提到的做游戲環(huán)節(jié)。

據(jù)介紹，游戲中機(jī)器狗的所有控制策略都是神經(jīng)網(wǎng)絡(luò)策略。

在仿真中進(jìn)行學(xué)習(xí)并通過(guò)zero-shot transfer(零調(diào)整遷移），讓神經(jīng)網(wǎng)絡(luò)模擬人類(lèi)的推理方式，來(lái)識(shí)別從未見(jiàn)過(guò)的新事物，并把這些知識(shí)部署到真實(shí)機(jī)器人上。

比如在預(yù)訓(xùn)練模型中學(xué)會(huì)了躲避障礙物的知識(shí)，那么在游戲里設(shè)置障礙，機(jī)器狗也能輕松應(yīng)對(duì)。

本次研究新進(jìn)展由騰訊Robotics X機(jī)器人實(shí)驗(yàn)室帶來(lái)。

該實(shí)驗(yàn)成立于2018年，目前推出的機(jī)器人項(xiàng)目包括機(jī)器狗Max一代/二代、機(jī)器狗Jamoca、輪式機(jī)器人Ollie、自平衡自動(dòng)駕駛摩托車(chē)等。

One More Thing

值得一提的是，之前UC伯克利的學(xué)者也將一種“真狗子”的訓(xùn)練方法，用在了機(jī)器狗上。

吳恩達(dá)開(kāi)山大弟子Pieter Abbeel等，讓機(jī)器狗自己在地上打滾一個(gè)小時(shí)，學(xué)會(huì)了走路。

而去年騰訊發(fā)布機(jī)器狗Max二代時(shí)，一段小花絮里，這狗會(huì)“撲腳”、“撒歡跑”，確實(shí)有家里毛孩子那味兒。

（當(dāng)然，如果想讓它成為一只聽(tīng)主人話(huà)的狗， 通過(guò)指令即可對(duì)其發(fā)號(hào)施令。）

咱就是說(shuō)，現(xiàn)在機(jī)器狗的發(fā)展方向，不朝著翻跟頭卷，反倒是要和真狗子“搶飯碗”了嗎？

參考鏈接：
https://tencent-roboticsx.github.io/lifelike-agility-and-play/