花最少的錢，訓(xùn)超6的機(jī)器人：谷歌大腦推出機(jī)器人強(qiáng)化學(xué)習(xí)平臺(tái)，硬件代碼全開源
魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
想要在現(xiàn)實(shí)世界的機(jī)器人身上探索強(qiáng)化學(xué)習(xí)（RL），并非易事。
首先，你得擁有類似這樣的機(jī)器人平臺(tái)：
而像這樣的一只PR2，售價(jià)高達(dá)40萬美元（約合人民幣286萬元）。
這就足以讓很多剛剛起步，或者正想涉足RL/機(jī)器人學(xué)研究的小型實(shí)驗(yàn)室望而卻步了。
不過現(xiàn)在，谷歌正在試圖讓這件事變得更簡單，更便宜。
比如這樣一只三指機(jī)器人：
價(jià)格僅3500美元（約合人民幣2.5萬元）。
還有這樣一只四足機(jī)器人：
價(jià)格4200美元（約合人民幣3萬元）。
并且，還有相應(yīng)的開源代碼，和精心設(shè)計(jì)的基準(zhǔn)測試作為配套。
這就是谷歌的ROBEL基準(zhǔn)。這項(xiàng)研究登上了CoRL 2019。
ROBEL
ROBEL由兩只機(jī)器人組成，適用于不同的強(qiáng)化學(xué)習(xí)研究任務(wù)。
三指手形機(jī)器人，名為D’Claw，擅長學(xué)習(xí)靈巧操作任務(wù)。
D’Claw執(zhí)行任務(wù)的過程中有三種常見的操縱行為。
姿勢，適應(yīng)不同環(huán)境的形狀。
旋轉(zhuǎn)，將物體旋轉(zhuǎn)到指定的角度。
以及擰緊。
四足機(jī)器人，名叫D’Kitty，是只小貓咪，擅長學(xué)習(xí)敏捷移動(dòng)。
它的三種基準(zhǔn)測試動(dòng)作，是站立，定向和行走。
機(jī)器人的設(shè)計(jì)都基于現(xiàn)成的組件和常用的原型制作工具（3D打印或激光切割），模塊化，易于組裝，易于維護(hù)。
即使你對硬件并不在行，也僅需要幾個(gè)小時(shí)的時(shí)間，就能構(gòu)建完成。
ROBEL還為所有這些基準(zhǔn)測試任務(wù)提供了模擬器，有助于研究人員進(jìn)行算法開發(fā)和快速原型設(shè)計(jì)。
可復(fù)現(xiàn)，很魯棒
聽上去便宜好用的ROBEL，到底靠不靠譜呢？
迄今為止，谷歌已經(jīng)對其進(jìn)行了長達(dá)14000多個(gè)小時(shí)的訓(xùn)練。
實(shí)驗(yàn)證明，ROBEL能夠勝任多種機(jī)器學(xué)習(xí)算法。
并且，兩個(gè)不同的實(shí)驗(yàn)室分別對ROBEL進(jìn)行了“試用”。僅使用ROBEL的設(shè)計(jì)文件和裝配說明，兩個(gè)實(shí)驗(yàn)室都成功復(fù)現(xiàn)了ROBEL的兩個(gè)硬件平臺(tái)。
兩個(gè)實(shí)驗(yàn)室都對自己組裝起來的ROBEL進(jìn)行了基準(zhǔn)任務(wù)測試。
兩條訓(xùn)練曲線幾乎重合。也就是說，在不同地點(diǎn)建造的兩只機(jī)器人，不僅表現(xiàn)出了相似的訓(xùn)練進(jìn)度，并且最終都收斂到了同一性能水準(zhǔn)。
還真是便宜又好貨啊。
傳送門
博客地址：
https://ai.googleblog.com/2019/10/robel-robotics-benchmarks-for-learning.html
ROBEL項(xiàng)目地址：
https://sites.google.com/view/roboticsbenchmarks/platforms
論文地址：
https://arxiv.org/abs/1909.11639
相關(guān)閱讀
OpenAI解散機(jī)器人團(tuán)隊(duì)，曾試圖打造AGI機(jī)器人，創(chuàng)始人：這是最好的決定
“目標(biāo)沒變，還是AGI”
