谷歌DeepMind機(jī)器人成果三連發(fā)！兩大能力全提升，數(shù)據(jù)收集系統(tǒng)可同時管理20個機(jī)器人
決策速度快14%，泛化能力提高1倍之多
豐色 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
幾乎是和斯坦福“炒蝦洗碗”機(jī)器人同一時間，谷歌DeepMind也發(fā)布了最新具身智能成果。
并且是三連發(fā)：
先是一個主打提高決策速度的新模型，讓機(jī)器人的操作速度（相比原來的Robotics Transformer）提高了14%——快的同時，質(zhì)量也沒有下滑，準(zhǔn)確度還上升了10.6%。
然后再來一個專攻泛化能力的新框架，可以給機(jī)器人創(chuàng)建運(yùn)動軌跡提示，讓它面對41項(xiàng)從未見過的任務(wù)，取得了63%的成功率。
別小看這個數(shù)組，對比之前的29%，進(jìn)步可謂相當(dāng)大。
最后是一個機(jī)器人數(shù)據(jù)收集系統(tǒng)，可以一次管理20個機(jī)器人，目前已從它們的活動中收集了77000次實(shí)驗(yàn)數(shù)據(jù)，它們將幫助谷歌更好地完成后續(xù)訓(xùn)練工作。
那么，這三個成果具體是什么樣？我們一個一個來看。
機(jī)器人日?；谝徊剑簺]見過的任務(wù)也能直接做
谷歌認(rèn)為，要生產(chǎn)出真正可進(jìn)入現(xiàn)實(shí)世界的機(jī)器人，必須要解決兩個基本挑戰(zhàn)：
1、新任務(wù)推廣能力
2、提高決策速度
本次三連發(fā)的前兩項(xiàng)成果就主要在這兩大領(lǐng)域作出改進(jìn)，且都建立在谷歌的基礎(chǔ)機(jī)器人模型Robotics Transformer（簡稱RT）之上。
首先來看第一個：幫助機(jī)器人泛化的RT-Trajectory。
對于人類來說，譬如完成擦桌子這種任務(wù)簡直再好理解不過了，但機(jī)器人卻不是很懂。
不過好在我們可以通過多種可能的方式將這一指令傳達(dá)給它，讓它作出實(shí)際的物理行動。
一般來說，傳統(tǒng)的方式就是將任務(wù)映射為一個個特定的動作，然后讓機(jī)械臂完成，例如對于擦桌子，就可以拆解為“合上夾具、向左移動、向右移動”。
很明顯，這種方式的泛化能力很差。
在此，谷歌新提出的RT-Trajectory通過給機(jī)器人提供視覺提示的方法來教它完成任務(wù)。
具體而言，由RT-Trajectory控制的機(jī)器人在訓(xùn)練時會加入2D軌跡增強(qiáng)的數(shù)據(jù)。
這些軌跡以RGB圖像的形式呈現(xiàn)，包括路線和關(guān)鍵點(diǎn)，在機(jī)器人學(xué)習(xí)執(zhí)行任務(wù)時提供低級但非常實(shí)用的提示。
有了這個模型，機(jī)器人執(zhí)行從未見過的任務(wù)的成功率直接提高了1倍之多（相比谷歌的基礎(chǔ)機(jī)器人模型RT-2，從29%=>63%）。
更值得一提的是，RT-Trajectory可以用多種方式來創(chuàng)建軌跡，包括：
通過觀看人類演示、接受手繪草圖，以及通過VLM（視覺語言模型）來生成。
機(jī)器人日?；诙剑簺Q策速度一定要快
泛化能力上來以后，我們再來關(guān)注決策速度。
谷歌的RT模型采用的是Transformer架構(gòu)，雖然Transformer功能強(qiáng)大，但嚴(yán)重依賴于有著二次復(fù)雜度的注意力模塊。
因此，一旦RT模型的輸入加倍（例如給機(jī)器人配上更高分辨率的傳感器），處理起來所需的計(jì)算資源就會增加為原來的四倍，這將嚴(yán)重減慢決策速度。
為了提高機(jī)器人的速度，谷歌在基礎(chǔ)模型Robotics Transformer上開發(fā)了SARA-RT。
SARA-RT使用一種新的模型微調(diào)方法讓原來的RT模型變得更為高效。
這種方法被谷歌稱之為“向上訓(xùn)練”，它主要的功能就是將原來的二次復(fù)雜度轉(zhuǎn)換為線性復(fù)雜度，同時保持處理質(zhì)量。
將SARA-RT應(yīng)用于具有數(shù)十億參數(shù)的RT-2模型時，后者可以在各種任務(wù)上實(shí)現(xiàn)更快的操作速度以及更高的準(zhǔn)確率。
同樣值得一提的是，SARA-RT提供的是一種通用的加速Transformer的方法，且無需進(jìn)行昂貴的預(yù)訓(xùn)練，因此可以很好地推廣開來。
數(shù)據(jù)不夠？自己創(chuàng)造
最后，為了幫助機(jī)器人更好地理解人類下達(dá)的任務(wù)，谷歌還從數(shù)據(jù)下手，直接搞了一個收集系統(tǒng)：AutoRT。
這個系統(tǒng)將大模型（包括LLM和VLM）與機(jī)器人控制模型（RT）相結(jié)合，不斷地指揮機(jī)器人去執(zhí)行現(xiàn)實(shí)世界中的各種任務(wù)，從而產(chǎn)生數(shù)據(jù)并收集。
具體流程如下：
讓機(jī)器人“自由”接觸環(huán)境，靠近目標(biāo)。
然后通過攝像頭以及VLM模型來描述眼前的場景，包括具體有哪些物品。
接著，LLM就通過這些信息來生成幾項(xiàng)不同的任務(wù)。
注意了，生成以后機(jī)器人并不馬上執(zhí)行，而是利用LLM再過濾一下哪些任務(wù)可以獨(dú)立搞定，哪些需要人類遠(yuǎn)程控制，以及哪些壓根不能完成。
像不能完成的就是“打開薯片袋”這種，因?yàn)檫@需要兩只機(jī)械臂（默認(rèn)只有1只）。
再然后，做完這個篩選任務(wù)以后，機(jī)器人就可以去實(shí)際執(zhí)行了。
最后由AutoRT系統(tǒng)完成數(shù)據(jù)收集并進(jìn)行多樣性評估。
據(jù)介紹，AutoRT可一次同時協(xié)調(diào)多達(dá)20個機(jī)器人，在7個月的時間內(nèi)，一共收集了包括6650個獨(dú)特任務(wù)在內(nèi)的77000次試驗(yàn)數(shù)據(jù)。
最后，對于此系統(tǒng)，谷歌還特別強(qiáng)調(diào)了安全性。
畢竟AutoRT的收集任務(wù)作用于現(xiàn)實(shí)世界，“安全護(hù)欄”不能少。
具體而言，基礎(chǔ)安全守則由為機(jī)器人進(jìn)行任務(wù)篩選的LLM提供，它的部分靈感來自艾薩克·阿西莫夫的機(jī)器人三定律——首先也是最重要的是“機(jī)器人不得傷害人類。
其次還包括要求機(jī)器人不得嘗試涉及人類、動物、尖銳物體或電器的任務(wù)。
但這還遠(yuǎn)遠(yuǎn)不夠。
因此AutoRT還配有常規(guī)機(jī)器人技術(shù)中的多層實(shí)用安全措施。
例如，機(jī)器人在其關(guān)節(jié)上的力超過給定閾值時自動停止、所有行動都可由保持在人類視線范圍內(nèi)的物理開關(guān)停止等等。
還想進(jìn)一步了解谷歌的這批最新成果？
好消息，除了RT-Trajectory只上線論文以外，其余都是代碼和論文一并公布，歡迎大家進(jìn)一步查閱～
One More Thing
說起谷歌機(jī)器人，就不得不提RT-2（本文的所有成果也都建立之上）。
這個模型由54位谷歌研究員耗時7個月打造，今年7月底問世。
嵌入了視覺-文本多模態(tài)大模型VLM的它，不僅能理解“人話”，還能對“人話”進(jìn)行推理，執(zhí)行一些并非一步就能到位的任務(wù)，例如從獅子、鯨魚、恐龍這三個塑料玩具中準(zhǔn)確撿起“已滅絕的動物”，非常驚艷。
如今的它，在短短5個多月內(nèi)便迎來了泛化能力和決策速度的迅速提升，不由地讓我們感嘆：不敢想象，機(jī)器人真正沖進(jìn)千家萬戶，究竟會有多快？
參考鏈接：
https://deepmind.google/discover/blog/shaping-the-future-of-advanced-robotics/
