谷歌AGI機器人大招！54人天團憋7個月，強泛化強推理，DeepMind和谷歌大腦合并后新成果
用大模型給機器人造“大腦”
豐色 蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
爆火的大模型，正在重塑谷歌DeepMind的機器人研究。
最新成果之一，就是他們耗時7個月打造的機器人項目RT-2，狠狠在網(wǎng)上火了一把：
效果究竟有多好？
只需用人話下達命令，面前這個小家伙就能揮動機械臂，思考并完成“主人的任務(wù)”。
像是給流行歌手霉霉（Taylor Swift）遞水、或是辨認明星球隊Logo：
甚至能主動思考，讓它“撿起已滅絕的動物”，就能從獅子、鯨魚、恐龍這三個塑料玩具中準確pick恐龍。
用網(wǎng)友的話來說，別小看這個能力，這是實現(xiàn)了從“滅絕的動物”到“塑料恐龍”的邏輯飛躍。
更“要命”的是，它還能輕松解決“給疲憊的人選一種飲料”這種需要結(jié)合思想鏈的多階段推理問題——一聽到命令小手就直奔紅牛而去，簡直不要太聰明。
有網(wǎng)友看完感嘆：
等不及了，趕緊快進到給人類洗碗吧（手動狗頭）
據(jù)了解，谷歌DeepMind這項成果由54位研究員合作產(chǎn)出，前前后后拉扯7個月，最終才變成我們看到的這樣“so easy”。
《紐約時報》介紹稱，谷歌DeepMind機器人技術(shù)主管Vincent Vanhoucke認為，大模型徹底改變了他們部門的研究方向：
由于（大模型）這一變化，我們不得不重新考慮整個研究項目。
我們之前研究的很多東西，都已經(jīng)完全失效了。
所以，RT-2究竟能實現(xiàn)什么樣的效果，這研究又具體是怎么一回事兒？
將多模態(tài)大模型“塞進”機械臂
這個名叫RT-2（Robotic Transformer 2）的機器人項目，是去年年底發(fā)布的RT-1的“進化版”。
相比于其他的機器人研究，RT-2的核心優(yōu)勢在于，不僅能理解“人話”，還能對“人話”進行推理，并轉(zhuǎn)變?yōu)闄C器人能理解的指令，從而分階段完成任務(wù)。
具體來說，它具備三大能力——符號理解（Symbol understanding）、推理（Reasoning）和人類識別（Human recognition）。
第一個能力是“符號理解”，能將大模型預(yù)訓(xùn)練的知識，直接延展到機器人此前沒見過的數(shù)據(jù)上。例如機器人數(shù)據(jù)庫中雖然沒有“紅?！?，但它卻能從大模型的知識中理解并掌握“紅牛”的外貌，并拿捏物品。
第二個能力是“推理”，這也是RT-2的核心優(yōu)勢，要求機器人掌握數(shù)學(xué)、視覺推理和多語言理解三大技能。
技能一，包含數(shù)學(xué)邏輯推理的命令，“將香蕉放到2+1的總和的位置”：
技能二，視覺推理，像是“將草莓放進正確的碗中”：
技能三，多語言理解，即使不用英語也能完成指令，例如用西班牙語命令它“從一堆物品中挑出最與眾不同的那個”：
第三個能力是人類識別，準確識別并理解人類的行為，像開頭看到的“將水遞給泰勒·斯威夫特”例子就是能力展現(xiàn)之一。
那么，這三個能力是怎么實現(xiàn)的？
簡單來說，就是將視覺-文本多模態(tài)大模型（VLM）具備的“推理”、“識別”、“數(shù)學(xué)”等能力，和機器人的操作能力結(jié)合起來。
為了實現(xiàn)這一點，研究人員直接給視覺-文本大模型（VLM）增加了一個模態(tài)，叫做“機器人動作模態(tài)”，從而把它變成了視覺-文本-動作大模型（VLA）。
隨后，將原本非常具體的機器人動作數(shù)據(jù)，轉(zhuǎn)變成文本token。
例如將轉(zhuǎn)動度數(shù)、放到哪個坐標點等數(shù)據(jù)，轉(zhuǎn)變成文本“放到某個位置”。
這樣一來，機器人數(shù)據(jù)也能被用到視覺-語言數(shù)據(jù)集中進行訓(xùn)練，同時在進行推理的過程中，原本的文本指令也會被重新轉(zhuǎn)化為機器人數(shù)據(jù)，實現(xiàn)控制機器人等一系列操作。
沒錯，就是這么簡單粗暴（手動狗頭）
在這次的研究中，團隊主要基于谷歌的一系列基礎(chǔ)大模型來“做升級”，包括50億和550億的PaLI-X、30億的PaLI以及120億的PaLM-E。
為了提升大模型本身的能力，研究人員也下了不少功夫，把最近爆火的思維鏈、向量數(shù)據(jù)庫和無梯度架構(gòu)（no-gradient architectures）都用上了。
這一系列操作，也讓RT-2和去年發(fā)布的RT-1相比，具有了不少新優(yōu)勢。
下面就來看看具體的實驗結(jié)果。
性能可達RT-1三倍
RT-2使用上一代機器人模型RT-1的數(shù)據(jù)進行訓(xùn)練（也就是說數(shù)據(jù)沒變，只是方法不同了）。
這些數(shù)據(jù)是用13個機器人在辦公室搭建的一個廚房環(huán)境中耗時17個月收集到的。
在實際測試中（一共歷經(jīng)6000次），作者給了RT-2許多以前未見過的物體，需要RT-2在微調(diào)數(shù)據(jù)之外進行語義理解來完成任務(wù)。
結(jié)果完成的都相當不錯：
包括從簡單的識別字母、國旗、人物到從玩偶中識別陸生動物、選出顏色不相同的那只，甚至是撿起快要從桌上掉下去的零食等復(fù)雜的命令。
而從符號理解、推理和人類識別這三個細分能力上來看，RT-2的兩個變體都比RT-1和另一種視覺預(yù)訓(xùn)練方法VC-1要好很多，性能最高可達3倍。
如前文所述，這兩個變體分別在120億參數(shù)的PaLM-E和550億參數(shù)的PaLI-X上進行訓(xùn)練。
具體的泛化能力評估上，通過與多個基線模型的多類細分測試，最終發(fā)現(xiàn)RT-2性能提高了大約2倍。
（稍顯遺憾的是，我們還沒看到它和其他團隊最新基于LLM的機器人方法進行對比）
而為了更好地理解RT-2的不同設(shè)置如何影響泛化結(jié)果，作者又設(shè)計了兩大類評估：
一是在模型尺寸上，僅在RT-2 PaLI-X變體分別采用50億參數(shù)與550億參數(shù)進行訓(xùn)練；
二是訓(xùn)練方法上，分別采用從頭開始訓(xùn)練模型vs微調(diào)vs協(xié)同微調(diào)的方法。
最終結(jié)果表明，視覺語言模型預(yù)訓(xùn)練權(quán)重的重要性以及模型泛化能力有隨著模型大小而提高的趨勢。
另外，作者還在開源語言表基準上評估了RT-2，結(jié)果顯示它在模擬基準上實現(xiàn)了SOTA結(jié)果（90%vs之前的77%）。
最后，由于RT-2 PaLM-E變體是一個視覺-語言-動作模型，可以在單個神經(jīng)網(wǎng)絡(luò)中充當LLM、VLM和機器人控制器，因此RT-2還可以執(zhí)行可控的思想鏈推理。
如下圖所示的5個需要推理的任務(wù)中（尤其最后一個非常有意思：選擇可以替代錘子的物品），它接到命令后會先輸出自然語言步驟，然后再給出具體的動作token。
最最后，總結(jié)來說，這個最新的RT-2模型，不僅能更好地適用于不同的、機器此前沒見過的場景中，泛化能力更好了；與此同時，由于有了更好的大模型加持，它也掌握了一些有難度的新能力，比如推理。
One More Thing
谷歌將機器人研究的重心放在大模型上，似乎也不是“空穴來風”。
就在這兩天，他們和哥倫比亞大學(xué)合作的一篇關(guān)于“用大模型幫助獲取更多機器人操作技能”的論文，同樣很火：
這篇論文提出了一種新的框架，不僅能讓機器人很好地適應(yīng)大模型，同時還能保留原本機器人的基礎(chǔ)操作和控制能力：
和RT-2有所不同的是，這一項目已經(jīng)開源：
屬實是用大模型帶動整個機器人部門升級了。
再聯(lián)想到前不久李飛飛團隊的具身智能成果，可以說，用大模型帶動機器人著實成為一種研究趨勢，且已經(jīng)讓我們看到了一波非常有潛力的進展。
對于這個研究方向，你有哪些期待？
項目地址：
https://robotics-transformer2.github.io/
參考鏈接：
[1]https://twitter.com/GoogleDeepMind/status/1684903412834447360
[2]https://www.deepmind.com/blog/rt-2-new-model-translates-vision-and-language-into-action
[3]https://www.nytimes.com/2023/07/28/technology/google-robots-ai.html
[4]https://github.com/columbia-ai-robotics/scalingup
相關(guān)閱讀
