用GPT-4訓(xùn)練機(jī)器人，英偉達(dá)最新Agent開(kāi)源：任務(wù)越復(fù)雜越拿手

白交 2023-10-21 13:01:11 來(lái)源：量子位

訓(xùn)練機(jī)器人，AI比人類(lèi)更拿手！

英偉達(dá)最新AI AgentEureka?，用GPT-4生成獎(jiǎng)勵(lì)函數(shù)，結(jié)果教會(huì)機(jī)器人完成了三十多個(gè)復(fù)雜任務(wù)。

比如，快速轉(zhuǎn)個(gè)筆，打開(kāi)抽屜和柜子、拋球和接球。

尤其是轉(zhuǎn)筆這個(gè)技能，要知道靠人類(lèi)逐幀制作動(dòng)畫(huà)，也是非常困難的。

最終，Eureka在超過(guò)80%的任務(wù)中都超越人類(lèi)專(zhuān)家，讓機(jī)器人平均性能提升到50%以上。

這一研究吸引了數(shù)十萬(wàn)網(wǎng)友關(guān)注，有人表示：直接快進(jìn)到它彈鋼琴那天，直接為大眾所用。

英偉達(dá)科學(xué)家，也是此次共同作者之一Jim Fan評(píng)價(jià)到，它是超級(jí)人類(lèi)獎(jiǎng)勵(lì)工程師。它可以輔助機(jī)器人工程師設(shè)計(jì)復(fù)雜任務(wù)。

目前該項(xiàng)目完全開(kāi)源。

GPT-4生成獎(jiǎng)勵(lì)策略

在機(jī)器人學(xué)習(xí)中，大模型擅長(zhǎng)生成高級(jí)語(yǔ)義規(guī)劃和中級(jí)操作，比如拾取和放置（VIMA、RT-1等），但在復(fù)雜任務(wù)控制方面有所欠缺。

而Eureka的關(guān)鍵所在，就是通過(guò)上下文來(lái)實(shí)現(xiàn)了人類(lèi)水平的獎(jiǎng)勵(lì)算法設(shè)計(jì)。

簡(jiǎn)單來(lái)說(shuō)，就是用GPT-4的零樣本生成、代碼編寫(xiě)以及上下文改進(jìn)功能，對(duì)獎(jiǎng)勵(lì)執(zhí)行策略進(jìn)行優(yōu)化，由此通過(guò)強(qiáng)化學(xué)習(xí)來(lái)進(jìn)行復(fù)雜的技能。

研究人員提出了一種混合梯度架構(gòu)，外循環(huán)運(yùn)行 GPT-4 來(lái)細(xì)化獎(jiǎng)勵(lì)函數(shù)（無(wú)梯度），而內(nèi)循環(huán)運(yùn)行強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練機(jī)器人控制器（基于梯度）。

主要有三個(gè)關(guān)鍵組成部分：

• 模擬器環(huán)境代碼作為上下文啟動(dòng)初始“種子”獎(jiǎng)勵(lì)函數(shù)。
• GPU上的大規(guī)模并行強(qiáng)化學(xué)習(xí)，可以快速評(píng)估大量候選獎(jiǎng)勵(lì)。
• 獎(jiǎng)勵(lì)反射reward reflection，得益于GPT-4評(píng)估和修改能力，一步步迭代。

首先，無(wú)需任何特定提示工程和獎(jiǎng)勵(lì)模版。使用原始Isaac Gym?。ㄒ环NGPU加速的物理模擬器）環(huán)境代碼作為上下文，生成初始獎(jiǎng)勵(lì)函數(shù)。

這種無(wú)梯度的情境學(xué)習(xí)方式，可以根據(jù)各種形式的人類(lèi)輸入，生成性能更強(qiáng)、符合開(kāi)發(fā)人員愿景的獎(jiǎng)勵(lì)函數(shù)。

其次，Eureka在每個(gè)進(jìn)化步驟中都會(huì)生成很多候選函數(shù)，然后利用強(qiáng)化學(xué)習(xí)訓(xùn)練來(lái)進(jìn)行快速評(píng)估。

以往這種過(guò)程需要幾天甚至幾周來(lái)完成，但由Isaac Gym可將模擬時(shí)間提高1000倍，強(qiáng)化學(xué)習(xí)內(nèi)循環(huán)能在幾分鐘完成。

最后，依賴(lài)于獎(jiǎng)勵(lì)反射，Eureka還支持一種新形式的上下文 RLHF。它能夠?qū)⑷祟?lèi)操作員的反饋融入自然語(yǔ)言中，以引導(dǎo)和調(diào)整獎(jiǎng)勵(lì)功能。

最終，在29種不同的開(kāi)源RL環(huán)境中，83%基準(zhǔn)測(cè)試中Eureka都優(yōu)于人類(lèi)，并實(shí)現(xiàn)了52%改進(jìn)。

這些環(huán)境包括10種不同的機(jī)器人形態(tài)，比如四足機(jī)器人、四旋翼機(jī)器人、雙足機(jī)器人、機(jī)械手等。

讓研究人員驚訝的是，尤其在處理復(fù)雜、高維電機(jī)控制的任務(wù)上，Eureka表現(xiàn)更好，且與人類(lèi)獎(jiǎng)勵(lì)的相關(guān)性越低。

甚至在少數(shù)情況下，AI的策略與人類(lèi)的策略呈現(xiàn)負(fù)相關(guān)。

這就有點(diǎn)像當(dāng)年 AlphaGo的下棋策略，人類(lèi)看不懂學(xué)不會(huì)，但十分有效。

英偉達(dá)出品

這項(xiàng)研究由英偉達(dá)、賓夕法尼亞大學(xué)、加州理工學(xué)院、德州大學(xué)奧斯汀分校的研究人員來(lái)完成。

可以看到的是，近半數(shù)研究人員都是華人。

一作是Yecheng Jason Ma，目前是賓大GRASP 實(shí)驗(yàn)室的四年級(jí)博士生，研究方向是強(qiáng)化學(xué)習(xí)和機(jī)器人學(xué)習(xí)。

英偉達(dá)科學(xué)家Jim Fan此次也是通訊作者之一。

咳咳，不過(guò)至于網(wǎng)友提到的彈鋼琴，Jim Fan自己曾分享過(guò)：只需幾個(gè)簡(jiǎn)單按鈕，AI就能實(shí)時(shí)即興生成演奏音樂(lè)。

不知道，未來(lái)會(huì)不會(huì)這樣的呢？（不過(guò)，這研究已經(jīng)是2018年的了）

論文鏈接：
https://arxiv.org/abs/2310.12931
GitHub鏈接：
https://github.com/eureka-research/Eureka
參考鏈接：
https://venturebeat.com/ai/new-nvidia-ai-agent-powered-by-gpt-4-can-train-robots/
https://twitter.com/DrJimFan/status/1715397393842401440