用GPT-4訓(xùn)練機(jī)器人，英偉達(dá)最新Agent開源：任務(wù)越復(fù)雜越拿手

白交 2023-10-21 13:01:11 來源：量子位

訓(xùn)練機(jī)器人，AI比人類更拿手！

英偉達(dá)最新AI AgentEureka?，用GPT-4生成獎(jiǎng)勵(lì)函數(shù)，結(jié)果教會(huì)機(jī)器人完成了三十多個(gè)復(fù)雜任務(wù)。

比如，快速轉(zhuǎn)個(gè)筆，打開抽屜和柜子、拋球和接球。

尤其是轉(zhuǎn)筆這個(gè)技能，要知道靠人類逐幀制作動(dòng)畫，也是非常困難的。

最終，Eureka在超過80%的任務(wù)中都超越人類專家，讓機(jī)器人平均性能提升到50%以上。

這一研究吸引了數(shù)十萬網(wǎng)友關(guān)注，有人表示：直接快進(jìn)到它彈鋼琴那天，直接為大眾所用。

英偉達(dá)科學(xué)家，也是此次共同作者之一Jim Fan評(píng)價(jià)到，它是超級(jí)人類獎(jiǎng)勵(lì)工程師。它可以輔助機(jī)器人工程師設(shè)計(jì)復(fù)雜任務(wù)。

目前該項(xiàng)目完全開源。

GPT-4生成獎(jiǎng)勵(lì)策略

在機(jī)器人學(xué)習(xí)中，大模型擅長(zhǎng)生成高級(jí)語義規(guī)劃和中級(jí)操作，比如拾取和放置（VIMA、RT-1等），但在復(fù)雜任務(wù)控制方面有所欠缺。

而Eureka的關(guān)鍵所在，就是通過上下文來實(shí)現(xiàn)了人類水平的獎(jiǎng)勵(lì)算法設(shè)計(jì)。

簡(jiǎn)單來說，就是用GPT-4的零樣本生成、代碼編寫以及上下文改進(jìn)功能，對(duì)獎(jiǎng)勵(lì)執(zhí)行策略進(jìn)行優(yōu)化，由此通過強(qiáng)化學(xué)習(xí)來進(jìn)行復(fù)雜的技能。

研究人員提出了一種混合梯度架構(gòu)，外循環(huán)運(yùn)行 GPT-4 來細(xì)化獎(jiǎng)勵(lì)函數(shù)（無梯度），而內(nèi)循環(huán)運(yùn)行強(qiáng)化學(xué)習(xí)來訓(xùn)練機(jī)器人控制器（基于梯度）。

主要有三個(gè)關(guān)鍵組成部分：

• 模擬器環(huán)境代碼作為上下文啟動(dòng)初始“種子”獎(jiǎng)勵(lì)函數(shù)。
• GPU上的大規(guī)模并行強(qiáng)化學(xué)習(xí)，可以快速評(píng)估大量候選獎(jiǎng)勵(lì)。
• 獎(jiǎng)勵(lì)反射reward reflection，得益于GPT-4評(píng)估和修改能力，一步步迭代。

首先，無需任何特定提示工程和獎(jiǎng)勵(lì)模版。使用原始Isaac Gym　（一種GPU加速的物理模擬器）環(huán)境代碼作為上下文，生成初始獎(jiǎng)勵(lì)函數(shù)。

這種無梯度的情境學(xué)習(xí)方式，可以根據(jù)各種形式的人類輸入，生成性能更強(qiáng)、符合開發(fā)人員愿景的獎(jiǎng)勵(lì)函數(shù)。

其次，Eureka在每個(gè)進(jìn)化步驟中都會(huì)生成很多候選函數(shù)，然后利用強(qiáng)化學(xué)習(xí)訓(xùn)練來進(jìn)行快速評(píng)估。

以往這種過程需要幾天甚至幾周來完成，但由Isaac Gym可將模擬時(shí)間提高1000倍，強(qiáng)化學(xué)習(xí)內(nèi)循環(huán)能在幾分鐘完成。

最后，依賴于獎(jiǎng)勵(lì)反射，Eureka還支持一種新形式的上下文 RLHF。它能夠?qū)⑷祟惒僮鲉T的反饋融入自然語言中，以引導(dǎo)和調(diào)整獎(jiǎng)勵(lì)功能。

最終，在29種不同的開源RL環(huán)境中，83%基準(zhǔn)測(cè)試中Eureka都優(yōu)于人類，并實(shí)現(xiàn)了52%改進(jìn)。

這些環(huán)境包括10種不同的機(jī)器人形態(tài)，比如四足機(jī)器人、四旋翼機(jī)器人、雙足機(jī)器人、機(jī)械手等。

讓研究人員驚訝的是，尤其在處理復(fù)雜、高維電機(jī)控制的任務(wù)上，Eureka表現(xiàn)更好，且與人類獎(jiǎng)勵(lì)的相關(guān)性越低。

甚至在少數(shù)情況下，AI的策略與人類的策略呈現(xiàn)負(fù)相關(guān)。

這就有點(diǎn)像當(dāng)年 AlphaGo的下棋策略，人類看不懂學(xué)不會(huì)，但十分有效。

英偉達(dá)出品

這項(xiàng)研究由英偉達(dá)、賓夕法尼亞大學(xué)、加州理工學(xué)院、德州大學(xué)奧斯汀分校的研究人員來完成。

可以看到的是，近半數(shù)研究人員都是華人。

一作是Yecheng Jason Ma，目前是賓大GRASP 實(shí)驗(yàn)室的四年級(jí)博士生，研究方向是強(qiáng)化學(xué)習(xí)和機(jī)器人學(xué)習(xí)。

英偉達(dá)科學(xué)家Jim Fan此次也是通訊作者之一。

咳咳，不過至于網(wǎng)友提到的彈鋼琴，Jim Fan自己曾分享過：只需幾個(gè)簡(jiǎn)單按鈕，AI就能實(shí)時(shí)即興生成演奏音樂。

不知道，未來會(huì)不會(huì)這樣的呢？（不過，這研究已經(jīng)是2018年的了）

論文鏈接：
https://arxiv.org/abs/2310.12931
GitHub鏈接：
https://github.com/eureka-research/Eureka
參考鏈接：
https://venturebeat.com/ai/new-nvidia-ai-agent-powered-by-gpt-4-can-train-robots/
https://twitter.com/DrJimFan/status/1715397393842401440