清華商湯最新AI，征服了《我的世界》

西風(fēng) 2023-05-30 14:29:07 來(lái)源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

繼GPT-4驚艷《我的世界》后，國(guó)產(chǎn)AI智能體也來(lái)了——

像人一樣生存、探索和創(chuàng)作，并且通關(guān)了整個(gè)游戲！

從生存模式白手起家，不僅可以拿到主世界的所有物品、挖鉆石，還能制作附魔書(shū)！

面對(duì)各類(lèi)地形、環(huán)境、白天黑夜場(chǎng)景都能hold住，甚至遇到怪物也能自如應(yīng)對(duì)。

不賣(mài)關(guān)子，全都是這個(gè)小東西干的，它的名字叫Ghost in the Minecraft（GITM）。

由商湯科技聯(lián)合清華大學(xué)、上海人工智能實(shí)驗(yàn)室等機(jī)構(gòu)研究者們共同開(kāi)發(fā)。

和以往的智能體相比，GITM的特點(diǎn)可以用兩個(gè)字來(lái)形容：更強(qiáng)。

• 能完成更多的任務(wù)：

在主世界的所有技術(shù)挑戰(zhàn)上實(shí)現(xiàn)了100%的任務(wù)覆蓋率。

• 更高的任務(wù)成功率：

在“獲取鉆石”任務(wù)上，也可以達(dá)到67.5%的高成功率。

看到這，你肯定會(huì)問(wèn)：這么強(qiáng)，訓(xùn)練要花很長(zhǎng)時(shí)間吧？

漏！單一CPU節(jié)點(diǎn)只需要訓(xùn)練兩天！

打破AI發(fā)展限制

在AI發(fā)展進(jìn)程中有一個(gè)非常有趣卻有違常識(shí)的現(xiàn)象：

一些對(duì)人類(lèi)而言相對(duì)困難的任務(wù)，例如下棋，對(duì)AI來(lái)說(shuō)卻相對(duì)容易實(shí)現(xiàn)；而在開(kāi)放世界中與環(huán)境交互、進(jìn)行規(guī)劃和決策等對(duì)人類(lèi)來(lái)說(shuō)較簡(jiǎn)單的事，AI卻面臨巨大挑戰(zhàn)。

這就是莫拉維克悖論。

不過(guò)，這個(gè)通才AI智能體GITM，據(jù)說(shuō)已經(jīng)成功打破了這一悖論限制：

它可以在復(fù)雜且類(lèi)似于現(xiàn)實(shí)世界的環(huán)境中取得突破，能夠像人類(lèi)一樣生存，探索和創(chuàng)造。

先來(lái)看一下它的具體表現(xiàn)怎么樣：

在《我的世界》中，GITM在主世界的所有技術(shù)挑戰(zhàn)上實(shí)現(xiàn)了100%的任務(wù)覆蓋率，也就是成功解鎖了完整的科技樹(shù)的262個(gè)物品。

而此前所有智能體的總和只能覆蓋30%。（以往所有智能體方法包括OpenAI和DeepMind在內(nèi)總共只解鎖了78個(gè)）

△紅色代表其它智能體也解鎖了的物品，綠色代表只有GITM解鎖的物品

在最受關(guān)注的“獲取鉆石”任務(wù)上，GITM取得了67.5%的成功率，相比于目前最佳成績(jī)（OpenAI VPT）提高了47.5%。

然鵝，重點(diǎn)來(lái)了。

在訓(xùn)練效率上，GITM也達(dá)到了新高度。環(huán)境交互步數(shù)只需已有方法的萬(wàn)分之一，單一CPU節(jié)點(diǎn)訓(xùn)練兩天即可完成。

遠(yuǎn)遠(yuǎn)低于之前OpenAI VPT所需的6480個(gè)GPU天或DeepMind DreamerV3所需的17個(gè)GPU天。

不僅如此，GITM還可以進(jìn)一步應(yīng)用在《我的世界》更加復(fù)雜的任務(wù)中，比如生存所需的避難所、農(nóng)田、鐵傀儡，創(chuàng)造自動(dòng)化設(shè)備所需的紅石電路、進(jìn)入下界所需的下界傳送門(mén)等。

GITM強(qiáng)大的能力和可擴(kuò)展性的背后是大語(yǔ)言模型（LLM）的加持。

GITM的心臟：大語(yǔ)言模型

之前基于強(qiáng)化學(xué)習(xí)的智能體所面臨的最大困境在于：

如何將一個(gè)極長(zhǎng)時(shí)域和復(fù)雜目標(biāo)映射成一系列鍵盤(pán)、鼠標(biāo)操作。

為了解決這個(gè)問(wèn)題，GITM的開(kāi)發(fā)者采用了基于大語(yǔ)言模型（LLM）的智能體程序。

與強(qiáng)化學(xué)習(xí)智能體程序直接映射不同，他們基于LLM的智能體程序采用了一種分層的方法：

首先將分解目標(biāo)拆分為子目標(biāo)，然后進(jìn)一步拆分為結(jié)構(gòu)化的操作，最后再拆分為鍵盤(pán)、鼠標(biāo)操作。

具體來(lái)說(shuō)，基于LLM的智能體程序包括LLM分解器、LLM規(guī)劃器和LLM界面，它們分別負(fù)責(zé)對(duì)子目標(biāo)、結(jié)構(gòu)化操作和鍵盤(pán)/鼠標(biāo)操作進(jìn)行分解：

1）LLM分解器首先根據(jù)從互聯(lián)網(wǎng)收集到的基于文本的知識(shí)，將目標(biāo)分解為一系列明確定義的子目標(biāo)。

2）然后，LLM規(guī)劃器為每個(gè)子目標(biāo)規(guī)劃一系列結(jié)構(gòu)化操作。LLM規(guī)劃器還會(huì)將成功的動(dòng)作列表，記錄并總結(jié)到基于文本的記憶中，來(lái)增強(qiáng)規(guī)劃能力。

3）LLM界面通過(guò)處理原始的鍵盤(pán)/鼠標(biāo)輸入和接收原始的觀察結(jié)果，執(zhí)行結(jié)構(gòu)化操作與環(huán)境進(jìn)行交互。

此前，商湯基于監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)就煉成了可以在《星際爭(zhēng)霸2》中，對(duì)挑頂級(jí)水平玩家的DI-star。

而訓(xùn)練一個(gè)DI-star，就用了“16萬(wàn)場(chǎng)錄像”和“1億局對(duì)戰(zhàn)”。

而這次，有了大語(yǔ)言模型的加持，事情又變得有意思了捏。

項(xiàng)目地址：https://github.com/OpenGVLab/GITM