GPT-4o能玩《黑神話》！精英怪勝率超人類，無(wú)強(qiáng)化學(xué)習(xí)純大模型方案

明敏 2024-09-22 16:28:59 來(lái)源：量子位

小明 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

AI玩黑神話，第一個(gè)精英怪牯護(hù)院輕松拿捏啊。

有方向感，視角也沒(méi)有問(wèn)題。

躲閃劈棍很絲滑。

甚至在打鴉香客和牯護(hù)院時(shí)，AI的勝率已經(jīng)超過(guò)人類。

而且是完全使用大模型玩，沒(méi)有使用強(qiáng)化學(xué)習(xí)。

阿里巴巴的研究人員們提出了一個(gè)新型VARP（視覺(jué)動(dòng)作角色扮演）智能體框架。

它能直接將游戲截圖作為輸入，通過(guò)視覺(jué)語(yǔ)言模型推理，最終生成Python代碼形式的動(dòng)作，以此來(lái)操作游戲。

以玩《黑神話·悟空》為例，該智能體在90%簡(jiǎn)單和中等水平戰(zhàn)斗場(chǎng)景中取勝。

GPT-4o、Claude 3.5都來(lái)迎戰(zhàn)

研究人員以《黑神話·悟空》為研究平臺(tái)，一共定義了12個(gè)任務(wù)，75%與戰(zhàn)斗有關(guān)。

他們構(gòu)建了一個(gè)人類操作數(shù)據(jù)集，包含鍵鼠操作和游戲截圖，一共1000條有效數(shù)據(jù)。

每個(gè)操作都是由原子命令的各種組合組成的序列。原子命令包括輕攻、閃避、重攻擊、回血等。

然后，他們提出了VARP智能體框架。

主要包含動(dòng)作規(guī)劃系統(tǒng)和人類引導(dǎo)軌跡系統(tǒng)。

其中動(dòng)作規(guī)劃系統(tǒng)由情境庫(kù)、動(dòng)作庫(kù)和人類引導(dǎo)庫(kù)組成，利用 VLMs 進(jìn)行動(dòng)作推理和生成，引入分解特定任務(wù)的輔助模塊和自我優(yōu)化的動(dòng)作生成模塊。

人類引導(dǎo)軌跡系統(tǒng)利用人類操作數(shù)據(jù)改進(jìn)智能體性能，對(duì)于困難任務(wù)，通過(guò)查詢?nèi)祟愐龑?dǎo)庫(kù)獲取相似截圖和操作，生成新的人類引導(dǎo)動(dòng)作。

同時(shí)VARP還包含3個(gè)庫(kù)：情景庫(kù)、動(dòng)作庫(kù)和人工引導(dǎo)庫(kù)。

這些庫(kù)中存儲(chǔ)了agent自我學(xué)習(xí)和人類指導(dǎo)的內(nèi)容，可以進(jìn)行檢索和更新。

動(dòng)作庫(kù)中，“def new_func_a()”表示動(dòng)作計(jì)劃系統(tǒng)生成的新動(dòng)作，“def new_func_h()”表示人導(dǎo)軌跡系統(tǒng)生成的動(dòng)作?！眃ef pre_func()”代表預(yù)定義的動(dòng)作。

動(dòng)作案例研究和相應(yīng)的游戲截圖。第一行和第二行中的操作是預(yù)定義的函數(shù)。第三行動(dòng)作由人工制導(dǎo)軌跡系統(tǒng)生成。

SOAG會(huì)在玩家角色與敵人的每次戰(zhàn)斗互動(dòng)后總結(jié)第四行和第五行中的新動(dòng)作，并將其存儲(chǔ)在動(dòng)作庫(kù)中。

框架分別使用了GPT-4o（2024-0513版本）、Claude 3.5 Sonnet和Gemini 1.5 Pro。

對(duì)比人類和AI的表現(xiàn)結(jié)果，可以看到小怪部分AI們的表現(xiàn)達(dá)到人類玩家水平。

到了牯護(hù)院時(shí)，Claude 3.5 Sonnet敗下陣來(lái)，GPT-4o勝率最高。

但是對(duì)于新手玩家普遍頭疼的幽魂，AI們也都束手無(wú)策了。

另外研究還提到，由于VLMs推理速度受到限制，是無(wú)法實(shí)時(shí)輸入每一幀畫(huà)面的。它只能間隔輸入關(guān)鍵幀，這也會(huì)導(dǎo)致AI在一些情況下錯(cuò)過(guò)boss攻擊的關(guān)鍵信息。

以及由于游戲中沒(méi)有明確的道路引導(dǎo)且存在很多空氣墻，在沒(méi)有人類引導(dǎo)下，智能體也不能自己找到正確的路線。

如上研究來(lái)自阿里團(tuán)隊(duì)，一共有5位作者。

后續(xù)相關(guān)代碼和數(shù)據(jù)集有發(fā)布計(jì)劃，感興趣的童鞋可以蹲下。

One More Thing

AI打游戲并不是一個(gè)新鮮事了，比如AI基于強(qiáng)化學(xué)習(xí)方法打《星際爭(zhēng)霸II》已經(jīng)可以擊敗人類職業(yè)高手。

利用強(qiáng)化學(xué)習(xí)方案，往往需要輸入大量對(duì)局。商湯此前訓(xùn)練的DI-star（監(jiān)督學(xué)習(xí)+強(qiáng)化學(xué)習(xí)），就用了“16萬(wàn)場(chǎng)錄像”和“1億局對(duì)戰(zhàn)”。

但是純大模型也能打游戲，還是很出乎意料的。在本項(xiàng)研究中，數(shù)據(jù)集中的有效數(shù)據(jù)為1000條。

論文地址：
https://arxiv.org/abs/2409.12889

項(xiàng)目地址：
https://varp-agent.github.io/