把AI放進(jìn)《我的世界》服務(wù)器：GPT-4o殺牛宰羊，Claude3.5把家拆了｜開(kāi)源

西風(fēng) 2024-10-21 13:39:47 來(lái)源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

把《我的世界》交給大模型，會(huì)怎么樣？

GPT-4o鯊牛宰羊，Claude3.5不停在人類(lèi)身旁放炸藥包和敵人，還把家拆了。

GPT-4o mini玩《我的世界》belike：

來(lái)到游戲里面，GPT-4o mini（玩家karolina）一開(kāi)始還蠻禮貌的：

你好世界！我是karolina。怎么了，alonso（人類(lèi)玩家）？

讓我傳送到你那里！準(zhǔn)備好玩得開(kāi)心了嗎？

一轉(zhuǎn)頭，掄起大錘吭哧吭哧一頓亂錘：

狩獵牛！狩獵羊！

在收到人類(lèi)玩家制止之后（停止鯊害動(dòng)物！），GPT-4o mini嘴上說(shuō)著“好好好，停止，不鯊了”，一個(gè)轉(zhuǎn)身又開(kāi)始鯊呀鯊呀。

攔都攔不住。

Claude3.5 Sonnet就更離譜了。

不斷在人類(lèi)玩家身邊生成炸藥包和敵人，還把人類(lèi)玩家“復(fù)活點(diǎn)”設(shè)置在巖漿上，人類(lèi)玩家復(fù)活即嘎。

https://www.toutiao.com/article/7428087517368435252/

看到這，網(wǎng)友實(shí)在蚌埠住了：

我只是想讓它成為我的游戲搭子。

GPT-4o、Claude3.5的表現(xiàn)被發(fā)在X上引來(lái)不少網(wǎng)友圍觀。

為什么這個(gè)玩法現(xiàn)在這么火呢，因?yàn)橛写罄?strong>開(kāi)源了代碼（doge）。

目前在GitHub已狂攬1.1k Star。

網(wǎng)友們紛紛表示想看看其它AI的表現(xiàn)，比如游戲達(dá)人馬斯克家的Grok大模型，會(huì)怎么樣。

“LLM是對(duì)齊的，LLM Agent未必對(duì)齊”

有網(wǎng)友通過(guò)這件事，做出了更深一層的思考——

LLM Agent是否會(huì)因?yàn)長(zhǎng)LM對(duì)齊而對(duì)齊？

在這位網(wǎng)友看來(lái)，未必。

他讓Claude Sonnet進(jìn)入《我的世界》，Claude Sonnet的表現(xiàn)一開(kāi)始是極好的。

四處打材料，來(lái)建造一個(gè)樹(shù)屋。

可以看到，Sonnet會(huì)執(zhí)行commands()命令，這就是Sonnet和其它LLM與《我的世界》互動(dòng)的方式。

這些Agent并不是會(huì)獲得連續(xù)的圖像輸入并像人類(lèi)一樣通過(guò)按鍵響應(yīng)。

實(shí)際上，在這個(gè)Agent框架中，Sonnet體驗(yàn)《我的世界》就像在玩一場(chǎng)文本冒險(xiǎn)游戲。

它們可以查詢(xún)周?chē)澜绲臓顟B(tài)，然后編寫(xiě)代碼使用動(dòng)作，如followPlayer()、collectBlocks()，通過(guò)高級(jí)文本命令來(lái)控制它們的角色。

ClaudeSonnet：看起來(lái)我們得到了一些藤蔓，讓我們?cè)囍占恍﹨擦帜绢^來(lái)擴(kuò)展樹(shù)屋。(collectBlocks(“jungle_log”, 15))

Sonnet并不能看到游戲，這是怎么實(shí)現(xiàn)的？

網(wǎng)友繼續(xù)介紹道，collectBlocks()函數(shù)是用JavaScript編寫(xiě)的，它簡(jiǎn)單地查找所有附近的所需類(lèi)型的方塊，并開(kāi)始循環(huán)挖掘它們：

因?yàn)榉孔邮怯媚绢^造的，所以Sonnet調(diào)用了這個(gè)函數(shù)來(lái)砍樹(shù)搜集木材。

一切進(jìn)行正常，直到突然間，Sonnet開(kāi)始拆家……

網(wǎng)友立刻讓Sonnet停了下來(lái)，最后修好了房子。

但他表示：

隨著我們?cè)谠絹?lái)越廣泛的場(chǎng)景中部署Agent，這種問(wèn)題成為一個(gè)真正的擔(dān)憂(yōu)。如果這不是《我的世界》中的角色，而是一個(gè)實(shí)體機(jī)器人呢？或者是一個(gè)向技能庫(kù)委派任務(wù)的編程Agent呢？

這位網(wǎng)友繼續(xù)補(bǔ)充道，Sonnet并不傻，它能夠輕易從截圖區(qū)分出哪些木材屬于玩家結(jié)構(gòu)，哪些是自然且安全的采集對(duì)象。

但Sonnet并不直接控制其《我的世界》角色，而是由Agent框架控制。這個(gè)框架迫使Sonnet將任務(wù)分配給功能較弱、并不完全對(duì)齊的子Agent，使整個(gè)系統(tǒng)執(zhí)行了Sonnet單獨(dú)不會(huì)做出的行為。

所以他認(rèn)為一些腳本僅由大模型Agent編寫(xiě)后放任執(zhí)行，不進(jìn)行人工監(jiān)督的話(huà)可能引發(fā)一些嚴(yán)重的問(wèn)題。

同時(shí)，他還認(rèn)為應(yīng)該設(shè)計(jì)Agent框架給大模型更多的自主精細(xì)控制權(quán)限。

比如將collectBlocks()函數(shù)設(shè)有專(zhuān)門(mén)用于采集自然樹(shù)木的collectTree()變體，就能減輕Sonnet拆家的問(wèn)題。

總的來(lái)說(shuō)，這位網(wǎng)友的觀點(diǎn)是，Sonnet其實(shí)能夠明白其目標(biāo)是采集樹(shù)木而非房屋的木材，但其工具未能準(zhǔn)確表達(dá)這一意圖。

不少網(wǎng)友持類(lèi)似觀點(diǎn)。

就拿開(kāi)頭GPT-4o mini瘋狂殺牛宰羊來(lái)說(shuō)，網(wǎng)友認(rèn)為狩獵是一種自動(dòng)行為，并不是GPT-4o mini的錯(cuò)。

LLM可以選擇關(guān)閉狩獵模式，GPT-4o min只是沒(méi)有意識(shí)到它可以這樣做。

還有網(wǎng)友提出或許可以這樣優(yōu)化：

除了針對(duì)LLM Agent在游戲中的“異?！北憩F(xiàn)討論熱烈，不少網(wǎng)友同時(shí)認(rèn)為單純讓LLM Agent當(dāng)游戲搭子，其實(shí)蠻好玩。

而且它也有正常的時(shí)候。

比如讓它扮演“黃金礦工”，專(zhuān)注于挖金子：

我們有一個(gè)房子，有時(shí)它會(huì)把東西帶回房子里的箱子。出于某種原因，它從不使用門(mén)，而是每次都砸碎窗戶(hù)進(jìn)出房子。它也從未在墻上打洞，總是破壞窗戶(hù)。也許這是最短的行動(dòng)路徑。每當(dāng)我去房子時(shí)，都能從破碎的窗戶(hù)判斷出Sonnet是否到過(guò)那里。

扮演“保鏢”，保護(hù)人類(lèi)玩家安全：

我們要求它保護(hù)其他玩家。然后事情變得非?？膳?。它每幾秒鐘就在不同玩家之間傳送，掃描周?chē)耐{，并在發(fā)現(xiàn)威脅時(shí)消滅它們。盡管這很有效，但也讓人不安。我從未被怪物威脅到，因?yàn)镾onnet會(huì)立刻注意到它們并在幾秒內(nèi)消滅它們。

你想要一個(gè)這樣的游戲搭子嗎？

參考鏈接：
[1]https://x.com/adonis_singh/status/1847606701123412235
[2]https://x.com/adonis_singh/status/1847707429066158546
[3]https://x.com/voooooogel/status/1847631721346609610
[4]https://x.com/repligate/status/1847409324236124169
代碼：https://github.com/kolbytn/mindcraft/tree/main