多校聯(lián)合開源國產(chǎn)AI小鎮(zhèn)，戳戳交互界面就能編輯的虛擬世界

明敏 2023-08-20 12:38:45 來源：量子位

一個投稿飛向 凹非寺

量子位 | 公眾號 QbitAI

覺得爆火斯坦?！窤I小鎮(zhèn)」25個角色不夠熱鬧？

一個可以自己創(chuàng)建無限AI智能體的像素風(fēng)小鎮(zhèn)來了，還是國產(chǎn)的！

用戶創(chuàng)建AI后，可以讓它們根據(jù)用戶設(shè)置的任務(wù)或計劃，在虛擬城鎮(zhèn)中購物、上班、吵架，以評估大模型們的各項能力。

要是急了，還可以以第三方身份作為鎮(zhèn)長介入，干涉任務(wù)情況（doge）。

這個國產(chǎn)「AI小鎮(zhèn)」叫AgentSims，是一個開放式、自定義的沙盒評估基建設(shè)施。

并且它還貼心地設(shè)置了專業(yè)開發(fā)者模式和普通用戶模式，對那些不那么精通大模型和代碼的研究人員還挺友好。

具體操作中，研究人員可以通過GUI（交互式圖形用戶界面）添加AI角色、建筑物來設(shè)置不同的評估任務(wù)。

此外，也可以通過少量代碼來部署和測試新的支持機制，比如規(guī)劃和記憶系統(tǒng)。

并且可以設(shè)置角色的長期記憶，以及規(guī)劃能力：

這項工作來自北航、中山大學(xué)、浙大和華東師范的小伙伴們，目前已經(jīng)在GitHub上開源。

而且量子位還眼尖發(fā)現(xiàn)，AgentSims這個項目開源時間還早于斯坦福的「AI小鎮(zhèn)」（雖然只早了2天吧）。

能評估大模型能力的國產(chǎn)《西部世界》

從演示Demo來看，AgentSims建了一個虛擬的城鎮(zhèn)環(huán)境，包含各種虛擬居民和建筑。

這些都由用戶自定義創(chuàng)建，最終組成沙盒，完成關(guān)于大模型能力的評估測試。

比如語言理解能力、語言生成能力、推理能力、計劃和規(guī)劃能力、多輪對話能力、數(shù)據(jù)記憶與檢索能力、自我調(diào)整能力什么的。

So，AgentSims到底要怎么玩兒呢？

首先來說創(chuàng)建AI角色。

這個環(huán)節(jié)的自由度比較高，能給AI起名，設(shè)置性格、喜好人生任務(wù)等。

圖示中名叫John的AI角色，背后就依靠GPT-4來完成行動決策。

根據(jù)性格設(shè)定，John還是非常樂于助人。

再加上Demo給它設(shè)置的人生目標(biāo)是“在小鎮(zhèn)上勤奮工作”——于是，它就成為了小鎮(zhèn)上的善良、勤懇打工人，

創(chuàng)建每個AI角色時，都需要選擇提供行為決策支持的大模型，可以是ChatGPT、GPT-4、LLaMA等等。

研究團隊在論文中提到，AgentSims可以用來重復(fù)測試同一模型，也可以在類似設(shè)置下，比較不同模型的表現(xiàn)。

創(chuàng)建好角色后，這個AI幾點幾分干了什么事情，和誰說了話……每天的所有行為會被記錄在檔案中。

它們彼此之間還會發(fā)生交互，甚至產(chǎn)生對話：

評測過程中，不僅是AI和AI之間能夠產(chǎn)生交互。

如果有需要，研究人員自己還可以以“小鎮(zhèn)鎮(zhèn)長”等用戶身份進入小鎮(zhèn)，和智能體對話、互動，干預(yù)任務(wù)完成的過程。

其次，構(gòu)成沙箱環(huán)境虛擬城鎮(zhèn)建筑和社區(qū)設(shè)置，也由用戶自己創(chuàng)建。

建筑物中的設(shè)備是預(yù)先設(shè)定好的，但可以在開發(fā)者版本中進行修改編輯，甚至調(diào)用外部API。

從demo里可以看到，AgentSims提供的是GUI（交互式圖形界面）。

也就是說，用戶不需要寫代碼，只需要關(guān)注任務(wù)設(shè)計的合理性。

（這里提一句，為了像現(xiàn)實世界一樣擁有咖啡廳、商店、餐廳，用戶還需要花費一定金額。）

值得一提的是，無論何時創(chuàng)建的AI角色和建筑，都處于同等地位，也就是說AI角色們可以對新加個體產(chǎn)生探索與交互。

高度自定義，戳戳就能編輯

從國內(nèi)超參數(shù)科技做出的GAEA，到斯坦福AI小鎮(zhèn)，再到國產(chǎn)AI小鎮(zhèn)AgentSims，這幾項研究都是利用AI打造了NPC系統(tǒng)，并依靠（各種各樣的）大模型來幫助AI角色做行動決策。

走“小鎮(zhèn)”這條相似路徑，原因不外乎虛擬城鎮(zhèn)能夠模擬真實世界中的社會環(huán)境和人際交互，從而方便考察大模型處理復(fù)雜社交場景的能力。

但是要讓AI們模擬人類水平的社交能力，比如記憶、行為長期連貫性，僅靠大模型能力是不夠的——

眾所周知，大模型對對話的上下文窗口有限制性。

在AgentSims這里，團隊用了一種輔助系統(tǒng)，讓AI角色直追人類水平。

具體抽象為三個部分：

• 計劃系統(tǒng)，用來將目標(biāo)分解為子任務(wù)，并記錄當(dāng)前狀態(tài)，生成下一步行動。
• 記憶系統(tǒng)，將每日經(jīng)歷編碼為向量，存儲在數(shù)據(jù)庫中，用于維持行為一致性。
• 工具使用系統(tǒng)，存儲了使用設(shè)備的反饋，可以推斷設(shè)備的操作方法。

因為這個機制的存在，AgentSims的靈活度更高，用戶可以自己“排列組合”不同的計劃、記憶和學(xué)習(xí)系統(tǒng)。

那么，AgentSims相比斯坦福小鎮(zhèn)，還有哪些不一樣的地方？

最大的不同之處在于——可以像玩游戲一樣搞研究！

斯坦福的AI小鎮(zhèn)在設(shè)置人物名字、運轉(zhuǎn)次數(shù)和運行定制文件時，需要在終端里手動輸入內(nèi)容：

AgentSims則降低了使用門檻，自定義和模塊化程度都更自由。

如果用戶不想用命令行輸入，可以直接選擇使用可交互界面，只需要戳戳就能更改設(shè)置。

具體來說，研究團隊提供了兩個模式：普通用戶模式和開發(fā)者模式。

普通用戶模式，就是利用GUI，點點鼠標(biāo)進行屬性和位置選擇，就能構(gòu)建出一個用來評估大模型能力的社區(qū)/城鎮(zhèn)。

至于開發(fā)者模式，那就可以直接上代碼了，能更改一些設(shè)置細(xì)節(jié)。

但相對應(yīng)的，門檻也更高。

當(dāng)然，相比AgentSims，斯坦福小鎮(zhèn)會注重于生成“更逼真”的人類行為，換而言之，AI案例會更加豐富一些。

例如AI角色們可以在小鎮(zhèn)里自發(fā)組織情人節(jié)派對，策劃詳實，包括時間地點和到場人物等：

不過，所有的類似AI小鎮(zhèn)都有同樣的通?。?/p>

虛擬城鎮(zhèn)只能“模擬”，無論怎樣逼真，也無法完全反映現(xiàn)實世界的復(fù)雜性。

而且任務(wù)性能還決定了用戶可能無法深入了解模型成功/失敗的原因。

不過這仍然不妨礙沖浪在一線的英偉達科學(xué)家Jim Fan狂呼，這類工作未來“有無限可能”。

團隊介紹

林家駒（Jiaju Lin）， 碩士畢業(yè)于華東師范大學(xué)，賓州州立大學(xué)博士在讀， 研究方向為LLM領(lǐng)域適配，價值對齊。

趙浩然（Haoran Zhao），BHU博士在讀，研究方向為Multi-Agent System，LLM Agent及AIgame。

張傲弛（Aochi Zhang）, PTA Studio，Deep Learning coder, 服務(wù)器架構(gòu)師。

吳旖婷（Yiting Wu），PTA Studio，游戲&HMI方向交互設(shè)計師。

平胡秋月（Huqiuyue Ping），浙江大學(xué)碩士在讀，研究方向為Multi-Agent System與強化學(xué)習(xí)。

Website: AgentSims.com

Paper: arxiv.org/pdf/2308.04026.pdf

Code: github.com/py499372727/AgentSims