AI，來(lái)感受被「分手廚房」支配的恐懼吧
諾丁漢大學(xué)、UC伯克利和微軟研究院出品
魚(yú)羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
盆友，你感受過(guò)被分手廚房，啊不，《煮糊了》（Overcooked）支配的恐懼嗎？
其實(shí)，別說(shuō)是你，就是AI們碰上需要多人配合，又得切菜，又得上鍋，又得送菜，地形還復(fù)雜的情況，也一樣會(huì)分分鐘敗下陣來(lái)。
這不，來(lái)自諾丁漢大學(xué)、UC伯克利和微軟研究院的研究人員，現(xiàn)在就提出：不會(huì)玩《煮糊了》的深度強(qiáng)化學(xué)習(xí)模型，不是好協(xié)作AI。
他們還發(fā)現(xiàn)，當(dāng)前多數(shù)深度RL模型，竟然都沒(méi)法兒在《煮糊了》里拿到65%以上的分?jǐn)?shù)。
為此，他們專(zhuān)門(mén)寫(xiě)了一篇論文。
用簡(jiǎn)化版《煮糊了》進(jìn)行基準(zhǔn)測(cè)試
想要在現(xiàn)實(shí)世界中應(yīng)用深度強(qiáng)化學(xué)習(xí)模型，實(shí)現(xiàn)AI與人類(lèi)的協(xié)作，目前一個(gè)大的挑戰(zhàn)在于，這類(lèi)系統(tǒng)在遇到開(kāi)發(fā)過(guò)程中未曾見(jiàn)過(guò)的情況、未訓(xùn)練過(guò)的行為時(shí)，能否保持魯棒性。
而如何去評(píng)估模型的魯棒性，也是困擾學(xué)界的一個(gè)難點(diǎn)。
不知道是不是分手廚房帶來(lái)的胡鬧現(xiàn)場(chǎng)啟發(fā)了他們，研究人員認(rèn)為，《煮糊了》能夠成功在系統(tǒng)能夠處理的范圍內(nèi)，測(cè)試出潛在的邊緣案例。
比如，在游戲中，系統(tǒng)必須應(yīng)對(duì)這樣的場(chǎng)景：盤(pán)子被不小心落在了柜臺(tái)上，搭檔因?yàn)樗伎蓟蛘邥簳r(shí)離開(kāi)停留在原地……
于是，他們根據(jù)《煮糊了》的環(huán)境，設(shè)計(jì)了簡(jiǎn)化版的單元測(cè)試。
主要分為三類(lèi)：
狀態(tài)魯棒性單元測(cè)試，這時(shí)成功的標(biāo)準(zhǔn)不取決于搭檔的狀態(tài)。如上圖（a）中，綠帽子廚師已經(jīng)拿到了一個(gè)盤(pán)子，所以無(wú)論綠帽子廚師接下來(lái)作出怎樣的決策，藍(lán)帽子廚師都只要向左拿一個(gè)洋蔥就是了。
智能體魯棒性單元測(cè)試，這時(shí)搭檔的狀態(tài)會(huì)影響結(jié)果，需要衡量智能體的魯棒性。如上圖（b）中，通道只有一條，綠帽子廚師想要去送湯，藍(lán)帽子廚師就得讓開(kāi)。
智能體&記憶魯棒性單元測(cè)試。如上圖（c）中，綠帽子廚師沒(méi)動(dòng)靜了，出于離開(kāi)狀態(tài)，那么藍(lán)帽子廚師應(yīng)該自己去取盤(pán)子送湯。這個(gè)狀態(tài)需要結(jié)合歷史記錄來(lái)檢測(cè)。
研究人員表示，這套基于《煮糊了》的測(cè)試套件，能提供無(wú)法通過(guò)簡(jiǎn)單考慮驗(yàn)證獎(jiǎng)勵(lì)獲得的信息，因此未來(lái)可以作為一個(gè)評(píng)判人工智能協(xié)作能力的基準(zhǔn)指標(biāo)。
傳送門(mén)
論文地址：
https://arxiv.org/abs/2101.05507
代碼地址：
https://github.com/HumanCompatibleAI/human_ai_robustness
參考鏈接：
https://venturebeat.com/2021/01/15/researchers-propose-using-the-game-overcooked-to-benchmark-collaborative-ai-systems/
— 完 —
- 標(biāo)準(zhǔn)化3D生成質(zhì)量榜單來(lái)了！首創(chuàng)層次化評(píng)價(jià)體系，告別“誰(shuí)的demo更吸睛”主觀評(píng)估2025-08-16
- 阿里閃電入局Agent Infra！智能體新基建亮相WAIC，“超級(jí)大腦”開(kāi)箱即用2025-07-31
- 世紀(jì)華通謝斐：在“三大平衡”中領(lǐng)跑，實(shí)現(xiàn)游戲行業(yè)更高質(zhì)量的發(fā)展2025-08-01
- 1.5B參數(shù)撬動(dòng)“吉卜力級(jí)”全能體驗(yàn)，國(guó)產(chǎn)開(kāi)源之光多模態(tài)統(tǒng)一模型，來(lái)了2025-07-30
相關(guān)閱讀
僅需一萬(wàn)塊錢(qián)！清華團(tuán)隊(duì)靠強(qiáng)化學(xué)習(xí)讓7B模型數(shù)學(xué)打敗GPT-4o
新的結(jié)合過(guò)程獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)方法
首屆“開(kāi)悟AI+游戲高校大賽”啟動(dòng)，18所名校學(xué)霸要教AI打王者榮耀
開(kāi)放生態(tài)助力AI+游戲產(chǎn)業(yè)升級(jí)
《我的世界》AI大戰(zhàn)降臨：6000萬(wàn)幀超大數(shù)據(jù)集已發(fā)布，NeurIPS 19向你約戰(zhàn)
勝者可喜提英偉達(dá)GPU
