DeepMind用新AI超越自己：提速200倍，在所有雅達(dá)利游戲上勝過人類
秒殺兩年前的Agent57
羿閣 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
DeepMind又對(duì)雅達(dá)利游戲下手了！
這次，他們最新推出的智能體MEME，在效果不變的前提下，比兩年前的Agent57提速了200倍！
Agent57，是DeepMind在2020年搞的一個(gè)智能體，史上首次在所有57個(gè)雅達(dá)利游戲中超過了人類基準(zhǔn)表現(xiàn)。
但它有一個(gè)致命缺陷是效率低：需要近800億幀的數(shù)據(jù)訓(xùn)練才能實(shí)現(xiàn)。
現(xiàn)在，MEME的出現(xiàn)完美解決了這一問題。
有網(wǎng)友看完表示：這就是真正的樣本高效吧。
話不多說，趕緊來一睹為快吧。
新的智能體：MEME
Agent57，作為首個(gè)在所有雅達(dá)利游戲中超越人類基準(zhǔn)表現(xiàn)的智能體，性能上已足夠先進(jìn)。
但問題是，要想達(dá)到這一目標(biāo)，背后需要780億幀的龐大的經(jīng)驗(yàn)訓(xùn)練，這在時(shí)間和成本上都是一筆大開支。
因此，以Agent57為起點(diǎn)，DeepMind采用了一系列不同的策略，來實(shí)現(xiàn)訓(xùn)練效率上的提升。
他們調(diào)查了在減少數(shù)據(jù)制度時(shí)遇到的一系列不穩(wěn)定因素和瓶頸，并提出了有效的解決方案，最后建立一個(gè)更加強(qiáng)大和高效的智能體：MEME。
新的MEME智能體主要針對(duì)Agent57的4個(gè)方面進(jìn)行改善，分別是：
A.實(shí)現(xiàn)與罕見事件相關(guān)的學(xué)習(xí)信號(hào)的快速傳播；
B.在不同的價(jià)值尺度下穩(wěn)定學(xué)習(xí)；
C.改進(jìn)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；
D.在快速變化的政策下使更新更加穩(wěn)健。
為了達(dá)到這四個(gè)目標(biāo)，DeepMind采取了以下方法，與上述四點(diǎn)相對(duì)應(yīng)。
A1.用在線網(wǎng)絡(luò)進(jìn)行引導(dǎo)；
A2.有公差的目標(biāo)計(jì)算；
B1.損失和優(yōu)先權(quán)歸一化；
B2.交叉混合訓(xùn)練；
C1.無歸一化的軀干網(wǎng)絡(luò)；
C2.帶有綜合損失的共享軀干；
D.通過策略提煉的魯棒行為。
這些方法旨在提高Agent57的數(shù)據(jù)效率，但這種效率的提高不能以犧牲終端性能為代價(jià)。
因此，為了檢驗(yàn)經(jīng)過上述步驟的智能體MEME的效率和性能，研究團(tuán)隊(duì)分別在2億、10億、200億、900億幀環(huán)境進(jìn)行了訓(xùn)練。
通過下圖可以直觀的看出，新智能體MEME在3.9億幀時(shí)就超過了人類基準(zhǔn)，比Agent57快了兩個(gè)數(shù)量級(jí)，并且在將參數(shù)量從90B減少到1B的情況下，取得了類似的最終表現(xiàn)。
可以說相比Agent57而言，MEME既提升了效率，又保持了性能。
研究團(tuán)隊(duì)
MEME的研究團(tuán)隊(duì)來自DeepMind。
其中三位Adrià Puigdomènech Badia、Steven Kapturowski、Charles Blundell也是之前Agent57的論文作者。
值得一提的是，Steven Kapturowski在兩篇論文中都是一作。
他畢業(yè)于美國科羅拉多大學(xué)博爾德分校，曾在蘋果、微軟、Glassdoor等公司工作過，現(xiàn)在是DeepMind的一名高級(jí)研究工程師。
參考鏈接：
[1]https://arxiv.org/pdf/2209.07550.pdf
[2]https://arxiv.org/pdf/2003.13350.pdf
[3]https://www.linkedin.cn/incareer/in/stevenkapturowski
相關(guān)閱讀
教自動(dòng)編碼器學(xué)會(huì)「自我糾正」，DeepMind提出語言模型“SUNDAE”
WMT14英德互譯任務(wù)獲SOTA
史上AI最高分！谷歌大模型創(chuàng)美國醫(yī)師執(zhí)照試題新紀(jì)錄，科學(xué)常識(shí)水平媲美人類醫(yī)生
臨床問答表現(xiàn)最高超原SOTA模型17%以上
