騰訊AI單挑碾壓王者榮耀職業(yè)玩家：人類15場(chǎng)只能贏1局，堅(jiān)持不到8分鐘 | “絕悟”技術(shù)細(xì)節(jié)披露

乾明 2019-12-24 11:53:02 來(lái)源：量子位

乾明 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

最新消息，騰訊又圍繞王者榮耀AI“絕悟”發(fā)表了新論文，已經(jīng)被AI頂會(huì)AAAI 2020收錄。

這是繼今年8月份絕悟在5v5比賽中擊敗職業(yè)戰(zhàn)隊(duì)后，騰訊首次披露AI背后的技術(shù)細(xì)節(jié)。

騰訊研究人員表示，將AI執(zhí)行動(dòng)作時(shí)間限制在業(yè)余高手玩家相同的水平上（間隔為133ms），絕悟已經(jīng)能夠單挑頂級(jí)職業(yè)選手，并在其擅長(zhǎng)的英雄上實(shí)現(xiàn)碾壓，15場(chǎng)比賽中職業(yè)選手只贏了1場(chǎng)，并且最多堅(jiān)持不到8分鐘。

在今年8月份的公開(kāi)測(cè)試中，這一王者榮耀1V1的AI與大量頂級(jí)業(yè)余玩家進(jìn)行了2100場(chǎng)對(duì)戰(zhàn)。AI勝率達(dá)到99.81%。

在貂蟬(法師)、狄仁杰(射手)、花木蘭(上單/戰(zhàn)士)、露娜(打野/刺客)、魯班(射手)等英雄上，勝率都是100%。

如此AI是怎么訓(xùn)練出來(lái)的？我們且看騰訊最新論文中披露的最新細(xì)節(jié)。

30小時(shí)達(dá)到王者水平，70小時(shí)比肩職業(yè)玩家

首先需要指明的是，騰訊的這篇新論文關(guān)注的是 1v1 游戲AI，并不是 5v5 游戲AI。

研究人員在論文中解釋稱，后者更注重所有智能體的團(tuán)隊(duì)合作策略，而不是單個(gè)智能體的動(dòng)作決策。

考慮到這一點(diǎn)，1v1游戲更適合用來(lái)研究游戲中的復(fù)雜動(dòng)作決策問(wèn)題，也能夠更加全面系統(tǒng)的研究游戲 AI 智能體的構(gòu)建。

AI的整體架構(gòu)一共分為4個(gè)模塊：強(qiáng)化學(xué)習(xí)學(xué)習(xí)器（RL Learner）、人工智能服務(wù)器（AI Server）、分發(fā)模塊（Dispatch Module）和記憶池（Memory Pool）。

這是一種高可擴(kuò)展低耦合的系統(tǒng)架構(gòu)，可以用來(lái)構(gòu)建數(shù)據(jù)并行化。主要考慮的是復(fù)雜智能體的動(dòng)作決策問(wèn)題可能引入高方差的隨機(jī)梯度，所以有必要采用較大的批大小以加快訓(xùn)練速度。

其中，AI服務(wù)器實(shí)現(xiàn)的是 AI 模型與環(huán)境的交互方式。分發(fā)模塊是用于樣本收集、壓縮和傳輸?shù)墓ぷ髡?。記憶池是?shù)據(jù)存儲(chǔ)模塊，能為 RL 學(xué)習(xí)器提供訓(xùn)練實(shí)例。

這些模塊是分離的，可靈活配置，從而讓研究者可將重心放在算法設(shè)計(jì)和環(huán)境邏輯上。這樣的系統(tǒng)設(shè)計(jì)也可用于其它的多智能體競(jìng)爭(zhēng)問(wèn)題。

在強(qiáng)化學(xué)習(xí)學(xué)習(xí)器中，他們還實(shí)現(xiàn)了一個(gè) actor-critic 神經(jīng)網(wǎng)絡(luò)，用于建模1v1 游戲中的動(dòng)作依賴關(guān)系。

為了應(yīng)對(duì)游戲中的多個(gè)場(chǎng)景決策，研究人員們還提出了一系列算法策略，來(lái)實(shí)現(xiàn)更高效率的訓(xùn)練：

• 為了幫助AI在戰(zhàn)斗中選擇目標(biāo)，引入目標(biāo)注意力機(jī)制；
• 為了學(xué)習(xí)英雄的技能釋放組合，以便AI在序列決策中，快速輸出大量傷害，使用了LSTM；
• 用于構(gòu)建多標(biāo)簽近端策略優(yōu)化（PPO）目標(biāo)，采用動(dòng)作依賴關(guān)系的解耦；
• 為了引導(dǎo)強(qiáng)化學(xué)習(xí)過(guò)程中的探索，開(kāi)發(fā)了基于游戲知識(shí)的剪枝方法；
• 為了確保使用大和有偏差的數(shù)據(jù)批進(jìn)行訓(xùn)練時(shí)的收斂性，改進(jìn) PPO 算法提出dual-clip PPO，其示意圖如下所示：

研究人員在論文中指出，基于這樣的方法訓(xùn)練一個(gè)英雄，使用48個(gè)P40 GPU卡和18000個(gè)CPU 內(nèi)核，訓(xùn)練一天相當(dāng)于人類打500年，訓(xùn)練30個(gè)小時(shí)就能達(dá)到王者段位水平，70個(gè)小時(shí)比肩職業(yè)玩家，其表現(xiàn)要顯著優(yōu)于多種baseline方法。

而且如前所述，在與人類選手交戰(zhàn)的測(cè)試中，獲得了非常亮眼的成績(jī)。

如果你想了解關(guān)于這一AI更多的細(xì)節(jié)，我們將論文鏈接放到了文末~

來(lái)自騰訊AI Lab和天美工作室，還在打造開(kāi)放平臺(tái)

與2018年12月份發(fā)布的王者榮耀AI論文作者單位相比，這次多了“天美工作室”——王者榮耀的開(kāi)發(fā)團(tuán)隊(duì)。

除了研究，騰訊AI Lab與王者榮耀還將聯(lián)合推出“開(kāi)悟”AI+游戲開(kāi)放平臺(tái)。

王者榮耀會(huì)開(kāi)放游戲數(shù)據(jù)、游戲核心集群（Game Core）和工具，騰訊AI Lab會(huì)開(kāi)放強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)的計(jì)算平臺(tái)和算力，邀請(qǐng)高校與研究機(jī)構(gòu)共同推進(jìn)相關(guān)AI研究，并通過(guò)平臺(tái)定期測(cè)評(píng)，來(lái)展示多智能體決策研究實(shí)力。

目前“開(kāi)悟”平臺(tái)已啟動(dòng)高校內(nèi)測(cè)，預(yù)計(jì)在2020年5月全面開(kāi)放高校測(cè)試，并且在測(cè)試環(huán)境上，支持1v1，5v5等多種模式。

騰訊透露，計(jì)劃在2020年12月舉辦首屆AI在王者榮耀應(yīng)用的水平測(cè)試。

論文傳送門

Mastering Complex Control in MOBA Games with Deep Reinforcement Learning
https://arxiv.org/abs/1912.09729