DeepMind登上Science：“和AI相比，人類都是豬隊(duì)友”，團(tuán)戰(zhàn)稱霸雷神之錘3

栗子 2019-06-01 13:59:57 來源：量子位

栗子 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

AI組隊(duì)，比人類戰(zhàn)隊(duì)的成績(jī)好。

AI與人類組隊(duì)，還是遠(yuǎn)超人類。

DeepMind為了訓(xùn)練強(qiáng)化學(xué)習(xí)AI的團(tuán)隊(duì)協(xié)作能力，選擇了雷神之錘3競(jìng)技場(chǎng)的奪旗游戲。

從去年到今年，AI不斷進(jìn)化：

如今，把反應(yīng)速度降到和人類水平，把標(biāo)記準(zhǔn)確率也降下來，勝率依然超過人類。

而AI學(xué)習(xí)的資源，也只有第一視角看到的游戲場(chǎng)景，以及比分，沒有比人類獲得更多信息。

當(dāng)AI贏了柯潔，我們說AI不會(huì)合作；當(dāng)AI贏了刀塔2世界冠軍，我們說是冠軍太魚反應(yīng)速度不公平。

但現(xiàn)在，我們只能看著DeepMind登上最新一期的Science。

然后，觀察一下這些既懂得相互協(xié)作、又懂得和人類協(xié)作的AI，是怎樣修煉出來的：

嚴(yán)酷的訓(xùn)練場(chǎng)

奪旗游戲?(Capture the Flag) 是這樣的：

兩隊(duì)各有自己的大本營(yíng)，目標(biāo)是把己方的旗守在大本營(yíng)，并拔掉對(duì)方的旗。

如果我是藍(lán)方，看見敵人扛著藍(lán)旗跑，就要用激光標(biāo)記它。

這樣，藍(lán)旗會(huì)失而復(fù)得，敵人也會(huì)被送回它的老家。

五分鐘內(nèi)，哪一隊(duì)拔掉對(duì)方更多的旗，這一隊(duì)就贏了。

原本，雷神之錘3競(jìng)技場(chǎng)里只有5張地圖；團(tuán)隊(duì)競(jìng)技場(chǎng)，也只有幾十張地圖。

為了讓AI受到更加嚴(yán)格的訓(xùn)練，DeepMind隨機(jī)生成了許多游戲里原本沒有的地圖：

就在這樣的競(jìng)技場(chǎng)里，DeepMind同時(shí)訓(xùn)練了30只智能體，主要原理是LSTM。

這30只AI選手，一共打完了45萬場(chǎng)游戲。

在這個(gè)過程中，還要不時(shí)淘汰掉表現(xiàn)不佳的AI，用頂尖AI選手的變異版本 (Mutations) 代替。這是進(jìn)化算法的思路。

最終，選出最優(yōu)秀的一只AI，取名For the Win (FTW) 。

除了碾壓人類，還會(huì)利用游戲bug

然后，就該測(cè)試FTW的實(shí)力了。

首先，是人機(jī)混戰(zhàn)：DeepMind找來40個(gè)人類，與AI隨機(jī)組隊(duì)。

結(jié)果，AI選手的個(gè)人勝率遠(yuǎn)超人類：

研究人員發(fā)現(xiàn)，AI不但能同人類/AI協(xié)作，還形成了經(jīng)典的團(tuán)戰(zhàn)策略：

比如，跟在隊(duì)友身后，這樣一旦與敵人交火，便能在人數(shù)上超過對(duì)手。

還有，在敵人大本營(yíng)附近游蕩，當(dāng)隊(duì)友拿到旗子的時(shí)候可以迅速接手往回跑。

除了這些人類常用套路之外，AI還發(fā)明了全新策略：

利用游戲里的一個(gè)bug，從背后向隊(duì)友射擊，能加快隊(duì)友的速度。

除了看到現(xiàn)象，團(tuán)隊(duì)還想知道，AI為什么會(huì)修煉出這許多技能。

于是，研究了AI的行為模式，觀察它們是如何理解比賽：

各種顏色的點(diǎn)點(diǎn)，分別代表：旗在陣地，隊(duì)友扛走了敵方大旗，自己處在敵方陣地等等。

不同戰(zhàn)況之下，AI的反應(yīng)明顯不同。安全和危險(xiǎn)，分得清清楚楚。

調(diào)至同一起跑線

雖然，AI在初次混戰(zhàn)中碾壓人類，但DeepMind團(tuán)隊(duì)十分理智地以為：

AI之所以超過人類，主要優(yōu)勢(shì)一是反應(yīng)速度快，二是射得準(zhǔn) (感覺哪里不對(duì)) 。

所以，團(tuán)隊(duì)手動(dòng)把反應(yīng)速度調(diào)慢到人類水平267毫秒左右，把80%的射擊準(zhǔn)確度降低到和人類相當(dāng)?shù)?strong>48%左右

然后重啟比賽，這次是真正的人機(jī)對(duì)戰(zhàn)。

人類戰(zhàn)隊(duì)分為普通人類 (Average Human) 和強(qiáng)大人類?(Strong Human) 。

結(jié)果，強(qiáng)大人類組成的戰(zhàn)隊(duì)，對(duì)戰(zhàn)AI的勝率也僅有21%。

對(duì)人類來說，唯一值得慶幸的是：

當(dāng)有AI加入人類戰(zhàn)隊(duì)，與純AI戰(zhàn)隊(duì)互打的時(shí)候，人類戰(zhàn)隊(duì)的勝率終于超過了AI戰(zhàn)隊(duì)。

臆測(cè)一下，這個(gè)大概是說：人類是豬隊(duì)友，吧？

Science論文傳送門：

https://science.sciencemag.org/content/364/6443/859

Science報(bào)道傳送門：

https://www.sciencemag.org/news/2019/05/artificial-intelligence-learns-teamwork-deadly-game-capture-flag

OpenAI博客傳送門，內(nèi)容剛剛更新：

https://deepmind.com/blog/capture-the-flag-science/