DeepMind登上Science：“和AI相比，人類都是豬隊友”，團戰(zhàn)稱霸雷神之錘3
臆測一下，這個大概是說：人類是豬隊友，吧？
栗子 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
AI組隊，比人類戰(zhàn)隊的成績好。
AI與人類組隊，還是遠超人類。
DeepMind為了訓練強化學習AI的團隊協(xié)作能力，選擇了雷神之錘3競技場的奪旗游戲。
從去年到今年，AI不斷進化：
如今，把反應速度降到和人類水平，把標記準確率也降下來，勝率依然超過人類。
而AI學習的資源，也只有第一視角看到的游戲場景，以及比分，沒有比人類獲得更多信息。
當AI贏了柯潔，我們說AI不會合作；當AI贏了刀塔2世界冠軍，我們說是冠軍太魚反應速度不公平。
但現(xiàn)在，我們只能看著DeepMind登上最新一期的Science。
然后，觀察一下這些既懂得相互協(xié)作、又懂得和人類協(xié)作的AI，是怎樣修煉出來的：
嚴酷的訓練場
奪旗游戲?(Capture the Flag) 是這樣的：
兩隊各有自己的大本營，目標是把己方的旗守在大本營，并拔掉對方的旗。
如果我是藍方，看見敵人扛著藍旗跑，就要用激光標記它。
這樣，藍旗會失而復得，敵人也會被送回它的老家。
五分鐘內(nèi)，哪一隊拔掉對方更多的旗，這一隊就贏了。
原本，雷神之錘3競技場里只有5張地圖；團隊競技場，也只有幾十張地圖。
為了讓AI受到更加嚴格的訓練，DeepMind隨機生成了許多游戲里原本沒有的地圖：
就在這樣的競技場里，DeepMind同時訓練了30只智能體，主要原理是LSTM。
這30只AI選手，一共打完了45萬場游戲。
在這個過程中，還要不時淘汰掉表現(xiàn)不佳的AI，用頂尖AI選手的變異版本 (Mutations) 代替。這是進化算法的思路。
最終，選出最優(yōu)秀的一只AI，取名For the Win (FTW) 。
除了碾壓人類，還會利用游戲bug
然后，就該測試FTW的實力了。
首先，是人機混戰(zhàn)：DeepMind找來40個人類，與AI隨機組隊。
結果，AI選手的個人勝率遠超人類：
研究人員發(fā)現(xiàn)，AI不但能同人類/AI協(xié)作，還形成了經(jīng)典的團戰(zhàn)策略：
比如，跟在隊友身后，這樣一旦與敵人交火，便能在人數(shù)上超過對手。
還有，在敵人大本營附近游蕩，當隊友拿到旗子的時候可以迅速接手往回跑。
除了這些人類常用套路之外，AI還發(fā)明了全新策略：
利用游戲里的一個bug，從背后向隊友射擊，能加快隊友的速度。
除了看到現(xiàn)象，團隊還想知道，AI為什么會修煉出這許多技能。
于是，研究了AI的行為模式，觀察它們是如何理解比賽：
各種顏色的點點，分別代表：旗在陣地，隊友扛走了敵方大旗，自己處在敵方陣地等等。
不同戰(zhàn)況之下，AI的反應明顯不同。安全和危險，分得清清楚楚。
調(diào)至同一起跑線
雖然，AI在初次混戰(zhàn)中碾壓人類，但DeepMind團隊十分理智地以為：
AI之所以超過人類，主要優(yōu)勢一是反應速度快，二是射得準 (感覺哪里不對) 。
所以，團隊手動把反應速度調(diào)慢到人類水平267毫秒左右，把80%的射擊準確度降低到和人類相當?shù)?strong>48%左右
然后重啟比賽，這次是真正的人機對戰(zhàn)。
人類戰(zhàn)隊分為普通人類 (Average Human) 和強大人類?(Strong Human) 。
結果，強大人類組成的戰(zhàn)隊，對戰(zhàn)AI的勝率也僅有21%。
對人類來說，唯一值得慶幸的是：
當有AI加入人類戰(zhàn)隊，與純AI戰(zhàn)隊互打的時候，人類戰(zhàn)隊的勝率終于超過了AI戰(zhàn)隊。
臆測一下，這個大概是說：人類是豬隊友，吧？
Science論文傳送門：
https://science.sciencemag.org/content/364/6443/859
Science報道傳送門：
https://www.sciencemag.org/news/2019/05/artificial-intelligence-learns-teamwork-deadly-game-capture-flag
OpenAI博客傳送門，內(nèi)容剛剛更新：
https://deepmind.com/blog/capture-the-flag-science/
- 馬云正式卸任后，阿里巴巴開盤跌0.87%2019-09-10
- AI獨角獸云知聲，已完成一期科創(chuàng)板IPO輔導2019-10-17
- 亞馬遜在華拓展云計算團隊，挑戰(zhàn)阿里巴巴和騰訊2019-10-16
- IDC：今年上半年中國公有云服務市場規(guī)模達54.2億美元2019-11-07
相關閱讀
DeepMind大模型登Science：1分鐘預測10天天氣數(shù)據(jù)，90%指標超越人類最強模型
不用物理方程，只靠數(shù)據(jù)預測
意-426590385483153698-300x175.jpg)
DeepMind提出新型神經(jīng)網(wǎng)絡架構，用無監(jiān)督方法從視頻中提取關鍵點 | 論文
用無監(jiān)督的方法和寥寥數(shù)據(jù)，就能提取出關鍵點，在沒有獎勵的情況下，還能進行有效操控
