谷歌造了個(gè)虛擬足球場(chǎng)，讓AI像打FIFA一樣做強(qiáng)化學(xué)習(xí)訓(xùn)練丨開(kāi)源
足球AI虛擬環(huán)境
郭一璞 發(fā)自 蘇州街
量子位 報(bào)道 | 公眾號(hào) QbitAI
除了下棋、雅達(dá)利游戲和星際，AI終于把“魔爪”伸向了粉絲眾多的體育競(jìng)技活動(dòng)：
足球。
今天，谷歌開(kāi)源了足球模擬環(huán)境Google Research Football，智能體可以在這個(gè)宛若FIFA的世界里自由踢球，學(xué)到更多踢球技巧。
用足球進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練，對(duì)AI來(lái)說(shuō)更有挑戰(zhàn)性，不僅要能控球，還得搞懂傳球、角球這些概念，知道什么時(shí)候會(huì)犯規(guī)吃紅牌黃牌，同時(shí)訓(xùn)練出足夠機(jī)智的策略。雖然AI足球沒(méi)有體能挑戰(zhàn)，但智慧上的要求有增無(wú)減。
不少熱愛(ài)足球的網(wǎng)友看到之后都十分激動(dòng)，終于能把自己的愛(ài)好和研究結(jié)合在一起了。
甚至還有人為中國(guó)足球請(qǐng)?jiān)福呵蠊雀鑾蛶蛧?guó)足吧！
可以打人機(jī)的足球引擎
這個(gè)模擬環(huán)境基于開(kāi)源的足球游戲模擬器Gameplay Football，用C++編寫，在GPU和CPU上都能跑。
整個(gè)環(huán)境包含一場(chǎng)球賽中的各種環(huán)節(jié)，和正常的人類足球賽一樣，兩支隊(duì)伍各11名運(yùn)動(dòng)員，一個(gè)智能體可以控制一個(gè)球員，也可以控制一整只隊(duì)伍，雙方遵循正常的足球規(guī)則進(jìn)行比賽。
比如可以開(kāi)球。
射門。
還有裁判會(huì)給出判罰，智能體也可能吃紅牌黃牌。
必要的時(shí)候還得會(huì)踢角球。
整個(gè)模擬環(huán)境中，AI球員們可以進(jìn)行包括上下左右移動(dòng)、長(zhǎng)傳、射門等在內(nèi)的16種動(dòng)作。
甚至，AI球員們還會(huì)和人類一樣，踢久了就會(huì)累，你還能給每支球隊(duì)準(zhǔn)備3個(gè)題目。總之，這個(gè)模擬環(huán)境相當(dāng)完備，具備各種功能和規(guī)則體系。
而且操作也十分方便，你可以直接用API把OpenAI Gym接入進(jìn)來(lái)。
而且，整個(gè)模擬環(huán)境中不僅可以用AI球員，還可以手動(dòng)控制球員，用鍵盤上下左右移動(dòng)，按字母鍵進(jìn)行傳球、射門等操作，與AI對(duì)戰(zhàn)。
模擬環(huán)境內(nèi)置了高中低三個(gè)難度的對(duì)手AI，也可以自行調(diào)整難度。當(dāng)然你也可以把兩個(gè)自己的AI放進(jìn)去，讓他們互相傷害。
benchmark
Google不只準(zhǔn)備了模擬環(huán)境，還為這個(gè)AI足球設(shè)定了一套benchmark。
谷歌用DQN和Impala兩個(gè)強(qiáng)化學(xué)習(xí)算法在模擬環(huán)境中測(cè)試，將它們的獎(jiǎng)勵(lì)均設(shè)定為進(jìn)球得分，在高中低三個(gè)難度上得到了運(yùn)行結(jié)果。
足球?qū)W院
另外，為了讓AI專點(diǎn)突破，Google還推出了足球?qū)W院（Football Academy），針對(duì)各種難度場(chǎng)景進(jìn)行單獨(dú)訓(xùn)練。
包括傳球策略
隊(duì)友配合
碰到2打1怎么辦
角球得分訓(xùn)練
傳送門
Google AI博客：
https://ai.googleblog.com/2019/06/introducing-google-research-football.html
論文下載地址：
https://github.com/google-research/football/blob/master/paper.pdf?raw=True
GitHub：
https://github.com/google-research/football
相關(guān)閱讀
谷歌醫(yī)療大模型登Nature：準(zhǔn)確率與人類醫(yī)生「相差無(wú)幾」
還推出了自創(chuàng)測(cè)試數(shù)據(jù)集
Waymo自動(dòng)駕駛報(bào)告：平均21萬(wàn)公里一次事故，嚴(yán)重事故都是人類司機(jī)的鍋
Waymo盤了盤從去年年初開(kāi)始1年零9個(gè)月的路測(cè)事故，發(fā)現(xiàn)所有能嚴(yán)重到讓安全氣囊彈出的事故，都是人類車輛撞了Waymo。
