DeepMind重磅開源強(qiáng)化學(xué)習(xí)框架！覆蓋28款游戲，24個(gè)算法

乾明 曉查 2019-08-28 13:08:01 來(lái)源：量子位

乾明 邊策 一璞 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

沒有DeepMind的命，燒不起DeepMind一樣的研發(fā)投入，但你現(xiàn)在可以有DeepMind苦心多年研究出的算法和代碼。

剛剛，這家背靠谷歌，燒了數(shù)十億元的全球頂尖AI研究機(jī)構(gòu)，開源了史上最全強(qiáng)化學(xué)習(xí)框架OpenSpiel。

在這個(gè)框架中，實(shí)現(xiàn)了28款可用于研究強(qiáng)化學(xué)習(xí)的棋牌類游戲和24個(gè)強(qiáng)化學(xué)習(xí)中常用的算法，DeepMind的成名作AlphaGo的基礎(chǔ)算法也在其列。

此外，還包括用于分析學(xué)習(xí)動(dòng)態(tài)和其他常見評(píng)估指標(biāo)的工具。

更關(guān)鍵的是，OpenSpiel適用人群也非常廣泛。

它的核心API和游戲用C++實(shí)現(xiàn)，并提供了Python API，可用于更高級(jí)別的機(jī)器學(xué)習(xí)，優(yōu)化和強(qiáng)化學(xué)習(xí)。這些語(yǔ)言也可以很容易地組合在一起。

而且，代碼的一個(gè)子集也已經(jīng)使用Swift for Tensorflow直接移植到了Swift進(jìn)行學(xué)習(xí)和推理，不需要跨語(yǔ)言操作。

開源消息放出后不久，就在Twitter上引起了數(shù)百轉(zhuǎn)發(fā)和點(diǎn)贊。

史上最全強(qiáng)化學(xué)習(xí)框架

進(jìn)一步說(shuō)，OpenSpiel，是一個(gè)強(qiáng)化學(xué)習(xí)環(huán)境和算法的集合。在這個(gè)框架中，DeepMind對(duì)大部分環(huán)境和算法也都已經(jīng)進(jìn)行了全面測(cè)試。

目前，在OpenSpiel中實(shí)現(xiàn)的算法一共有24種，分別是：

極小化極大（Alpha-beta剪枝）搜索、蒙特卡洛樹搜索、序列形式線性規(guī)劃、虛擬遺憾最小化（CFR）、Exploitability

外部抽樣蒙特卡洛CFR、結(jié)果抽樣蒙特卡洛CFR、Q-learning、價(jià)值迭代、優(yōu)勢(shì)動(dòng)作評(píng)論算法(Advantage Actor Critic，A2C)、Deep Q-networks (DQN)

短期價(jià)值調(diào)整（EVA）、Deep CFR、Exploitability 下降(ED) 、（擴(kuò)展形式）虛擬博弈（XFP）、神經(jīng)虛擬自博弈(NFSP)、Neural Replicator Dynamics（NeuRD）

遺憾策略梯度（RPG, RMPG）、策略空間回應(yīng)oracle（PSRO）、基于Q的所有行動(dòng)策略梯度（QPG）、回歸CFR (RCFR)、PSROrN、α-Rank、復(fù)制/演化動(dòng)力學(xué)。

其中，只有短期價(jià)值調(diào)整（EVA）、Deep CFR和PSROrN等算法只是進(jìn)行了初步測(cè)試，其他算法都經(jīng)過(guò)了全面的測(cè)試。

Spiel意指桌面游戲。因此，OpenSpiel中的環(huán)境就是相關(guān)棋牌類游戲。一共有28款：

雙陸棋、突圍棋、定約橋牌、Coin Game、屏風(fēng)式四子棋、協(xié)作推箱子、國(guó)際象棋、第一價(jià)格密封拍賣、圍棋、Goofspiel（一種多玩家紙牌游戲）

三寶棋、六貫棋、Kuhn撲克、Leduc撲克、大話骰、Markov Soccer、配對(duì)硬幣（3人游戲）、矩陣游戲、Oshi-Zumo、西非播棋、轉(zhuǎn)盤五子棋、Phantom三連棋

Pig游戲、三連棋、Tiny Bridge、Y（一種棋類游戲）、Catch（僅支持Python）、Cliff-Walking在懸崖邊走的醉漢（僅支持Python）。

在上述游戲中，只有Coin Game、協(xié)作推箱子、六貫棋、Markov Soccer和Phantom三連棋只是進(jìn)行了初步測(cè)試，其余的游戲都經(jīng)過(guò)了全面的測(cè)試。

基于上述的游戲和算法，可用OpenSpiel研究通用強(qiáng)化學(xué)習(xí)和游戲中的搜索 / 規(guī)劃。

OpenSpiel怎么樣？

OpenSpiel提供了一個(gè)帶有C++基礎(chǔ)的通用API ，它通過(guò)Python綁定（經(jīng)由pybind11）公開。

游戲用C++編寫，是因?yàn)榭梢杂每焖俸蛢?nèi)存效率更高的方法實(shí)現(xiàn)基本算法。一些自定義RL環(huán)境也會(huì)在Python中實(shí)現(xiàn)。

最重要的是，OpenSpiel的設(shè)計(jì)易于安裝和使用、易于理解、易于擴(kuò)展并且通用。OpenSpiel按照以下兩個(gè)重要設(shè)計(jì)標(biāo)準(zhǔn)構(gòu)建：

1、簡(jiǎn)單。代碼應(yīng)該是非編程語(yǔ)言專家可讀、可用、可擴(kuò)展的，特別是來(lái)自不同領(lǐng)域的研究人員。

OpenSpiel提供了用于學(xué)習(xí)和原型化的參考實(shí)現(xiàn)，而不是需要額外假設(shè)（縮小范圍）或高級(jí)（或低級(jí)）語(yǔ)言特性的完全優(yōu)化或高性能代碼。

2、輕量。對(duì)于長(zhǎng)期兼容、維護(hù)和易用性，依賴項(xiàng)可能會(huì)有問(wèn)題。除非有充分的理由，否則傾向于避免引入依賴關(guān)系來(lái)保持便攜性和易于安裝。

支持的博弈類型

在OpenSpiel的游戲可以表示為各種廣泛形式的博弈：

• 常和博弈
• 零和博弈
• 協(xié)調(diào)博弈
• 一般博弈

其中，常和博弈中智能體之間是嚴(yán)格的競(jìng)爭(zhēng)關(guān)系，協(xié)調(diào)博弈中智能體之間是嚴(yán)格的競(jìng)爭(zhēng)關(guān)系，一般博弈則介于兩者之間。

另外，根據(jù)智能體能否獲得博弈過(guò)程中的所有信息，又可以將博弈分為：

• 完美信息博弈
• 不完美信息博弈

象棋和圍棋是沒有偶然事件的完美信息博弈，雙陸棋是有偶然事件的完美信息博弈，而像石頭剪刀布、撲克這樣的游戲?qū)儆诓煌昝佬畔⒉┺摹?/p>

可視化工具和評(píng)估方法

OpenSpiel有一些用于可視化和評(píng)估的工具，盡管有些工具也被認(rèn)為是算法（例如下面要介紹的α-rank）。OpenSpiel中提到的所有工具和評(píng)估都包含在代碼庫(kù)的egt子目錄下。

1、演化和策略學(xué)習(xí)動(dòng)力學(xué)的可視化

在多智能體強(qiáng)化學(xué)習(xí)的文獻(xiàn)中，一種常見的可視化工具是相圖，它顯示了描述特定動(dòng)力學(xué)下策略局部變化的矢量場(chǎng)或粒子軌跡。

下面展示了OpenSpiel為四種常見的bimatrix游戲生成的相圖。

2、評(píng)估工具α-rank

α-Rank是一種算法，利用進(jìn)化博弈論對(duì)多人游戲中的智能體進(jìn)行交互排名。α-Rank定義了馬爾可夫轉(zhuǎn)移矩陣，其狀態(tài)對(duì)應(yīng)于玩家使用的智能體的元組，以及通過(guò)特定的進(jìn)化模型通知的轉(zhuǎn)換。該進(jìn)化模型確定了排名與博弈論中馬爾可夫-康利鏈解決方案概念的對(duì)應(yīng)關(guān)系。

其主要的優(yōu)點(diǎn)是，它可以在不涉及智能體關(guān)系的場(chǎng)景中對(duì)智能體進(jìn)行排名（例如石頭剪刀布），這與Elo（等級(jí)分）評(píng)級(jí)系統(tǒng)不同。

α-Rank還有一個(gè)優(yōu)點(diǎn)是，在一般游戲中的計(jì)算也是容易處理的，不像依賴于納什均衡的排序系統(tǒng)。

安裝方法

目前DeepMind已經(jīng)在Debian和Ubuntu兩個(gè)Linux系統(tǒng)上測(cè)試了OpenSpiel，具體安裝方法如下：

git clone https://github.com/deepmind/open_spiel.git
cd open_spiel
./install.sh # Install various dependencies (note: assumes Debian-based distro!)
pip3 install --upgrade -r requirements.txt # Install Python dependencies
mkdir build
cd build
# Note: Python version installed should be >= Python_TARGET_VERSION specified here
CXX=g++ cmake -DPython_TARGET_VERSION=3.6 -DCMAKE_CXX_COMPILER=g++ ../open_spiel
make -j12 # The 12 here is the number of parallel processes used to build
ctest -j12 # Run the tests to verify that the installation succeeded

需要注意的是install.sh中安裝依賴項(xiàng)的命令是基于Ubuntu的，如果使用的是其他Linux發(fā)行版，依賴項(xiàng)仍然可用，但安裝命令需根據(jù)情況自行修改。

為了能夠從任何位置導(dǎo)入Python代碼，需要將根目錄和open_spiel目錄添加到PYTHONPATH。使用virtualenv時(shí)，應(yīng)添加路徑/bin/activate。

# For the python modules in open_spiel.
export PYTHONPATH=$PYTHONPATH:/<path_to_open_spiel>
# For the Python bindings of Pyspiel
export PYTHONPATH=$PYTHONPATH:/<path_to_open_spiel>/build/python

然后你就可以運(yùn)行自己的第一個(gè)游戲了！

examples/example --game=tic_tac_toe

27名作者、豪華陣容背景

OpenSpiel可是個(gè)大項(xiàng)目，為此，DeepMind動(dòng)用了一個(gè)巨大的團(tuán)隊(duì)——DeepMind以及Google的27人，光是共同一作，就有4位之多。

四位共同一作都來(lái)自DeepMind。

第一位Marc Lanctot，是DeepMind的研究科學(xué)家，他此前博士畢業(yè)于阿爾伯塔大學(xué)，是哲學(xué)&AI雙料博士，之后去了馬斯特里赫特大學(xué)做博士后研究員，自此開始他就一直在研究多智能體決策問(wèn)題。

第二位Edward Lockhart，DeepMind研究工程師，此前是劍橋大學(xué)的數(shù)學(xué)碩士，曾在Morgan Stanley、花旗銀行、瑞銀這些金融機(jī)構(gòu)做IT相關(guān)的事情，后來(lái)跳槽到DeepMind。他在語(yǔ)音合成、強(qiáng)化學(xué)習(xí)等方向做過(guò)不少研究。

第三位Jean-Baptiste Lespiau，也是DeepMind研究工程師，是個(gè)法國(guó)人，目前在DeepMind巴黎分部，他是巴黎綜合理工學(xué)院的系統(tǒng)工程碩士。

第四位Vinicius Zambaldi，DeepMind高級(jí)研究工程師，巴西人，米納斯吉拉斯聯(lián)邦大學(xué)計(jì)算機(jī)碩士，加入DeepMind之前已經(jīng)是創(chuàng)業(yè)公司CTO了。

開玩笑說(shuō)，雖然一作中有三位不是博士加持，但現(xiàn)在這份研究，應(yīng)該足夠被授予地球上任一名校的博士學(xué)位了吧？

另外，在作者團(tuán)隊(duì)的單位中，除了DeepMind和Google，還有AlphaGo打造者David Silver母校阿爾伯塔大學(xué)（黃士杰也是該校校友）。

燒自己的錢，為全人類研究

當(dāng)然，這一次重磅開源，或許也能讓DeepMind近來(lái)形象扭轉(zhuǎn)很多。

因?yàn)榭v使DeepMind曾經(jīng)捧紅AlphaGo，幾乎一手推起了AI熱潮，但這家公司自己，依舊處在日復(fù)一日的燒錢當(dāng)中。

光2018年就幾乎燒掉了40億元人民幣。

而累計(jì)之前的投入，2016年虧損1.54億美元，2017年虧損3.41億美元，2018年虧損5.72億美元，三年累計(jì)起來(lái)，已經(jīng)虧掉了超過(guò)10億美元。

并且按照公開披露信息，可能還會(huì)接著燒掉同等規(guī)模的錢，才能進(jìn)一步產(chǎn)生他們追求的AI境界和回報(bào)——但母公司谷歌已實(shí)名支持，表示會(huì)撐到底。

而這十億美元的投入，幾乎都被DeepMind押注在了一件事上：

強(qiáng)化學(xué)習(xí)。

正是借助強(qiáng)化學(xué)習(xí)，DeepMind逐步攻克圍棋、《星際》和雅達(dá)利游戲等一系列難題，最終的目的，是創(chuàng)造出目前只在科幻小說(shuō)電影里存在的通用人工智能（AGI）。

而這次的OpenSpiel，集中了游戲競(jìng)技領(lǐng)域中的大量場(chǎng)景和算法，可以說(shuō)是過(guò)去長(zhǎng)線投入的集大成者。

現(xiàn)在，DeepMind將多年苦心、巨額投入研發(fā)的成果悉數(shù)開源，真可謂業(yè)界良心。

此前在DeepMind年報(bào)出爐，披露虧損40億并人均年薪高達(dá)400多萬(wàn)的時(shí)候，就有評(píng)論說(shuō)，對(duì)于DeepMind這樣頂級(jí)AI研究機(jī)構(gòu)的投入，實(shí)際是人類對(duì)最前沿技術(shù)的支持。

更有甚者，認(rèn)為這些投入和薪資，與DeepMind帶來(lái)的成果相比，簡(jiǎn)直不能更還算了。

而如今，DeepMind一股腦將成果開源，更是燒自己的錢，為全人類研究。

這份誠(chéng)意和姿態(tài)，是不是足夠堵上質(zhì)疑者的嘴了？

你說(shuō)呢？