DeepMind重磅開源強化學(xué)習(xí)框架！覆蓋28款游戲，24個算法
乾明 邊策 一璞 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
沒有DeepMind的命，燒不起DeepMind一樣的研發(fā)投入，但你現(xiàn)在可以有DeepMind苦心多年研究出的算法和代碼。
剛剛，這家背靠谷歌，燒了數(shù)十億元的全球頂尖AI研究機構(gòu)，開源了史上最全強化學(xué)習(xí)框架OpenSpiel。
在這個框架中，實現(xiàn)了28款可用于研究強化學(xué)習(xí)的棋牌類游戲和24個強化學(xué)習(xí)中常用的算法，DeepMind的成名作AlphaGo的基礎(chǔ)算法也在其列。
此外，還包括用于分析學(xué)習(xí)動態(tài)和其他常見評估指標(biāo)的工具。
更關(guān)鍵的是，OpenSpiel適用人群也非常廣泛。
它的核心API和游戲用C++實現(xiàn)，并提供了Python API，可用于更高級別的機器學(xué)習(xí)，優(yōu)化和強化學(xué)習(xí)。這些語言也可以很容易地組合在一起。
而且，代碼的一個子集也已經(jīng)使用Swift for Tensorflow直接移植到了Swift進行學(xué)習(xí)和推理，不需要跨語言操作。
開源消息放出后不久，就在Twitter上引起了數(shù)百轉(zhuǎn)發(fā)和點贊。
史上最全強化學(xué)習(xí)框架
進一步說，OpenSpiel，是一個強化學(xué)習(xí)環(huán)境和算法的集合。在這個框架中，DeepMind對大部分環(huán)境和算法也都已經(jīng)進行了全面測試。
目前，在OpenSpiel中實現(xiàn)的算法一共有24種，分別是：
極小化極大（Alpha-beta剪枝）搜索、蒙特卡洛樹搜索、序列形式線性規(guī)劃、虛擬遺憾最小化（CFR）、Exploitability
外部抽樣蒙特卡洛CFR、結(jié)果抽樣蒙特卡洛CFR、Q-learning、價值迭代、優(yōu)勢動作評論算法(Advantage Actor Critic，A2C)、Deep Q-networks (DQN)
短期價值調(diào)整（EVA）、Deep CFR、Exploitability 下降(ED) 、（擴展形式）虛擬博弈（XFP）、神經(jīng)虛擬自博弈(NFSP)、Neural Replicator Dynamics（NeuRD）
遺憾策略梯度（RPG, RMPG）、策略空間回應(yīng)oracle（PSRO）、基于Q的所有行動策略梯度（QPG）、回歸CFR (RCFR)、PSROrN、α-Rank、復(fù)制/演化動力學(xué)。
其中，只有短期價值調(diào)整（EVA）、Deep CFR和PSROrN等算法只是進行了初步測試，其他算法都經(jīng)過了全面的測試。
Spiel意指桌面游戲。因此，OpenSpiel中的環(huán)境就是相關(guān)棋牌類游戲。一共有28款：
雙陸棋、突圍棋、定約橋牌、Coin Game、屏風(fēng)式四子棋、協(xié)作推箱子、國際象棋、第一價格密封拍賣、圍棋、Goofspiel（一種多玩家紙牌游戲）
三寶棋、六貫棋、Kuhn撲克、Leduc撲克、大話骰、Markov Soccer、配對硬幣（3人游戲）、矩陣游戲、Oshi-Zumo、西非播棋、轉(zhuǎn)盤五子棋、Phantom三連棋
Pig游戲、三連棋、Tiny Bridge、Y（一種棋類游戲）、Catch（僅支持Python）、Cliff-Walking在懸崖邊走的醉漢（僅支持Python）。
在上述游戲中，只有Coin Game、協(xié)作推箱子、六貫棋、Markov Soccer和Phantom三連棋只是進行了初步測試，其余的游戲都經(jīng)過了全面的測試。
基于上述的游戲和算法，可用OpenSpiel研究通用強化學(xué)習(xí)和游戲中的搜索 / 規(guī)劃。
OpenSpiel怎么樣？
OpenSpiel提供了一個帶有C++基礎(chǔ)的通用API ，它通過Python綁定（經(jīng)由pybind11）公開。
游戲用C++編寫，是因為可以用快速和內(nèi)存效率更高的方法實現(xiàn)基本算法。一些自定義RL環(huán)境也會在Python中實現(xiàn)。
最重要的是，OpenSpiel的設(shè)計易于安裝和使用、易于理解、易于擴展并且通用。OpenSpiel按照以下兩個重要設(shè)計標(biāo)準(zhǔn)構(gòu)建：
1、簡單。代碼應(yīng)該是非編程語言專家可讀、可用、可擴展的，特別是來自不同領(lǐng)域的研究人員。
OpenSpiel提供了用于學(xué)習(xí)和原型化的參考實現(xiàn)，而不是需要額外假設(shè)（縮小范圍）或高級（或低級）語言特性的完全優(yōu)化或高性能代碼。
2、輕量。對于長期兼容、維護和易用性，依賴項可能會有問題。除非有充分的理由，否則傾向于避免引入依賴關(guān)系來保持便攜性和易于安裝。
支持的博弈類型
在OpenSpiel的游戲可以表示為各種廣泛形式的博弈：
- 常和博弈
- 零和博弈
- 協(xié)調(diào)博弈
- 一般博弈
其中，常和博弈中智能體之間是嚴(yán)格的競爭關(guān)系，協(xié)調(diào)博弈中智能體之間是嚴(yán)格的競爭關(guān)系，一般博弈則介于兩者之間。
另外，根據(jù)智能體能否獲得博弈過程中的所有信息，又可以將博弈分為：
- 完美信息博弈
- 不完美信息博弈
象棋和圍棋是沒有偶然事件的完美信息博弈，雙陸棋是有偶然事件的完美信息博弈，而像石頭剪刀布、撲克這樣的游戲?qū)儆诓煌昝佬畔⒉┺摹?/p>
可視化工具和評估方法
OpenSpiel有一些用于可視化和評估的工具，盡管有些工具也被認(rèn)為是算法（例如下面要介紹的α-rank）。OpenSpiel中提到的所有工具和評估都包含在代碼庫的egt子目錄下。
1、演化和策略學(xué)習(xí)動力學(xué)的可視化
在多智能體強化學(xué)習(xí)的文獻中，一種常見的可視化工具是相圖，它顯示了描述特定動力學(xué)下策略局部變化的矢量場或粒子軌跡。
下面展示了OpenSpiel為四種常見的bimatrix游戲生成的相圖。
2、評估工具α-rank
α-Rank是一種算法，利用進化博弈論對多人游戲中的智能體進行交互排名。α-Rank定義了馬爾可夫轉(zhuǎn)移矩陣，其狀態(tài)對應(yīng)于玩家使用的智能體的元組，以及通過特定的進化模型通知的轉(zhuǎn)換。該進化模型確定了排名與博弈論中馬爾可夫-康利鏈解決方案概念的對應(yīng)關(guān)系。
其主要的優(yōu)點是，它可以在不涉及智能體關(guān)系的場景中對智能體進行排名（例如石頭剪刀布），這與Elo（等級分）評級系統(tǒng)不同。
α-Rank還有一個優(yōu)點是，在一般游戲中的計算也是容易處理的，不像依賴于納什均衡的排序系統(tǒng)。
安裝方法
目前DeepMind已經(jīng)在Debian和Ubuntu兩個Linux系統(tǒng)上測試了OpenSpiel，具體安裝方法如下：
git clone https://github.com/deepmind/open_spiel.git cd open_spiel ./install.sh # Install various dependencies (note: assumes Debian-based distro!) pip3 install --upgrade -r requirements.txt # Install Python dependencies mkdir build cd build # Note: Python version installed should be >= Python_TARGET_VERSION specified here CXX=g++ cmake -DPython_TARGET_VERSION=3.6 -DCMAKE_CXX_COMPILER=g++ ../open_spiel make -j12 # The 12 here is the number of parallel processes used to build ctest -j12 # Run the tests to verify that the installation succeeded 需要注意的是install.sh中安裝依賴項的命令是基于Ubuntu的，如果使用的是其他Linux發(fā)行版，依賴項仍然可用，但安裝命令需根據(jù)情況自行修改。
為了能夠從任何位置導(dǎo)入Python代碼，需要將根目錄和open_spiel目錄添加到PYTHONPATH。使用virtualenv時，應(yīng)添加路徑/bin/activate。
# For the python modules in open_spiel. export PYTHONPATH=$PYTHONPATH:/<path_to_open_spiel> # For the Python bindings of Pyspiel export PYTHONPATH=$PYTHONPATH:/<path_to_open_spiel>/build/python
然后你就可以運行自己的第一個游戲了！
examples/example --game=tic_tac_toe
27名作者、豪華陣容背景
OpenSpiel可是個大項目，為此，DeepMind動用了一個巨大的團隊——DeepMind以及Google的27人，光是共同一作，就有4位之多。
四位共同一作都來自DeepMind。
第一位Marc Lanctot，是DeepMind的研究科學(xué)家，他此前博士畢業(yè)于阿爾伯塔大學(xué)，是哲學(xué)&AI雙料博士，之后去了馬斯特里赫特大學(xué)做博士后研究員，自此開始他就一直在研究多智能體決策問題。
第二位Edward Lockhart，DeepMind研究工程師，此前是劍橋大學(xué)的數(shù)學(xué)碩士，曾在Morgan Stanley、花旗銀行、瑞銀這些金融機構(gòu)做IT相關(guān)的事情，后來跳槽到DeepMind。他在語音合成、強化學(xué)習(xí)等方向做過不少研究。
第三位Jean-Baptiste Lespiau，也是DeepMind研究工程師，是個法國人，目前在DeepMind巴黎分部，他是巴黎綜合理工學(xué)院的系統(tǒng)工程碩士。
第四位Vinicius Zambaldi，DeepMind高級研究工程師，巴西人，米納斯吉拉斯聯(lián)邦大學(xué)計算機碩士，加入DeepMind之前已經(jīng)是創(chuàng)業(yè)公司CTO了。
開玩笑說，雖然一作中有三位不是博士加持，但現(xiàn)在這份研究，應(yīng)該足夠被授予地球上任一名校的博士學(xué)位了吧？
另外，在作者團隊的單位中，除了DeepMind和Google，還有AlphaGo打造者David Silver母校阿爾伯塔大學(xué)（黃士杰也是該校校友）。
燒自己的錢，為全人類研究
當(dāng)然，這一次重磅開源，或許也能讓DeepMind近來形象扭轉(zhuǎn)很多。
因為縱使DeepMind曾經(jīng)捧紅AlphaGo，幾乎一手推起了AI熱潮，但這家公司自己，依舊處在日復(fù)一日的燒錢當(dāng)中。
光2018年就幾乎燒掉了40億元人民幣。
而累計之前的投入，2016年虧損1.54億美元，2017年虧損3.41億美元，2018年虧損5.72億美元，三年累計起來，已經(jīng)虧掉了超過10億美元。
并且按照公開披露信息，可能還會接著燒掉同等規(guī)模的錢，才能進一步產(chǎn)生他們追求的AI境界和回報——但母公司谷歌已實名支持，表示會撐到底。
而這十億美元的投入，幾乎都被DeepMind押注在了一件事上：
強化學(xué)習(xí)。
正是借助強化學(xué)習(xí)，DeepMind逐步攻克圍棋、《星際》和雅達利游戲等一系列難題，最終的目的，是創(chuàng)造出目前只在科幻小說電影里存在的通用人工智能（AGI）。
而這次的OpenSpiel，集中了游戲競技領(lǐng)域中的大量場景和算法，可以說是過去長線投入的集大成者。
現(xiàn)在，DeepMind將多年苦心、巨額投入研發(fā)的成果悉數(shù)開源，真可謂業(yè)界良心。
此前在DeepMind年報出爐，披露虧損40億并人均年薪高達400多萬的時候，就有評論說，對于DeepMind這樣頂級AI研究機構(gòu)的投入，實際是人類對最前沿技術(shù)的支持。
更有甚者，認(rèn)為這些投入和薪資，與DeepMind帶來的成果相比，簡直不能更還算了。
而如今，DeepMind一股腦將成果開源，更是燒自己的錢，為全人類研究。
這份誠意和姿態(tài)，是不是足夠堵上質(zhì)疑者的嘴了？
你說呢？
相關(guān)閱讀
意-56608210135680841.jpg)
