一盤(pán)棋都沒(méi)下過(guò)，AI只聽(tīng)人類(lèi)評(píng)論比賽，就學(xué)會(huì)了國(guó)際象棋，還戰(zhàn)勝了DeepChess

栗子 2019-08-06 20:01:41 來(lái)源：量子位

栗子 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

一只AI要學(xué)會(huì)國(guó)際象棋，是不是一定要下過(guò)棋才行？

不一定。

倫敦大學(xué)學(xué)院的小伙伴們，開(kāi)發(fā)了一只新的國(guó)際象棋AI，只看人類(lèi)對(duì)比賽的評(píng)論，就能學(xué)會(huì)下棋。

AI的名字叫SentiMATE，是通過(guò)解說(shuō)員/評(píng)論員言語(yǔ)里的情緒，來(lái)判斷一手棋的好壞。

團(tuán)隊(duì)發(fā)現(xiàn)，只靠這些情緒，AI就學(xué)到了國(guó)際象棋的基本規(guī)則，以及一些關(guān)鍵策略，并戰(zhàn)勝了前輩DeepChess算法。

重點(diǎn)是，它對(duì)訓(xùn)練數(shù)據(jù)量的要求還不高。

那么，這只AI到底都經(jīng)歷了什么？

不一樣的學(xué)習(xí)方法

故事要從大部分國(guó)際象棋AI的工作方式講起。

現(xiàn)在的國(guó)際象棋算法，基本都有兩個(gè)關(guān)鍵部分：

一是搜索算法，用來(lái)搜索所有可能的下一步，搭起一棵樹(shù)，樹(shù)上有很多節(jié)點(diǎn)。二是評(píng)估算法，用來(lái)分析如果走到樹(shù)上的某個(gè)節(jié)點(diǎn)，會(huì)有怎樣的優(yōu)勢(shì)。

△ 比如，這就是一棵樹(shù)

而SentiMATE，就是把第二部分，換了一種方法來(lái)做：

分析比賽評(píng)論里句子的情緒，判斷每手棋的好壞，由此訓(xùn)練一個(gè)新的評(píng)估函數(shù)。

情緒評(píng)估

評(píng)論的文本，是從一個(gè)國(guó)際象棋論壇上扒的。

為了分析評(píng)論員的情緒，團(tuán)隊(duì)用到了兩個(gè)分類(lèi)器。

第一個(gè)分類(lèi)器，要從解說(shuō)文本里，把形容一手棋質(zhì)量的評(píng)論挑出來(lái)，無(wú)關(guān)質(zhì)量的扔出去。

研究人員用手動(dòng)標(biāo)注的2700條評(píng)論，再加上另外300條作為測(cè)試集，訓(xùn)練好了這個(gè)二分類(lèi)器。

這樣從能就原始數(shù)據(jù)集里，篩選出有用的評(píng)價(jià)了。

第二個(gè)分類(lèi)器，要從篩選好的句子里，分析出情緒。

這個(gè)部分很關(guān)鍵，也很復(fù)雜。因?yàn)橛行┚渥?，很難判斷情緒是正面還是負(fù)面：

比如，“保護(hù)了這枚棋子 (Protecting a Piece) ”，可以看作一步棋避免了負(fù)面的后果，也可能說(shuō)明當(dāng)前的狀態(tài)比較危險(xiǎn)。再比如，“攻擊 (Attack) ”這個(gè)詞對(duì)普通的情緒分析AI來(lái)說(shuō)是貶義，容易被分類(lèi)成負(fù)面情緒。可“對(duì)后的攻擊 (an Attack on the Queen) ”，通常是步有利的棋。這樣，上下文對(duì)情緒的理解就很重要了。而數(shù)據(jù)集里的樣本，多是短文本，沒(méi)有太多上下文可以參考。

團(tuán)隊(duì)選擇了Flair用的架構(gòu)。Flair是Zalando Research開(kāi)發(fā)的一個(gè)NLP庫(kù)。

研究人員認(rèn)為，在文本很短的情況下，LSTM?(長(zhǎng)短期記憶) 加上合適的詞嵌入方法，會(huì)有助于學(xué)到國(guó)際象棋背景下的用詞規(guī)律。

于是，在word2vec詞嵌入的基礎(chǔ)上，又加了一些上下文的字符串嵌入?(Contextual String Embeddings) ，用來(lái)提升分類(lèi)的準(zhǔn)確度。

這樣，有利于在一個(gè)小訓(xùn)練集?(團(tuán)隊(duì)只標(biāo)注了2090條評(píng)價(jià)的感情，分正面和負(fù)面) 上，給一些情緒模糊的文本做分類(lèi)。

情緒分類(lèi)做好之后，就到最重要的一步了：

每步棋的質(zhì)量評(píng)估

團(tuán)隊(duì)用的評(píng)估方式，和從前的AI很不一樣。

前人用的數(shù)據(jù)多是靜止的棋盤(pán)狀態(tài)，沒(méi)有關(guān)于每步棋的信息。訓(xùn)練過(guò)程相對(duì)低效，需要巨大的數(shù)據(jù)量，才能比較好地泛化。

而這里，是把落子之前和之后的棋盤(pán) (下圖左) ，一起輸入神經(jīng)網(wǎng)絡(luò)，搭配剛分析出的情緒 (下圖右) 。如此，補(bǔ)全了從前被遺忘的數(shù)據(jù)，訓(xùn)練會(huì)更高效。

△ 中間部分，是質(zhì)量評(píng)估網(wǎng)絡(luò)

(質(zhì)量評(píng)估網(wǎng)絡(luò)的架構(gòu)，是團(tuán)隊(duì)基于Sabatelli等人2017年提出的方法搭的。)

團(tuán)隊(duì)說(shuō)，像下圍棋的AlphaZero，要經(jīng)過(guò)百萬(wàn)/千萬(wàn)次迭代 (Iterations) 的自我對(duì)弈，用上幾千個(gè)GPU，才能出師；

而學(xué)界通常沒(méi)有這樣的條件，所以提升評(píng)估算法的效率非常重要。

那么，成果怎么樣呢？

贏(yíng)了DeepChess

首先，看一下兩個(gè)分類(lèi)器的效果。

第一個(gè)分類(lèi)器，找到能描述一步棋質(zhì)量如何的評(píng)論：

團(tuán)隊(duì)嘗試了三種網(wǎng)絡(luò)，發(fā)現(xiàn)雙向LSTM表現(xiàn)最好，識(shí)別有用評(píng)論的準(zhǔn)確率是93.4%，超越了普通LSTM和普通RNN。

然后，又在表現(xiàn)最好的雙向LSTM上面，嘗試了不同的詞嵌入方法：

發(fā)現(xiàn)把BERT和GloVe的嵌入結(jié)合起來(lái)，是表現(xiàn)最好的，識(shí)別有用評(píng)論的準(zhǔn)確率達(dá)到了97.2%。

第一步頗有成效，下面是第二個(gè)分類(lèi)器，評(píng)估情緒的正面負(fù)面：

這是一個(gè)LSTM分類(lèi)器，用2090條評(píng)論來(lái)訓(xùn)練，用233條評(píng)論來(lái)測(cè)試的。

結(jié)果是，識(shí)別正面情緒的準(zhǔn)確率是91.42%，平衡準(zhǔn)確率 (Balanced Accuracy) 是90.83%。

超越了CNN-RNN架構(gòu)，超越了雙向LSTM。

順便說(shuō)句，這個(gè)分類(lèi)器里表現(xiàn)最好的詞嵌入方式來(lái)自BERT。

到這里，第二步也得到了有效的成績(jī)。

那么，SentiMATE最終有沒(méi)有學(xué)會(huì)下棋？還是要真刀真槍比賽才行：

首先，和隨機(jī)AI對(duì)戰(zhàn)100場(chǎng)，勝率81%。

然后，和2017年誕生的DeepChess (的一個(gè)實(shí)現(xiàn)) 對(duì)戰(zhàn)。

由于計(jì)算的限制 (Computational Constraints) ，SentiMATE沒(méi)辦法向前查看 (Look-Ahead) 很多步，來(lái)評(píng)估一手棋的好壞，所以把自己和對(duì)手搜索深度設(shè)為1，就是只向前查看一步。

在這個(gè)條件下，SentiMATE執(zhí)黑和執(zhí)白都戰(zhàn)勝了對(duì)手。

MIT科技評(píng)論報(bào)道說(shuō)，AI掌握了許多關(guān)鍵策略，比如捉雙 (Forking) 和異位 (Castling) 等等。

研究人員還注意到，這只AI很喜歡王兵開(kāi)局?(King Pawn opening) ，這是一種十分激進(jìn)、帶有攻擊性的操作，能迅速打開(kāi)局面。

國(guó)際象棋特級(jí)大師鮑比·費(fèi)舍爾 (Bobby Fischer) 也說(shuō)過(guò)：實(shí)踐證明，這是最好的開(kāi)局方式。

雖然，SentiMATE現(xiàn)在只能往前推算一步，但依然證明了NLP可以訓(xùn)練出有效的評(píng)估函數(shù)，并且用少量樣本就能達(dá)成。

這樣，就為今后的棋類(lèi)AI訓(xùn)練，提供了一個(gè)清新低碳的思路，意義不小。

論文傳送門(mén)：

https://arxiv.org/abs/1907.08321

參考報(bào)道：

https://www.technologyreview.com/s/614043/instead-of-practicing-this-ai-mastered-chess-by-reading-about-it/

— 完 —