最強(qiáng)寫作AI竟然學(xué)會(huì)象棋和作曲，語言模型跨界操作引熱議，在線求戰(zhàn)

十三 2020-01-08 14:19:12 來源：量子位

十三 魚羊 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI

一個(gè)搞文本生成的模型，還能用來干嘛？

好奇心很強(qiáng)的網(wǎng)友便拿OpenAI的GPT-2做了個(gè)實(shí)驗(yàn)。

原來，GPT-2除了能生成文本，竟然還能下象棋、做音樂！

△訓(xùn)練GPT-2下國際象棋

作者表示：

事實(shí)證明，只要讓 GPT-2預(yù)測下一步棋，就可以訓(xùn)練它下國際象棋。

這只是花費(fèi)了幾天的小項(xiàng)目，但結(jié)果是相當(dāng)令人興奮。

除此之外，在更早的實(shí)驗(yàn)中，研究人員還發(fā)現(xiàn)GPT-2能作曲。

這也引起了網(wǎng)友們的熱烈討論。

這簡直太瘋狂了，和玩得較差的人類尚可一搏。

GPT-2學(xué)會(huì)了下國際象棋，盡管它只是一種文本AI，但是還是能夠從象棋符號文本的語料庫中學(xué)習(xí)。

而且它對“棋盤”的概念一無所知。

不過，也有網(wǎng)友對此提出了質(zhì)疑。

我有一種感覺，它只是在開局的較為配合，從第11步開始就輸出無效的“招式”了。

總的來說，這個(gè)技術(shù)看起來很糟糕，所以很難判斷它對國際象棋有什么樣的理解。

不過作為一個(gè)文本預(yù)測模型，在這樣的游戲中能做出一些智能的舉動(dòng)，還是令人印象深刻的。

那么，GPT-2下國際象棋、做音樂，到底是怎么一回事呢？

下象棋、做音樂，GPT-2成跨界選手

用GPT-2來下象棋，最開始大概只是一個(gè)娛樂項(xiàng)目。作者肖恩·普萊斯（Shawn Presser）只用了一周的時(shí)間就完成了Demo。

之所以做出這樣大膽的嘗試，是因?yàn)樗呐钟迅駵亍げ继m文（Gwern Branwen）不僅教會(huì)了GPT-2寫詩：

美麗的湖，美麗的樹林，(Fair is the lake, and bright the wood,)
垂?jié)M魅惑的花朵：(With many a flower-full glamour hung:)
美麗的淺灘，溫柔的潮水（Fair are the banks; and soft the flood）
我們的舌頭發(fā)出金色的歡笑。(With golden laughter of our tongue.)

還讓GPT-2寫出了愛爾蘭民歌。

乍一聽這個(gè)開頭，甚至有點(diǎn)像孫燕姿的《遇見》。

實(shí)際上，布蘭文是用Session & ABCnotation.com上的20多萬首音樂作品對GPT-2模型進(jìn)行了訓(xùn)練，這些作品將樂曲以字母文本的形式體現(xiàn)。

所以，能不能通過e2e4（將棋子從e2位置移動(dòng)到e4位置）這樣的國際象棋指令集來訓(xùn)練GPT-2，讓這個(gè)文本生成模型學(xué)會(huì)下棋呢？

答案是：可以。

普萊斯發(fā)現(xiàn)，僅僅經(jīng)過一個(gè)小時(shí)的訓(xùn)練，GPT-2 1.5B模型就表現(xiàn)出了國際象棋“天賦”。

雖然在下了幾步棋之后，就會(huì)出現(xiàn)無效移動(dòng)，但這次實(shí)驗(yàn)還是證明了，制造GPT-2國際象棋引擎并非不可能。

△第9步出現(xiàn)無效移動(dòng)

于是，普萊斯又用2.4M數(shù)據(jù)訓(xùn)練了GPT-2 1.5B模型一整天，模型有所進(jìn)步：直到第14步，它才出現(xiàn)了bug。

接著，普萊斯“編寫了一些代碼以計(jì)算所有有效移動(dòng)的概率”（作者并未作出具體解釋），GPT-2可以將棋局推至殘局了。

普萊斯已經(jīng)把他的代碼部署到了Colab上，如果你想試試這只會(huì)下棋的GPT-2棋商如何，可以親身前往挑戰(zhàn)：

逆天的語言AI—GPT-2

去年2月，OpenAI發(fā)布了一個(gè)“逆天”的語言AI，名為GPT-2。

整個(gè)模型包含15億個(gè)參數(shù)。

這個(gè)AI寫起文章來文思泉涌毫無違和感，無需針對性訓(xùn)練就能橫掃各種特定領(lǐng)域的語言建模任務(wù)，還具備閱讀理解、問答、生成文章摘要、翻譯等等能力。

然而，當(dāng)時(shí)假新聞實(shí)在編的太真實(shí)，所以O(shè)penAI說：我們不敢放出完整模型。

人類只給了它兩句話的開頭：

科學(xué)家們有個(gè)令人震驚的發(fā)現(xiàn)，在安第斯山脈一個(gè)偏遠(yuǎn)且沒被開發(fā)過的山谷里，生活著一群獨(dú)角獸。更加讓人訝異的是，這些獨(dú)角獸說著完美的英文。

AI就順著這胡言亂語的設(shè)定，一本正經(jīng)地編了下去：

這些生物有著獨(dú)特的角，科學(xué)家們就以此為它們命名，叫Ovid’s Unicorn。長著四只角的銀白色生物，在這之前并不為科學(xué)界所知。

雖然，這些生物的起源還不清楚，但有些人相信，它們是一個(gè)人和一個(gè)獨(dú)角獸相交而誕生的，那時(shí)人類文明還不存在。Pérez教授說：“在南美洲，這樣的現(xiàn)象很常見?！?/p>

效果驚人外，在各種特定領(lǐng)域數(shù)據(jù)集的語言建模測試中，GPT-2都取得了優(yōu)異的分?jǐn)?shù)。

網(wǎng)友們對其完全開源的呼聲越發(fā)強(qiáng)烈，于是在接下來的時(shí)間里，GPT-2經(jīng)歷了“擠牙膏式的開源”。

它初出茅廬時(shí)先放出了124M版本的模型，然后是355M，再然后是774M。

經(jīng)過9個(gè)月斷斷續(xù)續(xù)發(fā)布，OpenAI最終把15億參數(shù)的完整模型放了出來。

實(shí)測結(jié)果如何？

OpenAI在博客里說，GPT-2的生成結(jié)果，有獨(dú)立客觀第三方的檢驗(yàn)，令人信服：

團(tuán)隊(duì)在康奈爾大學(xué)的合作伙伴，對人類做了問卷調(diào)查，給GPT-2輸出的文本打出可信分 (Credibility Score) ，各種大小的模型都參與了。

滿分10分，大家給15億參數(shù)模型的可信分是6.91。比7.74億參數(shù)的模型 (6.72分) 和 3.55億參數(shù)的模型 (6.07分) 都要高。

也就是說在人類眼里，15億參數(shù)模型，比之前放出的那些模型，寫出的文章更逼真了。

語言模型跨界引熱議

超會(huì)編故事的NLP模型，現(xiàn)在還能寫曲子、下象棋了，這件事引發(fā)了網(wǎng)友的熱議，甚至吸引來了馬庫斯。

英國作家Tom Chivers認(rèn)為，這或許將打開通向AGI（通用人工智能）的新思路。

有網(wǎng)友質(zhì)疑說，這并不是對下棋這件事的“學(xué)習(xí)”，只是在統(tǒng)計(jì)學(xué)上將給定的開局動(dòng)作與其相應(yīng)的后續(xù)動(dòng)作關(guān)聯(lián)起來。GPT-2僅僅是給出了符合已知模式的結(jié)果。

一位斯坦福CS博士則直言，可能使用非常古早的語言建模方法同樣能實(shí)現(xiàn)這一結(jié)果。說GPT-2“學(xué)會(huì)下棋”是一種誤導(dǎo)。

那么，你怎么看呢？

作者介紹

△Shawn Presser

Shawn Presser，具有豐富的C++游戲引擎編程經(jīng)驗(yàn)，是一位圖形學(xué)編程人員、工具開發(fā)者。

2010年至2011年，就職于S2 Games，參與Heroes of Newerth游戲項(xiàng)目的相關(guān)工作。

2005年至2008年，就職于Simutronics，主要從事基于C++的項(xiàng)目開發(fā)工作。

傳送門

Reddit：
https://www.reddit.com/r/MachineLearning/comments/elf66h/p_using_gpt2_to_play_chess/

博客：

A Very Unlikely Chess Game

作者資料：
https://www.linkedin.com/in/shawnpresser/

Demo：
https://colab.research.google.com/drive/12hlppt1f2N0L9Orp8YCLgon6EF5V3vuR#scrollTo=8gxTLCKBQ3-F&forceEdit=true&sandboxMode=true