大三學(xué)生獨(dú)自破解逆天語言AI模型：我只是把撩妹的時(shí)間，都用來研究機(jī)器學(xué)習(xí)了

問耕 2019-06-09 12:42:13 來源：量子位

問耕 發(fā)自 雁棲湖

量子位 出品 | 公眾號(hào) QbitAI

GPT-2，一個(gè)逆天的AI。

今年2月，OpenAI首次對(duì)外公布了這個(gè)模型的存在。GPT-2寫起文章來文思泉涌毫無違和感，無需針對(duì)性訓(xùn)練就能橫掃各種特定領(lǐng)域的語言建模任務(wù)，還具備閱讀理解、問答、生成文章摘要、翻譯等等能力。

但不同尋常的是，這個(gè)模型并沒有真的開源。OpenAI給的解釋是，它太過強(qiáng)大，我們不敢放出完整模型……盡管因此被外界嘲笑，但GPT-2仍然封閉至今。

現(xiàn)在，有人單槍匹馬，破解了OpenAI不欲人知的秘密。

而且，是一個(gè)大三的學(xué)生。

來自慕尼黑工業(yè)大學(xué)的Connor Leahy同學(xué)，在兩個(gè)月的時(shí)間里，付出了200個(gè)小時(shí)的時(shí)間，花費(fèi)了大約6000人民幣，復(fù)現(xiàn)了GPT-2項(xiàng)目。

這件事在推特上引發(fā)了眾多關(guān)注。稱贊Awesome的有之，深入討論的有之，甚至連OpenAI的幾位資深研究員，都趕來溝通。

另外讓人佩服的是，Connor Leahy同學(xué)關(guān)于機(jī)器學(xué)習(xí)的知識(shí)，都是利用空閑時(shí)間自學(xué)而成。他形容自己是一個(gè)充滿好奇心的本科生。

“我只是把別人出去撩妹的時(shí)間，用來搞AI實(shí)驗(yàn)了而已?！?/p>

一氣之下

GPT-2是OpenAI最棒的研究成果。

這個(gè)模型是GPT的“進(jìn)化版”，最大區(qū)別就在于規(guī)模大小。GPT-2參數(shù)達(dá)到了15億個(gè)，使用了包含800萬個(gè)網(wǎng)頁的數(shù)據(jù)集來訓(xùn)練，共有40GB。

使用語言建模作為訓(xùn)練信號(hào)，以無監(jiān)督的方式在大型數(shù)據(jù)集上訓(xùn)練一個(gè)Transformer，然后在更小的監(jiān)督數(shù)據(jù)集上微調(diào)這個(gè)模型，以幫助它解決特定任務(wù)。

△GPT模型

OpenAI的研究人員表示，在各種特定領(lǐng)域數(shù)據(jù)集的語言建模測試中，GPT-2都取得了優(yōu)異的分?jǐn)?shù)。作為一個(gè)沒有經(jīng)過任何領(lǐng)域數(shù)據(jù)專門訓(xùn)練的模型，它的表現(xiàn)，比那些專為特定領(lǐng)域打造的模型還要好。

除了能用于語言建模，GPT-2在問答、閱讀理解、摘要生成、翻譯等等任務(wù)上，無需微調(diào)就能取得非常好的成績。

GPT-2發(fā)布后，深度學(xué)習(xí)之父Hinton獻(xiàn)出了他注冊(cè)Twitter以來的第三次評(píng)論：“這應(yīng)該能讓硅谷的獨(dú)角獸們生成更好的英語了。”

關(guān)于這個(gè)模型的強(qiáng)大表現(xiàn)，可以參考量子位之前的報(bào)道，這里不再贅述。

總之，就是一個(gè)字：強(qiáng)。

就是因?yàn)閺?qiáng)，OpenAI做了一個(gè)艱難的決定：不把完整的模型放出來給大家。他們先是放出了不到十分之一規(guī)模、1.17億個(gè)參數(shù)的小型版本，被吐槽幾個(gè)月后又放出了3.45億參數(shù)的中型版本。

毫無疑問，GPT-2激發(fā)了Connor Leahy同學(xué)的好奇心，同時(shí)，OpenAI私藏這個(gè)模型的決定，也讓他非常生氣?！靶畔?yīng)該是自由的?！?/p>

于是他決定自己動(dòng)手復(fù)現(xiàn)出來。

他不只是因?yàn)橐粫r(shí)沖動(dòng)。對(duì)于為什么要復(fù)現(xiàn)GPT-2，Connor Leahy同學(xué)在自己的博客里有長長的思考，其中包括與其害怕AI編造的假新聞，不如積極行動(dòng)起來，讓大家意識(shí)到這個(gè)問題，勇敢面對(duì)然后想辦法解決。

當(dāng)然還有另一個(gè)原因，他覺得這么做：

很酷。

復(fù)現(xiàn)版GPT-2

“你怎么知道自己成功復(fù)現(xiàn)了15億參數(shù)的GPT-2模型？”

這個(gè)問題，恐怕絕大多數(shù)人都想知道答案。

Connor Leahy同學(xué)給出的回應(yīng)是：兩個(gè)模型的大小和參數(shù)量相同，基于相似的數(shù)據(jù)源訓(xùn)練，使用了類似的計(jì)算資源，而且輸出結(jié)果質(zhì)量相仿。

他也給出了兩者的一些明確不同，比方：

1、dropout和learning rate官方?jīng)]有披露，所以設(shè)置可能不一樣。

2、模型訓(xùn)練使用了Adafactor而不是Adam。Connor Leahy同學(xué)不知道怎么把15億參數(shù)+Adam塞進(jìn)TPU，即便16bit精度也不行。

哎？等下……

一個(gè)普普通通的大三學(xué)生，怎么能用到TPU搞這種研究？

感謝Google。

Google有一個(gè)Tensorflow Research Cloud（TFRC）計(jì)劃。這個(gè)計(jì)劃面向研究人員，提供1000個(gè)Cloud TPU組成的集群，完全免費(fèi)。這個(gè)計(jì)劃用于支持多種需要大量計(jì)算并且無法通過其他途徑實(shí)現(xiàn)的研究項(xiàng)目。

當(dāng)時(shí)Connor Leahy同學(xué)在研究GPT-2復(fù)現(xiàn)的時(shí)候，遇到了計(jì)算資源的瓶頸，然后隨口跟TFRC團(tuán)隊(duì)提了一嘴，結(jié)果卻得到了Google慷慨的支持。

實(shí)際上，在推進(jìn)這個(gè)項(xiàng)目之前，Connor Leahy同學(xué)從來沒有使用過TPU。所以，他在博客中熱情的對(duì)Google團(tuán)隊(duì)表達(dá)了感謝。

不過，他還是在云端花費(fèi)了大約600-800歐元（人民幣6000元左右），用于創(chuàng)建數(shù)據(jù)集、測試代碼和運(yùn)行實(shí)驗(yàn)。

他用的筆記本是一臺(tái)舊的ThinkPad。

Connor Leahy同學(xué)還對(duì)降噪耳機(jī)表達(dá)了感謝：讓我保持寧靜。

目前，復(fù)現(xiàn)版的GPT-2已經(jīng)放在GitHub上開源，代碼可以在GPU、TPU以及CPU上跑（不建議）?，F(xiàn)在作者放出了兩個(gè)版本，一個(gè)是1.17億參數(shù)的小型版本，一個(gè)是稱為PrettyBig的版本，比3.45億參數(shù)的官方中型版稍大一點(diǎn)，也是目前公開的最大GPT-2模型。

至于15億參數(shù)的完整版，作者計(jì)劃7月1日發(fā)布。

現(xiàn)階段，Connor Leahy同學(xué)邀請(qǐng)大家下載試用，跟他一起討論復(fù)現(xiàn)版GPT-2到底還有什改進(jìn)空間。在關(guān)于這件的博客文章里，他說：我100%能接受大家指出的任何錯(cuò)誤，如果你發(fā)現(xiàn)問題請(qǐng)與我聯(lián)系。

關(guān)于作者和傳送門

Connor Leahy同學(xué)2017年考入德國慕尼黑工業(yè)大學(xué)，目前是一名大三的計(jì)算機(jī)本科學(xué)生。在LinkedIn上，他說自己對(duì)人工智能充滿熱情。

從2018年9月迄今，他還在馬克思普朗克研究所實(shí)習(xí)，也在用來自Google的TPU，研究正經(jīng)的AI課題。

最后，放一下傳送門。

Connor Leahy同學(xué)充滿思考的博客：

https://medium.com/@NPCollapse/gpt2-counting-consciousness-and-the-curious-hacker-323c6639a3a8

與他在GitHub相見吧：

https://github.com/ConnorJL/GPT2

– 完 –