有人做出了中文版GPT-2，可用于寫(xiě)小說(shuō)、詩(shī)歌、新聞等；15億參數(shù)版GPT-2被兩名研究生復(fù)現(xiàn)
乾明 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
GPT-2，逆天的語(yǔ)言AI模型，編故事以假亂真，問(wèn)答翻譯寫(xiě)摘要都行。
問(wèn)世之后橫掃各大語(yǔ)言建模任務(wù)，引發(fā)了大量關(guān)注以及研究者跟進(jìn)研究。
之后，圍繞著GPT-2產(chǎn)生了各種實(shí)用性應(yīng)用：比如能夠自動(dòng)補(bǔ)全代碼的Deep TabNine；高中生開(kāi)源輕量級(jí)GPT-2“客戶(hù)端”等等。
現(xiàn)在，又有兩個(gè)圍繞這一語(yǔ)言AI模型的成果出現(xiàn)。
- 一是中文版GPT-2開(kāi)源（非官方），可以寫(xiě)詩(shī)，新聞，小說(shuō)、劇本，或是訓(xùn)練通用語(yǔ)言模型。
- 二是，兩名碩士研究生花5萬(wàn)美元復(fù)制了OpenAI一直磨磨唧唧開(kāi)源的15億參數(shù)版GPT-2。
中文版GPT-2
GPT-2發(fā)布以來(lái)，雖然關(guān)注甚多，但在中文語(yǔ)境中的應(yīng)用非常少。
最直接的因素，就在于沒(méi)有中文版，或者說(shuō)是沒(méi)有人基于中文語(yǔ)料去大規(guī)模復(fù)現(xiàn)。
現(xiàn)在，有人這樣做了。
一位名叫”Zeyao Du“（位于南京）的開(kāi)發(fā)者，在GitHub上開(kāi)源了的GPT-2 Chinese。
可以用于寫(xiě)詩(shī)、新聞、小說(shuō)和劇本，或是訓(xùn)練通用語(yǔ)言模型。
項(xiàng)目中默認(rèn)使用BERT的tokenizer處理中文字符，支持字為單位或是分詞模式或是BPE模式，并支持大語(yǔ)料訓(xùn)練。
目前項(xiàng)目主要架構(gòu)已經(jīng)穩(wěn)定，具體的訓(xùn)練語(yǔ)料，作者也附上了相應(yīng)的鏈接：
大規(guī)模中文自然語(yǔ)言處理語(yǔ)料 Large Scale Chinese Corpus for NLP
https://github.com/brightmart/nlp_chinese_corpus
中文文本分類(lèi)數(shù)據(jù)集THUCNews
http://thuctc.thunlp.org/#%E8%8E%B7%E5%8F%96%E9%93%BE%E6%8E%A5
效果如何，大家可以自己感受下：
下圖是他們使用較大規(guī)模訓(xùn)練后自由生成的文本。其中模型參數(shù)約80M，機(jī)器為四個(gè)2080Ti，訓(xùn)練步數(shù)140萬(wàn)步，語(yǔ)料3.4G，Batch Size 8。
下圖是他們生成的斗破蒼穹樣例。模型參數(shù)約為50M，Batch Size 32，語(yǔ)料庫(kù)為16MB斗破蒼穹小說(shuō)內(nèi)容。
△[SEP]表示換行。
斗破蒼穹語(yǔ)料：
https://github.com/GaoPeng97/transformer-xl-chinese/tree/master/data/doupo
下圖是限定了生成體裁后的古詩(shī)歌生成樣例（來(lái)自GitHub開(kāi)發(fā)者@JamesHujy），參數(shù)未說(shuō)明：
GPT-2 Chinese項(xiàng)目傳送門(mén)：
https://github.com/Morizeyao/GPT2-Chinese
15億參數(shù)版GPT-2
能夠?qū)崿F(xiàn)逆天效果GPT-2模型，用到了15億個(gè)參數(shù)。
在發(fā)布這一模型的時(shí)候，OpenAI說(shuō)，這個(gè)模型實(shí)在太厲害了，要慢慢開(kāi)源。
于是就開(kāi)始了“擠牙膏”開(kāi)源之旅，從今年2月到現(xiàn)在，才開(kāi)源到了7.74 億參數(shù)版本。
這一路上，有不少人都表示非常難以忍耐。
比如慕尼黑工業(yè)大學(xué)的一名大三本科生，在兩個(gè)月的時(shí)間里，付出了200個(gè)小時(shí)的時(shí)間，花費(fèi)了大約6000人民幣，復(fù)現(xiàn)了GPT-2項(xiàng)目，并在7月初放出了15億參數(shù)的版本。
至于效果如何，并沒(méi)有太多展示，項(xiàng)目鏈接：
https://github.com/ConnorJL/GPT2
現(xiàn)在，又有人忍不住了。
有兩名布朗大學(xué)的碩士研究生，搞出了一個(gè)15億參數(shù)的GPT-2模型，命名OpenGPT-2，還放出來(lái)了效果對(duì)比。
Google Colab地址：
https://colab.research.google.com/drive/1esbpDOorf7DQJV8GXWON24c-EQrSKOit
模型權(quán)重：
https://drive.google.com/drive/u/0/folders/1KfK5MXtvgH8C615UUZoKPIUVJYIdJxX1
搞出來(lái)之后，他們?cè)诓┛椭姓f(shuō)，其實(shí)想要復(fù)制GPT-2并不難，絕大多數(shù)感興趣的人都可以復(fù)制。比如，他們就可以復(fù)現(xiàn)論文中的很多結(jié)果，而且并沒(méi)有語(yǔ)言建模的經(jīng)驗(yàn)。
當(dāng)然，得有錢(qián)。他們完整復(fù)制出來(lái)，花了大約5萬(wàn)美元，還只是云端訓(xùn)練成本。
具體的復(fù)制難點(diǎn)有兩個(gè)，一是模型，二是數(shù)據(jù)。
模型上面，他們基于Grover模型，并對(duì)代碼庫(kù)進(jìn)行修改，來(lái)實(shí)現(xiàn)GPT-2的語(yǔ)言建模訓(xùn)練的目標(biāo)。
Grover模型論文地址：
https://arxiv.org/abs/1905.12616
因?yàn)镚rover的模型是在類(lèi)似的大型語(yǔ)料庫(kù)上訓(xùn)練的，所以很多代碼和超參數(shù)都可以重復(fù)使用。他們并沒(méi)有大幅改變其中的超參數(shù)。
數(shù)據(jù)集方面，在很大程度上都保證了與OpenAI的處理方式相同，但并不能保證其中細(xì)節(jié)相同，最后得出了數(shù)據(jù)集OpenWebTextCorpus：
https://skylion007.github.io/OpenWebTextCorpus/
如此做出來(lái)的模型，效果如何？從定量維度上來(lái)看，在多個(gè)數(shù)據(jù)集上困惑度都與GPT-2原版接近：
定性維度上，就仁者見(jiàn)仁智者見(jiàn)者了，在Reddit上有人支持，但也有人覺(jué)得他們的模型效果不好。
這兩位碩士研究生，也在博客中放了一個(gè)與官方GPT-2一樣的案例：
給出 “Recycling is good for the world. NO! YOU COULD NOT BE MORE WRONG!!”的提示。
復(fù)制版OpenGPT-2給出的結(jié)果如下：
That′s because recycling is all about selling to customers who cannot afford to recycle. If you don’t have any interest in recycling, in whatever form, then you could well be doing your own global environmental benefit if you just got rid of it.
Let me explain. Recycling takes time, money and energy, and it doesn’t really solve the problem.
If you go to recycling drop-off shops and they just sort out your recyclables for you then it means there is no need to sell them again to the local recycling company; they just take it back from you and you can just dump it.
There is nothing clever about this approach, in fact it just shuffles the problem around instead of solving it.
……
更多內(nèi)容，可以前往兩位研究生的博客文章中查看：
https://medium.com/@vanya_cohen/opengpt-2-we-replicated-gpt-2-because-you-can-too-45e34e6d36dc
官方原版的GPT-2，給出結(jié)果如下：
Recycling is NOT good for the world. It is bad for the environment, it is bad for our health, and it is bad for our economy. I’m not kidding. Recycling is not good for the environment. It is destructive to the earth and it is a major contributor to global warming.
Recycling is not good for our health. It contributes to obesity and diseases like heart disease and cancer. Recycling is bad for our economy. It increases the cost of a product, and in turn, the price of everything that is made with that product.
Recycling is not good for our nation. We pay a tremendous price for the privilege of having the world’s most advanced and efficient recycling system. Recycling is a huge, colossal waste of time, energy, money, and resources.
And THAT is why we need to get back to basics and get back to basics in our recycling efforts. One of the best ways to start is to look at the process of creating a paper product.
……
更多內(nèi)容，可以前往OpenAI博客中查看：
https://openai.com/blog/better-language-models/#sample8
你覺(jué)得模型效果如何？
— 完 —
