逆天語(yǔ)言模型GPT-2最新開(kāi)源：345M預(yù)訓(xùn)練模型和1.5B參數(shù)都來(lái)了
這一次，你也可以將最強(qiáng)語(yǔ)言模型，用到自己的項(xiàng)目中了
銅靈 發(fā)自 凹非寺
量子位 出品 | 公眾號(hào) QbitAI
逆天的語(yǔ)言模型GPT-2又有最新開(kāi)源進(jìn)展了！
GPT-2，這個(gè)造假新聞編故事以假亂真，能完成閱讀理解、常識(shí)推理、文字預(yù)測(cè)、文章總結(jié)等多種任務(wù)的AI模型，從誕生開(kāi)始就引起大量關(guān)注。
但因一開(kāi)始只放出了117M的小型預(yù)訓(xùn)練模型，OpenAI還被網(wǎng)友調(diào)侃為“ClosedAI”。OpenAI表示，不是不開(kāi)源，而是時(shí)候未到。
剛剛，OpenAI宣布將其345M的預(yù)訓(xùn)練模型開(kāi)源，外加其Transformer的1.5B參數(shù)。
這一次，你也可以將最強(qiáng)語(yǔ)言模型，用到自己的項(xiàng)目中了。
稱(chēng)霸各大語(yǔ)言建模任務(wù)
語(yǔ)言模型GPT-2在語(yǔ)言建模任務(wù)中，簡(jiǎn)直是逆天般的存在。
作為一個(gè)沒(méi)有經(jīng)過(guò)任何領(lǐng)域數(shù)據(jù)專(zhuān)門(mén)訓(xùn)練的模型，它的表現(xiàn)比那些專(zhuān)為特定領(lǐng)域打造的模型還要好，橫掃各大語(yǔ)言建模任務(wù)。
△?GPT-2在不同語(yǔ)言建模任務(wù)上的測(cè)試結(jié)果（從左到右：數(shù)據(jù)集名稱(chēng)、指標(biāo)類(lèi)型、GPT-2測(cè)試結(jié)果、此前最好結(jié)果、人類(lèi)水平）
一經(jīng)問(wèn)世就獲得了Hinton等大牛的強(qiáng)推和關(guān)注。
簡(jiǎn)單來(lái)說(shuō)，GPT-2就是基于Transformer架構(gòu)的大規(guī)模模型。
GPT-2是GPT算法“進(jìn)化版”，比GPT參數(shù)擴(kuò)大10倍，達(dá)到了15億個(gè)，數(shù)據(jù)量擴(kuò)大10倍，使用了包含800萬(wàn)個(gè)網(wǎng)頁(yè)的數(shù)據(jù)集，共有40GB。
這個(gè)龐大的算法使用語(yǔ)言建模作為訓(xùn)練信號(hào)，以無(wú)監(jiān)督的方式在大型數(shù)據(jù)集上訓(xùn)練一個(gè)Transformer，然后在更小的監(jiān)督數(shù)據(jù)集上微調(diào)這個(gè)模型，以幫助它解決特定任務(wù)。
上圖左部分，是研究中使用的Transformer架構(gòu)以及訓(xùn)練目標(biāo)。右邊部分，是針對(duì)特定任務(wù)進(jìn)行微調(diào)。將所有結(jié)構(gòu)化輸入轉(zhuǎn)換為token序列，由預(yù)訓(xùn)練模型處理，然后經(jīng)過(guò)線(xiàn)性+softmax層處理。
就GPT-2而言，它的訓(xùn)練目標(biāo)很簡(jiǎn)單：根據(jù)所有給定文本中前面的單詞，預(yù)測(cè)下一個(gè)單詞。
幾天前，在此架構(gòu)基礎(chǔ)上改進(jìn)得到的模型MuseNet，也能預(yù)測(cè)一段音樂(lè)中下一個(gè)音符是什么了，還用貝多芬的曲風(fēng)續(xù)寫(xiě)阿黛爾的Someone Like You，讓莫扎特續(xù)寫(xiě)披頭士。
不來(lái)了解一下？
讓莫扎特“續(xù)寫(xiě)”披頭士的音樂(lè)，OpenAI的新AI作曲能力強(qiáng)丨Demo可玩
傳送門(mén)
最后，附上GitHub代碼地址：
https://github.com/openai/gpt-2
GPT-2數(shù)據(jù)集地址：
https://github.com/openai/gpt-2-output-dataset
OpenAI介紹主頁(yè)：
https://openai.com/blog/better-language-models/#update
— 完 —
誠(chéng)摯招聘
量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話(huà)界面，回復(fù)“招聘”兩個(gè)字。
量子位 QbitAI · 頭條號(hào)簽約作者
?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)
- 微軟公布19財(cái)年財(cái)報(bào)：凈利潤(rùn)增長(zhǎng)22%，云計(jì)算首超個(gè)人計(jì)算業(yè)務(wù)2019-07-19
- 騰訊云推出物聯(lián)網(wǎng)邊緣計(jì)算平臺(tái)，具備五大特點(diǎn)，想攻克物聯(lián)網(wǎng)落地難題2019-08-28
- DeepMind醫(yī)療業(yè)務(wù)幾經(jīng)動(dòng)蕩，現(xiàn)在團(tuán)隊(duì)并入Google2019-09-20
- 首例基因編輯干細(xì)胞治療艾滋?。罕贝筻嚭昕齾⑴c，達(dá)最佳治療效果2019-09-14
相關(guān)閱讀
AI大牛推特?zé)嶙h：機(jī)器學(xué)習(xí)中最美/最優(yōu)雅的idea是什么？網(wǎng)友：每個(gè)人的答案都值得一看
最熱門(mén)答案：梯度下降
全球每天產(chǎn)生100篇機(jī)器學(xué)習(xí)新論文！谷歌大腦負(fù)責(zé)人Jeff Dean發(fā)推引熱議，網(wǎng)友：太浪費(fèi)時(shí)間
論文數(shù)量太多以至于只有機(jī)器才能全部讀完
機(jī)器學(xué)習(xí)內(nèi)卷化：博士數(shù)量激增，本碩畢業(yè)生有點(diǎn)慌 | reddit熱議
沒(méi)博士學(xué)位，我拿什么競(jìng)爭(zhēng)？
能聽(tīng)懂口音的開(kāi)源語(yǔ)音系統(tǒng)來(lái)了：OpenAI出品，支持99種語(yǔ)言，英文識(shí)別能力直逼人類(lèi)
最大特點(diǎn)是它使用的超大規(guī)模訓(xùn)練集：
127k引用數(shù)的AI大牛創(chuàng)業(yè)：為機(jī)器人造大腦！OpenAI紅杉排隊(duì)塞錢(qián)
創(chuàng)始團(tuán)隊(duì)超豪華的
