語言模型GPT-2擠牙膏式開源，放出774M預(yù)訓(xùn)練模型，稱是倒數(shù)第二版

安妮 2019-08-21 12:03:40 來源：量子位

銅靈 發(fā)自 凹非寺

量子位 出品 | 公眾號(hào) QbitAI

放出124M和355M的中小規(guī)模預(yù)訓(xùn)練模型后，橫掃7大語言任務(wù)、效果足夠以假亂真的逆天模型GPT-2又開源了。

此前，OpenAI因?yàn)閾?dān)心這個(gè)語言模型效果太好被濫用，一直藏著掖著開源，還被網(wǎng)友調(diào)侃為“ClosedAI。

剛剛，OpenAI首次放出774M的GPT-2大型預(yù)訓(xùn)練模型。官方表示，這是1558M完整版放出前，最后一版了。擠牙膏式開源，是OpenAI沒錯(cuò)了。

研究人員表示，正在考慮開源完整版模型，也就是說，能完成閱讀理解、常識(shí)推理、文字預(yù)測(cè)、文章總結(jié)等多種任務(wù)的AI模型，也有機(jī)會(huì)完全為你所用了。

心心念念的最強(qiáng)語言模型又有大開源，關(guān)注語言研究的AIer甚至有些不敢相信自己的眼睛：

不敢相信我現(xiàn)在看到的是真的！！好嗨呦?。?！

全面上新

發(fā)布半年來，GPT-2的熱度猛增不減。

作為一個(gè)沒有經(jīng)過任何領(lǐng)域數(shù)據(jù)專門訓(xùn)練的模型，它的表現(xiàn)比那些專為特定領(lǐng)域打造的模型還要好，橫掃各大語言建模任務(wù)，還能勝任編造新聞、閱讀理解、常識(shí)推理、摘要總結(jié)等任務(wù)。

這個(gè)龐大的算法使用語言建模作為訓(xùn)練信號(hào)，以無監(jiān)督的方式在大型數(shù)據(jù)集上訓(xùn)練一個(gè)Transformer，然后在更小的監(jiān)督數(shù)據(jù)集上微調(diào)這個(gè)模型，以幫助它解決特定任務(wù)。

研究人員說模型太強(qiáng)讓自己有些心慌，于是分階段放出，根據(jù)反響確定是否放出更完整的版本。

但OpenAI關(guān)于GPT-2的研究還沒有止步，和今天774M模型一起問世的，還有一份OpenAI對(duì)GPT-2的發(fā)布策略及社會(huì)影響報(bào)告：

他們最關(guān)心的點(diǎn)，很大一部分在于對(duì)社會(huì)是否會(huì)帶來大程度上負(fù)面影響。

研究人員表示，通過合作伙伴Sarah Kreps和Miles McCain在康奈爾大學(xué)外交事務(wù)部發(fā)表的研究表明，GPT-2合成的假文本與人類親自撰寫的文本相當(dāng)。

在測(cè)試中，72%的參與者曾把GPT-2的假文章當(dāng)成是來自《紐約時(shí)報(bào)》報(bào)道。甚至在AI2的調(diào)查中顯示，一個(gè)基于GPT-2的“GROVER”系統(tǒng)撰寫的新聞比人類的作品邏輯更合理。

這讓他們不得不更加謹(jǐn)慎。

除了這個(gè)774M的大型與訓(xùn)練模型，此前根本不敢想的1558M的完整版模型已經(jīng)在路上了。

預(yù)計(jì)幾個(gè)月內(nèi)就會(huì)發(fā)布。

研究人員表示，制定了非商業(yè)法律協(xié)議，促進(jìn)各個(gè)組織之間的模型共享，也聯(lián)合了一些機(jī)構(gòu)對(duì)模型進(jìn)一步調(diào)研：

人類對(duì)GPT-2產(chǎn)生虛假信息的敏感性、可能會(huì)被極端分子怎樣應(yīng)用、生成文本的偏差……都會(huì)影響最終發(fā)布的時(shí)間。

GPT-2の各類妙用

發(fā)布半年來，不少網(wǎng)友基于GPT-2進(jìn)行了各類開發(fā)，腦洞之大可能連OpenAI都想象不到。

GPT-2其實(shí)還學(xué)了好幾種編程語言。比方，JavaScript。

紐約大學(xué)工程學(xué)院的助理教授Brendan Dolan-Gavitt發(fā)現(xiàn)，GPT-2在學(xué)會(huì)寫英文的同時(shí)，還悄悄學(xué)了一些js腳本語言。

MIT的研究科學(xué)家、深度學(xué)習(xí)課老師Lex Fridman做了一個(gè)新應(yīng)用：

DeepTweets，能通過一個(gè)人以往的推特內(nèi)容進(jìn)行內(nèi)容模仿，自動(dòng)生成新的偽推特。

GPT-2還有了更易用的封裝版本，新加坡高中生開源輕量級(jí)GPT-2“客戶端”。

輕松上手，輕量級(jí)，速度快。這就是這只名叫g(shù)pt2-client的包裝器的突出特性。

一位來自加拿大的大四學(xué)霸，開發(fā)了一款“Deep TabNine”代碼補(bǔ)全工具，實(shí)現(xiàn)了這一大膽的想法：

補(bǔ)全代碼，支持23種編程語言、5種編輯器，使用簡(jiǎn)單，效果驚艷。

今日頭條發(fā)布內(nèi)容健康度檢測(cè)工具“靈犬3.0”，能夠識(shí)別這些低俗內(nèi)容、暴力內(nèi)容和標(biāo)題黨，同時(shí)應(yīng)用了BERT和半監(jiān)督技術(shù)，并且在此基礎(chǔ)上使用了專門的中文語料，使得計(jì)算效率能達(dá)到實(shí)用水平。

寶藏區(qū)

博客地址：

https://openai.com/blog/gpt-2-6-month-follow-up/

代碼收好：

https://github.com/openai/gpt-2

調(diào)研報(bào)告：

https://d4mucfpksywv.cloudfront.net/GPT_2_August_Report.pdf

最后，推薦一個(gè)Adam King發(fā)布的和GPT-2一起玩耍的界面，現(xiàn)場(chǎng)體驗(yàn)774M模型生成效果：

https://talktotransformer.com/

— 完 —

誠(chéng)摯招聘

量子位正在招募編輯/記者，工作地點(diǎn)在北京中關(guān)村。期待有才氣、有熱情的同學(xué)加入我們！相關(guān)細(xì)節(jié)，請(qǐng)?jiān)诹孔游还娞?hào)(QbitAI)對(duì)話界面，回復(fù)“招聘”兩個(gè)字。

量子位 QbitAI · 頭條號(hào)簽約作者

?’?’ ? 追蹤AI技術(shù)和產(chǎn)品新動(dòng)態(tài)