要啥給啥的寫作AI：新聞評(píng)論小說(shuō)能編，題材風(fēng)格隨便選，真假難辨

魚羊 乾明 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

AI編故事，一模更比一模秀。

這里“一模”，自然是OpenAI橫空出世的GPT-2。但今日更秀的另一模型，來(lái)自Salesforce——全球最大的SaaS提供商，雖然之前AI能力展露不多，但這一次，絕對(duì)一鳴驚人。

作家知道會(huì)沉默，評(píng)論水軍看了要流淚。因?yàn)槎ㄏ蚧幑适?、生成文案評(píng)論的能力，實(shí)在太強(qiáng)了！

話不多說(shuō)，直接看“作品”。

定向化編故事，真假難辨

給它一把刀，它編出了這樣的“恐怖故事”：

刀柄從洞里拔了出來(lái)。當(dāng)?shù)稉糁形視r(shí)，我嚇了一跳，驚恐地睜大了眼睛。除了嗚咽聲，我只聽(tīng)到她的尖叫聲。

蜘蛛準(zhǔn)備挖她上面的拱頂時(shí)，碰到了她的腳，小家伙的眼淚開(kāi)始流下來(lái)。蜘蛛抬頭看著她，回望著我，眼里充滿了熱淚。我的心開(kāi)始狂跳……

有情景、有邏輯、有細(xì)節(jié)，還有故事性，寫作功力簡(jiǎn)直職業(yè)作家水平。

還能編出“買家好評(píng)”：

刀是一種工具，這個(gè)很好用。這是我買給我丈夫的。他拿到它們之后就一直用它們來(lái)切肉。

他說(shuō)它們很鋒利，所以使用時(shí)要小心，但這似乎不是什么大問(wèn)題。從雞胸肉到牛里脊肉，他都切過(guò)……

相比無(wú)腦好評(píng)的水軍，AI給出的結(jié)果很難想象是機(jī)器寫的，核心信息點(diǎn)、細(xì)節(jié)，全都有了。

但寫得好、寫得真假難辨，還不是重點(diǎn)！

更關(guān)鍵的是，這個(gè)模型的獨(dú)特之處——只需要給出條件，它就能“定向”編故事，寫命題作文，指哪打哪，想寫什么風(fēng)格就寫什么風(fēng)格。

與腦洞過(guò)于天馬行空的GPT-2相比，它更能夠被人馴服利用。

于是模型放出后，很快就引起了業(yè)內(nèi)人士的關(guān)注。也有人給出評(píng)價(jià)：

這太酷了！能夠以更結(jié)構(gòu)化的方式控制文本生成非常有價(jià)值。

而且，這個(gè)NLP模型具有16億參數(shù)，比之前最大的GPT-2還要多一個(gè)億。

雖然同樣擔(dān)心模型被濫用，但在研究人員看來(lái)，開(kāi)放可能會(huì)更好，能讓更多的人參與進(jìn)來(lái)，一起抵抗。

所以，他們直接在GitHub上放出了多個(gè)全尺寸的、經(jīng)過(guò)訓(xùn)練的 CTRL 版本。而不是像GPT-2一樣，擠牙膏開(kāi)源。

而且，它還是個(gè)全能選手，不僅能編故事，比如在Reddit論壇健身、理財(cái)板塊發(fā)表不同的評(píng)論。

它還有很多正經(jīng)用途：編寫維基百科詞條、回答各類常識(shí)問(wèn)題、翻譯文字等等。

那么這是一個(gè)怎樣的NLP模型？

16億參數(shù)的語(yǔ)言模型

這個(gè)模型，有一個(gè)非常有“靈性”的名字：CTRL，全稱為Conditional Transformer Language，基于條件的Transformer語(yǔ)言模型。

自從有了Transformer，文本生成領(lǐng)域的大前輩就一個(gè)接著一個(gè)，這廂BERT開(kāi)創(chuàng)先河，那廂GPT-2都能寫論文了。

但是，與人類的創(chuàng)作方法不同，生成的文本再以假亂真，語(yǔ)言模型前輩們也不能按照特定的主題來(lái)寫作內(nèi)容。

于是，CTRL誕生了。

這是一個(gè)擁有多達(dá)16億參數(shù)的條件Transformer語(yǔ)言模型（GPT-2模型參數(shù)15億），采用無(wú)監(jiān)督學(xué)習(xí)，并且正如其名，能夠?qū)ξ谋旧傻膬?nèi)容進(jìn)行更精準(zhǔn)的控制。

比如給出一個(gè)商品評(píng)分：1.0。

GPT-2生成的內(nèi)容是這樣的：

而CTRL，會(huì)生成這樣的結(jié)果：

我為我兒子買了這個(gè)，他是這個(gè)節(jié)目的忠實(shí)粉絲。在拿到它之前，他非常期待。但當(dāng)他打開(kāi)它時(shí)，我們都非常失望。產(chǎn)品質(zhì)量太差了。它看起來(lái)就像是一元店里的東西。

這玩意兒狀況很差。前蓋上有幾處劃痕以及其他一些輕微磨損……

實(shí)現(xiàn)的關(guān)鍵，在于控制代碼（control codes）。

CTRL以控制代碼c為條件，學(xué)習(xí)分布 p ( x | c )。這一分布可以用概率鏈規(guī)則分解，并通過(guò)考慮控制代碼的損失來(lái)進(jìn)行訓(xùn)練。

控制代碼能使用戶意圖為語(yǔ)言模型所理解。

通過(guò)標(biāo)注訓(xùn)練數(shù)據(jù)集的特定標(biāo)簽，CTRL模型中大部分控制代碼能指定生成文本的整體樣式。

即使給出的提示（prompt）相同，控制代碼也允許生成多樣化的內(nèi)容。并且，就算不給提示，CTRL一樣能生成特定風(fēng)格的文本。

△在有控制代碼的情況下，開(kāi)頭也不用給

而將控制代碼添加到標(biāo)簽代碼中，可以進(jìn)一步限制生成。

比如在OpenWebText版本中，在每一個(gè)文檔后面加入U(xiǎn)RL地址，作為輸入序列的開(kāi)頭。

這樣，CTRL在訓(xùn)練過(guò)程中，就會(huì)學(xué)習(xí)這些URL的結(jié)構(gòu)和文本之間的關(guān)系。在推理過(guò)程中，URL可以指定各種功能，包括域，子域，實(shí)體，實(shí)體關(guān)系，乃至日期。

除此之外，還有一小部分控制代碼是與問(wèn)答、翻譯這樣的特定任務(wù)相關(guān)的。這些控制代碼相對(duì)復(fù)雜。

好玩的是，混合控制代碼會(huì)產(chǎn)生一些有意思的文本。

比如把翻譯控制代碼混合到飲食這個(gè)標(biāo)簽中，生成的文本就擁有了兩種不同語(yǔ)言的版本：

再比如說(shuō)把政治和法語(yǔ)提示混到一起：

這些組合，在此前的訓(xùn)練中都沒(méi)有出現(xiàn)過(guò)。

值得一提的是，CTRL的訓(xùn)練文本數(shù)據(jù)多達(dá)140GB，包括維基百科，Gutenberg上的書籍，OpenWebText2數(shù)據(jù)集（GPT-2網(wǎng)頁(yè)文本數(shù)據(jù)集克隆版），大量新聞數(shù)據(jù)集，亞馬遜評(píng)價(jià)，來(lái)自ELI5的問(wèn)答，以及包括斯坦福問(wèn)答數(shù)據(jù)集在內(nèi)的MRQA共享任務(wù)等等等等。

數(shù)據(jù)集雖然沒(méi)有開(kāi)源，但Salesforce表示，他們會(huì)發(fā)布與數(shù)據(jù)收集相關(guān)的代碼。

以及，由于控制代碼和用于訓(xùn)練模型的文本之間存在直接關(guān)系，CTRL能判斷出新文本生成時(shí)對(duì)其影響最大的數(shù)據(jù)源是哪一個(gè)。

全球最大的SaaS服務(wù)提供商出品

這篇論文來(lái)自Salesforce——全球最大的SaaS服務(wù)提供商。

最近最為人關(guān)注的是一次大規(guī)模商業(yè)并購(gòu)：豪擲157億美元收購(gòu)大數(shù)據(jù)公司Tableau。

Salesforce Research是其內(nèi)部的研究部門，核心目標(biāo)是用AI來(lái)解決業(yè)務(wù)中的問(wèn)題，已經(jīng)在NLP領(lǐng)域頗有建樹(shù)。

目前，這一部門由Salesforce的首席科學(xué)家Richard Socher領(lǐng)導(dǎo)。

他博士畢業(yè)于斯坦福大學(xué)計(jì)算機(jī)系。2016年，自己創(chuàng)辦的公司被Salesforce收購(gòu)后，加入Salesforce。

根據(jù)他個(gè)人網(wǎng)站信息，僅在2019年他就發(fā)布了11篇頂會(huì)論文，其中ACL 2019 3篇；ICLR 2019 6篇；CVPR 2019 1篇；ICML 2019 3篇。

他也是這篇論文的作者之一。這篇論文的其他作者，都是Salesforce Research的研究員。第一作者有兩位，分別是Nitish Shirish Keskar和Bryan McCann。

其中，Nitish Shirish Keskar是Salesforce的高級(jí)研究員，博士畢業(yè)于西北大學(xué)，研究方向?yàn)樯疃葘W(xué)習(xí)及其在自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)方面的應(yīng)用。他的個(gè)人頁(yè)面顯示，已經(jīng)發(fā)表了14篇論文，其中不乏ICLR等頂會(huì)。

Bryan McCann也是Salesforce高級(jí)研究員，畢業(yè)于斯坦福大學(xué)，曾經(jīng)擔(dān)任過(guò)吳恩達(dá)機(jī)器學(xué)習(xí)課程的助理，研究方向是深度學(xué)習(xí)及其在自然語(yǔ)言處理方面的應(yīng)用。個(gè)人網(wǎng)站顯示，他發(fā)表過(guò)7篇論文，不乏ACL、NeurIPS、EMNLP等AI頂會(huì)。

引發(fā)參數(shù)熱議

這一研究成果，也引起了大家對(duì)模型參數(shù)的討論。

有人說(shuō)，15億參數(shù)也好，16億參數(shù)也罷，要是英偉達(dá)的Megatron放出來(lái)，80億參數(shù)肯定都通通碾壓。

但也有人給出冷思考，表示參數(shù)很多并不是優(yōu)點(diǎn)，而是一個(gè)弱點(diǎn)。阿姆斯特丹大學(xué)的助理教授Willem Zuidema說(shuō)：

為什么規(guī)模大是一個(gè)賣點(diǎn)？我理解人們?yōu)榻⒘艘粋€(gè)非常好的模型而自豪，甚至為找到了在有限的計(jì)算資源上訓(xùn)練大型模型的方法而自豪。

但在我看來(lái)，16億參數(shù)本身似乎是一個(gè)弱點(diǎn)，而不是優(yōu)勢(shì)。

對(duì)此，Richard Socher也給出了回應(yīng)：

確實(shí)，假設(shè)性能相同，較小的模型更好。但事實(shí)證明，只要你在大量的訓(xùn)練數(shù)據(jù)上訓(xùn)練它，語(yǔ)言模型的性能和記憶事實(shí)的能力與大小是密切相關(guān)的。

Jelle Zuidema再度回應(yīng)，給出了進(jìn)一步的解釋：

令我驚訝的是，“最大”是聲明中的第一個(gè)形容詞，而“高質(zhì)量”只是最后一點(diǎn)。

我認(rèn)為有必要提醒人們，理想的方法仍然是更少的參數(shù)、更少的培訓(xùn)和更好的性能。

你怎么看？

傳送門

最后，如果你對(duì)這個(gè)研究感興趣，請(qǐng)收好傳送門：

項(xiàng)目地址：

https://github.com/salesforce/ctrl

論文地址：

https://einstein.ai/presentations/ctrl.pdf

博客文章：

https://blog.einstein.ai/introducing-a-conditional-transformer-language-model-for-controllable-generation/