魔改GPT自動(dòng)寫網(wǎng)文，速度一秒十字，還能給太監(jiān)作品無(wú)限續(xù)更 | 開源

博雯 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

如果一個(gè)人只看網(wǎng)文，那會(huì)寫出來(lái)怎樣的文字？

看了100G網(wǎng)文后，這個(gè)AI模型幫你試了一下。

先來(lái)一段自由創(chuàng)作：

乍眼看去很有內(nèi)味，而且基本是一秒十字甚至更快的生成速度，非常的amazing。

那再放一段經(jīng)典網(wǎng)文故事高潮前的內(nèi)容，讓AI作家?guī)兔m(xù)一下？

呃……不是“三十年河?xùn)|，三十年河西，莫欺少年窮”，沒(méi)內(nèi)味兒啊！

這就是開發(fā)者親切地稱之為“人工智障寫作”，由GPT魔改而成的模型AI-Writer：

一秒十字，無(wú)限續(xù)寫

這一模型擁有100M參數(shù)量，基于100G網(wǎng)絡(luò)小說(shuō)訓(xùn)練，沒(méi)有采用任何其他素材。

因此，AI-Writer相當(dāng)于是一位“只看網(wǎng)絡(luò)小說(shuō)”的創(chuàng)作者，不具備任何網(wǎng)文以外的常識(shí)，行文風(fēng)格自然也就比較小白。

但好在閱書無(wú)數(shù)，一句同樣的開頭：

就能生成風(fēng)格迥異，走向不同的多個(gè)片段：

也可以自定義每次的生成字?jǐn)?shù)，像上面就是每次生成200字。

理論上可以無(wú)限生成文字，但時(shí)間長(zhǎng)了也會(huì)陷入“不斷重復(fù)某字或某片段”的循環(huán)之中。

生成文字速度受加速方式的影響，目前支持N卡、A卡、I卡、GPU加速，可以選擇最適合自己設(shè)備的方式：

像開頭展示的那段動(dòng)圖，生成速度甚至不止一秒十字，就是通過(guò)GPU加速的效果。

如果你覺(jué)得AI寫的有點(diǎn)太過(guò)放飛自我，也可以設(shè)置生成文字的隨機(jī)程度。

要解釋這里的文字生成隨機(jī)性，就要說(shuō)到AI-Writer所采用的一種特殊的采樣方法：

• 對(duì)于段落開頭

將Top-P設(shè)置為0.995，幾乎完全按照輸出的概率分布采樣，增強(qiáng)行文變化

• 對(duì)于其他位置

先找到最高概率的字的概率P，然后移除所有概率小于 0.02×P2的字

這樣，模型生成的每一個(gè)字都是一個(gè)概率分布，因此，上面的文字生成的隨機(jī)程度，也就是文字生成時(shí)忽略小概率字的程度。

可以對(duì)比一下該值分別為0.01，0.1，0.9時(shí)的生成效果：

當(dāng)然，由于這是個(gè)只有100M參數(shù)的小模型，所以邏輯和閱讀理解能力是較低的。

用開發(fā)者的話來(lái)說(shuō)，就是“它是個(gè)純智障，純屬娛樂(lè)”。

模型可直接試玩

不過(guò)，就算本著娛樂(lè)的目的，我們也來(lái)看看怎么做才讓這個(gè)AI作者動(dòng)筆。

在環(huán)境配置上，開發(fā)者表示，如果采用他通過(guò)C+AVX2寫的純CPU版本，就不需要Python和Pytorch，只要是2014年以后的CPU都能成功運(yùn)行。

（作者已將這一版本上傳至交流群）

而上述演示的動(dòng)圖則是在Python3.8和Pytorch1.10的環(huán)境配置下的Demo。

在環(huán)境配置完畢后，下載模型和Release文件，在模型文件中新建一個(gè)model文件夾，并將release文件解壓放在model目錄下。

這時(shí)你就可以運(yùn)行python run.py，在終端快速生成文字：

（這里可以先安裝一下DeepLearning環(huán)境）

文字可以一直自由生成下去，可以通過(guò)Ctrl+C來(lái)停止。

當(dāng)然，由于這里是在2.3 GHz 雙核Intel Core i5的Mac本上跑的，所以并沒(méi)有達(dá)到10字/秒的生成速度。

也可以在網(wǎng)頁(yè)中進(jìn)行試玩，運(yùn)行python server.py，并打開下載模型web-client文件夾中的index.html。

然后就可以打開網(wǎng)頁(yè)，直接在對(duì)話框中輸入開頭，點(diǎn)擊按鈕進(jìn)行續(xù)寫了：

現(xiàn)在這個(gè)網(wǎng)頁(yè)版已經(jīng)初具模型，開發(fā)者希望能有更多的人參與進(jìn)來(lái)，一起將現(xiàn)階段的這個(gè)“人工智障”改進(jìn)成對(duì)于創(chuàng)作者而言的實(shí)用工具，以及對(duì)于讀者而言的娛樂(lè)方式。

下載鏈接：
https://github.com/BlinkDL/AI-Writer/releases

— 完 —