Stable Diffusion背后公司開源大語(yǔ)言模型，很火，但很爛

十三 2023-04-20 11:45:35 來(lái)源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

萬(wàn)萬(wàn)沒想到，以文生圖著名的Stable Diffusion，也入局了大語(yǔ)言模型（LLM）之戰(zhàn)。

它背后的公司Stability AI，正式推出類ChatGPT產(chǎn)品——StableLM。

據(jù)了解，這個(gè)模型目前處于Alpha版本，擁有的參數(shù)量分別為30億和70億；后續(xù)還將推出150億到650億參數(shù)模型。

而且不到一天時(shí)間，在GitHub上開源的項(xiàng)目便已經(jīng)攬獲了超4K顆星，火爆程度可見一斑。

原本大語(yǔ)言模型之戰(zhàn)再添玩家應(yīng)當(dāng)是一件令人興奮的事情。

但結(jié)果竟也是一個(gè)萬(wàn)萬(wàn)沒想到的大反轉(zhuǎn)。

網(wǎng)友們?cè)隗w驗(yàn)了StableLM之后，毫不留情地給出這樣的評(píng)價(jià)：

非常糟糕。

StableLM真的有那么不堪嗎？

能對(duì)話，也能生成代碼

我們先來(lái)看下StableLM所展示出來(lái)的能力。

據(jù)Stability AI官方介紹，StableLM的建立是基于GPT-J、GPT-NeoX和Pythia套件開發(fā)的；而它們又是在The Pile開源數(shù)據(jù)集上進(jìn)行的訓(xùn)練。

但StableLM與上述模型有所不同，它采用了The Pile的新數(shù)據(jù)集，與此前相比，足足大了三倍，并且包含1.5萬(wàn)億個(gè)token。

除了基本情況的介紹之外，Stabliity AI也給出了幾個(gè)demo。

例如在對(duì)話方面，若是提問“你會(huì)對(duì)即將高中畢業(yè)的朋友說(shuō)些什么”，StableLM會(huì)回答：

應(yīng)該為自己和取得的成績(jī)感到驕傲，并且應(yīng)該對(duì)未來(lái)抱以期望。

對(duì)于“寫一封電子郵件”這樣的任務(wù)，StableLM也是可以輕松應(yīng)對(duì)。

在創(chuàng)作方面，若是給出這樣的一個(gè)題目——“在深度神經(jīng)網(wǎng)絡(luò)和符號(hào)人工智能之間寫一首史詩(shī)般的說(shuō)唱戰(zhàn)歌”。

StableLM也是可以秒寫一首rap的歌詞：

在寫代碼方面，Stability AI也展示了“不走尋常路”的例子——

用C語(yǔ)言編寫可以計(jì)算機(jī)生命意義的代碼。

文本對(duì)話、創(chuàng)作內(nèi)容、編寫代碼，從官方亮出的例子上來(lái)看，似乎StableLM的能力還是可以的。

但為什么會(huì)出現(xiàn)剛才有人評(píng)價(jià)的“非常糟糕”呢？

貨比三家，實(shí)力便可一較高下。

“跟ChatGPT不具可比性”

在實(shí)測(cè)的過程中，網(wǎng)友給StableLM出了這樣的一個(gè)題目：

以下是關(guān)于一則新聞的信息：

標(biāo)題為“FBI引用‘新證據(jù)’宣布追捕Shakur謀殺案嫌疑人”；副標(biāo)題為“十年后，當(dāng)局公布了殺害說(shuō)唱歌手的兇手的姓名和照片”。

請(qǐng)完成這個(gè)故事的撰寫。

雖然StableLM給出了一篇完整的新聞報(bào)道，但若是細(xì)看內(nèi)容，卻是經(jīng)不住推敲的。

最直接的錯(cuò)誤，就是StableLM竟然連被害人Tupac Shakur都不認(rèn)得，而且還把Shakur視為兇手的西班牙名字……

如果類似的問題交給ChatGPT，那么結(jié)果就截然不同了：

起碼人家ChatGPT能認(rèn)得事件主人公是誰(shuí)。

當(dāng)被問及非常簡(jiǎn)單的問題，例如“StableLM能做什么”，它給出的回答是：

主要用作系統(tǒng)工程和體系結(jié)構(gòu)中的決策支持系統(tǒng)，也可以用于統(tǒng)計(jì)學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等領(lǐng)域。

網(wǎng)友對(duì)此作答的評(píng)價(jià)是“平平無(wú)奇”。

但更重要的是，在測(cè)試過程中，網(wǎng)友還發(fā)現(xiàn)StableLM缺乏對(duì)敏感內(nèi)容的保護(hù)。

例如在著名的一項(xiàng)測(cè)試——“不要贊美希特勒（don’t praise Hitler）”中，它的表現(xiàn)就會(huì)令人大跌眼鏡……

朋友們可以細(xì)品一下：

依舊是同樣的問題，若是交給ChatGPT，結(jié)果是這樣的：

嗯，直接拒了。

不過網(wǎng)友也比較客氣地提醒道：

先別急著說(shuō)StableLM是史上最糟糕的語(yǔ)言模型。

畢竟人家Alpha版本的參數(shù)量目前較小，以及還是開源的。

如何試玩？

正如我們剛才提到的，目前StableLM在GitHub上已經(jīng)開源。

但不僅如此，官方也在HuggingFace中上線了demo試玩！

“入口”都放下面了，感興趣的小伙伴們可以去體驗(yàn)一下嘍~

HuggingFace地址：
https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat

GitHub地址：
https://github.com/Stability-AI/StableLM

參考鏈接：
[1]https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models
[2]https://twitter.com/StabilityAI/status/1648706156330876928
[3]https://mashable.com/article/stablelm-stability-ai-language-model-explained