0代碼調(diào)戲千億參數(shù)大模型，打開網(wǎng)頁就能玩！無需注冊即可體驗

明敏 2022-09-08 12:19:11 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

想體驗千億參數(shù)大模型的門檻，真是越來越低了！

想讓大模型回答問題？

只需在網(wǎng)頁端輸入問題，運行二三十秒，答案就噌噌生成了。

用的正是今年由Meta開源的Open Pretrained Transformer（OPT），參數(shù)量達(dá)1750億。

如果是傳統(tǒng)在本地運行，對算力可是個大考驗。

這就是由開源項目Colossal-AI支持的云端demo，無需注冊即可上手體驗，對硬件完全沒門檻，普通筆記本電腦甚至手機(jī)就能搞定。

也就是說，完全不用懂代碼的小白，現(xiàn)在也能調(diào)戲OPT這樣的大模型了。

讓我們來試玩一把~

4種任務(wù)可試玩

FAQ常見問題解答、聊天機(jī)器人、翻譯、文章創(chuàng)作幾種模式都可試玩。

一些數(shù)值也能按需自己來調(diào)整，并且不涉及到代碼。

我們體驗了下文章創(chuàng)作，開頭給了一句“今天是個好日子啊”。

很快，網(wǎng)頁就輸出了一連串大好事，剛剛加薪、正在玩刺客信條、明天還要去海灘……看著讓人羨慕！

還能構(gòu)建個場景讓聊天機(jī)器人嘮上幾塊錢的。

隨機(jī)生成的一段長對話是買手機(jī)的場景。嗯，和今天iPhone 14發(fā)布可以說是非常應(yīng)景了。

感覺即便是不懂AI、不懂編程的小白也能玩轉(zhuǎn)OPT的各種任務(wù)，體驗過程相當(dāng)絲滑。

要知道，像OPT這樣千億參數(shù)大模型的運行，一直都有著“對硬件要求高”、“成本高”的特點。

一個免費無限玩的網(wǎng)站，到底是怎么實現(xiàn)如上效果的？

開源方案快速云上部署超大模型

這還是要從其背后支持系統(tǒng)Colossal-AI說起。

它以“僅需幾行代碼就能快速部署AI大模型訓(xùn)練推理”而名震江湖，在GitHub上攬星超過4.7K。

這一次，是它在云上部署AI大模型的一次新突破。

主要針對OPT模型的特性，做出了在推理速度、計算量等方面的優(yōu)化。

在OPT云上服務(wù)方面，提出了left padding、past cache、bucket batching技術(shù)。

OPT擁有1750億參數(shù)量，如此規(guī)模的模型，單個GPU顯存顯然無法容納。

而且推理問題不光要考慮吞吐量，還要顧及到時延問題。

針對這兩方面問題，并行計算是個不錯的解決思路。

尤其是Colossal-AI本身就十分擅長將一個單機(jī)模型轉(zhuǎn)換成并行運行，獲得并行OPT模型自然不成問題。

不過并行方案中的參數(shù)加載一直是個難題。

在這方面，Colossal-AI可以讓用戶只需要參考樣例，簡單提供參數(shù)名映射關(guān)系，即可完成模型參數(shù)的加載。

最后，再將模型導(dǎo)入到Colossal-AI的推理引擎中，設(shè)置相應(yīng)的超參數(shù)。

到這一步，OPT主干網(wǎng)絡(luò)的推理部分就能上線且輸出有意義的結(jié)果了。

但是這還遠(yuǎn)遠(yuǎn)不夠。

因為OPT是生成式模型，生成式任務(wù)需要不斷循環(huán)模型的輸出結(jié)果，這就導(dǎo)致推理中常見的batching策略無法直接應(yīng)用。

具體來看，由于生成任務(wù)輸入的語句長度往往參差不齊，而且大部分語言閱讀和書寫都是從左向右的。

如果用常規(guī)的right padding，那么針對較短的句子就很難生成有意義的結(jié)果，或者需要進(jìn)行復(fù)雜處理。

△使用Right padding，生成側(cè)不對齊

如果用單batch運行，效率又太低了，不可行。

所以這一回的推理部署中，增加了left padding對句子進(jìn)行填充，讓每個句子的生成側(cè)（右側(cè)）都是對齊的，同時可以生成新的單詞。

△Left padding

還有另一方面的問題——生成模型單次推理只能生成一個新詞。

當(dāng)新的輸出結(jié)果生成時，它同時也成為了輸入的一部分。

也就是說，生成式任務(wù)的每次計算，是需要針對新的輸入序列進(jìn)行重新計算的。

顯然這種操作方式，重復(fù)計算太多了。

尤其是對于占絕大多數(shù)計算量的Linear層來說。

所以，Colossal-AI的開發(fā)人員在模型內(nèi)部引入了past cache技術(shù)。

它可以暫存同一次生成任務(wù)中的Linear層的輸出結(jié)果，讓每次只有一個新的單詞進(jìn)入Linear層進(jìn)行計算，并把該次的計算結(jié)果暫存，以避免重復(fù)計算。

直觀來看就是醬嬸兒的：

除此之外，開發(fā)人員還注意到生成式任務(wù)的計算量是參差不齊的。

輸入、輸出的句子長短變化范圍都很大。

如果用簡單的batching方法，將兩個相差很大的推理放在同一個批次里，就會造成大量的冗余計算。

因此他們提出了bucket batching。

即按照輸入句長以及輸出目標(biāo)句長進(jìn)行桶排序，同一個桶內(nèi)的序列作為一個batching，以此降低冗余。

One More Thing

不光是這次的云端demo，提供支持的Colossal-AI也是免費開源的~

任何人都能基于它低成本訓(xùn)練自己的大模型，并部署成云端服務(wù)。

比如在單張10GB顯存的RTX 3080上，就能訓(xùn)練120億參數(shù)的大模型。

較原生PyTorch提升了120倍的模型容量。

此前Colossal-AI多次在GitHub、Paper With Code熱榜位列世界第一。

相關(guān)解決方案成功在自動駕駛、云計算、零售、 醫(yī)藥、芯片等行業(yè)知名廠商落地應(yīng)用。

最近，Colossal-AI還連續(xù)入選和受邀全球超級計算機(jī)大會、國際數(shù)據(jù)科學(xué)會議、世界人工智能大會、亞馬遜云科技中國峰會等國際專業(yè)盛會。

對Colossal-AI感興趣的小伙伴，可以關(guān)注起來了~

傳送門

項目開源地址：
https://github.com/hpcaitech/ColossalAI

云端demo體驗地址：
https://service.colossalai.org/

參考鏈接：
[1]https://arxiv.org/abs/2205.01068
[2]https://sc22.supercomputing.org/
[3]https://medium.com/@yangyou_berkeley/using-state-of-the-art-ai-models-for-free-try-opt-175b-on-your-cellphone-and-laptop-7d645f535982