想玩GPT-3申請不到？UC伯克利讓你免費在線玩，無需注冊，最快10s出結(jié)果

羿閣 2022-08-17 15:43:54 來源：量子位

羿閣 衡宇 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

你說，咱今天可以不加班不？

不，到點走不了，今天這班你必須得加。

如此冷冰冰的回答，來自一個可以免費調(diào)戲千億參數(shù)大模型的網(wǎng)站：

這個網(wǎng)站是依托Meta AI開源的預(yù)訓(xùn)練語言模型OPT-175B做的，背后團隊來自加州大學(xué)伯克利分校。

最近該網(wǎng)站在twitter有點火。

再加上不用注冊，可以“白嫖”，不少人一邊大呼Nice，一邊已經(jīng)去網(wǎng)站“到此一游”了。

如果你之前不知道它，不妨現(xiàn)在跟我們?nèi)ネ嬉煌妗?/p>

這是一個什么網(wǎng)站？

網(wǎng)站主頁整個看起來還挺清爽，最重要的是位于頁面中心的輸出和輸入框。

在上方的輸入框敲入你需要的內(nèi)容，點擊一下左下角的藍色按鈕，再等上那么一會兒，你就能得到結(jié)果了。

目前可以實現(xiàn)的功能有：詢問事實，直接聊天，航班代碼，多語言翻譯，加密貨幣，代碼，計算數(shù)學(xué)……

比如把你想要回家的迫切心情翻譯一下：

或者來點兒數(shù)學(xué)題：

為了使用起來更簡便，網(wǎng)站上只給了三個生成參數(shù)：

響應(yīng)時長、溫度參數(shù)和Top-p。

在初始設(shè)置值下，無論輸入句的長與短，響應(yīng)時長都需要20來秒的時間。

我們試了一下，把這一參數(shù)極限往左或往右拉，發(fā)現(xiàn)響應(yīng)時長大概是維持在10-90秒這個區(qū)間里。

溫度參數(shù)控制采樣分布的尖銳程度，較低的溫度會促使生成器從模型中選擇得分較高的token。

Top-p從累計概率超過p的最小可能單詞集中抽樣，較小的p值會阻止生成器從模型中選取分?jǐn)?shù)較低的token。

團隊在網(wǎng)站主頁上還聲明，雖然只給大家用三個，但是我們后端是支持多種生成技術(shù)和參數(shù)的！

如果用戶現(xiàn)在就想嘗試更多的超參數(shù)，在網(wǎng)站上體驗不同的生成技術(shù)，可以通過使用團隊做出的一個系統(tǒng)Alpa（用來訓(xùn)練和服務(wù)大模型），自己增加相關(guān)服務(wù)的設(shè)置。

他們目前在開發(fā)一個RESTFUL API 來公開完整的參數(shù)集，后續(xù)可以關(guān)注一下。

因為采用的是隨機抽樣，所以針對同一個問題，每一次生成的結(jié)果都會有所不同。

比如，前后兩次想讓網(wǎng)站幫忙解決“中午吃啥”這個千古難題，它一會兒推薦你吃三明治，一會兒推薦你吃沙拉。

（總之是非常健康了）

在隱私保密這一塊，網(wǎng)站稱不會存儲輸入的內(nèi)容，只會記錄輸入詞長度這一類東西。

團隊還說了，對于沒多少AI相關(guān)背景，還想了解接觸一下AI生態(tài)系統(tǒng)的人來說，網(wǎng)站挺容易上手。

為了驗證友好性，我們找來一個AI小白玩兒了一下這個網(wǎng)站。

打開網(wǎng)站，這位旁友啥參數(shù)也沒動，單刀直入，在輸入框里明目張膽地輸入了

讓我們邀請讀者在閱讀這篇文章后，關(guān)注我們的公號吧。

21.7秒后，網(wǎng)站和我們一起面帶熱情的微笑，暗（ming）示（shi）你記得關(guān)注量子位（手動狗頭）。

網(wǎng)站背后的技術(shù)依托

要想搞清網(wǎng)站背后的原理，首先，讓我們先了解一下它為什么會選擇OPT-175B做原型。

OPT-175B，是Meta AI開源的預(yù)訓(xùn)練語言模型，共有1750億個參數(shù)，今年5月開源的時候，簡直引發(fā)了AI研究社區(qū)的大轟動。

原因是它的效果完全不輸GPT-3，還彌補了OpenAI不夠open的問題，有時候被大家戲稱為GPT-3的免費版本。

△用14個NLP任務(wù)對GPT和OPT進行測試，平均精度相差不大

不僅從完整模型到訓(xùn)練代碼、部署代碼完全開放，OPT-175B運行時的碳消耗更是連GPT-3所需的1/7都不到，屬實是非常環(huán)保省能了。

可以說，OPT-175B的開源增加了大模型開發(fā)的開放性。

而這個神奇網(wǎng)站背后的技術(shù)Alpa，則堪稱是OPT-175B的“加強免費版”。

Alpa，是一個專門用于訓(xùn)練和服務(wù)大規(guī)模神經(jīng)網(wǎng)絡(luò)的系統(tǒng)。

此前，無論是OpenAI的GPT-3，還是Meta AI的OPT-175B，都已經(jīng)實現(xiàn)了將神經(jīng)網(wǎng)絡(luò)擴展到數(shù)千億參數(shù)。

但是呢，神經(jīng)網(wǎng)絡(luò)規(guī)模越大，訓(xùn)練和服務(wù)他們的分布式系統(tǒng)技術(shù)就更復(fù)雜。

現(xiàn)有的模型并行訓(xùn)練系統(tǒng)，要么要求用戶手動創(chuàng)建一個并行化計劃，要么要求用戶從有限的模型并行化配置空間中自動生成一個。

相對來說有點復(fù)里復(fù)雜的，而且還做不到在分布式計算設(shè)備上擴展復(fù)雜的DL模型。

Alpa的優(yōu)勢在于，僅通過幾行代碼，就能實現(xiàn)大規(guī)模分布式訓(xùn)練和服務(wù)的自動并行化。

具體來說，Alpa的突破之處有以下幾點：

• 專為大型模型設(shè)計：Alpa在分布式集群上實現(xiàn)了數(shù)十億參數(shù)的訓(xùn)練模型的線性縮放，專為訓(xùn)練和服務(wù)于GPT-3等大型模型而設(shè)計。
• 沒有硬件限制：不依賴最新一代的A100 80GB GPU或花哨的InfiniBand硬件，憑借自家的GPU集群即可使用OPT-175B，特別是在40GB A100、V100等老一代GPU上也能提供更靈活的并行性服務(wù)。

• 靈活的并行策略：Alpa能夠根據(jù)集群設(shè)置和模型架構(gòu)，自動找出適當(dāng)?shù)哪Ｐ筒⑿胁呗浴?/li>

而且Alpa由Jax、XLA和Ray等開源、高性能和生產(chǎn)就緒的庫提供支持，和ML生態(tài)系統(tǒng)集成得比較緊密。

網(wǎng)站的建立，就是團隊在Alpa的基礎(chǔ)上，根據(jù)Meta AI已開源的OPT-175B，做了一個類似OpenAI GPT-3的服務(wù)。

運行成本更低，并行化技術(shù)更先進，所以可以做到免費供所有人使用。

當(dāng)然，網(wǎng)站使用受Alpa開源許可的約束。同時因為是針對OPT-175B的，也受到相應(yīng)的約束，也就是說，這個網(wǎng)站玩玩可以，真要應(yīng)用，只能以研究為目的。

值得一提的是，有關(guān)這篇系統(tǒng)的論文《Alpa: Automating Inter- and Intra-Operator Parallelism for Distributed Deep Learning》已經(jīng)被收錄進計算機系統(tǒng)領(lǐng)域頂會OSDI 2022。

并且，該團隊還在國際機器學(xué)習(xí)大會ICML 2022上，做了關(guān)于整個大模型技術(shù)棧的tutorial。

目前該項目已在GitHub上開源，鏈接可在文末自取。

研究團隊

Alpa的研究團隊主要來自加州大學(xué)伯克利分校。

共同一作有三位，分別是鄭憐憫，李卓翰，張昊。

鄭憐憫，加州大學(xué)伯克利分校EECS（電子工程和計算機科學(xué)）系博士，研究興趣包括大規(guī)模ML系統(tǒng)、編譯器、并行計算和程序合成。

鄭憐憫本科畢業(yè)于上海交通大學(xué)ACM榮譽班，取得計算機科學(xué)學(xué)士學(xué)位。曾經(jīng)在Amazon Web Services、OctoML和華盛頓大學(xué)擔(dān)任過研究實習(xí)生。

李卓翰，加州大學(xué)伯克利分校計算機科學(xué)博士生，本科畢業(yè)于北京大學(xué)。

他的研究方向主要在ML和分布式系統(tǒng)的交叉點，致力于提高當(dāng)前ML模型的準(zhǔn)確性、效率、可解釋性等性能。

張昊，加州大學(xué)伯克利分校RISE實驗室博士后。

張昊最近致力于大規(guī)模分布式DL，構(gòu)建端到端的可組合和自動化系統(tǒng)；還研究大規(guī)模分布式ML，涉及性能和可用性。

如果你感興趣的話，可以戳下面的鏈接，自己上手體驗一下～

網(wǎng)站demo：
https://opt.alpa.ai

參考資料：
[1]https://arxiv.org/pdf/2201.12023.pdf
[2]https://arxiv.org/pdf/2205.01068.pdf
[3]https://github.com/alpa-projects/alpa