“Transformer挑戰(zhàn)者”Mamba，用Macbook也能跑了！GitHub半天斬獲500+星
只需一份PyTorch筆記
克雷西 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
“Transformer的挑戰(zhàn)者”Mamba，用MacBook也能跑了！
有大佬在GitHub上共享了一份筆記，讓人們可以用最簡單的方式運(yùn)行Mamba。
這份共享中，算上說明書一共只有三個(gè)文件，而且發(fā)布不到一天，就斬獲了500+星標(biāo)。
Mamba是一種新的大模型架構(gòu)，在語言任務(wù)上的表現(xiàn)可以與兩倍規(guī)模的Transformer一決雌雄。
但官方給出的只有模型文件，需要一定專業(yè)知識才能部署使用，而且要Linux+N卡才能運(yùn)行。
有了這份筆記，Mamba的運(yùn)行步驟大大簡化，而且也不再要求N卡，M系列的MacBook也能跑了。
從事相關(guān)專業(yè)的網(wǎng)友看了表示，這種簡單化的模型實(shí)在是太棒了，希望自己的工作也能朝著這個(gè)方向進(jìn)展。
原版Mamba的作者Tri Dao和Albert Gu也轉(zhuǎn)發(fā)了這份筆記，并對它的簡潔性和易讀性給予了肯定。
那么，這份筆記該如何使用呢？
兩個(gè)文件即可運(yùn)行
首先，打開一個(gè)能運(yùn)行PyTorch筆記的工具，比如Jupyter、VSCode，或者在線的谷歌Colab等。
然后下載作者的筆記和Python腳本，用Colab的話也可以使用GitHub導(dǎo)入功能。
如果在本地運(yùn)行，需要把兩個(gè)文件放到同一個(gè)目錄；如果用Colab，則需要在連接成功后把model.py上傳。
△如果不上傳，會(huì)出現(xiàn)“找不到‘model’”的報(bào)錯(cuò)
之后是安裝所需的依賴環(huán)境，Colab需要手動(dòng)安裝的是einops，其他工具可以根據(jù)報(bào)錯(cuò)信息判斷缺少的依賴。
!pip install 需要安裝的依賴名稱
解決好依賴問題后，就可以點(diǎn)擊筆記第一組中的運(yùn)行按鈕了，這里可以對模型規(guī)模進(jìn)行選擇，默認(rèn)370M。
接下來是初始化，直接點(diǎn)擊運(yùn)行按鈕即可。
這里也可以對輸出token的數(shù)量進(jìn)行調(diào)節(jié)，默認(rèn)是50。
接著，筆記中給出了一些實(shí)例，我們也可以修改單引號之間的prompt內(nèi)容（換行用n表示），然后點(diǎn)擊運(yùn)行。
不過需要注意的是，這里的prompt和我們平時(shí)用ChatGPT等bot型應(yīng)用的方式有所區(qū)別。
這里可以借用一下Hugging Face中Llama 2的系統(tǒng)提示詞：
Below are a series of dialogues between various people and an AI assistant. The AI tries to be helpful, polite, honest, sophisticated, emotionally aware, and humble-but-knowledgeable. The assistant is happy to help with almost anything, and will do its best to understand exactly what is needed. It also tries to avoid giving false or misleading information, and it caveats when it isn’t entirely sure about the right answer. That said, the assistant is practical and really does its best, and doesn’t let caution get too much in the way of being useful.
User: 想問的問題
Assistant:
性能上，在默認(rèn)的規(guī)模和輸出長度（370M，50token）下，輸入Once Upon a time，在純CPU版Colab中需用時(shí)約1分鐘，在TPU上的用時(shí)則約為30秒，內(nèi)存消耗在3到4GB之間。
在M1芯片的Mac上，以相同設(shè)置處理同樣的內(nèi)容，則需花費(fèi)1分半左右。
不過作者也解釋道，出于易讀性的考慮，去掉了原版Mamba中的一些加速指令。
參考鏈接：
https://news.ycombinator.com/item?id=38708730
GitHub項(xiàng)目頁：
https://github.com/johnma2006/mamba-minimal
相關(guān)閱讀
