6G顯存玩轉(zhuǎn)130億參數(shù)大模型，僅需13行命令，RTX2060用戶發(fā)來賀電
羊駝家族其他成員也能運(yùn)行
克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
Meta的大語(yǔ)言模型LLaMA 13B，現(xiàn)在用2060就能跑了~
羊駝家族的Alpaca和Vicuna也都能運(yùn)行，顯存最低只需要6G，簡(jiǎn)直是低VRAM用戶的福音有木有。
GitHub上的搭建教程火了之后，網(wǎng)友們紛紛跑來問蘋果M2是不是也能跑。
這通操作的大致原理是利用最新版CUDA，可以將Transformer中任意數(shù)量的層放在GPU上運(yùn)行。
與此前l(fā)lama.cpp項(xiàng)目完全運(yùn)行在CPU相比，用GPU替代一半的CPU可以將效率提高將近2倍。
而如果純用GPU，這一數(shù)字將變成6倍。
網(wǎng)友實(shí)測(cè)的結(jié)果中，使用CPU每秒能跑2.1個(gè)token，而用GPU能跑3.2個(gè)。
生成的內(nèi)容上，開發(fā)者成功用它跑出了“尼采文學(xué)”。
如何操作
在開始搭建之前，我們需要先申請(qǐng)獲得LLaMA的訪問權(quán)限。
傳送門：https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
此外還需要有一個(gè)Linux環(huán)境。（Windows用戶可以用WSL2）
準(zhǔn)備工作完成之后，第一步是將llama.cpp克隆到本地。
如果沒有安裝CUDA，可以參考下面的步驟：
然后是建立micromamba環(huán)境，安裝Python和PyTorch等工具。
接著需要在micromamba環(huán)境下安裝一些包：
然后運(yùn)行Python腳本以執(zhí)行轉(zhuǎn)換過程：
之后將其量化為4bit模式。
接著是新建一個(gè)txt文本文檔，把提示詞輸入進(jìn)去，然后就可以運(yùn)行了。
這步當(dāng)中-ngl后面的數(shù)字是可以修改的，它代表了轉(zhuǎn)換層的數(shù)量。
當(dāng)該值為18時(shí)，運(yùn)行中消耗的VRAM為5.5GB，根據(jù)顯存的大小最高可以調(diào)至40。
網(wǎng)友：AMD不配嗎
這一教程出現(xiàn)之后，網(wǎng)友們的新玩具又增加了。
“苦OpenAI久矣”的網(wǎng)友更是感覺仿佛找到了光。
這位網(wǎng)友就表示自己太期待在自己的設(shè)備上運(yùn)行LLM了，寧愿花5千美元購(gòu)置設(shè)備也不想給OpenAI交一分錢。
但AMD用戶可能就不那么興奮了，甚至透露出了嫉妒之情。
這套方法要用到CUDA（英偉達(dá)專用），所以AMD是不配了嗎？
那么，你期待用自己的設(shè)備跑大語(yǔ)言模型嗎？
參考鏈接：
[1].https://gist.github.com/rain-1/8cc12b4b334052a21af8029aa9c4fafc
[2].https://twitter.com/_akhaliq/status/1657779996247588865
[3].https://news.ycombinator.com/item?id=35937505
相關(guān)閱讀
輕量版ChatGPT訓(xùn)練方法開源！僅用3天圍繞LLaMA打造，號(hào)稱訓(xùn)練速度比OpenAI快15倍
支持個(gè)性化微調(diào)
羊駝家族大模型集體進(jìn)化！32k上下文追平GPT-4，田淵棟團(tuán)隊(duì)出品
與預(yù)訓(xùn)練相比，成本忽略不計(jì)
