輕量版ChatGPT訓(xùn)練方法開源！僅用3天圍繞LLaMA打造，號稱訓(xùn)練速度比OpenAI快15倍
支持個性化微調(diào)
蕭簫 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
基于Meta模型打造的輕量版ChatGPT，這就來啦？
Meta宣布推出LLaMA才三天，業(yè)界就出現(xiàn)了把它打造成ChatGPT的開源訓(xùn)練方法，號稱比ChatGPT訓(xùn)練速度最高快15倍。
LLaMA是Meta推出的超快超小型GPT-3，參數(shù)量只有后者的10%，只需要單張GPU就能運行。
把它變成ChatGPT的方法名叫ChatLLaMA，基于RLHF（基于人類反饋的強化學(xué)習(xí)）進行訓(xùn)練，在網(wǎng)上很快掀起了一陣熱度。
所以，Meta的開源版ChatGPT真的要來了？
先等等，事情倒也沒那么簡單。
把LLaMA訓(xùn)練成ChatGPT的“開源方法”
點進ChatLLaMA項目主頁來看，會發(fā)現(xiàn)它實際上集成了四個部分——
DeepSpeed、RLHF方法、LLaMA和基于LangChain agent生成的數(shù)據(jù)集。
其中，DeepSpeed是一個開源深度學(xué)習(xí)訓(xùn)練優(yōu)化庫，包含名叫Zero的現(xiàn)存優(yōu)化技術(shù)，用于提升大模型訓(xùn)練能力，具體指幫模型提升訓(xùn)練速度、降低成本、提升模型可用性等。
RLHF則會采用獎勵模型來對預(yù)訓(xùn)練模型進行微調(diào)。獎勵模型即先用多個模型生成問題問答，再依靠人工對問答進行排序，讓它學(xué)會打分；隨后，基于獎勵學(xué)習(xí)給模型生成的回答進行打分，通過強化學(xué)習(xí)的方式增強模型能力。
LangChain是一個大語言模型應(yīng)用開發(fā)庫，希望將各種大語言模型整合起來，結(jié)合其他知識來源或計算能力創(chuàng)建一個實用的應(yīng)用程序。LangChain agent則會像思維鏈一樣放出GPT-3思考的全過程，將操作記錄下來。
這時候你會發(fā)現(xiàn)，最關(guān)鍵的依舊是LLaMA的模型權(quán)重。它從哪里來？
嘿嘿，自己去找Meta申請吧，ChatLLaMA并不提供。（雖然Meta聲稱開源LLaMA，但依舊需要申請）
所以本質(zhì)上來說，ChatLLaMA并不是一個開源ChatGPT項目，而只是一種基于LLaMA的訓(xùn)練方法，其庫內(nèi)集成的幾個項目原本也都是開源的。
實際上，ChatLLaMA也并非由Meta打造，而是來自一個叫做Nebuly AI的初創(chuàng)AI企業(yè)。
Nebuly AI做了一個叫做Nebullvm的開源庫，里面集成了一系列即插即用的優(yōu)化模塊，用于提升AI系統(tǒng)性能。
例如這是Nebullvm目前包含的一些模塊，包括基于DeepMind開源的AlphaTensor算法打造的OpenAlphaTensor、自動感知硬件并對其進行加速的優(yōu)化模塊……
ChatLLaMA也在這一系列模塊中，但要注意的是它的開源license也是不可商用的。
所以“國產(chǎn)自研ChatGPT”想要直接拿去用，可能還沒那么簡單（doge）。
看完這個項目后，有網(wǎng)友表示，要是有人真搞到LLaMA的模型權(quán)重（代碼）就好了……
但也有網(wǎng)友指出，“比ChatGPT訓(xùn)練方法快15倍”這種說法是一個純純的誤導(dǎo)：
所謂的快15倍只是因為LLaMA模型本身很小，甚至能在單個GPU上運行，但應(yīng)該不是因為這個項目所做的任何事情吧？
這位網(wǎng)友還推薦了一個比庫中效果更好的RLHF訓(xùn)練方法，名叫trlx，訓(xùn)練速度要比通常的RLHF方法快上3~4倍：
你拿到LLaMA的代碼了嗎？覺得這個訓(xùn)練方法如何？
ChatLLaMA地址：
https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama
參考鏈接：
https://twitter.com/omarsar0/status/1630211059876339713
相關(guān)閱讀
AI扮演Linux虛擬機，能管理文件&編程&開瀏覽器，還能跟自己「套娃」聊天 | ChatGPT新玩法
DeepMind研究者玩出了花。
