重訓(xùn)「羊駝」大模型并徹底開放商用，UC伯克利博士生：Meta不愿做就自己做

豐色 2023-06-21 14:43:12 來源：量子位

豐色 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

Meta“羊駝”（LLaMA）的開源可商用復(fù)現(xiàn)品OpenLLaMA發(fā)布重大更新：

在1T token上訓(xùn)練出來的130億參數(shù)版本現(xiàn)已正式上線。

至此，這一訓(xùn)練量和原版羊駝已完全一致。

與此同時，之前發(fā)布的70億以及30億參數(shù)版本也完成了1T token的訓(xùn)練，并發(fā)布PyTorch和JAX權(quán)重。

可謂“一家人整整齊齊”。

性能測試顯示，OpenLLaMA在多項任務(wù)中的表現(xiàn)都與原始LLaMA相當(dāng)，并且不乏超越的情況。

一個徹底開源且供商用的LLaMA競品家族就此誕生了。

目前，OpenLLaMA在GitHub上的標(biāo)星數(shù)已近5k。

重訓(xùn)“羊駝”，最香替代品全面開放商用

OpenLLaMA是UC伯克利的博士生Hao Liu發(fā)起的項目（Xinyang Geng擁有同等貢獻(xiàn)，也是該校博士生）。

它在Together公司發(fā)布的RedPajama數(shù)據(jù)集上訓(xùn)練，該數(shù)據(jù)集其實(shí)也是LLaMA訓(xùn)練集的復(fù)制品，一共包含1.2T token。

除了數(shù)據(jù)集不太一樣之外，OpenLLaMA使用了與原始LLaMA完全相同的預(yù)處理步驟和訓(xùn)練超參數(shù)，包括模型架構(gòu)、上下文長度、訓(xùn)練步驟、學(xué)習(xí)率時間表和優(yōu)化器，可以說是“重訓(xùn)”了一把。

今年5月，該團(tuán)隊率先發(fā)布了70億參數(shù)版本，不過當(dāng)時訓(xùn)練token還是3000億。

按照計劃，如今和原LLaMA訓(xùn)練數(shù)據(jù)量一致的130億參數(shù)版本和70億、30億版本一同發(fā)布。

據(jù)介紹，130億版本是與Stability AI合作訓(xùn)練的，后者主要提供計算資源（當(dāng)初Stable Diffusion也是這么與Stability AI合作）。

和另外兩個版本一樣，OpenLLaMA-13B也以兩種格式發(fā)布權(quán)重：

一是用于Hugging Face transformer的PyTorch格式。

使用該格式時需要注意先避免使用Hugging Face快速分詞器（tokenizer），因為它的自動轉(zhuǎn)換功能有時會給出不正確的tokenization。

所以可以先直接使用LlamaTokenizer class來實(shí)現(xiàn)，或者用AutoTokenizer class，將use_fast賦為False。

二是用于EasyLM框架的EasyLM格式。

在此請注意，與原始LLaMA不同，該OpenLLaMA的分詞器和權(quán)重是完全從頭開始訓(xùn)練的，因此不再需要獲取原始 LLaMA的這倆信息。

接下來，在訓(xùn)練量已達(dá)成一致的情況下，看OpenLLaMA各規(guī)模模型的性能表現(xiàn)如何。

在這里，作者使用EleutherAI發(fā)布的自回歸語言模型few-shot評估框架（lm-evaluation-harness）對兩只“羊駝”進(jìn)行評估，以及還加入了“第三者”：

EleutherAI在Pile數(shù)據(jù)集上訓(xùn)練的60億參數(shù)模型GPT-J，它的訓(xùn)練token數(shù)是5000億。

需要注意的是，可能是因為不同的評估協(xié)議，作者跑出來的LLaMA結(jié)果與原始LLaMA略有不同。

以下是結(jié)果：

紅色小方框為OpenLLaMA超過或者與原LLaMA表現(xiàn)一樣的情況。

在紅框之外，兩者的差距也不大。

而從平均表現(xiàn)來看，OpenLLaMA-7B和LLaMA-7B得分都是0.55，OpenLLaMA-13B和LLaMA-13B也都一樣，為0.57，主打一個勢均力敵。

與此同時，只有30億參數(shù)的OpenLLaMA平均性能超越60億參數(shù)的GPT-J。

Meta也要發(fā)可商用大模型了

特斯拉前AI高級總監(jiān)Andrej Karpathy在上個月的微軟Build大會的演講上，曾多次表達(dá)一個意思：

LLaMA-65b就是目前最好的開源基礎(chǔ)模型，可惜沒能商用。

現(xiàn)在，650億的商用平替羊駝雖然還沒出現(xiàn)，130億和70億是已經(jīng)妥妥安排好了。

不過，也有一則好消息。

就在幾天前，據(jù)The Information爆料，Meta AI正計劃發(fā)布一個新的LLM，并且免費(fèi)供大家商用。

有觀點(diǎn)指出，在如今行業(yè)大佬如谷歌Bard和OpenAI ChatGPT都“緊閉大門”的情況下，Meta這一做法可能會引發(fā)連鎖反應(yīng)，并且開源模型和閉源模型的差距會越來越小。

就且拭目以待。

關(guān)于OpenLLaMA的所有相關(guān)鏈接：
https://github.com/openlm-research/open_llama
https://huggingface.co/openlm-research/open_llama_13b

本文參考鏈接還包括：
https://www.artisana.ai/articles/metas-plan-to-offer-free-commercial-ai-models-puts-pressure-on-google-and