復(fù)旦邱錫鵬新作：單機(jī)微調(diào)650億參數(shù)大模型，業(yè)內(nèi)人士：對大模型普及意義重大
開源黨狂喜
魚羊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
單臺機(jī)器，就能微調(diào)全參數(shù)羊駝大模型！
這一令開源黨狂喜的最新成果，來自復(fù)旦邱錫鵬團(tuán)隊。
具體而言，研究人員提出了名為LOMO（低內(nèi)存優(yōu)化）的新優(yōu)化器，并在配備8卡RTX 3090（24GB內(nèi)存）的單臺服務(wù)器上，成功微調(diào)65B LLaMA。
論文一經(jīng)發(fā)布，就引發(fā)了不少討論——
在GPT-4掀起狂潮之后，人們在驚嘆于大語言模型能力的同時，正在越來越多地思考模型控制權(quán)的問題。
有業(yè)內(nèi)人士對此感到十分興奮：
對于大模型普及來說，單機(jī)微調(diào)LLaMA 65B具有非常重要的意義！
我曾夢想每個人都至少可以微調(diào)Chinchilla（700億參數(shù)，DeepMind出品）這種規(guī)模和質(zhì)量的模型，現(xiàn)在復(fù)旦做到了這一點。
單機(jī)微調(diào)650億參數(shù)大模型
論文的主要貢獻(xiàn)LOMO（Low-Memory Optimization）優(yōu)化器，想要解決的是有限資源條件下，大模型全參數(shù)微調(diào)的難題。
研究人員指出，在訓(xùn)練大語言模型的過程中，優(yōu)化器狀態(tài)占用了大部分內(nèi)存。比如Adam，就會把中間狀態(tài)存儲下來，而這些狀態(tài)的大小能達(dá)到參數(shù)大小的2倍。
因此，復(fù)旦團(tuán)隊的優(yōu)化思路是這樣的：
第一步，從算法角度重新思考優(yōu)化器的功能。?由于SGD（隨機(jī)梯度下降）不存儲任何中間狀態(tài)，因此這是一個很好的替代方案。問題在于，SGD中梯度計算和參數(shù)更新是分開執(zhí)行的，仍可能會導(dǎo)致梯度張量過大，內(nèi)存使用率高。
于是，研究人員提出了LOMO，將梯度計算和參數(shù)更新合二為一，避免存儲任何梯度張量，以減少內(nèi)存占用量。
為了穩(wěn)定LOMO的混合精度訓(xùn)練，研究人員還采取了以下步驟。
- 梯度歸一化：將梯度應(yīng)用于模型參數(shù)之前，對梯度進(jìn)行歸一化。
- 損失縮放：在計算梯度之前，用損失函數(shù)乘以縮放系數(shù)。
- 在訓(xùn)練期間將某些計算轉(zhuǎn)換為全精度
研究人員分析了使用不同優(yōu)化器的訓(xùn)練過程中，模型狀態(tài)和激活的內(nèi)存使用情況。
可以看到，與AdamW相比，LOMO的內(nèi)存占用從102.20GB降低到了14.58GB。
吞吐量測試的結(jié)果則顯示，在配備8塊RTX 3090顯卡的服務(wù)器上，LOMO可以hold得住LLaMA 65B的訓(xùn)練。
研究人員提到，使用這樣的服務(wù)器配置和LOMO，在1000個樣本上進(jìn)行訓(xùn)練，每個樣本包含512個token，訓(xùn)練時間大約為3.6小時。
研究人員還在SuperGLUE基準(zhǔn)測試上，比較了LOMO與Zero-shot、LoRA的下游任務(wù)性能。
結(jié)果顯示，在6個數(shù)據(jù)集和不同大小模型中，LOMO的表現(xiàn)均好于Zero-shot。在大部分實驗中，LOMO的表現(xiàn)優(yōu)于LoRA。
當(dāng)然啦，盡管在大模型訓(xùn)練中，8塊3090并不是高配，但對于普通人來說，還是有點不親民。
有不少網(wǎng)友就吐槽說：8塊3090還能叫資源有限嗎？
不過，也有人認(rèn)為，這仍然是個好消息。
雖然不太可能擁有這樣的服務(wù)器配置，但租這個配置的機(jī)器也不算貴。
另一邊，研究人員也坦承了論文的局限性，并表示將進(jìn)一步降低訓(xùn)練大語言模型的資源門檻。
目前，使用LOMO訓(xùn)練時，大部分內(nèi)存被參數(shù)占用。因此，一個有前景的方向是探索參數(shù)量化技術(shù)，這可能會大大減少內(nèi)存使用。
LOMO一作呂凱，是論文通訊作者、復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院邱錫鵬教授門下的碩士生。本科同樣畢業(yè)于復(fù)旦大學(xué)。
此前，復(fù)旦開源的MOSS大模型，正是來自邱錫鵬團(tuán)隊。
論文地址：
https://arxiv.org/abs/2306.09782
項目地址：
https://github.com/OpenLMLab/LOMO
— 完 —
相關(guān)閱讀
