港大北航等1bit大模型引熱議，IEEE刊物評“解決AI能源需求”！作者親自解讀在此

明敏 2024-06-09 16:01:31 來源：量子位

BiLLM團(tuán)隊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

極限量化，把每個參數(shù)占用空間壓縮到1.1bit！

IEEE Spectrum專欄，一種名為BiLLM的訓(xùn)練后量化（PTQ）方法火了。

通俗來講，隨著LLM參數(shù)規(guī)模越來越大，模型計算的內(nèi)存和資源也面臨著更大的挑戰(zhàn)。如何把模型變得小巧經(jīng)濟(jì)實惠，能塞進(jìn)手機(jī)等設(shè)備中？

BiLLM解決的正是這樣的一個問題。它使用1bit來近似網(wǎng)絡(luò)中的大多數(shù)參數(shù)，使用2bit來表示一些對性能最有影響的權(quán)重。

實驗測試中，研究人員對OPT模型、Llama系列進(jìn)行了二值化。

在OPT模型家族上，BiLLM以1.1bit的平均權(quán)重大小實現(xiàn)了目前最極限的LLM訓(xùn)練后壓縮；在Llama系列模型上，BiLLM在1.08bit下的表現(xiàn)甚至超過了使用全精度的OPT-66B模型。

效率方面，BiLLM能夠在單個GPU上半小時內(nèi)完成7B LLM的二值化。

BiLLM發(fā)布當(dāng)天，便引發(fā)了網(wǎng)友對大模型優(yōu)化的熱議，有網(wǎng)友就表示：

量化不是沒有代價。Llama3模型的量化效果比Llama2模型要差，量化過程中的質(zhì)量損失更大。

直覺是，一個訓(xùn)練不足的模型受到量化的影響較小，因為其訓(xùn)練過程并沒有充分利用每一個權(quán)重。關(guān)于Llama的一個關(guān)鍵發(fā)現(xiàn)，以及它為何能在其大小范圍內(nèi)表現(xiàn)出色，是因為它們在比文獻(xiàn)中所謂的“最佳”狀態(tài)更大的數(shù)據(jù)集上訓(xùn)練了更長時間。

綜合這些因素，似乎可以得出以下結(jié)論：小型模型、大量數(shù)據(jù)、長時間訓(xùn)練>大型模型+量化?；旧希炕且环N用于縮短長時間訓(xùn)練的損失性的捷徑。數(shù)據(jù)的數(shù)量和質(zhì)量，一如既往是所有這些中最重要。

這項研究由香港大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、北京航空航天大學(xué)聯(lián)合推出，目前已被ICML 2024接收。

量子位也聯(lián)系到了作者，給大伙兒解讀一下。

LLM權(quán)重分布探究

為了應(yīng)對超低位寬下大語言模型的能力崩潰問題，研究人員對多個預(yù)訓(xùn)練大語言模型的權(quán)重和其Hessian矩陣（損失的二階梯度）分布情況進(jìn)行了初步研究，得到以下觀察：

首先，研究人員發(fā)現(xiàn)大語言模型的Hessian矩陣表現(xiàn)出極端的長尾分布特性。

這也意味著大多數(shù)位置權(quán)重的變化對模型的輸入輸出并不敏感，而少部分元素對于權(quán)重的輸出非常敏感。

其次，大語言模型中的權(quán)重密度遵循不均勻的鐘形分布形式。

這種鐘形分布在特征方面與高斯分布或拉普拉斯分布非常相似，即大多數(shù)權(quán)重集中在0附近，整體呈現(xiàn)非均勻的鐘形分布。

上述觀察表明大多數(shù)權(quán)重在LLM當(dāng)中是冗余的，而少部分權(quán)重發(fā)揮著極其重要的作用；同時，在極端的二值化壓縮場景下，這種非均勻鐘形分布會產(chǎn)生更大的量化誤差。

對此，研究人員對少部分顯著權(quán)重和大部分非顯著權(quán)重分別提出了二階殘差逼近和最優(yōu)鐘形分組方法進(jìn)行量化，在1.1bit的權(quán)重下首次實現(xiàn)了LLM的性能保證。

△LLM權(quán)重分布現(xiàn)象

顯著權(quán)重：二階殘差逼近

研究人員發(fā)現(xiàn)，顯著權(quán)重往往積聚在特定的通道當(dāng)中。

因此， BiLLM采用一種通道級別的分組方式來區(qū)分顯著權(quán)重和非顯著權(quán)重。這種結(jié)構(gòu)化劃分相比于非結(jié)構(gòu)化處理引入的開銷可以忽略不計，對硬件部署十分友好。

△顯著通道權(quán)重二階殘差逼近示意圖

由于顯著權(quán)重的重要性，先前工作往往直接將這部分權(quán)重保存為原精度或量化到8-bit來保證LLM的性能。然而，這種方式會導(dǎo)致整體位寬的增加。

為此，研究人員開發(fā)了一種用二值化殘差逼近方法作用于顯著通道的權(quán)重。

這一方法通過直接二值化和殘差二值化有效降低了顯著權(quán)重的極端量化誤差。與直接保留顯著權(quán)值為16位或者8位相比，該方法僅通過2位開銷存儲顯著權(quán)值，同時有效保護(hù)了權(quán)重中的重要元素。

非顯著權(quán)重：最優(yōu)鐘形劃分

由于顯著通道數(shù)量極低，剩余的大部分權(quán)重仍然保持著鐘形分布。

同時，在排除顯著權(quán)重影響的情況下變得更加對稱。由于二進(jìn)制量化代表均勻量化的極端形式，直接將鐘形分布下的權(quán)重舍入到二值權(quán)重會帶來巨大的的量化誤差。

因此研究人員對這部分權(quán)重采用了分組二值化的方式，通過自動搜索策略尋找最優(yōu)的分割點。

此外，研究結(jié)果表明，盡管非顯著權(quán)重并非理想的高斯分布或拉普拉斯分布，但搜索函數(shù)的誤差曲線仍然表現(xiàn)出凸性，證實了最佳分割點的存在。

△非顯著權(quán)重分布搜索（左），搜索誤差曲線的凸性（右）

同時由于外側(cè)分組的數(shù)值方差較大，搜索中總是以較小的比例出現(xiàn)（0.5%～3%）?？梢赃M(jìn)一步采用稀疏行壓縮的策略來進(jìn)行分組標(biāo)識，進(jìn)一步提升細(xì)粒度分組方案下的硬件友好性。

實驗結(jié)果

研究團(tuán)隊在OPT和Llama系列模型上驗證了BiLLM性能。此外，考慮到LLM通常需要基于指令進(jìn)行微調(diào)以適應(yīng)不同的應(yīng)用環(huán)境，實驗還報告了Vicuna-7B和Vicuna-13B的量化結(jié)果。

BiLLM在平均1.1bit權(quán)重時，在多個評價指標(biāo)上實現(xiàn)了超過GPTQ，PB-LLM等方法在2-bit時的性能，同時在部分模型體積上接近3-bit權(quán)重的性能。

結(jié)果表明， BiLLM 率先在接近1位的平均比特率下實現(xiàn)了LLM性能保證，推動了LLM無訓(xùn)練量化的邊界。

△opt系列困惑度對比結(jié)果

△Llama系列困惑度對比結(jié)果

△Zero-Shot評測數(shù)據(jù)集對比結(jié)果

BiLLM在Llama-13B和Vicuna-7B上實現(xiàn)了更好對話效果。

論文鏈接：https://arxiv.org/abs/2402.04291

參考鏈接：
[1]https://spectrum.ieee.org/1-bit-llm
[2]https://news.ycombinator.com/item?id=40529355