量化能讓大模型“恢復(fù)記憶”，刪掉的隱私版權(quán)內(nèi)容全回來(lái)了

西風(fēng) 2024-11-16 19:41:39 來(lái)源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

4-bit量化，能讓現(xiàn)有反學(xué)習(xí)/機(jī)器遺忘技術(shù)失靈！

也就是大模型在人類要求下“假裝”忘記了特定知識(shí)（版權(quán)、私人內(nèi)容等），但有手段能讓它重新“回憶”起來(lái)。

最近，來(lái)自賓夕法尼亞州立大學(xué)、哈佛大學(xué)、亞馬遜團(tuán)隊(duì)的一項(xiàng)新研究在reddit、Hacker News上引起熱議。

他們發(fā)現(xiàn)對(duì)“失憶”的模型量化（quantization），可以部分或甚至完全恢復(fù)其已遺忘的知識(shí)。

原因是在量化過程中，模型參數(shù)的微小變化可能導(dǎo)致量化后的模型權(quán)重與原始模型權(quán)重相同。

看到這項(xiàng)研究后，不少網(wǎng)友也表示有點(diǎn)意外：

從信息理論的角度來(lái)看這有點(diǎn)出人意料，似乎已經(jīng)在完整的32-bit中成功移除了這些知識(shí)，但當(dāng)你將其壓縮到4-bit時(shí)，知識(shí)又重新出現(xiàn)了。

這讓人不禁想知道在壓縮/量化步驟中到底丟失了什么信息。

可能這些知識(shí)從未真正丟失，只是被隱藏了。

如果我們把神經(jīng)網(wǎng)絡(luò)看作是代碼，權(quán)重就是源代碼，微調(diào)實(shí)際上可能有效地修改了這些代碼，以阻止返回某些結(jié)果。

因此，你可能只是在某些輸出周圍建立了防火墻。但量化可能使這些最近的編輯消失，它們太微小而無(wú)法保留。

值得一提的是，團(tuán)隊(duì)提出了一種緩解此問題的策略。

這種策略通過構(gòu)建模塊級(jí)別的顯著性圖來(lái)指導(dǎo)遺忘過程，只更新與遺忘數(shù)據(jù)最相關(guān)的模型部分，從而在保持模型效用的同時(shí)，減少量化后知識(shí)恢復(fù)的風(fēng)險(xiǎn)。

話不多說(shuō)，具體來(lái)康康。

讓失憶的大模型重新記起來(lái)

大模型在訓(xùn)練過程中可能會(huì)無(wú)意學(xué)習(xí)到人類不希望它保留的知識(shí)，例如版權(quán)和私人內(nèi)容。為了解決這個(gè)問題，研究者們此前提出了反學(xué)習(xí)（machine unlearning）的概念，旨在不重新訓(xùn)練模型的情況下，從模型中移除特定知識(shí)。

現(xiàn)有的主流反學(xué)習(xí)方法包括梯度上升（GA）和負(fù)向偏好優(yōu)化（NPO）兩大類，通常會(huì)采用較小的學(xué)習(xí)率并加入效用約束，以在遺忘特定內(nèi)容的同時(shí)保持模型的整體性能。

用于優(yōu)化模型遺忘的最常用數(shù)學(xué)表達(dá)式是：

再來(lái)看量化，考慮一組或一塊權(quán)重w，線性操作可以表示為y=wx，量化后為y=Q(w)x，其中 Q(?)是量化函數(shù)：

在這項(xiàng)研究中，研究人員使用Q(f)表示量化后的模型f。因此，實(shí)施一個(gè)反學(xué)習(xí)法然后對(duì)遺忘后的模型進(jìn)行量化可以寫為：

研究人員評(píng)估了針對(duì)大模型的六種有效的反學(xué)習(xí)方法——結(jié)合NPO、GA兩種策略，在保留集上進(jìn)行梯度下降（GDR）或最小化KL散度（KLR），形成了GA、GA_GDR、GA_KLR、NPO、NPO_GDR、NPO_KLR。

結(jié)果顯示，這些方法在經(jīng)過量化后會(huì)出現(xiàn)“災(zāi)難性失敗”。

具體表現(xiàn)為，在全精度下，加入效用約束的反學(xué)習(xí)法平均保留21%的目標(biāo)遺忘知識(shí)，但經(jīng)過4-bit量化后，這一比例急劇上升到83%。

這意味著大部分被“遺忘”的知識(shí)通過簡(jiǎn)單的量化操作就能恢復(fù)。

實(shí)驗(yàn)中還使用了不同位數(shù)的量化，包括4-bit和8-bit量化，量化精度對(duì)遺忘效果也有顯著影響，8-bit量化的影響相對(duì)較小，模型表現(xiàn)接近全精度版本，但在4-bit量化下，遺忘性能顯著惡化。

實(shí)驗(yàn)在NEWS（BBC新聞文章）和BOOKS（哈利波特系列）等基準(zhǔn)數(shù)據(jù)集上進(jìn)行，使用了四個(gè)評(píng)估指標(biāo)：

逐字記憶（VerMem，評(píng)估逐字復(fù)制能力）、知識(shí)記憶（KnowMem，評(píng)估知識(shí)問答能力）、隱私泄露（PrivLeak，基于成員推理攻擊評(píng)估隱私保護(hù)程度）以及保留集效用（評(píng)估模型在非遺忘數(shù)據(jù)上的表現(xiàn)）。

研究人員還分析了各種量化技術(shù)對(duì)遺忘的影響，用GPTQ和AWQ兩種先進(jìn)的4-bit量化法在相同的實(shí)驗(yàn)設(shè)置下進(jìn)行實(shí)驗(yàn)，NEWS數(shù)據(jù)集上的結(jié)果如下：

GPTQ和AWQ的表現(xiàn)與RTN相似。

盡管研究人員表示已努力有效地調(diào)整參數(shù)，但校準(zhǔn)數(shù)據(jù)集是通用的，而不是針對(duì)遺忘數(shù)據(jù)集的領(lǐng)域進(jìn)行定制，這意味著GPTQ和AWQ仍然可能保留了本應(yīng)被遺忘的知識(shí)。

為什么？怎么辦？

經(jīng)分析，研究人員認(rèn)為這一問題的根本原因在于：

現(xiàn)有反學(xué)習(xí)法為了保持模型效用而使用較小的學(xué)習(xí)率和效用約束，導(dǎo)致模型權(quán)重變化很小，在量化過程中原模型和遺忘后模型的權(quán)重很容易被映射到相同的離散值，從而使被遺忘的知識(shí)重新顯現(xiàn)。

由此，研究人員提出了一種稱作SURE（Saliency-Based Unlearning with a Large Learning Rate）的框架作為改進(jìn)方案。

該框架通過構(gòu)建模塊級(jí)顯著性圖來(lái)指導(dǎo)遺忘過程，選擇性地對(duì)與遺忘數(shù)據(jù)最相關(guān)的組件使用較大的學(xué)習(xí)率，同時(shí)最小化對(duì)其它功能的影響。

通過實(shí)驗(yàn)，驗(yàn)證了SURE策略防止量化后遺忘知識(shí)恢復(fù)的有效性，并且與現(xiàn)有的反學(xué)習(xí)方法相比，SURE在全精度模型上實(shí)現(xiàn)了可比的遺忘性能和模型效用。

研究人員還探討了SURE策略中不同閾值對(duì)遺忘性能的影響，發(fā)現(xiàn)適度的閾值可以在遺忘性能和模型效用之間取得平衡。

更多細(xì)節(jié)，感興趣的童鞋可以查閱原論文，代碼已在GitHub上公開。

論文鏈接：https://arxiv.org/pdf/2410.16454

參考鏈接：
[1]https://news.ycombinator.com/item?id=42037982
[2]https://github.com/zzwjames/FailureLLMUnlearning