揭開(kāi)大模型“偽遺忘”，港理工等團(tuán)隊(duì)：結(jié)構(gòu)不變就是沒(méi)忘

Machine Unlearning團(tuán)隊(duì) 投稿

量子位 | 公眾號(hào) QbitAI

近年來(lái)，大語(yǔ)言模型（LLMs）的能力突飛猛進(jìn)，但隨之而來(lái)的隱私風(fēng)險(xiǎn)也逐漸浮出水面。

訓(xùn)練中暴露的敏感信息往往被模型“記住”，引發(fā)廣泛關(guān)注。

在此背景下，機(jī)器遺忘（Machine Unlearning）技術(shù)應(yīng)運(yùn)而生，目標(biāo)是在不影響整體能力的前提下，有選擇性地抹除特定知識(shí)。

來(lái)自香港理工大學(xué)、卡內(nèi)基梅隆大學(xué)和加州大學(xué)圣克魯茲分校的研究團(tuán)隊(duì)通過(guò)構(gòu)建一套表示空間的診斷工具，系統(tǒng)性地區(qū)分了“可逆性遺忘”與“災(zāi)難性不可逆遺忘”，并首次揭示了遺忘現(xiàn)象背后的表示結(jié)構(gòu)變化規(guī)律——

真正的遺忘只有在多個(gè)網(wǎng)絡(luò)層發(fā)生協(xié)同且大幅度擾動(dòng)時(shí)才會(huì)出現(xiàn)；而相比之下，在高敏感區(qū)域（如輸出logits）中進(jìn)行輕微更新雖然會(huì)顯著降低準(zhǔn)確率或提高困惑度，但模型內(nèi)部表示結(jié)構(gòu)仍可保持完整。

研究人員整理成了一個(gè)統(tǒng)一的表示層分析工具箱，支持診斷LLM在Unlearning/Relearning/Finetuning等過(guò)程中的內(nèi)在變化。

真正的遺忘，是結(jié)構(gòu)性的抹除，而非行為的抑制

研究者提出：“一個(gè)模型若僅僅在token輸出上‘忘記’，而其內(nèi)部結(jié)構(gòu)幾乎未變，那它隨時(shí)可以恢復(fù)原樣?！?/p>

上圖左側(cè)（a）展示了兩種典型遺忘場(chǎng)景：

• 上方：雖然Unlearning階段準(zhǔn)確率急劇下降，但Relearning之后快速恢復(fù)，表示空間保持穩(wěn)定，屬于可逆（災(zāi)難性）遺忘；
• 下方：雖然行為表現(xiàn)下降，但結(jié)構(gòu)嚴(yán)重?cái)_動(dòng)，重訓(xùn)練也難以恢復(fù)，屬于不可逆（災(zāi)難性）遺忘。

右側(cè)（b）則展示了我們構(gòu)建的表示空間分析工具，包括：

• PCA Similarity/Shift
• CKA相似性分析
• Fisher信息矩陣（FIM）

表征空間分析揭示了“遺忘的可逆邊界”

研究者在Yi-6B模型上對(duì)不同方法（GA, GA+KL, NPO, RLabel）進(jìn)行了單次遺忘實(shí)驗(yàn)，比較了三種指標(biāo)：

1. MIA：攻擊者能否識(shí)別遺忘目標(biāo)是否出現(xiàn)過(guò)；
2. F.Acc：遺忘樣本的準(zhǔn)確率；
3. R.Acc：保留樣本的準(zhǔn)確率。

△在不同學(xué)習(xí)率下，多種方法的單次遺忘結(jié)果對(duì)比

進(jìn)一步，研究者探究了不同請(qǐng)求數(shù)量（N）和學(xué)習(xí)率（LR）組合下的變化：

上圖為在持續(xù)遺忘場(chǎng)景下，更大規(guī)模的遺忘實(shí)驗(yàn)配置（N×LR組合）下的性能波動(dòng)。

可視化診斷：模型真的“忘記”了嗎？

PCA Similarity：衡量表示空間主方向變化

研究者發(fā)現(xiàn)，對(duì)于可逆性遺忘，其表示空間在Relearning后高度恢復(fù)原始主方向，而不可逆性遺忘則呈現(xiàn)廣泛漂移：

△各層PCA主方向變化（Cosine相似度）分析

PCA Shift：量化表示分布中心的偏移程度

對(duì)于不可逆性遺忘，其“表示漂移”不僅方向變化，更伴隨大尺度的空間位移，Relearning難以還原：

△各階段的PCA散點(diǎn)漂移示意圖

CKA：表示空間結(jié)構(gòu)相似性分析

Linear CKA揭示了各層之間的結(jié)構(gòu)保留程度?？赡嫘詧?chǎng)景下，CKA幾乎未受破壞，而不可逆性場(chǎng)景則迅速退化為低相關(guān)結(jié)構(gòu)：

△CKA曲線分析（逐層）

Fisher信息矩陣：重要參數(shù)的擾動(dòng)程度

FIM從參數(shù)空間的角度提供了視角。研究人員聚焦Layer 31，觀察其Fisher分布是否仍保留原始結(jié)構(gòu)。

更復(fù)雜任務(wù)：可逆性能否擴(kuò)展至復(fù)雜任務(wù)？

在Qwen2.5-7B上，研究者擴(kuò)展實(shí)驗(yàn)至MATH和GSM8K推理任務(wù)。盡管任務(wù)復(fù)雜，他們依然觀察到“受控Relearning”可帶來(lái)準(zhǔn)確率恢復(fù)，尤其在可逆場(chǎng)景中甚至超越初始性能。

△MATH與GSM8K任務(wù)下各方法表現(xiàn)對(duì)比

結(jié)論

研究者從結(jié)構(gòu)層面系統(tǒng)剖析了大模型遺忘的可逆性，得出以下核心結(jié)論：

1. 持續(xù)遺忘風(fēng)險(xiǎn)遠(yuǎn)高于單次操作，GA/RLabel破壞性強(qiáng)
   單次遺忘多數(shù)可恢復(fù)，而持續(xù)性遺忘（如100條請(qǐng)求）易導(dǎo)致徹底崩潰。GA、RLabel易過(guò)度遺忘，GA+KL、NPO類方法能顯著提高穩(wěn)定性。
2. 真正的遺忘表現(xiàn)為結(jié)構(gòu)漂移而非輸出下降
   不可逆遺忘伴隨PCA主方向旋轉(zhuǎn)、分布漂移、Fisher質(zhì)量下降；僅憑token-level指標(biāo)難以揭示這種深層變化。
3. 遺忘可能帶來(lái)隱式增強(qiáng)效果
   在部分場(chǎng)景中，Relearning后模型對(duì)遺忘集的表現(xiàn)優(yōu)于原始狀態(tài)，提示Unlearning可能具有對(duì)比式正則化或課程學(xué)習(xí)效果。
4. 結(jié)構(gòu)診斷工具支持可控性遺忘設(shè)計(jì)
   PCA/CKA/FIM不僅揭示是否崩潰，更可定位破壞位置，為實(shí)現(xiàn)“可控、局部、不可逆”的安全遺忘機(jī)制奠定基礎(chǔ)。

本工作由Xiaoyu Xu, Xiang Yue, Yang Liu, Qingqing Ye, Haibo Hu, Minxin Du 共同完成。

論文地址：https://arxiv.org/abs/2505.16831
Github地址：https://github.com/XiaoyuXU1/Representational_Analysis_Tools.git

— 完 —