首次發(fā)現(xiàn)！數(shù)據(jù)異構(gòu)影響聯(lián)邦學(xué)習(xí)模型，關(guān)鍵在于表征維度坍縮

夢(mèng)晨 2023-03-05 13:55:10 來(lái)源：量子位

施宇鈞NUS 投稿
量子位 | 公眾號(hào) QbitAI

隨著深度學(xué)習(xí)大獲成功，保護(hù)用戶數(shù)據(jù)隱私變得越來(lái)越重要。

聯(lián)邦學(xué)習(xí)（Federated Learning）應(yīng)運(yùn)而生，這是一種基于隱私保護(hù)的分布式機(jī)器學(xué)習(xí)框架。

它可以讓原始數(shù)據(jù)保留在本地，讓多方聯(lián)合共享模型訓(xùn)練。

但它有一個(gè)問(wèn)題——數(shù)據(jù)的異質(zhì)化（data heterogeneity），即不同的參與方的本地?cái)?shù)據(jù)來(lái)自不同的分布，這將嚴(yán)重影響全局模型的最終性能，背后原因也十分復(fù)雜。

字節(jié)跳動(dòng)、新加坡國(guó)立大學(xué)及中科院自動(dòng)化所的學(xué)者們首次發(fā)現(xiàn)了關(guān)鍵影響因素。

即：數(shù)據(jù)異質(zhì)化導(dǎo)致了表征的維度坍縮（dimensional collapse），由此大大限制了模型的表達(dá)能力，影響了最終全局模型的性能。

為了緩解這一問(wèn)題，研究人員提出了一個(gè)新聯(lián)邦學(xué)習(xí)正則項(xiàng)：FedDecorr。

結(jié)果表明，使用該方法后，數(shù)據(jù)異質(zhì)化帶來(lái)的維度坍縮問(wèn)題被有效緩解，顯著提升模型在該場(chǎng)景下的性能。

同時(shí)這一方法實(shí)現(xiàn)簡(jiǎn)單，幾乎不會(huì)帶來(lái)額外計(jì)算負(fù)擔(dān)，可以很容易地加入到多種聯(lián)邦學(xué)習(xí)算法上。

如何影響？

觀察一：更嚴(yán)重的數(shù)據(jù)異質(zhì)化會(huì)為全局模型（global model）帶來(lái)更嚴(yán)重的維度坍縮

首先，為了更好地理解數(shù)據(jù)異質(zhì)化是如何影響全局模型輸出表征的，研究人員探索了隨著數(shù)據(jù)異質(zhì)化越來(lái)越嚴(yán)重，全局模型輸出表征是如何而變化的。

基于模型輸出的表征，估計(jì)其表征分布的協(xié)方差矩陣（covariance matrix），并且按照從大到小的順序可視化了該協(xié)方差矩陣的特征值。結(jié)果如下圖所示。α越小，異質(zhì)化程度越高，α為正無(wú)窮時(shí)為同質(zhì)化場(chǎng)景。k為特征值的index。

對(duì)于該曲線，如果特征值大部分相對(duì)較大，即意味著表征能夠更加均勻地分布在不同的特征方向上。而如果該曲線只有前面少數(shù)特征值較大，而后面大部分特征值都很小，就意味著表征分布被壓縮在少數(shù)特征方向上，即維度坍縮現(xiàn)象。

因此，從圖中可以看到，隨著數(shù)據(jù)異質(zhì)化程度越來(lái)越高（α越來(lái)越?。?，維度坍縮的現(xiàn)象就越來(lái)越嚴(yán)重。

觀察二：全局模型的維度坍縮來(lái)自聯(lián)邦參與各方的局部模型的維度坍縮

由于全局模型是聯(lián)邦參與各方的局部模型融合的結(jié)果，因此作者推斷：全局模型的維度坍縮來(lái)源于聯(lián)邦參與各方的局部模型的維度坍縮。

為了進(jìn)一步驗(yàn)證該推斷，作者使用與觀察1類似的方法，針對(duì)不同程度數(shù)據(jù)異質(zhì)化場(chǎng)景下得到的局部模型進(jìn)行了可視化。結(jié)果如下圖所示。

從圖中可以看到，對(duì)于局部模型，隨著數(shù)據(jù)異質(zhì)化程度的提升，維度坍縮的現(xiàn)象也越來(lái)越嚴(yán)重。因此得出結(jié)論，全局模型的維度坍縮來(lái)源于聯(lián)邦參與各方的局部模型的維度坍縮。

怎么解決？

受到以上兩個(gè)觀察的啟發(fā)，由于全局模型的維度坍縮來(lái)源于本地局部模型的維度坍縮，研究人員提出在本地訓(xùn)練階段來(lái)解決聯(lián)邦學(xué)習(xí)中的表征維度坍縮問(wèn)題。

首先，一個(gè)最直觀的可用的正則項(xiàng)為以下形式：

其中

為第

個(gè)特征值。該正則項(xiàng)將約束特征值之間的方差變小，從而使得較小的特征值不會(huì)偏向于0，由此緩解維度坍縮。

然而，直接計(jì)算特征值往往會(huì)帶來(lái)數(shù)值不穩(wěn)定，計(jì)算時(shí)間較長(zhǎng)等問(wèn)題。因此借助以下proposition來(lái)改進(jìn)方法。

為了方便處理，需要對(duì)表征向量做z-score歸一化。這將使得協(xié)方差矩陣變成相關(guān)系數(shù)矩陣（對(duì)角線元素都是1）。

基于這個(gè)背景，可以得到以下proposition：

這一proposition意味著，原本較為復(fù)雜的基于特征值的正則化項(xiàng)，可以被轉(zhuǎn)化為以下易于實(shí)現(xiàn)且計(jì)算方便的目標(biāo)：

該正則項(xiàng)即是簡(jiǎn)單的約束表征的相關(guān)系數(shù)矩陣的Frobenius norm更小。研究人員將該方法命名為FedDecorr。

因此，對(duì)于每個(gè)聯(lián)邦學(xué)習(xí)參與方，本地的優(yōu)化目標(biāo)為：

其中

為分類的交叉熵?fù)p失函數(shù)，β為一個(gè)超參數(shù)，即FedDecorr正則項(xiàng)的系數(shù)。

實(shí)驗(yàn)結(jié)果

首先，驗(yàn)證使用FedDecorr是否可以有效緩解維度坍縮。

在α=0.01/0.05這兩個(gè)強(qiáng)數(shù)據(jù)異質(zhì)化的場(chǎng)景下，觀察使用FedDecorr對(duì)模型輸出表征的影響。

結(jié)果如下圖所示。

可以看到，使用FedDecorr可以有效地緩解本地局部模型的維度坍縮，從而進(jìn)一步緩解全局模型的維度坍縮。

在CIFAR10/100兩個(gè)數(shù)據(jù)集上驗(yàn)證方法。研究團(tuán)隊(duì)發(fā)現(xiàn)FedDecorr可以很方便的加入到之前提出的多個(gè)聯(lián)邦學(xué)習(xí)方法，并且?guī)?lái)顯著提升：

同時(shí)，為了展示方法的可擴(kuò)展性，作者在較大規(guī)模數(shù)據(jù)集（TinyImageNet）上進(jìn)行了實(shí)驗(yàn)，并且也觀察到了顯著提升：

此外還基于TinyImageNet，驗(yàn)證了FedDecorr在更大規(guī)模聯(lián)邦參與方的場(chǎng)景下的有效性。

結(jié)果如下表。通過(guò)實(shí)驗(yàn)結(jié)果展示了FedDecorr可以被用于較大規(guī)模聯(lián)邦參與方的場(chǎng)景。

FedDecorr對(duì)正則項(xiàng)系數(shù)（超參數(shù)β）的魯棒性結(jié)果如下圖所示。

通過(guò)實(shí)驗(yàn)，發(fā)現(xiàn)FedDecorr對(duì)于其超參數(shù)β有較強(qiáng)的魯棒性。

同時(shí)發(fā)現(xiàn)將β設(shè)為0.1是一個(gè)不錯(cuò)的默認(rèn)值。

最后，研究人員驗(yàn)證了在聯(lián)邦學(xué)習(xí)時(shí)，使用不同的local epoch下FedDecorr也可以帶來(lái)普遍的提升：

論文地址：
https://arxiv.org/abs/2210.00226
代碼鏈接：
https://github.com/bytedance/FedDecorr