緩存驅(qū)動(dòng)聯(lián)邦學(xué)習(xí)架構(gòu)來了！專為個(gè)性化邊緣智能打造 | TMC 2024

西風(fēng) 2024-02-27 16:35:27 來源：量子位

Ethan Parker 投稿

量子位 | 公眾號(hào) QbitAI

伴隨著移動(dòng)設(shè)備的普及與終端數(shù)據(jù)的爆炸式增長，邊緣智能（Edge Intelligence, EI）逐漸成為計(jì)算機(jī)學(xué)科研究領(lǐng)域的前沿。

在這一浪潮中，聯(lián)邦學(xué)習(xí)（Federated Learning, FL）作為分布式機(jī)器學(xué)習(xí)的新范式，不斷吸引著學(xué)術(shù)界和產(chǎn)業(yè)界的關(guān)注。

聯(lián)邦學(xué)習(xí)通過多個(gè)設(shè)備協(xié)作訓(xùn)練共享AI模型的同時(shí)，避免了私有數(shù)據(jù)的交換，從而既保障了數(shù)據(jù)隱私，又實(shí)現(xiàn)了模型訓(xùn)練的分布式進(jìn)行，成為落實(shí)邊緣智能的關(guān)鍵技術(shù)路徑。

然而，如何在保持高通信效率的同時(shí)，滿足終端設(shè)備多樣個(gè)性化需求的模型訓(xùn)練是一個(gè)關(guān)鍵性挑戰(zhàn)。

最新發(fā)表于《IEEE Transactions on Mobile Computing》的論文”FedCache: A Knowledge Cache-driven Federated Learning Architecture for Personalized Edge Intelligence”為這一問題提供了創(chuàng)新性解決方案。

邊緣智能中的個(gè)性化

邊緣智能場景下，模型的協(xié)同訓(xùn)練不僅要應(yīng)對(duì)設(shè)備硬件差異化的挑戰(zhàn)，還需在優(yōu)化目標(biāo)、通信效率、隱私保護(hù)等方面進(jìn)行多維度權(quán)衡：

• 設(shè)備的硬件資源和用戶使用習(xí)慣各異，需要部署既能滿足個(gè)性化任務(wù)目標(biāo)又能適應(yīng)硬件規(guī)模的模型。
• 通信能力的局限性和對(duì)隱私的重視要求在協(xié)作訓(xùn)練中最小化通信成本，并且嚴(yán)格禁止私有數(shù)據(jù)的共享。
• 設(shè)備連接的不穩(wěn)定性決定了協(xié)同過程中不適合采用同步的通信方式

超越主流架構(gòu)的FedCache

FedCache是一種緩存驅(qū)動(dòng)的聯(lián)邦學(xué)習(xí)架構(gòu)，旨在為個(gè)性化邊緣智能（Personalized Edge Intelligence）提供強(qiáng)有力的支撐。FedCache通過在服務(wù)端維護(hù)一個(gè)知識(shí)緩存，用于捕獲與每個(gè)私有樣本關(guān)聯(lián)的最新知識(shí)，并使用知識(shí)緩存驅(qū)動(dòng)的個(gè)性化蒸餾技術(shù)進(jìn)行終端設(shè)備模型的訓(xùn)練。

在初始化階段，所有私有樣本通過深度預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)被編碼成哈希值，以便在邊緣采用隱私保護(hù)的方式判斷樣本之間的相關(guān)度。

在正式訓(xùn)練階段，終端設(shè)備基于本地樣本索引迭代地向服務(wù)器發(fā)送知識(shí)請(qǐng)求，從中取用相應(yīng)的關(guān)聯(lián)性知識(shí)，并在設(shè)備上開展基于蒸餾的個(gè)性化優(yōu)化。

FedCache的核心在于其獨(dú)特的服務(wù)器端知識(shí)緩存機(jī)制，該機(jī)制利用哈希值管理設(shè)備樣本的相似性和關(guān)聯(lián)知識(shí)，以優(yōu)化訓(xùn)練過程。

這種獨(dú)特的設(shè)計(jì)不僅保護(hù)了數(shù)據(jù)隱私，還避免了設(shè)備之間的參數(shù)交互，顯著降低了通信負(fù)擔(dān)。此外，F(xiàn)edCache允許不同設(shè)備的模型架構(gòu)完全獨(dú)立，優(yōu)化目標(biāo)差異化，且支持異步分布式優(yōu)化。

實(shí)驗(yàn)結(jié)果

本文在四個(gè)公開數(shù)據(jù)集上驗(yàn)證了FedCache的性能。

實(shí)驗(yàn)結(jié)果顯示，主流的個(gè)性化聯(lián)邦學(xué)習(xí)方法相比，F(xiàn)edCache的通信效率提高了兩個(gè)數(shù)量級(jí)，同時(shí)在模型性能也能達(dá)到相當(dāng)?shù)乃健?/p>

FedCache的這些特性不僅展示了其在架構(gòu)設(shè)計(jì)上的創(chuàng)新性，也證明了其在實(shí)際應(yīng)用中的巨大潛力。

通過這種緩存驅(qū)動(dòng)的聯(lián)邦優(yōu)化方法，F(xiàn)edCache預(yù)期引領(lǐng)個(gè)性化邊緣智能的未來，為分布式AI的實(shí)施開辟新的道路。

論文地址：https://ieeexplore.ieee.org/document/10420495
代碼鏈接：https://github.com/wuzhiyuan2000/FedCache