緩存驅(qū)動(dòng)聯(lián)邦學(xué)習(xí)架構(gòu)來了！專為個(gè)性化邊緣智能打造 | TMC 2024
通信效率提高了兩個(gè)數(shù)量級(jí)
Ethan Parker 投稿
量子位 | 公眾號(hào) QbitAI
伴隨著移動(dòng)設(shè)備的普及與終端數(shù)據(jù)的爆炸式增長，邊緣智能（Edge Intelligence, EI）逐漸成為計(jì)算機(jī)學(xué)科研究領(lǐng)域的前沿。
在這一浪潮中，聯(lián)邦學(xué)習(xí)（Federated Learning, FL）作為分布式機(jī)器學(xué)習(xí)的新范式，不斷吸引著學(xué)術(shù)界和產(chǎn)業(yè)界的關(guān)注。
聯(lián)邦學(xué)習(xí)通過多個(gè)設(shè)備協(xié)作訓(xùn)練共享AI模型的同時(shí)，避免了私有數(shù)據(jù)的交換，從而既保障了數(shù)據(jù)隱私，又實(shí)現(xiàn)了模型訓(xùn)練的分布式進(jìn)行，成為落實(shí)邊緣智能的關(guān)鍵技術(shù)路徑。
然而，如何在保持高通信效率的同時(shí)，滿足終端設(shè)備多樣個(gè)性化需求的模型訓(xùn)練是一個(gè)關(guān)鍵性挑戰(zhàn)。
最新發(fā)表于《IEEE Transactions on Mobile Computing》的論文”FedCache: A Knowledge Cache-driven Federated Learning Architecture for Personalized Edge Intelligence”為這一問題提供了創(chuàng)新性解決方案。
邊緣智能中的個(gè)性化
邊緣智能場景下，模型的協(xié)同訓(xùn)練不僅要應(yīng)對(duì)設(shè)備硬件差異化的挑戰(zhàn)，還需在優(yōu)化目標(biāo)、通信效率、隱私保護(hù)等方面進(jìn)行多維度權(quán)衡：
- 設(shè)備的硬件資源和用戶使用習(xí)慣各異，需要部署既能滿足個(gè)性化任務(wù)目標(biāo)又能適應(yīng)硬件規(guī)模的模型。
- 通信能力的局限性和對(duì)隱私的重視要求在協(xié)作訓(xùn)練中最小化通信成本，并且嚴(yán)格禁止私有數(shù)據(jù)的共享。
- 設(shè)備連接的不穩(wěn)定性決定了協(xié)同過程中不適合采用同步的通信方式
超越主流架構(gòu)的FedCache
FedCache是一種緩存驅(qū)動(dòng)的聯(lián)邦學(xué)習(xí)架構(gòu)，旨在為個(gè)性化邊緣智能（Personalized Edge Intelligence）提供強(qiáng)有力的支撐。FedCache通過在服務(wù)端維護(hù)一個(gè)知識(shí)緩存，用于捕獲與每個(gè)私有樣本關(guān)聯(lián)的最新知識(shí)，并使用知識(shí)緩存驅(qū)動(dòng)的個(gè)性化蒸餾技術(shù)進(jìn)行終端設(shè)備模型的訓(xùn)練。
在初始化階段，所有私有樣本通過深度預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)被編碼成哈希值，以便在邊緣采用隱私保護(hù)的方式判斷樣本之間的相關(guān)度。
在正式訓(xùn)練階段，終端設(shè)備基于本地樣本索引迭代地向服務(wù)器發(fā)送知識(shí)請(qǐng)求，從中取用相應(yīng)的關(guān)聯(lián)性知識(shí)，并在設(shè)備上開展基于蒸餾的個(gè)性化優(yōu)化。
FedCache的核心在于其獨(dú)特的服務(wù)器端知識(shí)緩存機(jī)制，該機(jī)制利用哈希值管理設(shè)備樣本的相似性和關(guān)聯(lián)知識(shí)，以優(yōu)化訓(xùn)練過程。
這種獨(dú)特的設(shè)計(jì)不僅保護(hù)了數(shù)據(jù)隱私，還避免了設(shè)備之間的參數(shù)交互，顯著降低了通信負(fù)擔(dān)。此外，F(xiàn)edCache允許不同設(shè)備的模型架構(gòu)完全獨(dú)立，優(yōu)化目標(biāo)差異化，且支持異步分布式優(yōu)化。
實(shí)驗(yàn)結(jié)果
本文在四個(gè)公開數(shù)據(jù)集上驗(yàn)證了FedCache的性能。
實(shí)驗(yàn)結(jié)果顯示，主流的個(gè)性化聯(lián)邦學(xué)習(xí)方法相比，F(xiàn)edCache的通信效率提高了兩個(gè)數(shù)量級(jí)，同時(shí)在模型性能也能達(dá)到相當(dāng)?shù)乃健?/p>
FedCache的這些特性不僅展示了其在架構(gòu)設(shè)計(jì)上的創(chuàng)新性，也證明了其在實(shí)際應(yīng)用中的巨大潛力。
通過這種緩存驅(qū)動(dòng)的聯(lián)邦優(yōu)化方法，F(xiàn)edCache預(yù)期引領(lǐng)個(gè)性化邊緣智能的未來，為分布式AI的實(shí)施開辟新的道路。
論文地址：https://ieeexplore.ieee.org/document/10420495
代碼鏈接：https://github.com/wuzhiyuan2000/FedCache
相關(guān)閱讀
這個(gè)登上Nature封面的「群體學(xué)習(xí)」，無需中央?yún)f(xié)調(diào)員，比聯(lián)邦學(xué)習(xí)更優(yōu)秀
在不違反隱私法的情況下集合來自世界各地的任何醫(yī)療數(shù)據(jù)，讓AI診斷效果更好。
AI畫連環(huán)畫角色更一致了！人物之間的復(fù)雜互動(dòng)也能處理｜中山大學(xué)&聯(lián)想團(tuán)隊(duì)出品
多智能體協(xié)同，無需訓(xùn)練
零基礎(chǔ)深度學(xué)習(xí)教程爆火！專為手機(jī)閱讀打造，月超23萬人下載，155頁內(nèi)容免費(fèi)開放
從“基礎(chǔ)知識(shí)”開始帶你走近深度學(xué)習(xí)
智能音箱自己把自己黑了：隨機(jī)購物撥號(hào)，自主開燈關(guān)門，平均成功率達(dá)88%
“執(zhí)行這個(gè)惡意攻擊，就現(xiàn)在”
