Federated learning (FL) enables collaborative model training without sharing raw data in edge environments, but is constrained by limited communication bandwidth and heterogeneous client data distributions. Prototype-based FL mitigates this issue by exchanging class-wise feature prototypes instead of full model parameters; however, existing methods still suffer from suboptimal generalization under severe communication constraints. In this paper, we propose RefProtoFL, a communication-efficient FL framework that integrates External-Referenced Prototype Alignment (ERPA) for representation consistency with Adaptive Probabilistic Update Dropping (APUD) for communication efficiency. Specifically, we decompose the model into a private backbone and a lightweight shared adapter, and restrict federated communication to the adapter parameters only. To further reduce uplink cost, APUD performs magnitude-aware Top-K sparsification, transmitting only the most significant adapter updates for server-side aggregation. To address representation inconsistency across heterogeneous clients, ERPA leverages a small server-held public dataset to construct external reference prototypes that serve as shared semantic anchors. For classes covered by public data, clients directly align local representations to public-induced prototypes, whereas for uncovered classes, alignment relies on server-aggregated global reference prototypes via weighted averaging. Extensive experiments on standard benchmarks demonstrate that RefProtoFL attains higher classification accuracy than state-of-the-art prototype-based FL baselines.


翻译:联邦学习(FL)使得边缘环境中的协同模型训练无需共享原始数据,但受到有限通信带宽和异构客户端数据分布的限制。基于原型的联邦学习通过交换类级特征原型而非完整模型参数来缓解这一问题;然而,现有方法在严苛的通信约束下仍存在泛化性能欠佳的问题。本文提出RefProtoFL,一种通信高效的联邦学习框架,它集成了用于表征一致性的外部参考原型对齐(ERPA)和用于通信效率的自适应概率更新丢弃(APUD)。具体而言,我们将模型分解为私有骨干网络和轻量级共享适配器,并将联邦通信限制在仅适配器参数上。为进一步降低上行链路成本,APUD执行幅度感知的Top-K稀疏化,仅传输最重要的适配器更新以进行服务器端聚合。为解决异构客户端间的表征不一致问题,ERPA利用服务器持有的少量公共数据集构建外部参考原型,作为共享的语义锚点。对于公共数据覆盖的类别,客户端直接将局部表征对齐到公共数据诱导的原型;而对于未覆盖的类别,则通过加权平均依赖于服务器聚合的全局参考原型进行对齐。在标准基准上的大量实验表明,RefProtoFL比最先进的基于原型的联邦学习基线获得了更高的分类准确率。

0
下载
关闭预览

相关内容

【剑桥大学博士论文】联邦学习效率原则研究
专知会员服务
12+阅读 · 2025年9月6日
【剑桥大学博士论文】联邦自监督学习,141页pdf
专知会员服务
19+阅读 · 2024年6月15日
【CMU博士论文】异构网络可信可扩展学习,296页pdf
专知会员服务
33+阅读 · 2023年9月24日
移动边缘网络中联邦学习效率优化综述
专知会员服务
49+阅读 · 2022年7月9日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员