Federated Learning (FL) trains deep models across edge devices without centralizing raw data, preserving user privacy. However, client heterogeneity slows down convergence and limits global model accuracy. Clustered FL (CFL) mitigates this by grouping clients with similar representations and training a separate model for each cluster. In practice, client data evolves over time, a phenomenon we refer to as data drift, which breaks cluster homogeneity and degrades performance. Data drift can take different forms depending on whether changes occur in the output values, the input features, or the relationship between them. We propose FIELDING, a CFL framework for handling diverse types of data drift with low overhead. FIELDING detects drift at individual clients and performs selective re-clustering to balance cluster quality and model performance, while remaining robust to malicious clients and varying levels of heterogeneity. Experiments show that FIELDING improves final model accuracy by 1.9-5.9% and achieves target accuracy 1.16x-2.23x faster than existing state-of-the-art CFL methods.


翻译:联邦学习(FL)在边缘设备上训练深度模型而无需集中原始数据,从而保护用户隐私。然而,客户端异构性会减缓收敛速度并限制全局模型精度。聚类联邦学习(CFL)通过将具有相似表示的客户端分组并为每个聚类训练单独模型来缓解此问题。在实践中,客户端数据会随时间演变,我们称此现象为数据漂移,它会破坏聚类的同质性并降低性能。数据漂移可呈现不同形式,具体取决于变化是发生在输出值、输入特征还是二者之间的关系中。我们提出了FIELDING,一个能够以低开销处理多种类型数据漂移的CFL框架。FIELDING在单个客户端处检测漂移,并执行选择性重新聚类以平衡聚类质量与模型性能,同时对恶意客户端和不同程度的异构性保持鲁棒性。实验表明,与现有最先进的CFL方法相比,FIELDING将最终模型精度提高了1.9-5.9%,并以1.16倍至2.23倍的速度达到目标精度。

0
下载
关闭预览

相关内容

【剑桥大学博士论文】联邦自监督学习,141页pdf
专知会员服务
19+阅读 · 2024年6月15日
移动边缘网络中联邦学习效率优化综述
专知会员服务
49+阅读 · 2022年7月9日
专知会员服务
36+阅读 · 2021年7月9日
专知会员服务
16+阅读 · 2021年7月7日
【WWW2021】大规模智能手机数据的异质联邦学习
专知会员服务
43+阅读 · 2021年3月8日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
联邦学习或将助力IoT走出“数据孤岛”?
中国计算机学会
20+阅读 · 2019年3月16日
干货 :基于用户画像的聚类分析
数据分析
22+阅读 · 2018年5月17日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员