Federated Learning struggles under temporal concept drift where client data distributions shift over time. We demonstrate that standard FedAvg suffers catastrophic forgetting under seasonal drift on Fashion-MNIST, with accuracy dropping from 74% to 28%. We propose client-side experience replay, where each client maintains a small buffer of past samples mixed with current data during local training. This simple approach requires no changes to server aggregation. Experiments show that a 50-sample-per-class buffer restores performance to 78-82%, effectively preventing forgetting. Our ablation study reveals a clear memory-accuracy trade-off as buffer size increases.


翻译:联邦学习在时域概念漂移(即客户端数据分布随时间变化)场景下面临严峻挑战。本文证明,在Fashion-MNIST数据集上,标准FedAvg算法在季节性漂移下会出现灾难性遗忘现象,准确率从74%骤降至28%。我们提出客户端经验回放方法:每个客户端在本地训练期间维护一个历史样本的小型缓冲区,并将其与当前数据混合使用。该方案无需修改服务器聚合流程。实验表明,每类仅需50个样本的缓冲区即可将性能恢复至78-82%,有效防止遗忘。消融研究进一步揭示了缓冲区规模增大时存在的显著记忆-准确率权衡关系。

0
下载
关闭预览

相关内容

【ICML2025】时序分布漂移下的自适应估计与学习
专知会员服务
12+阅读 · 2025年5月25日
联邦长尾学习研究综述
专知会员服务
15+阅读 · 2025年5月1日
移动边缘网络中联邦学习效率优化综述
专知会员服务
49+阅读 · 2022年7月9日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
专知会员服务
51+阅读 · 2020年7月16日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
迁移自适应学习最新综述,附21页论文下载
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月20日
VIP会员
相关基金
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员