Federated learning enables collaborative training without sharing raw data, but struggles under client heterogeneity and streaming distribution shifts, where drift and novel data can impair convergence and cause forgetting. We propose a federated associative-memory framework that learns shared archetypes in heterogeneous, continual settings, where client data are independent but not necessarily balanced. Each client encodes its experience as a low-rank Hebbian operator, sent to a central server for aggregation and factorization into global archetypes. This approach preserves privacy, avoids centralized replay buffers, and is robust to small, noisy, or evolving datasets. We cast aggregation as a low-rank-plus-noise spectral inference problem, deriving theoretical thresholds for detectability and retrieval robustness. An entropy-based controller balances stability and plasticity in streaming regimes. Experiments with heterogeneous clients, drift, and novelty show improved global archetype reconstruction and associative retrieval, supporting the spectral view of federated consolidation.


翻译:联邦学习支持在不共享原始数据的情况下进行协作训练,但在客户端异构和流式分布漂移场景下表现欠佳——漂移和新型数据会损害收敛并导致遗忘。我们提出一种联邦联想记忆框架,可在异构、持续学习环境中学习共享原型,其中各客户端数据独立但未必平衡。每个客户端将其经验编码为低秩Hebbian算子,发送至中央服务器进行聚合与分解,形成全局原型。该方法保护隐私,无需集中式回放缓冲区,且对小型、噪声或演化数据集具有鲁棒性。我们将聚合问题建模为低秩加噪声的谱推理问题,推导出可检测性与检索鲁棒性的理论阈值。基于熵的控制器可在流式场景中平衡稳定性与可塑性。针对异构客户端、漂移及新异数据的实验表明,该框架可显著提升全局原型重建与联想检索性能,为联邦记忆整合的谱视角提供实验支撑。

0
下载
关闭预览

相关内容

联想集团有限公司,是中国一家总部设在北京市和美国北卡罗莱纳州罗利市的跨国科技公司,成立于1984年,由中国科学院计算技术研究所投资20万元人民币、11名科技人员创办,当时称为“中国科学院计算所新技术发展公司”。1989年,更名为“北京联想计算机集团公司”。 维基百科
模型联邦网络构建及示范应用
专知会员服务
11+阅读 · 2025年7月31日
《贝叶斯神经网络的联邦学习》2023最新73页论文
专知会员服务
62+阅读 · 2023年5月7日
移动边缘网络中联邦学习效率优化综述
专知会员服务
50+阅读 · 2022年7月9日
专知会员服务
64+阅读 · 2021年6月11日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
联邦学习或将助力IoT走出“数据孤岛”?
中国计算机学会
20+阅读 · 2019年3月16日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
3+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
5+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员