Federated learning enables collaborative training without sharing raw data, but struggles under client heterogeneity and streaming distribution shifts, where drift and novel data can impair convergence and cause forgetting. We propose a federated associative-memory framework that learns shared archetypes in heterogeneous, continual settings, where client data are independent but not necessarily balanced. Each client encodes its experience as a low-rank Hebbian operator, sent to a central server for aggregation and factorization into global archetypes. This approach preserves privacy, avoids centralized replay buffers, and is robust to small, noisy, or evolving datasets. We cast aggregation as a low-rank-plus-noise spectral inference problem, deriving theoretical thresholds for detectability and retrieval robustness. An entropy-based controller balances stability and plasticity in streaming regimes. Experiments with heterogeneous clients, drift, and novelty show improved global archetype reconstruction and associative retrieval, supporting the spectral view of federated consolidation.


翻译:联邦学习支持在不共享原始数据的情况下进行协作训练,但在客户端异构和流式分布漂移场景下表现欠佳——漂移和新型数据会损害收敛并导致遗忘。我们提出一种联邦联想记忆框架,可在异构、持续学习环境中学习共享原型,其中各客户端数据独立但未必平衡。每个客户端将其经验编码为低秩Hebbian算子,发送至中央服务器进行聚合与分解,形成全局原型。该方法保护隐私,无需集中式回放缓冲区,且对小型、噪声或演化数据集具有鲁棒性。我们将聚合问题建模为低秩加噪声的谱推理问题,推导出可检测性与检索鲁棒性的理论阈值。基于熵的控制器可在流式场景中平衡稳定性与可塑性。针对异构客户端、漂移及新异数据的实验表明,该框架可显著提升全局原型重建与联想检索性能,为联邦记忆整合的谱视角提供实验支撑。

0
下载
关闭预览

相关内容

联想集团有限公司,是中国一家总部设在北京市和美国北卡罗莱纳州罗利市的跨国科技公司,成立于1984年,由中国科学院计算技术研究所投资20万元人民币、11名科技人员创办,当时称为“中国科学院计算所新技术发展公司”。1989年,更名为“北京联想计算机集团公司”。 维基百科
模型联邦网络构建及示范应用
专知会员服务
11+阅读 · 2025年7月31日
《贝叶斯神经网络的联邦学习》2023最新73页论文
专知会员服务
62+阅读 · 2023年5月7日
移动边缘网络中联邦学习效率优化综述
专知会员服务
50+阅读 · 2022年7月9日
专知会员服务
64+阅读 · 2021年6月11日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
联邦学习或将助力IoT走出“数据孤岛”?
中国计算机学会
20+阅读 · 2019年3月16日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
10+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
12+阅读 · 6月17日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员