Federated Continual Learning (FCL) leverages inter-client collaboration to balance new knowledge acquisition and prior knowledge retention in non-stationary data. However, existing batch-based FCL methods lack adaptability to streaming scenarios featuring category overlap between old and new data and absent task identifiers, leading to indistinguishability of old and new knowledge, uncertain task assignments for samples, and knowledge confusion.To address this, we propose streaming federated continual learning setting: per federated learning (FL) round, clients process streaming data with disjoint samples and potentially overlapping categories without task identifiers, necessitating sustained inference capability for all prior categories after each FL round.Next, we introduce FedKACE: 1) an adaptive inference model switching mechanism that enables unidirectional switching from local model to global model to achieve a trade-off between personalization and generalization; 2) a adaptive gradient-balanced replay scheme that reconciles new knowledge learning and old knowledge retention under overlapping-class scenarios; 3) a kernel spectral boundary buffer maintenance that preserves high-information and high-boundary-influence samples to optimize cross-round knowledge retention. Experiments across multiple scenarios and regret analysis demonstrate the effectiveness of FedKACE.


翻译:联邦持续学习(FCL)利用客户端间的协作,在非平稳数据中平衡新知识获取与旧知识保留。然而,现有的基于批处理的FCL方法缺乏对以下流式场景的适应性:新旧数据间存在类别重叠且缺乏任务标识,这导致新旧知识难以区分、样本的任务分配不确定以及知识混淆。为解决此问题,我们提出流式联邦持续学习设定:在每一轮联邦学习(FL)中,客户端处理具有不相交样本、可能存在类别重叠且无任务标识的流式数据,并要求在每轮FL后对所有先前类别保持持续的推理能力。接着,我们提出FedKACE方法:1)一种自适应推理模型切换机制,支持从本地模型到全局模型的单向切换,以实现个性化与泛化性的权衡;2)一种自适应梯度平衡回放方案,在类别重叠场景下协调新知识学习与旧知识保留;3)一种核谱边界缓冲区维护策略,保留高信息量和高边界影响力的样本,以优化跨轮次的知识保留。在多种场景下的实验及遗憾分析证明了FedKACE的有效性。

0
下载
关闭预览

相关内容

边缘人工智能的联邦持续学习:综合综述
专知会员服务
33+阅读 · 2024年12月14日
概述联邦持续学习最新研究进展
专知会员服务
31+阅读 · 2023年6月18日
【2022新书】联邦学习:方法和应用的综合概述
专知会员服务
149+阅读 · 2022年7月14日
移动边缘网络中联邦学习效率优化综述
专知会员服务
49+阅读 · 2022年7月9日
亚马逊最新《联邦学习》简明综述
专知会员服务
85+阅读 · 2022年2月6日
专知会员服务
36+阅读 · 2021年7月9日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
39+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员