Most federated learning (FL) approaches assume a fixed device set. However, real-world scenarios often involve devices dynamically joining or leaving the system, driven by, e.g., user mobility patterns or handovers across cell boundaries. This dynamic setting introduces unique challenges: (1) the optimization objective evolves with the active device set, unlike traditional FL's static objective; and (2) the current global model may no longer serve as an effective initialization for subsequent rounds, potentially hindering adaptation, delaying convergence, and reducing resource efficiency. To address these challenges, we first provide a convergence analysis for FL under a dynamic device set, accounting for factors such as gradient noise, local training iterations, and data heterogeneity. Building on this analysis, we propose a model initialization algorithm that enables rapid adaptation whenever devices join or leave the network. Our key idea is to compute a weighted average of previous global models, guided by gradient similarity, to prioritize models trained on data distributions that closely align with the current device set, thereby accelerating recovery from distribution shifts in fewer training rounds. This plug-and-play algorithm is designed to integrate seamlessly with existing FL methods, offering broad applicability. Experiments demonstrate that our approach achieves convergence speedups typically an order of magnitude or more compared to baselines, which we show drastically reduces energy consumption to reach a target accuracy.


翻译:大多数联邦学习(FL)方法假设设备集合固定不变。然而,现实场景中设备常因用户移动模式或跨小区切换等因素动态加入或离开系统。这种动态环境带来独特挑战:(1)优化目标随活跃设备集合变化而演变,不同于传统FL的静态目标;(2)当前全局模型可能不再作为后续训练轮次的有效初始化,可能阻碍适应过程、延迟收敛并降低资源效率。为应对这些挑战,我们首先对动态设备集合下的FL进行收敛性分析,综合考虑梯度噪声、本地训练迭代次数及数据异质性等因素。基于此分析,我们提出一种模型初始化算法,能够在设备加入或离开网络时实现快速适应。其核心思想是通过梯度相似度指导,计算历史全局模型的加权平均值,优先选择与当前设备集合数据分布高度匹配的模型,从而以更少训练轮次加速从分布偏移中的恢复。这种即插即用算法可与现有FL方法无缝集成,具有广泛适用性。实验表明,相较于基线方法,本方法通常能实现数量级或更高的收敛加速,我们证明这能显著降低达到目标精度所需的能耗。

0
下载
关闭预览

相关内容

【2022新书】联邦学习:方法和应用的综合概述
专知会员服务
149+阅读 · 2022年7月14日
移动边缘网络中联邦学习效率优化综述
专知会员服务
49+阅读 · 2022年7月9日
亚马逊最新《联邦学习》简明综述
专知会员服务
85+阅读 · 2022年2月6日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
「基于通信的多智能体强化学习」 进展综述
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
最新《动态网络嵌入》综述论文,25页pdf
专知
37+阅读 · 2020年6月17日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员