Federated learning (FL) enables collaborative model training across distributed clients without sharing raw data, yet its stability is fundamentally challenged by statistical heterogeneity in realistic deployments. Here, we show that client heterogeneity destabilizes FL primarily by distorting local gradient dynamics during client-side optimization, causing systematic drift that accumulates across communication rounds and impedes global convergence. This observation highlights local gradients as a key regulatory lever for stabilizing heterogeneous FL systems. Building on this insight, we develop a general client-side perspective that regulates local gradient contributions without incurring additional communication overhead. Inspired by swarm intelligence, we instantiate this perspective through Exploratory--Convergent Gradient Re-aggregation (ECGR), which balances well-aligned and misaligned gradient components to preserve informative updates while suppressing destabilizing effects. Theoretical analysis and extensive experiments, including evaluations on the LC25000 medical imaging dataset, demonstrate that regulating local gradient dynamics consistently stabilizes federated learning across state-of-the-art methods under heterogeneous data distributions.


翻译:联邦学习(FL)使得分布式客户端能够在无需共享原始数据的情况下进行协同模型训练,但其稳定性在实际部署中受到统计异构性的根本性挑战。本文表明,客户端异构性主要通过扭曲客户端优化过程中的局部梯度动态来破坏联邦学习的稳定性,导致系统性漂移,这种漂移在通信轮次中累积并阻碍全局收敛。这一观察凸显了局部梯度作为稳定异构联邦学习系统的关键调控杠杆。基于这一洞见,我们提出了一种通用的客户端视角,该视角能够调控局部梯度贡献而不引入额外的通信开销。受群体智能启发,我们通过探索-收敛梯度重聚合(ECGR)实例化了这一视角,该方法平衡了对齐良好与未对齐的梯度分量,以保留信息性更新同时抑制失稳效应。理论分析和大量实验,包括在LC25000医学影像数据集上的评估,表明调控局部梯度动态能够在异构数据分布下,持续稳定多种最先进方法的联邦学习过程。

0
下载
关闭预览

相关内容

梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员