Asynchronous Federated Learning (AFL) has emerged as a significant research area in recent years. By not waiting for slower clients and executing the training process concurrently, it achieves faster training speed compared to traditional federated learning. However, due to the staleness introduced by the asynchronous process, its performance may degrade in some scenarios. Existing methods often use the round difference between the current model and the global model as the sole measure of staleness, which is coarse-grained and lacks observation of the model itself, thereby limiting the performance ceiling of asynchronous methods. In this paper, we propose FedPSA (Parameter Sensitivity-based Asynchronous Federated Learning), a more fine-grained AFL framework that leverages parameter sensitivity to measure model obsolescence and establishes a dynamic momentum queue to assess the current training phase in real time, thereby adjusting the tolerance for outdated information dynamically. Extensive experiments on multiple datasets and comparisons with various methods demonstrate the superior performance of FedPSA, achieving up to 6.37\% improvement over baseline methods and 1.93\% over the current state-of-the-art method.


翻译:近年来,异步联邦学习已成为一个重要的研究领域。它无需等待较慢的客户端,并能够并发执行训练过程,因此相比传统联邦学习实现了更快的训练速度。然而,由于异步过程引入的陈旧性,其性能在某些场景下可能会下降。现有方法通常仅使用当前模型与全局模型之间的轮次差异作为陈旧性的度量标准,这种度量方式较为粗粒度且缺乏对模型本身的观察,从而限制了异步方法的性能上限。本文提出FedPSA(基于参数敏感性的异步联邦学习),这是一个更细粒度的AFL框架。它利用参数敏感性来衡量模型陈旧性,并建立一个动态动量队列来实时评估当前训练阶段,从而动态调整对过时信息的容忍度。在多个数据集上进行的大量实验以及与多种方法的比较表明,FedPSA具有优越的性能,相较于基线方法最高可提升6.37%,相较于当前最先进方法可提升1.93%。

0
下载
关闭预览

相关内容

联邦学习(Federated Learning)是一种新兴的人工智能基础技术,在 2016 年由谷歌最先提出,原本用于解决安卓手机终端用户在本地更新模型的问题,其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。其中,联邦学习可使用的机器学习算法不局限于神经网络,还包括随机森林等重要算法。联邦学习有望成为下一代人工智能协同算法和协作网络的基础。
异构联邦学习在无人系统中的研究综述
专知会员服务
12+阅读 · 2025年5月25日
联邦长尾学习研究综述
专知会员服务
15+阅读 · 2025年5月1日
联邦学习中的成员推断攻击与防御:综述
专知会员服务
17+阅读 · 2024年12月15日
移动边缘网络中联邦学习效率优化综述
专知会员服务
50+阅读 · 2022年7月9日
联邦学习研究综述
专知会员服务
151+阅读 · 2021年12月25日
【WWW2021】大规模智能手机数据的异质联邦学习
专知会员服务
43+阅读 · 2021年3月8日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
联邦学习研究综述
专知
11+阅读 · 2021年12月25日
联邦学习最新研究趋势!
AI科技评论
52+阅读 · 2020年3月12日
【资源】联邦学习相关文献资源大列表
专知
10+阅读 · 2020年2月25日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
24+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
3+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
战略前沿人工智能的再思考(中文)
专知会员服务
8+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
6+阅读 · 5月29日
相关VIP内容
异构联邦学习在无人系统中的研究综述
专知会员服务
12+阅读 · 2025年5月25日
联邦长尾学习研究综述
专知会员服务
15+阅读 · 2025年5月1日
联邦学习中的成员推断攻击与防御:综述
专知会员服务
17+阅读 · 2024年12月15日
移动边缘网络中联邦学习效率优化综述
专知会员服务
50+阅读 · 2022年7月9日
联邦学习研究综述
专知会员服务
151+阅读 · 2021年12月25日
【WWW2021】大规模智能手机数据的异质联邦学习
专知会员服务
43+阅读 · 2021年3月8日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
92+阅读 · 2020年12月2日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
40+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
24+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员