In this research, we investigate the barriers associated with implementing Federated Learning (FL) in real-world scenarios, where a consistent connection between the central server and all clients cannot be maintained, and data distribution is heterogeneous. To address these challenges, we focus on mobilizing the federated setting, where the server moves between groups of adjacent clients to learn local models. Specifically, we propose a new algorithm, Random Walk Stochastic Alternating Direction Method of Multipliers (RWSADMM), capable of adapting to dynamic and ad-hoc network conditions as long as a sufficient number of connected clients are available for model training. In RWSADMM, the server walks randomly toward a group of clients. It formulates local proximity among adjacent clients based on hard inequality constraints instead of consensus updates to address data heterogeneity. Our proposed method is convergent, reduces communication costs, and enhances scalability by reducing the number of clients the central server needs to communicate with.


翻译:本研究探讨了在现实场景中部署联邦学习(FL)时面临的障碍,即在中央服务器与所有客户端之间无法维持稳定连接且数据分布呈异质性的情况下所存在的问题。针对这些挑战,我们聚焦于一种可移动的联邦学习设置,其中服务器在相邻客户端群组间移动以学习局部模型。具体而言,我们提出了一种新算法——随机游走随机交替方向乘子法(RWSADMM),该算法能够适应动态和自组织网络条件,只要存在足够数量的连接客户端即可进行模型训练。在RWSADMM中,服务器随机向一组客户端移动。该方法基于硬性不等式约束建立相邻客户端间的局部邻近关系,而非采用共识更新策略,从而应对数据异质性。所提出的算法具有收敛性,能够降低通信成本,并通过减少中央服务器需通信的客户端数量来增强可扩展性。

0
下载
关闭预览

相关内容

在数学中,随机漫步是一种数学对象,称为随机过程或随机过程,它描述的路径由在某些数学空间(例如整数)上的一系列随机步骤组成。随机行走等是指基于过去的表现,无法预测将来的发展步骤和方向。核心概念是指任何无规则行走者所带的守恒量都各自对应着一个扩散运输定律 ,接近于布朗运动,是布朗运动理想的数学状态,现阶段主要应用于互联网链接分析及金融股票市场中。
不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
54+阅读 · 2020年11月3日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年6月9日
Arxiv
11+阅读 · 2022年9月1日
VIP会员
最新内容
美空军如何将人工智能从战场部署至后方机关
专知会员服务
1+阅读 · 32分钟前
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
2+阅读 · 今天2:57
《英国防部:未来空战系统数字化战略》33页
专知会员服务
2+阅读 · 今天2:35
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
3+阅读 · 今天2:25
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员