Federated learning (FL) is a popular distributed machine learning (ML) technique in Internet of Things (IoT) networks, where resource-constrained devices collaboratively train ML models while preserving data privacy. However, implementation of FL over 5G-and-beyond wireless networks faces key challenges caused by (i) dynamics of the wireless network conditions and (ii) the coexistence of multiple FL-services in the system. In this paper, we unveil two key phenomena that arise from these challenges: over/under-provisioning of resources and perspective-driven load balancing, both of which significantly impact FL performance in IoT environments. We take the first steps towards addressing these phenomena by proposing a novel distributed ML architecture called elastic FL (EFL). EFL unleashes the full potential of Open RAN (O-RAN) systems and introduces an elastic resource provisioning methodology to execute FL-services. It further constitutes a multi-time-scale FL management system that introduces three dedicated network control functionalities tailored for FL-services, including (i) non-real-time (non-RT) system descriptor, which trains ML-based applications to predict both system and FL-related dynamics and parameters; (ii) near-RT FL controller, which handles O-RAN slicing and mobility management for the seamless execution of FL-services; (iii) FL MAC scheduler, which conducts real-time resource allocation to the end clients of various FL-services. We finally prototype EFL to demonstrate its potential in improving the performance of FL-services.


翻译:联邦学习(FL)是物联网(IoT)网络中一种流行的分布式机器学习(ML)技术,资源受限的设备可以在保护数据隐私的同时协作训练ML模型。然而,在5G及未来无线网络上实施FL面临两个主要挑战:(i)无线网络条件的动态性,以及(ii)系统中多个FL服务共存。本文揭示了由这些挑战引发的两个关键现象:资源的过度/不足配置以及视角驱动的负载均衡,两者均显著影响物联网环境中的FL性能。我们通过提出一种名为弹性联邦学习(EFL)的新型分布式ML架构,迈出了解决这些现象的第一步。EFL充分释放了开放无线接入网(O-RAN)系统的潜力,并引入了一种弹性资源配置方法来执行FL服务。它进一步构建了一个多时间尺度的FL管理系统,该系统引入了三个专为FL服务定制的网络控制功能,包括:(i)非实时(non-RT)系统描述器,它训练基于ML的应用程序来预测系统和FL相关的动态与参数;(ii)近实时(near-RT)FL控制器,它处理O-RAN切片和移动性管理,以实现FL服务的无缝执行;(iii)FL MAC调度器,它对不同FL服务的终端客户端进行实时资源分配。最后,我们构建了EFL原型,以展示其在提升FL服务性能方面的潜力。

0
下载
关闭预览

相关内容

【AAAI2021】“可瘦身”的生成式对抗网络
专知会员服务
13+阅读 · 2020年12月12日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员