Dynamic spectrum slicing is a critical enabler for 6G Radio Access Networks (RANs), allowing the coexistence of heterogeneous services. However, optimizing resource allocation in dense, interference-limited deployments remains challenging due to non-stationary channel dynamics, strict Quality-of-Service (QoS) requirements, and the need for data privacy. In this paper, we propose SliceFed, a novel Federated Constrained Multi-Agent Deep Reinforcement Learning (F-MADRL) framework. SliceFed formulates the slicing problem as a Constrained Markov Decision Process (CMDP) where autonomous gNB agents maximize spectral efficiency while explicitly satisfying inter-cell interference budgets and hard ultra-reliable low-latency communication (URLLC) latency deadlines. We employ a Lagrangian primal-dual approach integrated with Proximal Policy Optimization (PPO) to enforce constraints, while Federated Averaging enables collaborative learning without exchanging raw local data. Extensive simulations in a dense multi-cell environment demonstrate that SliceFed converges to a stable, safety-aware policy. Unlike heuristic and unconstrained baselines, SliceFed achieves nearly 100% satisfaction of 1~ms URLLC latency deadlines and exhibits superior robustness to traffic load variations, verifying its potential for reliable and scalable 6G spectrum management.


翻译:动态频谱切片是实现6G无线接入网(RAN)中异构服务共存的关键使能技术。然而,在密集且干扰受限的部署场景中,由于非平稳的信道动态特性、严格的服务质量(QoS)要求以及数据隐私保护需求,资源分配优化仍面临挑战。本文提出SliceFed,一种新颖的联邦约束多智能体深度强化学习(F-MADRL)框架。SliceFed将频谱切片问题建模为约束马尔可夫决策过程(CMDP),其中自主的gNB智能体在明确满足小区间干扰预算与严格的超可靠低时延通信(URLLC)时延截止期限的同时,最大化频谱效率。我们采用与近端策略优化(PPO)相结合的拉格朗日对偶方法以强化约束条件,同时通过联邦平均实现无需交换原始本地数据的协同学习。在密集多小区环境中的大量仿真表明,SliceFed能够收敛至稳定且具备安全意识的策略。与启发式及无约束基线方法相比,SliceFed实现了对1毫秒URLLC时延截止期限的近100%满足率,并对流量负载变化展现出卓越的鲁棒性,验证了其在可靠且可扩展的6G频谱管理方面的潜力。

0
下载
关闭预览

相关内容

《抗干扰协同无人机中继网络的多智能体深度强化学习》
专知会员服务
26+阅读 · 2025年12月31日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关VIP内容
《抗干扰协同无人机中继网络的多智能体深度强化学习》
专知会员服务
26+阅读 · 2025年12月31日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员