The integration of satellite and autonomous aerial vehicle (AAV) communications has become essential for the scenarios requiring both wide coverage and rapid deployment, particularly in remote or disaster-stricken areas where the terrestrial infrastructure is unavailable. Furthermore, emerging applications increasingly demand simultaneous mobile edge computing (MEC) and data collection (DC) capabilities within the same aerial network. However, jointly optimizing these operations in heterogeneous satellite-AAV systems presents significant challenges due to limited on-board resources and competing demands under dynamic channel conditions. In this work, we investigate a satellite-AAV-enabled joint MEC-DC system where these platforms collaborate to serve ground devices (GDs). Specifically, we formulate a joint optimization problem to minimize the average MEC end-to-end delay and AAV energy consumption while maximizing the collected data. Since the formulated optimization problem is a non-convex mixed-integer nonlinear programming (MINLP) problem, we propose a Q-weighted variational policy optimization-based joint AAV movement control, GD association, offloading decision, and bandwidth allocation (QAGOB) approach. Specifically, we reformulate the optimization problem as an action space-transformed Markov decision process to adapt the variable action dimensions and hybrid action space. Subsequently, QAGOB leverages the multi-modal generation capacities of diffusion models to optimize policies and can achieve better sample efficiency while controlling the diffusion costs during training. Simulation results show that QAGOB outperforms five other benchmarks, including traditional DRL and diffusion-based DRL algorithms. Furthermore, the MEC-DC joint optimization achieves significant advantages when compared to the separate optimization of MEC and DC.


翻译:卫星与自主飞行器(AAV)通信的集成已成为需要广域覆盖与快速部署场景的关键技术,尤其在缺乏地面基础设施的偏远或灾区。此外,新兴应用日益要求在同一空基网络中同时具备移动边缘计算(MEC)与数据收集(DC)能力。然而,在异构卫星-AAV系统中联合优化这些操作面临显著挑战,原因在于机载资源有限且在动态信道条件下存在竞争性需求。本研究提出一种卫星-AAV协同的联合MEC-DC系统,这些平台协作服务地面设备(GDs)。具体而言,我们构建了一个联合优化问题,旨在最小化平均MEC端到端延迟与AAV能耗,同时最大化收集数据量。由于该优化问题属于非凸混合整数非线性规划(MINLP)问题,我们提出一种基于Q加权变分策略优化的联合AAV移动控制、GD关联、卸载决策与带宽分配(QAGOB)方法。具体地,我们将优化问题重构为动作空间转换的马尔可夫决策过程,以适应可变动作维度与混合动作空间。随后,QAGOB利用扩散模型的多模态生成能力优化策略,在控制训练过程中扩散成本的同时实现更优的样本效率。仿真结果表明,QAGOB在性能上优于其他五种基准方法,包括传统深度强化学习算法与基于扩散的深度强化学习算法。此外,与MEC和DC分别优化的方案相比,MEC-DC联合优化展现出显著优势。

0
下载
关闭预览

相关内容

DC:Distributed Computing。 Explanation:分布式计算。 Publisher:Springer。 SIT:http://dblp.uni-trier.de/db/journals/dc/
《无人机辅助的天空地一体化网络:学习算法技术综述》
《使用强化学习的自主无人飞行器导航:综述》
专知会员服务
84+阅读 · 2023年6月18日
《基于深度强化学习的自主无人机拦截》空客等
专知会员服务
55+阅读 · 2023年4月28日
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
综述:军事应用中使用的一些重要算法
专知
12+阅读 · 2022年7月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2013年12月31日
VIP会员
相关VIP内容
《无人机辅助的天空地一体化网络:学习算法技术综述》
《使用强化学习的自主无人飞行器导航:综述》
专知会员服务
84+阅读 · 2023年6月18日
《基于深度强化学习的自主无人机拦截》空客等
专知会员服务
55+阅读 · 2023年4月28日
相关资讯
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
综述:军事应用中使用的一些重要算法
专知
12+阅读 · 2022年7月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员