The rapid advancement of Low-Altitude Economy Networks (LAENets) has enabled a variety of applications, including aerial surveillance, environmental sensing, and semantic data collection. To support these scenarios, unmanned aerial vehicles (UAVs) equipped with onboard vision-language models (VLMs) offer a promising solution for real-time multimodal inference. However, ensuring both inference accuracy and communication efficiency remains a significant challenge due to limited onboard resources and dynamic network conditions. In this paper, we first propose a UAV-enabled LAENet system model that jointly captures UAV mobility, user-UAV communication, and the onboard visual question answering (VQA) pipeline. Based on this model, we formulate a mixed-integer non-convex optimization problem to minimize task latency and power consumption under user-specific accuracy constraints. To solve the problem, we design a hierarchical optimization framework composed of two parts: (i) an Alternating Resolution and Power Optimization (ARPO) algorithm for resource allocation under accuracy constraints, and (ii) a Large Language Model-augmented Reinforcement Learning Approach (LLaRA) for adaptive UAV trajectory optimization. The large language model (LLM) serves as an expert in refining reward design of reinforcement learning in an offline fashion, introducing no additional latency in real-time decision-making. Numerical results demonstrate the efficacy of our proposed framework in improving inference performance and communication efficiency under dynamic LAENet conditions.


翻译:低空经济网络(LAENets)的快速发展催生了包括空中监视、环境监测和语义数据收集在内的多种应用。为支撑这些场景,配备机载视觉-语言模型(VLM)的无人机(UAV)为实时多模态推理提供了有前景的解决方案。然而,由于机载资源有限且网络环境动态变化,如何同时保障推理准确性与通信效率仍是一项重大挑战。本文首先提出一种无人机赋能低空经济网络系统模型,该模型联合刻画了无人机移动性、用户-无人机通信机制以及机载视觉问答(VQA)流水线。基于该模型,我们构建了混合整数非凸优化问题,旨在满足用户特定精度约束的前提下最小化任务时延与功耗。为求解该问题,我们设计了分层优化框架,包含两部分:(i)基于交替分辨率与功率优化(ARPO)的资源分配算法(满足精度约束),以及(ii)基于大语言模型增强的强化学习方法(LLaRA)实现自适应无人机轨迹优化。其中大语言模型(LLM)作为专家,以离线方式优化强化学习的奖励设计,且不引入实时决策的额外延迟。数值实验结果表明,所提框架在动态低空经济网络条件下能有效提升推理性能与通信效率。

0
下载
关闭预览

相关内容

面向无人机应用的 Transformer 与大语言模型最新进展
专知会员服务
32+阅读 · 2025年9月14日
无人机与大型语言模型:现状与未来之路
专知会员服务
121+阅读 · 2024年6月16日
【NeurIPS2023】大型语言模型是视觉推理协调器
专知会员服务
30+阅读 · 2023年10月24日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
33+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
29+阅读 · 2011年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关资讯
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
33+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
29+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员