For low-altitude economy (LAE), fast and accurate beam prediction between high-mobility unmanned aerial vehicles (UAVs) and ground base stations is of paramount importance, which ensures seamless coverage and reliable communications. However, existing deep learning-based beam prediction methods lack high-level semantic understanding of dynamic environments, resulting in poor generalization. On the other hand, the emerging large language model (LLM) based approaches show promise in enhancing generalization, but they typically lack rich environmental perception, thereby failing to capture fine-grained spatial semantics essential for precise beam alignment. To tackle these limitations, we propose in this correspondence a novel end-to-end generative framework for beam prediction, called BeamVLM, which treats beam prediction as a vision question answering task capitalizing on powerful existing vision-language models (VLMs). By projecting raw visual patches directly into the language domain and judiciously designing an instructional prompt, the proposed BeamVLM enables the VLM to jointly reason over UAV trajectories and environmental context. Last, experimental results on real-world datasets demonstrate that the proposed BeamVLM outperforms state-of-the-art methods in prediction accuracy and also exhibits superior generalization for other scenarios such as vehicle-to-infrastructure (V2I) beam prediction.


翻译:在低空经济中,实现高机动性无人机与地面基站之间快速、准确的波束预测至关重要,这确保了无缝覆盖与可靠通信。然而,现有基于深度学习的波束预测方法缺乏对动态环境的高层语义理解,导致泛化能力不足。另一方面,新兴的基于大语言模型的方法虽在提升泛化能力方面展现出潜力,但其通常缺乏丰富的环境感知能力,因而难以捕获精确波束对齐所需的关键细粒度空间语义。为应对这些局限,本文提出一种新颖的端到端生成式波束预测框架,称为BeamVLM。该框架将波束预测视为一项视觉问答任务,充分利用现有强大的视觉语言模型。通过将原始视觉图像块直接投影至语言域,并精心设计指令提示,所提出的BeamVLM使VLM能够对无人机轨迹与环境上下文进行联合推理。最后,在真实数据集上的实验结果表明,所提出的BeamVLM在预测准确性上优于现有最优方法,并在其他场景(如车对基础设施波束预测)中展现出更优的泛化性能。

0
下载
关闭预览

相关内容

通信行业:智能低空通感网络白皮书
专知会员服务
15+阅读 · 2025年7月7日
中国低空经济应用场景研究报告(2025)
专知会员服务
35+阅读 · 2025年4月20日
低空经济发展研究报告(2024)
专知会员服务
43+阅读 · 2025年1月16日
低空经济政策与产业生态研究报告(2024年)
专知会员服务
32+阅读 · 2024年12月25日
《2024低空航行系统白皮书》
专知会员服务
46+阅读 · 2024年12月16日
2024低空经济场景白皮书(167页全文)
专知会员服务
65+阅读 · 2024年10月27日
《上海低空经济发展白皮书2024》正式发布(附下载)
专知会员服务
67+阅读 · 2024年6月12日
无人预警机系统架构及关键技术分析
专知
13+阅读 · 2022年8月6日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
详解谷歌最强NLP模型BERT(理论+实战)
AI100
11+阅读 · 2019年1月18日
国家自然科学基金
33+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
45+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
20+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
相关VIP内容
通信行业:智能低空通感网络白皮书
专知会员服务
15+阅读 · 2025年7月7日
中国低空经济应用场景研究报告(2025)
专知会员服务
35+阅读 · 2025年4月20日
低空经济发展研究报告(2024)
专知会员服务
43+阅读 · 2025年1月16日
低空经济政策与产业生态研究报告(2024年)
专知会员服务
32+阅读 · 2024年12月25日
《2024低空航行系统白皮书》
专知会员服务
46+阅读 · 2024年12月16日
2024低空经济场景白皮书(167页全文)
专知会员服务
65+阅读 · 2024年10月27日
《上海低空经济发展白皮书2024》正式发布(附下载)
专知会员服务
67+阅读 · 2024年6月12日
相关基金
国家自然科学基金
33+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
45+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员