Aerial search missions often require an unmanned aerial vehicle (UAV) to locate a target from only a brief description of its appearance and surroundings, a task known as target-oriented aerial vision-and-language navigation (VLN). The task demands city-scale exploration and grounding as well as collision-free close-range approach, two interleaved processes that are difficult to reconcile within a single agent. Most existing methods adapt the ground VLN paradigm to a single UAV and rely on external assistance to compensate for its inefficiency. A recent attempt deploys two UAVs at complementary altitudes but still depends on privileged sensing and trains the two agents independently, precluding any mutual adaptation. We propose CoNav-UAV, which models the task as a Stackelberg game between a high-altitude leader and a low-altitude follower to capture their sequential decisions and asymmetric observations and utilities, with both agents using only onboard sensing. We introduce Iterative Stackelberg Learning, which tailors optimization to each agent's role: the leader's high-level vision-language reasoning builds on pretrained capabilities and is refined through memory-based in-context learning, while the follower's precise motion control is fine-tuned through DAgger-style expert distillation. Alternating the two updates lets each agent continually adapt to the other's evolving behavior. CoNav-UAV outperforms single- and dual-agent baselines across three high-fidelity urban scenes from the AerialVLN benchmark. It improves success rate by up to 30.8 points on the learning scene and by up to 9.0 points under cross-scene transfer, where the leader reuses its learned memory and the follower is adapted with 2.6-3.7 times less target-scene data. Extensive ablations confirm the contributions of key components and the benefit of mutual adaptation, with consistent gains across VLM backbones.


翻译:暂无翻译

0
下载
关闭预览

相关内容

《军用多旋翼无人机模块化框架》126页
专知会员服务
41+阅读 · 2025年4月13日
DARPA 公布未来垂直起降(VTOL)无人机系统概念图
专知会员服务
30+阅读 · 2024年5月30日
《执行监视任务的自主无人机 (UAV) 编队模型》123页
专知会员服务
75+阅读 · 2024年4月10日
《使用强化学习的自主无人飞行器导航:综述》
专知会员服务
86+阅读 · 2023年6月18日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
国家自然科学基金
348+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2013年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
15+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
12+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
12+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
15+阅读 · 11月6日
相关基金
国家自然科学基金
348+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员