Autonomous drone racing requires the tight coupling of perception, planning, and control under extreme agility. However, recent approaches typically rely on precomputed spatial reference trajectories or explicit 6-DoF gate pose estimation, rendering them brittle to spatial perturbations, unmodeled track changes, and sensor noise. Conversely, end-to-end learning policies frequently overfit to specific track layouts and struggle with zero-shot generalization. To address these fundamental limitations, we propose a fully onboard, vision guided optimal control framework that enables reference-free agile flight through arbitrarily placed and oriented gates. Central to our approach is Gate-SDF, a novel, implicitly learned neural signed distance field. Gate-SDF directly processes raw, noisy depth images to predict a continuous spatial field that provides both collision repulsion and active geometric guidance toward the valid traversal area. We seamlessly integrate this representation into a sampling-based Model Predictive Path Integral (MPPI) controller. By fully exploiting GPU parallelism, the framework evaluates these continuous spatial constraints across thousands of simulated trajectory rollouts simultaneously in real time. Furthermore, our formulation inherently maintains spatial consistency, ensuring robust navigation even under severe visual occlusion during aggressive maneuvers. Extensive simulations and real-world experiments demonstrate that the proposed system achieves high-speed agile flight and successfully navigates unseen tracks subject to severe unmodeled gate displacements and orientation perturbations. Videos are available at https://zhaofangguo.github.io/vision_guided_mppi/


翻译:自主无人机竞速需要在极端敏捷性下实现感知、规划与控制的高度耦合。然而,现有方法通常依赖预计算的空间参考轨迹或显式的六自由度门框姿态估计,使其对空间扰动、未建模的赛道变化及传感器噪声极为敏感。相比之下,端到端学习策略常过度拟合特定赛道布局,难以实现零样本泛化。为克服这些根本性局限,我们提出一种完全机载的视觉引导最优控制框架,能够无需参考轨迹即可穿越任意位置与朝向的门框实现敏捷飞行。本方法的核心是Gate-SDF——一种新型隐式学习的神经符号距离场。Gate-SDF直接处理原始含噪深度图像,预测连续空间场,同时提供碰撞斥力和朝向有效穿越区域的主动几何引导。我们将该表征无缝集成至基于采样的模型预测路径积分(MPPI)控制器中。通过充分利用GPU并行计算,该框架可实时同步评估数千条模拟轨迹在连续空间约束下的表现。此外,我们的建模方法本质保持空间一致性,确保即使在剧烈机动导致视觉严重遮挡时仍能实现鲁棒导航。大量仿真与实物实验表明,所提系统能实现高速敏捷飞行,并在遭遇严重未建模门框位移与朝向扰动的情况下成功导航未经预见的赛道。演示视频详见 https://zhaofangguo.github.io/vision_guided_mppi/

0
下载
关闭预览

相关内容

军用无人机集群技术尚未成熟——但潜力可期
专知会员服务
18+阅读 · 2025年8月6日
景象匹配无人机视觉定位
专知会员服务
20+阅读 · 2025年2月20日
无人机精确着陆控制技术
专知会员服务
24+阅读 · 2024年10月22日
有人 / 无人机协同空战任务规划技术
专知会员服务
84+阅读 · 2024年4月13日
空地异构无人系统侦察任务规划方法
专知会员服务
85+阅读 · 2024年2月26日
基于深度学习的无人机目标检测研究综述
专知会员服务
106+阅读 · 2023年6月22日
面向无人机的视觉目标跟踪算法:综述与展望
专知会员服务
81+阅读 · 2023年2月28日
无人预警机系统架构及关键技术分析
专知
13+阅读 · 2022年8月6日
国外有人/无人平台协同作战概述
无人机
122+阅读 · 2019年5月28日
智能无人作战系统的发展
科技导报
36+阅读 · 2018年6月29日
智能无人机集群技术概述
无人机
44+阅读 · 2018年2月28日
【无人机】无人机的自主与智能控制
产业智能官
53+阅读 · 2017年11月27日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2011年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
VIP会员
相关VIP内容
军用无人机集群技术尚未成熟——但潜力可期
专知会员服务
18+阅读 · 2025年8月6日
景象匹配无人机视觉定位
专知会员服务
20+阅读 · 2025年2月20日
无人机精确着陆控制技术
专知会员服务
24+阅读 · 2024年10月22日
有人 / 无人机协同空战任务规划技术
专知会员服务
84+阅读 · 2024年4月13日
空地异构无人系统侦察任务规划方法
专知会员服务
85+阅读 · 2024年2月26日
基于深度学习的无人机目标检测研究综述
专知会员服务
106+阅读 · 2023年6月22日
面向无人机的视觉目标跟踪算法:综述与展望
专知会员服务
81+阅读 · 2023年2月28日
相关资讯
无人预警机系统架构及关键技术分析
专知
13+阅读 · 2022年8月6日
国外有人/无人平台协同作战概述
无人机
122+阅读 · 2019年5月28日
智能无人作战系统的发展
科技导报
36+阅读 · 2018年6月29日
智能无人机集群技术概述
无人机
44+阅读 · 2018年2月28日
【无人机】无人机的自主与智能控制
产业智能官
53+阅读 · 2017年11月27日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2011年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员