UAV navigation in unstructured outdoor environments using passive monocular vision is hindered by the substantial visual domain gap between simulation and reality. While 3D Gaussian Splatting enables photorealistic scene reconstruction from real-world data, existing methods inherently couple static lighting with geometry, severely limiting policy generalization to dynamic real-world illumination. In this paper, we propose a novel end-to-end reinforcement learning framework designed for effective zero-shot transfer to unstructured outdoors. Within a high-fidelity simulation grounded in real-world data, our policy is trained to map raw monocular RGB observations directly to continuous control commands. To overcome photometric limitations, we introduce Relightable 3D Gaussian Splatting, which decomposes scene components to enable explicit, physically grounded editing of environmental lighting within the neural representation. By augmenting training with diverse synthesized lighting conditions ranging from strong directional sunlight to diffuse overcast skies, we compel the policy to learn robust, illumination-invariant visual features. Extensive real-world experiments demonstrate that a lightweight quadrotor achieves robust, collision-free navigation in complex forest environments at speeds up to 10 m/s, exhibiting significant resilience to drastic lighting variations without fine-tuning.


翻译:利用被动单目视觉在非结构化室外环境中进行无人机导航,主要障碍在于仿真与现实之间存在显著的视觉域差异。虽然三维高斯溅射技术能够从真实世界数据中实现照片级逼真的场景重建,但现有方法本质上将静态光照与几何结构耦合在一起,严重限制了策略在动态真实世界光照下的泛化能力。本文提出了一种新颖的端到端强化学习框架,旨在实现向非结构化室外环境的有效零样本迁移。在基于真实世界数据构建的高保真仿真环境中,我们的策略被训练为直接将原始单目RGB观测映射到连续控制指令。为克服光度学限制,我们引入了可重光照三维高斯溅射技术,该技术通过分解场景成分,使得在神经表征内部能够对环境光照进行显式、基于物理的编辑。通过使用从强烈定向阳光到漫射阴天等多种合成光照条件增强训练,我们迫使策略学习鲁棒的、对光照不变的视觉特征。大量真实世界实验表明,一架轻型四旋翼无人机能够在复杂森林环境中以高达10米/秒的速度实现鲁棒、无碰撞的导航,并在未经微调的情况下对剧烈光照变化表现出显著的适应能力。

0
下载
关闭预览

相关内容

军用无人机集群技术尚未成熟——但潜力可期
专知会员服务
18+阅读 · 2025年8月6日
《动态对抗环境下无人机路径规划算法》
专知会员服务
38+阅读 · 2025年7月22日
景象匹配无人机视觉定位
专知会员服务
20+阅读 · 2025年2月20日
面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
无人机空地网络研究综述
专知会员服务
49+阅读 · 2024年5月19日
基于深度学习的无人机目标检测研究综述
专知会员服务
106+阅读 · 2023年6月22日
面向无人机的视觉目标跟踪算法:综述与展望
专知会员服务
81+阅读 · 2023年2月28日
激光slam导航方案凭什么更被各大厂家青睐?
计算机视觉life
15+阅读 · 2019年1月25日
智能无人机集群技术概述
无人机
44+阅读 · 2018年2月28日
无人艇的发展趋势
无人机
13+阅读 · 2017年11月6日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2011年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
VIP会员
相关VIP内容
军用无人机集群技术尚未成熟——但潜力可期
专知会员服务
18+阅读 · 2025年8月6日
《动态对抗环境下无人机路径规划算法》
专知会员服务
38+阅读 · 2025年7月22日
景象匹配无人机视觉定位
专知会员服务
20+阅读 · 2025年2月20日
面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
无人机空地网络研究综述
专知会员服务
49+阅读 · 2024年5月19日
基于深度学习的无人机目标检测研究综述
专知会员服务
106+阅读 · 2023年6月22日
面向无人机的视觉目标跟踪算法:综述与展望
专知会员服务
81+阅读 · 2023年2月28日
相关资讯
激光slam导航方案凭什么更被各大厂家青睐?
计算机视觉life
15+阅读 · 2019年1月25日
智能无人机集群技术概述
无人机
44+阅读 · 2018年2月28日
无人艇的发展趋势
无人机
13+阅读 · 2017年11月6日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2011年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员