UAV navigation in unstructured outdoor environments using passive monocular vision is hindered by the substantial visual domain gap between simulation and reality. While 3D Gaussian Splatting enables photorealistic scene reconstruction from real-world data, existing methods inherently couple static lighting with geometry, severely limiting policy generalization to dynamic real-world illumination. In this paper, we propose a novel end-to-end reinforcement learning framework designed for effective zero-shot transfer to unstructured outdoors. Within a high-fidelity simulation grounded in real-world data, our policy is trained to map raw monocular RGB observations directly to continuous control commands. To overcome photometric limitations, we introduce Relightable 3D Gaussian Splatting, which decomposes scene components to enable explicit, physically grounded editing of environmental lighting within the neural representation. By augmenting training with diverse synthesized lighting conditions ranging from strong directional sunlight to diffuse overcast skies, we compel the policy to learn robust, illumination-invariant visual features. Extensive real-world experiments demonstrate that a lightweight quadrotor achieves robust, collision-free navigation in complex forest environments at speeds up to 10 m/s, exhibiting significant resilience to drastic lighting variations without fine-tuning.


翻译:在非结构化室外环境中使用被动单目视觉进行无人机导航,主要障碍在于仿真与现实之间存在显著的视觉域差异。尽管三维高斯泼溅技术能够从真实世界数据实现照片级逼真的场景重建,但现有方法本质上将静态光照与几何结构耦合在一起,严重限制了策略在动态真实世界光照条件下的泛化能力。本文提出了一种新颖的端到端强化学习框架,旨在实现向非结构化室外环境的有效零样本迁移。在基于真实世界数据构建的高保真仿真环境中,我们的策略被训练为直接将原始单目RGB观测映射到连续控制指令。为克服光度学限制,我们引入了可重光照三维高斯泼溅技术,该技术通过分解场景组件,使得能够在神经表征内部对环境光照进行显式、基于物理的编辑。通过使用从强烈定向阳光到漫射阴天等多种合成光照条件增强训练,我们迫使策略学习鲁棒的、对光照不变的视觉特征。大量真实世界实验表明,轻量级四旋翼无人机能够在复杂森林环境中以高达10米/秒的速度实现鲁棒、无碰撞导航,并在未经微调的情况下对剧烈光照变化展现出显著的适应能力。

0
下载
关闭预览

相关内容

《动态对抗环境下无人机路径规划算法》
专知会员服务
38+阅读 · 2025年7月22日
《城市三维环境下无人机路径规划算法效能比较分析》
专知会员服务
31+阅读 · 2025年3月25日
景象匹配无人机视觉定位
专知会员服务
20+阅读 · 2025年2月20日
面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
面向无人机的视觉目标跟踪算法:综述与展望
专知会员服务
81+阅读 · 2023年2月28日
激光slam导航方案凭什么更被各大厂家青睐?
计算机视觉life
15+阅读 · 2019年1月25日
智能无人机集群技术概述
无人机
44+阅读 · 2018年2月28日
无人艇的发展趋势
无人机
13+阅读 · 2017年11月6日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
相关VIP内容
《动态对抗环境下无人机路径规划算法》
专知会员服务
38+阅读 · 2025年7月22日
《城市三维环境下无人机路径规划算法效能比较分析》
专知会员服务
31+阅读 · 2025年3月25日
景象匹配无人机视觉定位
专知会员服务
20+阅读 · 2025年2月20日
面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
面向无人机的视觉目标跟踪算法:综述与展望
专知会员服务
81+阅读 · 2023年2月28日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员