UAV navigation in unstructured outdoor environments using passive monocular vision is hindered by the substantial visual domain gap between simulation and reality. While 3D Gaussian Splatting enables photorealistic scene reconstruction from real-world data, existing methods inherently couple static lighting with geometry, severely limiting policy generalization to dynamic real-world illumination. In this paper, we propose a novel end-to-end reinforcement learning framework designed for effective zero-shot transfer to unstructured outdoors. Within a high-fidelity simulation grounded in real-world data, our policy is trained to map raw monocular RGB observations directly to continuous control commands. To overcome photometric limitations, we introduce Relightable 3D Gaussian Splatting, which decomposes scene components to enable explicit, physically grounded editing of environmental lighting within the neural representation. By augmenting training with diverse synthesized lighting conditions ranging from strong directional sunlight to diffuse overcast skies, we compel the policy to learn robust, illumination-invariant visual features. Extensive real-world experiments demonstrate that a lightweight quadrotor achieves robust, collision-free navigation in complex forest environments at speeds up to 10 m/s, exhibiting significant resilience to drastic lighting variations without fine-tuning.


翻译:利用被动单目视觉在非结构化室外环境中进行无人机导航,主要障碍在于仿真与现实之间存在显著的视觉域差异。虽然三维高斯溅射技术能够从真实世界数据中实现照片级逼真的场景重建,但现有方法本质上将静态光照与几何结构耦合在一起,严重限制了策略在动态真实世界光照下的泛化能力。本文提出了一种新颖的端到端强化学习框架,旨在实现向非结构化室外环境的有效零样本迁移。在基于真实世界数据构建的高保真仿真环境中,我们的策略被训练为直接将原始单目RGB观测映射到连续控制指令。为克服光度学限制,我们引入了可重光照三维高斯溅射技术,该技术通过分解场景成分,使得在神经表征内部能够对环境光照进行显式、基于物理的编辑。通过使用从强烈定向阳光到漫射阴天等多种合成光照条件增强训练,我们迫使策略学习鲁棒的、对光照不变的视觉特征。大量真实世界实验表明,一架轻型四旋翼无人机能够在复杂森林环境中以高达10米/秒的速度实现鲁棒、无碰撞的导航,并在未经微调的情况下对剧烈光照变化表现出显著的适应能力。

0
下载
关闭预览

相关内容

《面向海军应用的无人机网络安全仿真环境》
专知会员服务
16+阅读 · 4月7日
《动态对抗环境下无人机路径规划算法》
专知会员服务
39+阅读 · 2025年7月22日
景象匹配无人机视觉定位
专知会员服务
20+阅读 · 2025年2月20日
面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
基于深度学习的无人机目标检测研究综述
专知会员服务
107+阅读 · 2023年6月22日
面向无人机的视觉目标跟踪算法:综述与展望
专知会员服务
81+阅读 · 2023年2月28日
激光slam导航方案凭什么更被各大厂家青睐?
计算机视觉life
15+阅读 · 2019年1月25日
智能无人机集群技术概述
无人机
46+阅读 · 2018年2月28日
无人艇的发展趋势
无人机
13+阅读 · 2017年11月6日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2011年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
VIP会员
最新内容
乌克兰前线的五项创新
专知会员服务
1+阅读 · 今天6:14
 军事通信系统与设备的技术演进综述
专知会员服务
1+阅读 · 今天5:59
《北约标准:医疗评估手册》174页
专知会员服务
1+阅读 · 今天5:51
《提升生成模型的安全性与保障》博士论文
专知会员服务
0+阅读 · 今天5:47
美国当前高超音速导弹发展概述
专知会员服务
4+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
8+阅读 · 4月19日
澳大利亚发布《国防战略(2026年)》
专知会员服务
4+阅读 · 4月19日
全球高超音速武器最新发展趋势
专知会员服务
3+阅读 · 4月19日
相关VIP内容
《面向海军应用的无人机网络安全仿真环境》
专知会员服务
16+阅读 · 4月7日
《动态对抗环境下无人机路径规划算法》
专知会员服务
39+阅读 · 2025年7月22日
景象匹配无人机视觉定位
专知会员服务
20+阅读 · 2025年2月20日
面向无人机视角的多源信息融合目标检测
专知会员服务
18+阅读 · 2025年2月2日
基于深度学习的无人机目标检测研究综述
专知会员服务
107+阅读 · 2023年6月22日
面向无人机的视觉目标跟踪算法:综述与展望
专知会员服务
81+阅读 · 2023年2月28日
相关资讯
激光slam导航方案凭什么更被各大厂家青睐?
计算机视觉life
15+阅读 · 2019年1月25日
智能无人机集群技术概述
无人机
46+阅读 · 2018年2月28日
无人艇的发展趋势
无人机
13+阅读 · 2017年11月6日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2011年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
27+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员