Fast-flying aerial robots promise rapid inspection under limited battery constraints, with direct applications in infrastructure inspection, terrain exploration, and search and rescue. However, high speeds lead to severe motion blur in images and induce significant drift and noise in pose estimates, making dense 3D reconstruction with Neural Radiance Fields (NeRFs) particularly challenging due to their high sensitivity to such degradations. In this work, we present a unified framework that leverages asynchronous event streams alongside motion-blurred frames to reconstruct high-fidelity radiance fields from agile drone flights. By embedding event-image fusion into NeRF optimization and jointly refining event-based visual-inertial odometry priors using both event and frame modalities, our method recovers sharp radiance fields and accurate camera trajectories without ground-truth supervision. We validate our approach on both synthetic data and real-world sequences captured by a fast-flying drone. Despite highly dynamic drone flights, where RGB frames are severely degraded by motion blur and pose priors become unreliable, our method reconstructs high-fidelity radiance fields and preserves fine scene details, delivering a performance gain of over 50% on real-world data compared to state-of-the-art methods.


翻译:快速飞行的空中机器人有望在有限电池约束下实现快速巡检,在基础设施检查、地形勘探和搜救等领域具有直接应用价值。然而,高速飞行会导致图像出现严重运动模糊,并引起位姿估计的显著漂移和噪声,这使得基于神经辐射场(NeRFs)的稠密三维重建变得尤为困难,因为NeRF对此类退化现象高度敏感。本研究提出一个统一框架,利用异步事件流与运动模糊帧相结合,从敏捷无人机飞行中重建高保真辐射场。通过将事件-图像融合嵌入NeRF优化过程,并联合利用事件和帧模态共同优化基于事件的视觉-惯性里程计先验,我们的方法无需地面真值监督即可恢复锐利辐射场和精确相机轨迹。我们在合成数据与快速飞行无人机采集的真实场景序列上验证了所提方法。即使在无人机高速动态飞行导致RGB帧严重运动模糊、位姿先验不可靠的情况下,我们的方法仍能重建高保真辐射场并保留精细场景细节,在真实数据上相比现有最优方法实现超过50%的性能提升。

1
下载
关闭预览

相关内容

神经辐射场加速算法综述
专知会员服务
22+阅读 · 2024年6月1日
值得关注的三大反无人机系统(C-UAS)创新趋势
专知会员服务
38+阅读 · 2024年5月29日
专知会员服务
74+阅读 · 2021年5月28日
军用无人机行业深度报告
专知
17+阅读 · 2022年8月21日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
2+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
6+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
5+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
6+阅读 · 6月24日
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
5+阅读 · 6月24日
综述 | 世界动作模型:少做梦,多行动
专知会员服务
7+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
12+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员