Robust 3D geometry estimation from videos is critical for applications such as autonomous navigation, SLAM, and 3D scene reconstruction. Recent methods like DUSt3R demonstrate that regressing dense pointmaps from image pairs enables accurate and efficient pose-free reconstruction. However, existing RGB-only approaches struggle under real-world conditions involving dynamic objects and extreme illumination, due to the inherent limitations of conventional cameras. In this paper, we propose EAG3R, a novel geometry estimation framework that augments pointmap-based reconstruction with asynchronous event streams. Built upon the MonST3R backbone, EAG3R introduces two key innovations: (1) a retinex-inspired image enhancement module and a lightweight event adapter with SNR-aware fusion mechanism that adaptively combines RGB and event features based on local reliability; and (2) a novel event-based photometric consistency loss that reinforces spatiotemporal coherence during global optimization. Our method enables robust geometry estimation in challenging dynamic low-light scenes without requiring retraining on night-time data. Extensive experiments demonstrate that EAG3R significantly outperforms state-of-the-art RGB-only baselines across monocular depth estimation, camera pose tracking, and dynamic reconstruction tasks.


翻译:从视频中鲁棒地估计三维几何对于自动驾驶导航、SLAM和三维场景重建等应用至关重要。DUSt3R等近期方法表明,从图像对回归密集点云图能够实现精确且无需姿态估计的高效重建。然而,由于传统相机固有的局限性,现有的纯RGB方法在涉及动态物体和极端光照的真实世界条件下表现不佳。本文提出EAG3R,一种新颖的几何估计框架,它通过异步事件流增强了基于点云图的重建。EAG3R基于MonST3R主干网络构建,引入了两项关键创新:(1) 一个受Retinex理论启发的图像增强模块,以及一个轻量级的事件适配器,该适配器配备信噪比感知融合机制,能够根据局部可靠性自适应地融合RGB与事件特征;(2) 一种新颖的基于事件的光度一致性损失,在全局优化过程中增强了时空一致性。我们的方法能够在具有挑战性的动态低光场景中进行鲁棒的几何估计,而无需在夜间数据上重新训练。大量实验表明,EAG3R在单目深度估计、相机姿态跟踪和动态重建任务上均显著优于最先进的纯RGB基线方法。

0
下载
关闭预览

相关内容

前馈式三维场景建模
专知会员服务
11+阅读 · 4月17日
迈向深度基础模型:基于视觉的深度估计最新趋势
专知会员服务
23+阅读 · 2025年7月16日
三维视觉中的扩散模型:综述
专知会员服务
33+阅读 · 2024年10月9日
动态三维场景重建研究综述
专知会员服务
35+阅读 · 2024年8月23日
【CMU博士论文】稀疏视角三维重建,147页pdf
专知会员服务
32+阅读 · 2024年5月16日
专知会员服务
67+阅读 · 2021年5月21日
专知会员服务
56+阅读 · 2021年4月4日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
计算机视觉方向简介 | 基于单目视觉的三维重建算法
计算机视觉life
32+阅读 · 2019年4月9日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
KDD 2026 | MixRAGRec:面向LLM推荐的混合专家KG-RAG框架
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
3+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
战略前沿人工智能的再思考(中文)
专知会员服务
8+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
6+阅读 · 5月29日
相关VIP内容
前馈式三维场景建模
专知会员服务
11+阅读 · 4月17日
迈向深度基础模型:基于视觉的深度估计最新趋势
专知会员服务
23+阅读 · 2025年7月16日
三维视觉中的扩散模型:综述
专知会员服务
33+阅读 · 2024年10月9日
动态三维场景重建研究综述
专知会员服务
35+阅读 · 2024年8月23日
【CMU博士论文】稀疏视角三维重建,147页pdf
专知会员服务
32+阅读 · 2024年5月16日
专知会员服务
67+阅读 · 2021年5月21日
专知会员服务
56+阅读 · 2021年4月4日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员