We present FoundationSLAM, a learning-based monocular dense SLAM system that addresses the absence of geometric consistency in previous flow-based approaches for accurate and robust tracking and mapping. Our core idea is to bridge flow estimation with geometric reasoning by leveraging the guidance from foundation depth models. To this end, we first develop a Hybrid Flow Network that produces geometry-aware correspondences, enabling consistent depth and pose inference across diverse keyframes. To enforce global consistency, we propose a Bi-Consistent Bundle Adjustment Layer that jointly optimizes keyframe pose and depth under multi-view constraints. Furthermore, we introduce a Reliability-Aware Refinement mechanism that dynamically adapts the flow update process by distinguishing between reliable and uncertain regions, forming a closed feedback loop between matching and optimization. Extensive experiments demonstrate that FoundationSLAM achieves superior trajectory accuracy and dense reconstruction quality across multiple challenging datasets, while running in real-time at 18 FPS, demonstrating strong generalization to various scenarios and practical applicability of our method.


翻译:我们提出了FoundationSLAM,一种基于学习的单目密集SLAM系统,旨在解决以往基于光流的方法中几何一致性的缺失,以实现精确且鲁棒的跟踪与建图。我们的核心思想是通过利用基础深度模型的引导,将光流估计与几何推理相融合。为此,我们首先开发了一种混合光流网络,该网络能够生成具有几何感知的对应关系,从而在不同关键帧之间实现一致的深度与姿态推断。为了确保全局一致性,我们提出了一种双一致束调整层,该层在多视图约束下联合优化关键帧姿态与深度。此外,我们引入了一种可靠性感知的细化机制,通过区分可靠区域与不确定区域来自适应地调整光流更新过程,从而在匹配与优化之间形成一个闭环反馈。大量实验表明,FoundationSLAM在多个具有挑战性的数据集上均实现了卓越的轨迹精度与密集重建质量,同时能以18 FPS的速度实时运行,这证明了我们的方法在各种场景下具有强大的泛化能力与实际应用价值。

0
下载
关闭预览

相关内容

可靠且负责任的基础模型:全面综述
专知会员服务
17+阅读 · 2月10日
迈向深度基础模型:基于视觉的深度估计最新趋势
专知会员服务
23+阅读 · 2025年7月16日
【新书】SLAM手册从定位与建图到空间智能,194页pdf
专知会员服务
61+阅读 · 2024年11月16日
【斯坦福博士论文】基础模型的数据分布视角,321页pdf
专知会员服务
42+阅读 · 2024年7月8日
【斯坦福课程】基础模型进展
专知会员服务
52+阅读 · 2023年1月15日
专知会员服务
87+阅读 · 2019年12月13日
综述 | 激光与视觉融合SLAM
计算机视觉life
18+阅读 · 2020年10月8日
实战 | 如何制作一个SLAM轨迹真值获取装置?
计算机视觉life
12+阅读 · 2019年10月16日
【泡泡图灵智库】Detect-SLAM:目标检测和SLAM相互收益
泡泡机器人SLAM
14+阅读 · 2019年6月28日
OpenVSLAM:日本新开源”全能“视觉SLAM框架
计算机视觉life
13+阅读 · 2019年6月12日
SLAM中VIO的优势及入门姿势
计算机视觉life
87+阅读 · 2019年5月7日
如何从零开始系统化学习视觉SLAM?
计算机视觉life
21+阅读 · 2019年4月13日
视觉SLAM技术综述
计算机视觉life
27+阅读 · 2019年1月4日
从零开始一起学习SLAM | SLAM有什么用?
计算机视觉life
18+阅读 · 2018年9月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
可靠且负责任的基础模型:全面综述
专知会员服务
17+阅读 · 2月10日
迈向深度基础模型:基于视觉的深度估计最新趋势
专知会员服务
23+阅读 · 2025年7月16日
【新书】SLAM手册从定位与建图到空间智能,194页pdf
专知会员服务
61+阅读 · 2024年11月16日
【斯坦福博士论文】基础模型的数据分布视角,321页pdf
专知会员服务
42+阅读 · 2024年7月8日
【斯坦福课程】基础模型进展
专知会员服务
52+阅读 · 2023年1月15日
专知会员服务
87+阅读 · 2019年12月13日
相关资讯
综述 | 激光与视觉融合SLAM
计算机视觉life
18+阅读 · 2020年10月8日
实战 | 如何制作一个SLAM轨迹真值获取装置?
计算机视觉life
12+阅读 · 2019年10月16日
【泡泡图灵智库】Detect-SLAM:目标检测和SLAM相互收益
泡泡机器人SLAM
14+阅读 · 2019年6月28日
OpenVSLAM:日本新开源”全能“视觉SLAM框架
计算机视觉life
13+阅读 · 2019年6月12日
SLAM中VIO的优势及入门姿势
计算机视觉life
87+阅读 · 2019年5月7日
如何从零开始系统化学习视觉SLAM?
计算机视觉life
21+阅读 · 2019年4月13日
视觉SLAM技术综述
计算机视觉life
27+阅读 · 2019年1月4日
从零开始一起学习SLAM | SLAM有什么用?
计算机视觉life
18+阅读 · 2018年9月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员