We present HI-SLAM2, a geometry-aware Gaussian SLAM system that achieves fast and accurate monocular scene reconstruction using only RGB input. Existing Neural SLAM or 3DGS-based SLAM methods often trade off between rendering quality and geometry accuracy, our research demonstrates that both can be achieved simultaneously with RGB input alone. The key idea of our approach is to enhance the ability for geometry estimation by combining easy-to-obtain monocular priors with learning-based dense SLAM, and then using 3D Gaussian splatting as our core map representation to efficiently model the scene. Upon loop closure, our method ensures on-the-fly global consistency through efficient pose graph bundle adjustment and instant map updates by explicitly deforming the 3D Gaussian units based on anchored keyframe updates. Furthermore, we introduce a grid-based scale alignment strategy to maintain improved scale consistency in prior depths for finer depth details. Through extensive experiments on Replica, ScanNet, and ScanNet++, we demonstrate significant improvements over existing Neural SLAM methods and even surpass RGB-D-based methods in both reconstruction and rendering quality. The project page and source code will be made available at https://hi-slam2.github.io/.


翻译:我们提出了HI-SLAM2,这是一个几何感知的高斯SLAM系统,仅使用RGB输入即可实现快速、准确的单目场景重建。现有的神经SLAM或基于3DGS的SLAM方法通常在渲染质量与几何精度之间进行权衡,我们的研究表明,仅凭RGB输入即可同时实现两者。我们方法的核心思想是通过将易于获取的单目先验信息与基于学习的稠密SLAM相结合,来增强几何估计能力,然后使用3D高斯泼溅作为核心地图表示来高效建模场景。在闭环检测时,我们的方法通过高效的位姿图光束法平差,并基于锚定关键帧的更新对3D高斯单元进行显式变形,从而实现即时地图更新,确保实时全局一致性。此外,我们引入了一种基于网格的尺度对齐策略,以在先验深度中保持更好的尺度一致性,从而获得更精细的深度细节。通过在Replica、ScanNet和ScanNet++数据集上进行的大量实验,我们证明了该方法相对于现有神经SLAM方法的显著改进,甚至在重建和渲染质量上超越了基于RGB-D的方法。项目页面和源代码将在https://hi-slam2.github.io/上提供。

0
下载
关闭预览

相关内容

即时定位与地图构建(SLAM或Simultaneouslocalizationandmapping)是这样一种技术:使得机器人和自动驾驶汽车等设备能在未知环境(没有先验知识的前提下)建立地图,或者在已知环境(已给出该地图的先验知识)中能更新地图,并保证这些设备能在同时追踪它们的当前位置。
基于异构数据融合的SLAM 研究综述
专知会员服务
28+阅读 · 2024年9月18日
【CVPR2024】VastGaussian: 用于大型场景重建的巨大三维高斯
专知会员服务
45+阅读 · 2021年9月15日
【开放书】SLAM 中的几何与学习方法,62页pdf
专知会员服务
111+阅读 · 2020年6月5日
专知会员服务
87+阅读 · 2019年12月13日
超全汇总 | ORB-SLAM2 / ORB-SLAM3 相关改进代码!
计算机视觉life
35+阅读 · 2020年11月22日
综述 | 激光与视觉融合SLAM
计算机视觉life
18+阅读 · 2020年10月8日
实战 | 如何制作一个SLAM轨迹真值获取装置?
计算机视觉life
12+阅读 · 2019年10月16日
现在开源的RGB-D SLAM有哪些?
计算机视觉life
31+阅读 · 2019年5月8日
【泡泡图灵智库】GCNv2:高效关联预测实时SLAM(arXiv)
泡泡机器人SLAM
45+阅读 · 2019年4月15日
如何从零开始系统化学习视觉SLAM?
计算机视觉life
21+阅读 · 2019年4月13日
视觉SLAM技术综述
计算机视觉life
27+阅读 · 2019年1月4日
从零开始一起学习SLAM | SLAM有什么用?
计算机视觉life
18+阅读 · 2018年9月17日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
超全汇总 | ORB-SLAM2 / ORB-SLAM3 相关改进代码!
计算机视觉life
35+阅读 · 2020年11月22日
综述 | 激光与视觉融合SLAM
计算机视觉life
18+阅读 · 2020年10月8日
实战 | 如何制作一个SLAM轨迹真值获取装置?
计算机视觉life
12+阅读 · 2019年10月16日
现在开源的RGB-D SLAM有哪些?
计算机视觉life
31+阅读 · 2019年5月8日
【泡泡图灵智库】GCNv2:高效关联预测实时SLAM(arXiv)
泡泡机器人SLAM
45+阅读 · 2019年4月15日
如何从零开始系统化学习视觉SLAM?
计算机视觉life
21+阅读 · 2019年4月13日
视觉SLAM技术综述
计算机视觉life
27+阅读 · 2019年1月4日
从零开始一起学习SLAM | SLAM有什么用?
计算机视觉life
18+阅读 · 2018年9月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员