Indoor robot navigation is often compromised by glass surfaces, which severely corrupt depth sensor measurements. While foundation models like Depth Anything 3 provide excellent geometric priors, they lack an absolute metric scale. We propose a training-free framework that leverages depth foundation models as a structural prior, employing a robust local RANSAC-based alignment to fuse it with raw sensor depth. This naturally avoids contamination from erroneous glass measurements and recovers an accurate metric scale. Furthermore, we introduce \ti{GlassRecon}, a novel RGB-D dataset with geometrically derived ground truth for glass regions. Extensive experiments demonstrate that our approach consistently outperforms state-of-the-art baselines, especially under severe sensor depth corruption. The dataset and related code will be released at https://github.com/jarvisyjw/GlassRecon.


翻译:室内机器人导航常常受到玻璃表面的影响,这些表面会严重破坏深度传感器的测量结果。尽管像Depth Anything 3这样的基础模型提供了出色的几何先验,但它们缺乏绝对的度量尺度。我们提出了一种无需训练的框架,利用深度基础模型作为结构先验,并采用基于局部RANSAC的鲁棒对齐方法将其与原始传感器深度数据融合。该方法自然避免了来自错误玻璃测量的污染,并恢复出准确的度量尺度。此外,我们引入了\ti{GlassRecon},这是一个新颖的RGB-D数据集,其中包含针对玻璃区域的几何推导地面真值。大量实验表明,我们的方法在性能上始终优于最先进的基线方法,尤其是在传感器深度严重污染的情况下。该数据集及相关代码将在https://github.com/jarvisyjw/GlassRecon发布。

0
下载
关闭预览

相关内容

深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
边缘计算的军事应用
专知会员服务
7+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
8+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
13+阅读 · 8月7日
相关VIP内容
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员