3D object reconstruction, and camera pose estimation in industrial applications are challenging tasks, as errors are costly while the computation time is often limited. The complexity of typical industrial objects further complicates these tasks. Most of the existing datasets in this context do not depict realistic industrial scenarios. Therefore, we introduce the Machine Vision Metrology Industrial Object Dataset (MVM-IOD). Images of typical industrial objects are captured systematically, by moving a camera, mounted at the end effector of an industrial robot arm, on a hemisphere around the objects. MVM-IOD contains reference camera poses and reference 3D point clouds, the acquired RGB images of 9 objects and 2 background choices resulting in 18 scenes, which allows evaluation of all image based methods that compute a 3D reconstruction, camera poses, or novel views of a scene. Based on MVM-IOD, we extensively evaluate current SOTA 3D reconstruction and camera pose estimation methods, such as Structure from Motion, Multi-View Stereo, recent feed forward methods (Visual Geometry Grounded Transformer, π3), and 2D Gaussian Splatting and report our findings as a baseline for future research. The experiments show that capture setups like ours generate out-of distribution images for feed forward methods, leading to suboptimal point clouds and camera poses. However, these out-of-distribution images can be shifted closer to the training distribution by applying simple preprocessing steps. Consequently, in certain industrial applications, feed forward methods should be used with caution.


翻译:三维物体重建及工业应用中的相机位姿估计是极具挑战性的任务,因为误差代价高昂且计算时间通常受限。典型工业物体的复杂性进一步增加了这些任务的难度。现有的大多数相关数据集未能描绘真实的工业场景。为此,我们提出机器视觉计量工业物体数据集(MVM-IOD)。该数据集通过将安装在工业机器人臂末端执行器上的相机沿半球轨迹系统移动,对典型工业物体进行拍摄。MVM-IOD包含参考相机位姿、参考三维点云、9个物体的RGB图像及2种背景选择(共18个场景),可评估所有基于图像的三维重建、相机位姿估计或场景新视角合成方法。基于MVM-IOD,我们全面评估了当前最先进的三维重建与相机位姿估计方法,包括运动恢复结构、多视图立体、近期前馈方法(视觉几何基Transformer、π3)及二维高斯泼溅,并报告结果作为未来研究的基准。实验表明:类似本研究的采集装置会生成前馈方法的分布外图像,导致点云与相机位姿质量欠佳;但通过简单预处理步骤可将这些分布外图像向训练分布偏移。因此,在特定工业应用中需谨慎使用前馈方法。

0
下载
关闭预览

相关内容

【普林斯顿博士论文】快速且鲁棒的三维重建
专知会员服务
18+阅读 · 2025年2月13日
动态三维场景重建研究综述
专知会员服务
36+阅读 · 2024年8月23日
【CMU博士论文】稀疏视角三维重建,147页pdf
专知会员服务
33+阅读 · 2024年5月16日
基于深度学习的物体姿态估计综述
专知会员服务
27+阅读 · 2024年5月15日
专知会员服务
56+阅读 · 2021年4月4日
专知会员服务
11+阅读 · 2021年2月4日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
ICCV2019 | 高精度,高效率点云三维重建 PointMVSNet
计算机视觉life
23+阅读 · 2019年9月5日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
计算机视觉方向简介 | 基于单目视觉的三维重建算法
计算机视觉life
32+阅读 · 2019年4月9日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
从采集到决策:美军视角下的战术情报范式重构
专知会员服务
0+阅读 · 6分钟前
《履带式无人地面战车技术发展现状》
专知会员服务
1+阅读 · 今天1:46
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
7+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员