3D object reconstruction, and camera pose estimation in industrial applications are challenging tasks, as errors are costly while the computation time is often limited. The complexity of typical industrial objects further complicates these tasks. Most of the existing datasets in this context do not depict realistic industrial scenarios. Therefore, we introduce the Machine Vision Metrology Industrial Object Dataset (MVM-IOD). Images of typical industrial objects are captured systematically, by moving a camera, mounted at the end effector of an industrial robot arm, on a hemisphere around the objects. MVM-IOD contains reference camera poses and reference 3D point clouds, the acquired RGB images of 9 objects and 2 background choices resulting in 18 scenes, which allows evaluation of all image based methods that compute a 3D reconstruction, camera poses, or novel views of a scene. Based on MVM-IOD, we extensively evaluate current SOTA 3D reconstruction and camera pose estimation methods, such as Structure from Motion, Multi-View Stereo, recent feed forward methods (Visual Geometry Grounded Transformer, π3), and 2D Gaussian Splatting and report our findings as a baseline for future research. The experiments show that capture setups like ours generate out-of distribution images for feed forward methods, leading to suboptimal point clouds and camera poses. However, these out-of-distribution images can be shifted closer to the training distribution by applying simple preprocessing steps. Consequently, in certain industrial applications, feed forward methods should be used with caution.


翻译:三维物体重建及工业应用中的相机位姿估计是极具挑战性的任务,因为误差代价高昂且计算时间通常受限。典型工业物体的复杂性进一步增加了这些任务的难度。现有的大多数相关数据集未能描绘真实的工业场景。为此,我们提出机器视觉计量工业物体数据集(MVM-IOD)。该数据集通过将安装在工业机器人臂末端执行器上的相机沿半球轨迹系统移动,对典型工业物体进行拍摄。MVM-IOD包含参考相机位姿、参考三维点云、9个物体的RGB图像及2种背景选择(共18个场景),可评估所有基于图像的三维重建、相机位姿估计或场景新视角合成方法。基于MVM-IOD,我们全面评估了当前最先进的三维重建与相机位姿估计方法,包括运动恢复结构、多视图立体、近期前馈方法(视觉几何基Transformer、π3)及二维高斯泼溅,并报告结果作为未来研究的基准。实验表明:类似本研究的采集装置会生成前馈方法的分布外图像,导致点云与相机位姿质量欠佳;但通过简单预处理步骤可将这些分布外图像向训练分布偏移。因此,在特定工业应用中需谨慎使用前馈方法。

0
下载
关闭预览

相关内容

【阿姆斯特丹博士论文】3D 视觉学习中的连续性,127页pdf
专知会员服务
32+阅读 · 2023年10月13日
Meta-Transformer:多模态学习的统一框架
专知会员服务
59+阅读 · 2023年7月21日
专知会员服务
14+阅读 · 2020年12月17日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
目前最好的开源人脸3D重建与密集对齐算法
计算机视觉life
17+阅读 · 2019年4月24日
tensorflow LSTM + CTC实现端到端OCR
机器学习研究会
26+阅读 · 2017年11月16日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
12+阅读 · 2019年1月24日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
专知会员服务
3+阅读 · 今天7:28
消耗优势:美军的“精确规模化”概念
专知会员服务
7+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
8+阅读 · 6月15日
相关VIP内容
【阿姆斯特丹博士论文】3D 视觉学习中的连续性,127页pdf
专知会员服务
32+阅读 · 2023年10月13日
Meta-Transformer:多模态学习的统一框架
专知会员服务
59+阅读 · 2023年7月21日
专知会员服务
14+阅读 · 2020年12月17日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员