Inspecting the undercarriage of used vehicles is a labor-intensive task that requires inspectors to crouch or crawl underneath each vehicle to thoroughly examine it. Additionally, online buyers rarely see undercarriage photos. We present an end-to-end pipeline that utilizes a three-camera rig to capture videos of the undercarriage as the vehicle drives over it, and produces an interactive 3D model of the undercarriage. The 3D model enables inspectors and customers to rotate, zoom, and slice through the undercarriage, allowing them to detect rust, leaks, or impact damage in seconds, thereby improving both workplace safety and buyer confidence. Our primary contribution is a rig-aware Structure-from-Motion (SfM) pipeline specifically designed to overcome the challenges of wide-angle lens distortion and low-parallax scenes. Our method overcomes the challenges of wide-angle lens distortion and low-parallax scenes by integrating precise camera calibration, synchronized video streams, and strong geometric priors from the camera rig. We use a constrained matching strategy with learned components, the DISK feature extractor, and the attention-based LightGlue matcher to generate high-quality sparse point clouds that are often unattainable with standard SfM pipelines. These point clouds seed the Gaussian splatting process to generate photorealistic undercarriage models that render in real-time. Our experiments and ablation studies demonstrate that our design choices are essential to achieve state-of-the-art quality.


翻译:二手车底盘检测是一项劳动密集型任务,检查员需要蹲伏或爬行至每辆车下方进行彻底检查。此外,在线买家很少能看到底盘照片。我们提出了一种端到端的处理流程,利用三相机标定框架采集车辆驶过时底盘的视频,并生成可交互的底盘三维模型。该三维模型使检查员和客户能够对底盘进行旋转、缩放和剖面切割操作,使其能在数秒内检测出锈蚀、泄漏或碰撞损伤,从而同时提升工作场所安全性与买家信心。我们的主要贡献是一个专门设计的标定框架感知运动恢复结构(SfM)流程,旨在克服广角镜头畸变和低视差场景的挑战。该方法通过整合精确的相机标定、同步的视频流以及来自相机标定框架的强几何先验,有效应对了广角畸变与低视差难题。我们采用包含学习组件的约束匹配策略,结合DISK特征提取器和基于注意力的LightGlue匹配器,生成高质量稀疏点云——这类点云在标准SfM流程中通常难以获得。这些点云作为高斯溅射过程的初始种子,生成可实时渲染的逼真底盘模型。我们的实验与消融研究表明,所提出的设计方案对于实现最先进的质量水平至关重要。

0
下载
关闭预览

相关内容

自动驾驶中的3D目标检测研究进展
专知会员服务
11+阅读 · 2025年7月20日
动态三维场景重建研究综述
专知会员服务
35+阅读 · 2024年8月23日
深度学习背景下的图像三维重建技术进展综述
专知会员服务
38+阅读 · 2023年9月4日
专知会员服务
56+阅读 · 2021年4月4日
最全综述:基于深度学习的三维重建算法
极市平台
13+阅读 · 2020年3月17日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
七月在线实验室
11+阅读 · 2018年7月18日
车辆目标检测
数据挖掘入门与实战
30+阅读 · 2018年3月30日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关资讯
最全综述:基于深度学习的三维重建算法
极市平台
13+阅读 · 2020年3月17日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
七月在线实验室
11+阅读 · 2018年7月18日
车辆目标检测
数据挖掘入门与实战
30+阅读 · 2018年3月30日
一文概览基于深度学习的超分辨率重建架构
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员