Ensuring that every vehicle leaving a modern production line is built to the correct \emph{variant} specification and is free from visible defects is an increasingly complex challenge. We present the \textbf{Automated Vehicle Inspection (AVI)} platform, an end-to-end, \emph{multi-view} perception system that couples deep-learning detectors with a semantic rule engine to deliver \emph{variant-aware} quality control in real time. Eleven synchronized cameras capture a full 360{\deg} sweep of each vehicle; task-specific views are then routed to specialised modules: YOLOv8 for part detection, EfficientNet for ICE/EV classification, Gemini-1.5 Flash for mascot OCR, and YOLOv8-Seg for scratch-and-dent segmentation. A view-aware fusion layer standardises evidence, while a VIN-conditioned rule engine compares detected features against the expected manifest, producing an interpretable pass/fail report in \(\approx\! 300\,\text{ms}\). On a mixed data set of Original Equipment Manufacturer(OEM) vehicle data sets of four distinct models plus public scratch/dent images, AVI achieves \textbf{ 93 \%} verification accuracy, \textbf{86 \%} defect-detection recall, and sustains \(\mathbf{3.3}\) vehicles/min, surpassing single-view or no segmentation baselines by large margins. To our knowledge, this is the first publicly reported system that unifies multi-camera feature validation with defect detection in a deployable automotive setting in industry.


翻译:确保每辆驶出现代生产线的车辆均符合正确的**变体**规格且无可见缺陷,已成为日益复杂的挑战。本文提出**自动化车辆检测(AVI)**平台——一种端到端的**多视角**感知系统,该系统将深度学习检测器与语义规则引擎相结合,实现实时**变体感知**的质量控制。十一个同步摄像头采集每辆车的完整360度全景;任务专用视图随后被路由至专业化模块:YOLOv8用于部件检测,EfficientNet用于内燃机/电动汽车分类,Gemini-1.5 Flash用于吉祥物光学字符识别,YOLOv8-Seg用于划痕与凹陷分割。视角感知融合层对证据进行标准化处理,而车辆识别号码条件化规则引擎将检测到的特征与预期清单进行比对,在约300毫秒内生成可解释的通过/失败报告。在包含四种不同车型的原始设备制造商车辆数据集及公开划痕/凹陷图像的混合数据集上,AVI实现了**93%**的验证准确率、**86%**的缺陷检测召回率,并保持**每分钟3.3辆**的处理速度,大幅超越单视角或无分割基线方法。据我们所知,这是首个公开报道的在工业可部署汽车场景中,将多摄像头特征验证与缺陷检测相统一的系统。

0
下载
关闭预览

相关内容

在过去的二十多年里,会议吸引了来自世界各地的人机交互(HCI)的主要研究人员,提供了一个论坛来展示和传播HCI和用户界面的新技术成果、范式和愿景。由于先进的技术和用户交互的新可能性,AVI已经拓宽了它所涵盖的主题,但仍主要关注于新的视觉界面的概念、设计、实现和评估。官网链接:https://sites.google.com/dis.uniroma1.it/avi2018?utm_source=researchbib
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员