Multimodal Unsupervised Anomaly Detection (UAD) is critical for quality assurance in smart manufacturing, particularly in complex processes like robotic welding. However, existing methods often suffer from process-logic blindness, treating process modalities (e.g., real-time video, audio, and sensors) and result modalities (e.g., post-weld images) as symmetric feature sources, thereby ignoring the inherent unidirectional physical generative logic. Furthermore, the heterogeneity gap between high-dimensional visual data and low-dimensional sensor signals frequently leads to critical process context being drowned out. In this paper, we propose Physic-HM, a multimodal UAD framework that explicitly incorporates physical inductive bias to model the process-to-result dependency. Specifically, our framework incorporates two key innovations: a Sensor-Guided PHM Modulation mechanism that utilizes low-dimensional sensor signals as context to guide high-dimensional audio-visual feature extraction, and a Physic-Hierarchical architecture that enforces a unidirectional generative mapping to identify anomalies that violate physical consistency. Extensive experiments on Weld-4M benchmark demonstrate that Physic-HM achieves a SOTA I-AUROC of 90.7%. The source code of Physic-HM will be released after the paper is accepted.


翻译:多模态无监督异常检测在智能制造的质量保证中至关重要,尤其在机器人焊接等复杂工艺中。然而,现有方法常受制于过程逻辑盲区,将过程模态(如实时视频、音频和传感器数据)与结果模态(如焊后图像)视为对称的特征源,从而忽略了固有的单向物理生成逻辑。此外,高维视觉数据与低维传感器信号之间的异质性差距常导致关键过程上下文信息被淹没。本文提出Physic-HM,一个显式融入物理归纳偏置以建模过程到结果依赖关系的多模态无监督异常检测框架。具体而言,我们的框架包含两项关键创新:一种传感器引导的PHM调制机制,利用低维传感器信号作为上下文来指导高维视听特征提取;以及一种物理分层架构,强制执行单向生成映射以识别违反物理一致性的异常。在Weld-4M基准上的大量实验表明,Physic-HM实现了90.7%的SOTA I-AUROC。Physic-HM的源代码将在论文录用后公开。

0
下载
关闭预览

相关内容

深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
《基于高斯混合流和入包的异常检测》2023最新57页论文
专知会员服务
28+阅读 · 2023年5月15日
索邦大学121页博士论文《时间序列中的无监督异常检测》
专知会员服务
103+阅读 · 2022年7月25日
监控视频的异常检测与建模综述
专知会员服务
50+阅读 · 2021年12月27日
专知会员服务
34+阅读 · 2021年9月16日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
基于机器学习的KPI自动化异常检测系统
运维帮
13+阅读 · 2017年8月16日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员