Intelligent fault diagnosis has become an indispensable technique for ensuring machinery reliability. However, existing methods suffer significant performance decline in real-world scenarios where models are tested under unseen working conditions, while domain adaptation approaches are limited to their reliance on target domain samples. Moreover, most existing studies rely on single-modal sensing signals, overlooking the complementary nature of multi-modal information for improving model generalization. To address these limitations, this paper proposes a multi-modal cross-domain mixed fusion model with dual disentanglement for fault diagnosis. A dual disentanglement framework is developed to decouple modality-invariant and modality-specific features, as well as domain-invariant and domain-specific representations, enabling both comprehensive multi-modal representation learning and robust domain generalization. A cross-domain mixed fusion strategy is designed to randomly mix modality information across domains for modality and domain diversity augmentation. Furthermore, a triple-modal fusion mechanism is introduced to adaptively integrate multi-modal heterogeneous information. Extensive experiments are conducted on induction motor fault diagnosis under both unseen constant and time-varying working conditions. The results demonstrate that the proposed method consistently outperforms advanced methods and comprehensive ablation studies further verify the effectiveness of each proposed component and multi-modal fusion. The code is available at: https://github.com/xiapc1996/MMDG.


翻译:智能故障诊断已成为保障机械设备可靠性的关键技术。然而,现有方法在模型于未知工况下测试的实际场景中性能显著下降,而域自适应方法则受限于对目标域样本的依赖。此外,现有研究大多依赖单模态传感信号,忽视了多模态信息在提升模型泛化能力方面的互补性。为应对这些局限性,本文提出一种面向故障诊断的双解耦多模态跨域混合融合模型。该模型开发了一种双解耦框架,用于解耦模态不变特征与模态特定特征,以及域不变表示与域特定表示,从而实现全面的多模态表示学习与鲁棒的域泛化。设计了一种跨域混合融合策略,通过随机混合跨域的模态信息以增强模态与域的多样性。此外,引入了一种三模态融合机制,以自适应地整合多模态异构信息。在异步电机故障诊断任务上,针对未知恒定工况与时变工况进行了大量实验。结果表明,所提方法在各项实验中均优于现有先进方法,全面的消融研究进一步验证了所提各组件及多模态融合策略的有效性。代码已公开于:https://github.com/xiapc1996/MMDG。

0
下载
关闭预览

相关内容

深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
低质量数据的多模态融合综述
专知会员服务
59+阅读 · 2024年5月4日
多模态深度学习
专知会员服务
136+阅读 · 2023年1月15日
数据受限条件下的多模态处理技术综述
专知会员服务
93+阅读 · 2022年7月16日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
【PHM算法】PHM算法 | 故障诊断建模方法
产业智能官
68+阅读 · 2020年3月16日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
26+阅读 · 2019年9月9日
【工业智能】电网故障诊断的智能技术
产业智能官
34+阅读 · 2018年5月28日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
深度多模态数据融合
专知会员服务
55+阅读 · 2024年11月9日
低质量数据的多模态融合综述
专知会员服务
59+阅读 · 2024年5月4日
多模态深度学习
专知会员服务
136+阅读 · 2023年1月15日
数据受限条件下的多模态处理技术综述
专知会员服务
93+阅读 · 2022年7月16日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员