Data quality assessment is an essential step that ensures the reliability of the subsequent structural health monitoring (SHM) tasks. This study proposes a prediction deviation-based SHM data quality assessment method using a univariate implicit auto-regressive model, enabling outlier diagnosis and data cleaning. The proposed conditional diffusion model (CDM) augments the standard diffusion model with a conditional embedding module to incorporate temporal context, quartile normalization to mitigate distribution skew, and a Huber loss to enhance robustness against outliers. Within this univariate implicit autoregressive framework, each data point is assigned an outlier probability, quantifying its degree of "outlier-ness", and a global quality evaluation score is computed to characterize the overall dataset quality. Extensive case studies utilizing operational data from real-world structures demonstrate that the proposed framework significantly improves the accuracy of data quality assessment, outperforming other strong baselines representative of clustering, isolation-based, and deep reconstruction methods. The effectiveness and robustness of the proposed framework are further demonstrated by the findings of ablation experiments and hyperparameter analysis.


翻译:数据质量评估是保障后续结构健康监测任务可靠性的关键步骤。本研究提出一种基于预测偏差的结构健康监测数据质量评估方法,通过构建单变量隐式自回归模型实现异常诊断与数据清洗。所提出的条件扩散模型通过条件嵌入模块融入时序上下文信息,采用四分位归一化缓解数据分布偏斜,并引入Huber损失增强对异常值的鲁棒性。在该单变量隐式自回归框架中,每个数据点被赋予异常概率以量化其偏离程度,同时计算全局质量评估分数以表征整体数据集质量。基于真实结构运行数据的综合案例研究表明,所提框架显著提升了数据质量评估的准确性,性能优于聚类、孤立点检测及深度重建方法等强基线模型。消融实验与超参数分析结果进一步验证了该框架的有效性与鲁棒性。

0
下载
关闭预览

相关内容

基于扩散模型的异常检测综述
专知会员服务
30+阅读 · 2025年1月23日
国家标准《物联网 数据质量》(征求意见稿)
专知会员服务
52+阅读 · 2022年9月13日
监控视频的异常检测与建模综述
专知会员服务
50+阅读 · 2021年12月27日
专知会员服务
58+阅读 · 2021年8月12日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
无参考图像质量评价研究进展综述
人工智能前沿讲习班
47+阅读 · 2019年2月15日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
基于机器学习的KPI自动化异常检测系统
运维帮
13+阅读 · 2017年8月16日
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
2+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
基于扩散模型的异常检测综述
专知会员服务
30+阅读 · 2025年1月23日
国家标准《物联网 数据质量》(征求意见稿)
专知会员服务
52+阅读 · 2022年9月13日
监控视频的异常检测与建模综述
专知会员服务
50+阅读 · 2021年12月27日
专知会员服务
58+阅读 · 2021年8月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员