Data quality assessment is an essential step that ensures the reliability of the subsequent structural health monitoring (SHM) tasks. This study proposes a prediction deviation-based SHM data quality assessment method using a univariate implicit auto-regressive model, enabling outlier diagnosis and data cleaning. The proposed conditional diffusion model (CDM) augments the standard diffusion model with a conditional embedding module to incorporate temporal context, quartile normalization to mitigate distribution skew, and a Huber loss to enhance robustness against outliers. Within this univariate implicit autoregressive framework, each data point is assigned an outlier probability, quantifying its degree of "outlier-ness", and a global quality evaluation score is computed to characterize the overall dataset quality. Extensive case studies utilizing operational data from real-world structures demonstrate that the proposed framework significantly improves the accuracy of data quality assessment, outperforming other strong baselines representative of clustering, isolation-based, and deep reconstruction methods. The effectiveness and robustness of the proposed framework are further demonstrated by the findings of ablation experiments and hyperparameter analysis.


翻译:数据质量评估是保障后续结构健康监测任务可靠性的关键步骤。本研究提出一种基于预测偏差的结构健康监测数据质量评估方法,通过构建单变量隐式自回归模型实现异常诊断与数据清洗。所提出的条件扩散模型通过条件嵌入模块融入时序上下文信息,采用四分位归一化缓解数据分布偏斜,并引入Huber损失增强对异常值的鲁棒性。在该单变量隐式自回归框架中,每个数据点被赋予异常概率以量化其偏离程度,同时计算全局质量评估分数以表征整体数据集质量。基于真实结构运行数据的综合案例研究表明,所提框架显著提升了数据质量评估的准确性,性能优于聚类、孤立点检测及深度重建方法等强基线模型。消融实验与超参数分析结果进一步验证了该框架的有效性与鲁棒性。

0
下载
关闭预览

相关内容

基于扩散模型的异常检测综述
专知会员服务
30+阅读 · 2025年1月23日
国家标准《物联网 数据质量》(征求意见稿)
专知会员服务
52+阅读 · 2022年9月13日
监控视频的异常检测与建模综述
专知会员服务
50+阅读 · 2021年12月27日
专知会员服务
59+阅读 · 2021年8月12日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
无参考图像质量评价研究进展综述
人工智能前沿讲习班
47+阅读 · 2019年2月15日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
基于机器学习的KPI自动化异常检测系统
运维帮
13+阅读 · 2017年8月16日
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
3+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
4+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
9+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关VIP内容
基于扩散模型的异常检测综述
专知会员服务
30+阅读 · 2025年1月23日
国家标准《物联网 数据质量》(征求意见稿)
专知会员服务
52+阅读 · 2022年9月13日
监控视频的异常检测与建模综述
专知会员服务
50+阅读 · 2021年12月27日
专知会员服务
59+阅读 · 2021年8月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员