Error-bounded lossy compression techniques have become vital for scientific data management and analytics, given the ever-increasing volume of data generated by modern scientific simulations and instruments. Nevertheless, assessing data quality post-compression remains computationally expensive due to the intensive nature of metric calculations. In this work, we present a general-purpose deep-surrogate framework for lossy compression quality prediction (DeepCQ), with the following key contributions: 1) We develop a surrogate model for compression quality prediction that is generalizable to different error-bounded lossy compressors, quality metrics, and input datasets; 2) We adopt a novel two-stage design that decouples the computationally expensive feature-extraction stage from the light-weight metrics prediction, enabling efficient training and modular inference; 3) We optimize the model performance on time-evolving data using a mixture-of-experts design. Such a design enhances the robustness when predicting across simulation timesteps, especially when the training and test data exhibit significant variation. We validate the effectiveness of DeepCQ on four real-world scientific applications. Our results highlight the framework's exceptional predictive accuracy, with prediction errors generally under 10\% across most settings, significantly outperforming existing methods. Our framework empowers scientific users to make informed decisions about data compression based on their preferred data quality, thereby significantly reducing I/O and computational overhead in scientific data analysis.


翻译:随着现代科学模拟与仪器生成的数据量持续增长,误差有界有损压缩技术已成为科学数据管理与分析的关键手段。然而,由于度量计算的密集性,评估压缩后的数据质量仍然计算成本高昂。本研究提出了一种用于有损压缩质量预测的通用深度代理框架(DeepCQ),其主要贡献包括:1)我们开发了一种可泛化至不同误差有界有损压缩器、质量度量及输入数据集的压缩质量预测代理模型;2)我们采用了一种新颖的两阶段设计,将计算密集的特征提取阶段与轻量级的度量预测解耦,从而实现高效训练与模块化推理;3)我们通过专家混合设计优化了模型在时序演化数据上的性能。该设计显著提升了跨模拟时间步长预测的鲁棒性,尤其在训练数据与测试数据存在显著差异时表现突出。我们在四个真实科学应用场景中验证了DeepCQ的有效性。实验结果表明,该框架具有卓越的预测精度,在多数设定下预测误差普遍低于10%,显著优于现有方法。该框架使科学用户能够基于其偏好的数据质量做出明智的数据压缩决策,从而大幅降低科学数据分析中的I/O与计算开销。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员