This paper introduces a novel technique to preserve spectral features in lossy compression based on a novel fast Fourier correction algorithm\added{ for regular-grid data}. Preserving both spatial and frequency representations of data is crucial for applications such as cosmology, turbulent combustion, and X-ray diffraction, where spatial and frequency views provide complementary scientific insights. In particular, many analysis tasks rely on frequency-domain representations to capture key features, including the power spectrum of cosmology simulations, the turbulent energy spectrum in combustion, and diffraction patterns in reciprocal space for ptychography. However, existing compression methods guarantee accuracy only in the spatial domain while disregarding the frequency domain. To address this limitation, we propose an algorithm that corrects the errors produced by off-the-shelf ``base'' compressors such as SZ3, ZFP, and SPERR, thereby preserving both spatial and frequency representations by bounding errors in both domains. By expressing frequency-domain errors as linear combinations of spatial-domain errors, we derive a region that jointly bounds errors in both domains. Given as input the spatial errors from a base compressor and user-defined error bounds in the spatial and frequency domains, we iteratively project the spatial error vector onto the regions defined by the spatial and frequency constraints until it lies within their intersection. We further accelerate the algorithm using GPU parallelism to achieve practical performance. We validate our approach with datasets from cosmology simulations, X-ray diffraction, combustion simulation, and electroencephalography demonstrating its effectiveness in preserving critical scientific information in both spatial and frequency domains.


翻译:本文提出了一种基于新型快速傅里叶校正算法(针对规则网格数据)的新技术,用于在有损压缩中保持数据的频谱特征。在宇宙学、湍流燃烧和X射线衍射等应用中,同时保持数据的空间与频率表示至关重要,因为空间视图与频率视图能提供互补的科学洞察。具体而言,许多分析任务依赖于频域表示来捕捉关键特征,包括宇宙学模拟的功率谱、燃烧中的湍流能谱以及叠层衍射在倒易空间中的衍射图样。然而,现有的压缩方法仅能保证空间域的精度,而忽略了频域。为应对这一局限,我们提出一种算法,用于校正由现成“基础”压缩器(如SZ3、ZFP和SPERR)产生的误差,从而通过在两个域中约束误差来同时保持空间与频率表示。通过将频域误差表达为空间域误差的线性组合,我们推导出一个能联合约束两个域误差的区域。给定基础压缩器产生的空间误差以及用户在空间域和频域定义的误差界限作为输入,我们迭代地将空间误差向量投影到由空间约束和频率约束定义的区域上,直至其落入两者的交集内。我们进一步利用GPU并行性加速该算法,以实现实用性能。我们使用来自宇宙学模拟、X射线衍射、燃烧模拟和脑电图的数据集验证了所提方法,证明了其在空间域和频域均能有效保持关键科学信息。

0
下载
关闭预览

相关内容

Python图像处理,366页pdf,Image Operators Image Processing in Python
【NeurIPS2019】图变换网络:Graph Transformer Network
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员