Streaming floating-point data are often generated on decimal or physical resolution lattices, but most exact compressors still model the IEEE binary representation directly. This paper presents VIREL, a page-streamable framework for exact and error-bounded floating-point time-series compression. VIREL first admits each value into a verified decimal or error lattice, then predicts residuals in the resulting integer generation domain rather than in IEEE-word XOR space. To handle mixed precision and exceptions, VIREL routes values into compatible lanes and keeps predictor state local to each lane. Its compression-first exact profile further applies costed lattice-step normalization: for an affine sub-lattice q = d z + r, it encodes the compact coordinate z only when the complete frame cost decreases. The error-bounded profile applies the same idea with an exact divisibility rule, storing q/d only when it reconstructs the same lattice point and therefore consumes no error budget. Across canonical exact streams with independent 1,024-value pages, VIREL-Exact-Fast reaches 6.0243x compression, while VIREL-Exact-Upper reaches 7.0287x and emits substantially fewer bytes than the strongest evaluated prior exact codecs. On 74.70 million values in 48 independently paged streams, the two exact profiles reach 8.0629x and 9.6490x. At error bound 1e-3 on 15 Serf streams, VIREL-EB reaches 12.1094x, emits 12.54 percent fewer bits than the strongest compliant external baseline, and preserves all checked pointwise bounds. Ablations show that integer-domain residual prediction is the primary source of gain, while lattice-step normalization and route-persistent multi-lane prediction preserve that gain under mixed resolution. VIREL also scales across CPU cores and runs as an Apache TsFile page codec.


翻译:暂无翻译

0
下载
关闭预览

相关内容

大型语言模型对齐技术综述:RLHF、RLAIF、PPO、DPO 等
专知会员服务
55+阅读 · 2024年7月24日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
【泡泡点云时空】PointConv: 3D点云的深度卷积网络
泡泡机器人SLAM
23+阅读 · 2019年6月12日
【泡泡点云时空】FlowNet3D:学习三维点云中的场景流
泡泡机器人SLAM
41+阅读 · 2019年5月19日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
《最强大的军事网状网络》
专知会员服务
6+阅读 · 9月7日
《预测陆军征兵任务分配》110页
专知会员服务
5+阅读 · 9月7日
分层反无人机系统发展新趋势
专知会员服务
11+阅读 · 9月3日
何为协作武器?
专知会员服务
11+阅读 · 9月1日
相关VIP内容
大型语言模型对齐技术综述:RLHF、RLAIF、PPO、DPO 等
专知会员服务
55+阅读 · 2024年7月24日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员