Time-series databases store floating-point columns in independent pages that are written at ingest, rewritten at compaction, and decoded on every scan. Some columns must return the stored IEEE 754 word; others accept a pointwise bound $\varepsilon$. Codecs for both contracts turn each value into an integer on a lattice, but a real page mixes decimal resolutions. Keeping one scale per block charges every coarse step for the finest value: one scale-6 reading in a 1,024-value page cuts Falcon's compression ratio by 36%. We present VIREL, route-local lattice residual compression. A value enters a lattice only after the encoder has replayed the decoder's arithmetic on it. VIREL-Exact replays the decoder's division at each value's least decimal scale, which we prove always succeeds below $2^{51}$, gives every resolution its own lane and history, and places averages on a rational lattice; the same finer value costs it 0.6%. VIREL-EB replays a fused multiply-add on an error lattice, so every admitted value decodes within $\varepsilon$. One integer coder serves both contracts. On 14 canonical streams, VIREL-Exact emits 27.6% fewer bytes than Falcon. Fast beats ALP on ratio and both speeds at once: 7.01$\times$ against 4.19$\times$, 476 against 120 MB/s, and 5.0 against 4.5 GB/s on one core. Upper is the smallest output on all 48 larger streams. Ingest with Fast and compaction with Upper store those streams in Apache TsFile at 48.7% of ALP's bytes. VIREL-EB beats Machete on ratio and both speeds in all 90 dataset-bound cells.


翻译:暂无翻译

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
【泡泡点云时空】PointConv: 3D点云的深度卷积网络
泡泡机器人SLAM
23+阅读 · 2019年6月12日
【泡泡点云时空】Potree:基于Web浏览器的大规模点云渲染
【泡泡点云时空-PCL源码解读】ICP点云精配准算法
泡泡机器人SLAM
187+阅读 · 2019年5月22日
【泡泡点云时空】FlowNet3D:学习三维点云中的场景流
泡泡机器人SLAM
41+阅读 · 2019年5月19日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
《面向国防领域的大语言模型基准测试与适配》
专知会员服务
8+阅读 · 10月28日
世界模型入门:从序贯决策到通用智能体
专知会员服务
12+阅读 · 10月24日
军事域更好使用人工智能的实用指南
专知会员服务
11+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
15+阅读 · 10月20日
相关VIP内容
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员