Modern lossless data compression enforces an acute dichotomy: industrial streaming codecs (e.g., Zstandard) prioritize throughput (10 to 1000 MiB/s) at the expense of compression density, while context-mixing algorithms achieve superior ratios at unusable serial speeds (0.1 to 1 MiB/s). We present GPX, an adaptive heterogeneous compression architecture for structured data streams. While optimized for high-throughput enterprise and scientific large-block workloads (>= 4 MiB), GPX operates transparently across arbitrary stream lengths down to sub-kilobyte inputs (N >= 256 B). GPX combines a sub-15-microsecond native structural decision probe, GPU-native reversible domain transforms, AVX2 multi-hypothesis sequence optimization, and adaptive entropy boundaries. On the canonical Silesia benchmark (202.12 MiB) under a preregistered 7-repeat Median+IQR protocol (W = 6 workers), GPX Track A produces standard RFC 8878-compliant .zst streams that compress to 56.27 MiB at 235.41 MiB/s with native line-speed decompression (3074.27 MiB/s on unmodified libzstd), establishing non-domination among evaluated RFC 8878-compatible configurations. GPX Track B achieves 54.49 MiB at 259.76 MiB/s (CI [250.7, 287.6]), establishing an empirical Pareto frontier point and dominating Stock Levels 8-14. GPX Track A+B achieves 54.46 MiB at 191.90 MiB/s (CI [177.8, 206.7]), strictly dominating official Stock Zstandard Levels 10-14 under non-overlapping 95% Bootstrap confidence intervals (182.18 KB smaller than Level 14 and 1.15x to 18.70x faster than Levels 10-14). Zero-tuning out-of-sample generalization is confirmed across Canterbury (-0.650%), Calgary (-0.124%), and a 102.45 MB modern compiled binary (-0.246%), while enwik8 (+0.084%) documents the authentic failure mode of splitter over-segmentation. All outputs are 100% SHA-256 bit-exact round-trip verified.


翻译:暂无翻译

0
下载
关闭预览

相关内容

NeurIPS 2025|从层次化掩码的视角统一并增强 Graph Transformer
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
可视化多维数据的艺术
论智
10+阅读 · 2018年1月23日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
软件定义无人机蜂群给防空带来全新压力
专知会员服务
6+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
6+阅读 · 10月13日
迈向更智慧的军事情报
专知会员服务
6+阅读 · 10月12日
《美国陆军2026年野战手册 2-0 情报》
专知会员服务
5+阅读 · 10月12日
《基于启发式算法求解武器-目标分配问题》
专知会员服务
7+阅读 · 10月12日
《美陆军最新条令出版物 2-0 情报》
专知会员服务
8+阅读 · 10月10日
电子战测试与训练靶场:战前验证战备状态
专知会员服务
3+阅读 · 10月10日
《美国陆军如何作战》46页最新报告
专知会员服务
10+阅读 · 10月10日
相关VIP内容
NeurIPS 2025|从层次化掩码的视角统一并增强 Graph Transformer
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
35+阅读 · 2019年10月18日
相关资讯
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
可视化多维数据的艺术
论智
10+阅读 · 2018年1月23日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员