Burrows-Wheeler-transform-based compressors rely on local context regularity, but structured text also contains dates, counters, identifiers, coordinates, and other digit runs whose values vary differently from their surrounding tokens. STC is presented as a new algorithm found by the authors through the self-evolving AI system zeelin. It is a practical BWT-family compressor that separates this source of variation before the component BWT stage. It replaces digit runs in the main stream with an unambiguous placeholder and stores the removed digits in length- and context-conditioned side streams. The side streams use stable bucket ordering and compact digit packing, so the decoder can reconstruct the original run order from the normalized main stream without storing a separate permutation. The resulting components are encoded by a fixed internal BWT/M03-style component coder. On enwik9, STC produces a 157,388,188-byte archive with a 183,174-byte decoder source package, giving a local LTCB-style total of 157,571,362 bytes. A full-enwik9 same-coder ablation shows that the digit-context decomposition reduces the archive by 2,629,561 bytes relative to the no-split control. The result is locally verified by full decode and SHA-256 matching; official benchmark status requires independent maintainer-side verification.


翻译:基于Burrows-Wheeler变换的压缩器依赖于局部上下文规律性,但结构化文本中常包含日期、计数器、标识符、坐标等数字序列,其数值变化模式与周边词元显著不同。本文提出STC算法,该算法由作者通过自进化AI系统zeelin发现,是一种实用的BWT族压缩器,能在BWT处理前分离上述变化源。该算法将主数据流中的数字序列替换为无歧义占位符,并将移除的数字存储于长度与上下文条件约束的侧数据流中。侧数据流采用稳定桶排序和紧凑数字封装技术,使解码器能够通过归一化主数据流重建原始序列顺序而无需单独存储排列。各分量通过固定的BWT/M03类分量编码器进行编码。在enwik9数据集上,STC生成157,388,188字节的归档文件及183,174字节的解码器源码包,实现基于LTCB本地评估的157,571,362字节总量。全enwik9同编码器消融实验表明,相对于未分离数字上下文的对照组,数字上下文分解可使归档体积减少2,629,561字节。该结果已通过完整解码和SHA-256校验得到本地验证;官方基准状态需经独立维护方验证确认。

0
下载
关闭预览

相关内容

《Transformer压缩》综述
专知会员服务
49+阅读 · 2024年2月14日
Transformer文本分类代码
专知会员服务
118+阅读 · 2020年2月3日
深度学习文本分类方法综述(代码)
中国人工智能学会
28+阅读 · 2018年6月16日
在Python中使用SpaCy进行文本分类
专知
24+阅读 · 2018年5月8日
再谈变分自编码器VAE:从贝叶斯观点出发
PaperWeekly
13+阅读 · 2018年4月2日
【干货】深入理解自编码器(附代码实现)
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月8日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员