Text compression for large language model (LLM) systems is usually framed as token deletion, retrieval, summarization, or exact reconstruction. We study a more aggressive but explicitly lossy setting: compress text into compact codes that an LLM can expand into task-relevant meaning. We call this setting SemanticZip. Unlike lossless compression, SemanticZip does not require byte-identical reconstruction; unlike ordinary summarization, it treats model-based decompression as part of the codec and evaluates whether task-relevant semantic commitments are recovered. This paper is a pilot framework, not a benchmark claim. We formalize LLM-mediated decompression, define a protected/lossy packet architecture, and evaluate six representation regimes over five author-constructed diagnostic cases: structured prose, JSON, CCL-Core, CCL-Min, SemanticZip ASCII, and SemanticZip emoji. An independent decoder LLM reconstructs typed semantic atoms from each compressed representation, and we score Critical Atom Recall, Weighted Atom Recall, precision, and tokenizer gain. In this pilot, structured prose has the highest recoverability, with WAR = 0.956 and 19.1% o200k_base token gain. CCL-Min is the strongest balanced point, with 39.4% token gain and WAR = 0.874. SemanticZip ASCII provides the largest useful compression, with 46.5% token gain and WAR = 0.802, while emoji-heavy SemanticZip performs worse on both compression and recovery. The main contribution is not the claim that these numbers establish a universal frontier. Rather, we introduce a reproducible experimental interface for studying lossy, LLM-decompressible text codes and a design principle: safety-critical and exact commitments should remain protected, while predictable low-risk context may be semantically zipped.


翻译:针对大语言模型系统的文本压缩通常被界定为token删除、检索、摘要或精确重建。本研究探索一种更为激进但明确有损的设定:将文本压缩为紧凑编码,使LLM能够将其扩展为与任务相关的语义。我们将此设定命名为SemanticZip。与无损压缩不同,SemanticZip不要求字节级精确重建;与常规摘要不同,它将基于模型的解压缩视为编解码器的一部分,并评估任务相关语义承诺是否被恢复。本文是探索性框架而非基准声明。我们形式化了LLM介导的解压缩过程,定义了受保护/有损数据包架构,并在五个作者构建的诊断案例中评估了六种表征模式:结构化散文、JSON、CCL-Core、CCL-Min、SemanticZip ASCII和SemanticZip表情符。独立的解码器LLM从每种压缩表征中重建带类型语义原子,我们评估关键原子召回率,加权原子召回率、精确率和token压缩率。在本探索性研究中,结构化散文具有最高的可恢复性,WAR=0.956,o200k_base token压缩率达19.1%;CCL-Min是最优平衡点,token压缩率39.4%,WAR=0.874;SemanticZip ASCII提供最大的有效压缩,token压缩率46.5%,WAR=0.802;而表情符密集的SemanticZip在压缩和恢复方面均表现较差。主要贡献并非宣称这些数字确立了通用最优边界,而是引入了一个可复现的实验接口用于研究有损、LLM可解压缩的文本编码,以及一个设计原则:安全关键和精确承诺应保持受保护,而可预测的低风险上下文可进行语义压缩。

0
下载
关闭预览

相关内容

大模型的模型压缩与有效推理综述
专知会员服务
43+阅读 · 2024年7月8日
高效的文本生成方法 — LaserTagger 现已开源
TensorFlow
30+阅读 · 2020年2月27日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
一文带你读懂 SegNet(语义分割)
AI研习社
19+阅读 · 2019年3月9日
干货|当深度学习遇见自动文本摘要,seq2seq+attention
机器学习算法与Python学习
10+阅读 · 2018年5月28日
在Python中使用SpaCy进行文本分类
专知
24+阅读 · 2018年5月8日
胶囊网络(Capsule Network)在文本分类中的探索
PaperWeekly
13+阅读 · 2018年4月5日
【干货】深入理解自编码器(附代码实现)
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 5月5日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
大模型的模型压缩与有效推理综述
专知会员服务
43+阅读 · 2024年7月8日
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员