Symbolic systems operate over precise identities: variables denote specific objects, pointers target precise memory locations, and database keys refer to singular records. Neural embeddings generalize by compressing away semantic detail, but this compression creates collision ambiguity: multiple distinct entities can share the same representation value. Exact identity recovery requires additional information precisely when representation fibers have size greater than one. The residual cost is controlled by a single combinatorial object: the collision-fiber geometry of the representation map $π$. Let $A_π=\max_u |π^{-1}(u)|$ be the largest collision fiber. The finite laws include a tight fixed-length converse $L \ge \log_2 A_π$, an exact finite-block scaling law, a pointwise adaptive budget $\lceil \log_2 |π^{-1}(u)|\rceil$, and an exact fiberwise rate-distortion law for arbitrary finite sources via recoverable-mass decomposition across representation fibers. The uniform single-block formula $D^\star(L)=\max(0,1-2^L/a)$ appears as a closed-form special case when all mass lies on one collision block, where $a = A_π$ is the collision block size. The same fiber geometry determines query complexity and canonical structure for distinguishing families. Because this residual ambiguity is structural rather than representation-specific, symbolic identity mechanisms (handles, keys, pointers, nominal tags) are the necessary system-level complement to any non-injective semantic representation. All main results are machine-checked in Lean 4.


翻译:符号系统在精确标识符上运行:变量指代特定对象、指针指向精确内存位置、数据库键引用唯一记录。神经嵌入通过压缩语义细节实现泛化,但这种压缩会产生冲突歧义:多个不同实体可能共享相同的表示值。当表示纤维的大小大于1时,精确恒等恢复需要额外信息。残余代价由单一组合对象控制:表示映射$π$的冲突纤维几何。令$A_π=\max_u |π^{-1}(u)|$为最大冲突纤维。有限定律包括紧致的固定长度下界$L \ge \log_2 A_π$、精确的有限块缩放律、逐点自适应预算$\lceil \log_2 |π^{-1}(u)|\rceil$,以及通过表示纤维上的可恢复质量分解得到的任意有限源的精确纤维率失真定律。当所有质量落在一个冲突块上时,均匀单块公式$D^\star(L)=\max(0,1-2^L/a)$以闭式特例形式出现,其中$a = A_π$是冲突块大小。相同纤维几何决定了区分族的查询复杂度和规范结构。由于这种残余歧义是结构性的而非表示特异性的,符号恒等机制(句柄、键、指针、名词性标签)是对任何非单射语义表示的必要系统级补充。所有主要结果均在Lean 4中经过机器验证。

0
下载
关闭预览

相关内容

最新《神经数据压缩导论》综述
专知会员服务
40+阅读 · 2022年7月19日
临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
学会原创 | 自然语言的语义表示学习方法与应用
中国人工智能学会
11+阅读 · 2019年3月7日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
17+阅读 · 2018年9月20日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月25日
VIP会员
最新内容
乌克兰与中东为印太地区带来关于新太空战的启示
战争不仅需要机器人:人类仍不可或缺
专知会员服务
0+阅读 · 今天13:03
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
1+阅读 · 今天12:57
相关VIP内容
最新《神经数据压缩导论》综述
专知会员服务
40+阅读 · 2022年7月19日
临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员