We introduce derivation depth-a computable metric of the reasoning effort needed to answer a query based on a given set of premises. We model information as a two-layered structure linking abstract knowledge with physical carriers, and separate essential core facts from operational shortcuts. For any finite premise base, we define and prove the computability of derivation depth. By encoding reasoning traces and applying information-theoretic incompressibility arguments, we establish fundamental bounds linking depth to the descriptive complexity of queries. For frequently asked, information-rich queries, the minimal description length grows proportionally to depth times the logarithm of the knowledge base size. This leads to a practical storage-computation tradeoff: queries accessed beyond a critical threshold become cheaper to cache than recompute. We formulate optimal cache allocation as a mathematical optimization problem solvable with approximation guarantees and extend the framework to handle noisy or incomplete knowledge bases.


翻译:本文引入推导深度——一种可计算的度量指标,用于衡量基于给定前提集回答查询所需的推理工作量。我们将信息建模为连接抽象知识与物理载体的双层结构,并将核心本质事实与操作捷径相分离。针对任意有限前提基,我们定义并证明了推导深度的可计算性。通过编码推理轨迹并应用信息论不可压缩性论证,我们建立了将深度与查询描述复杂度相关联的基本界限。对于频繁访问且信息密集的查询,其最小描述长度与深度乘以知识库规模的对数成正比。这引出了一个实用的存储-计算权衡关系:当查询访问频率超过临界阈值时,缓存查询结果比重新计算更为经济。我们将最优缓存分配形式化为具有近似保证可解的数学优化问题,并将该框架扩展至处理含噪声或不完整知识库的场景。

0
下载
关闭预览

相关内容

物理学中的高级深度学习
专知会员服务
20+阅读 · 2025年12月9日
【阿姆斯特丹博士论文】表示学习中的信息理论
专知会员服务
23+阅读 · 2025年7月18日
深度学习可解释性研究进展
专知会员服务
103+阅读 · 2020年6月26日
南洋理工大学,深度学习推荐系统综述
专知会员服务
177+阅读 · 2019年10月14日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
深度强化学习简介
专知
30+阅读 · 2018年12月3日
理解人类推理的深度学习
论智
19+阅读 · 2018年11月7日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员