The rapid scaling of artificial intelligence models has revealed a fundamental tension between model capacity (storage) and inference efficiency (computation). While classical information theory focuses on transmission and storage limits, it lacks a unified physical framework to quantify the thermodynamic costs of generating information from compressed laws versus retrieving it from memory. In this paper, we propose a theoretical framework that treats information processing as an enabling mapping from ontological states to carrier states. We introduce a novel metric, Derivation Entropy, which quantifies the effective work required to compute a target state from a given logical depth. By analyzing the interplay between Shannon entropy (storage) and computational complexity (time/energy), we demonstrate the existence of a critical phase transition point. Below this threshold, memory retrieval is thermodynamically favorable; above it, generative computation becomes the optimal strategy. This "Energy-Time-Space" conservation law provides a physical explanation for the efficiency of generative models and offers a rigorous mathematical bound for designing next-generation, energy-efficient AI architectures. Our findings suggest that the minimization of Derivation Entropy is a governing principle for the evolution of both biological and artificial intelligence.


翻译:人工智能模型的快速扩展揭示了模型容量(存储)与推理效率(计算)之间的根本性张力。经典信息论侧重于传输与存储极限,但缺乏一个统一的物理框架来量化从压缩定律生成信息与从内存检索信息的热力学成本。本文提出一个理论框架,将信息处理视为从本体状态到载体状态的赋能映射。我们引入了一种新颖的度量——推导熵,用于量化从给定逻辑深度计算目标状态所需的有效功。通过分析香农熵(存储)与计算复杂度(时间/能量)之间的相互作用,我们证明了一个临界相变点的存在。低于此阈值时,内存检索在热力学上更有利;高于此阈值时,生成式计算成为最优策略。这一“能量-时间-空间”守恒律为生成式模型的效率提供了物理解释,并为设计下一代高能效人工智能架构提供了严格的数学界限。我们的研究结果表明,推导熵的最小化是生物智能与人工智能演化的一个支配性原则。

0
下载
关闭预览

相关内容

视觉中的生成物理人工智能:综述
专知会员服务
36+阅读 · 2025年1月26日
【干货书】数据科学中的信息理论方法
专知会员服务
97+阅读 · 2022年6月27日
专知会员服务
140+阅读 · 2021年11月21日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
视觉中的生成物理人工智能:综述
专知会员服务
36+阅读 · 2025年1月26日
【干货书】数据科学中的信息理论方法
专知会员服务
97+阅读 · 2022年6月27日
专知会员服务
140+阅读 · 2021年11月21日
相关基金
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员