We prove that three cornerstone properties of classical information theory, namely non-negativity of information, the chain rule, and invariance under invertible transformations, become mutually incompatible when extended to Partial Information Decomposition (PID), the framework for decomposing the information that multiple sources carry about a target into redundant, unique, and synergistic contributions. This is, to our knowledge, the first PID incompatibility result involving only direct extensions of standard information-theoretic principles, without relying on any PID-specific assumptions. It reveals that PID necessarily operates in a different conceptual realm from classical information theory, where not all familiar properties can be preserved. Additionally, we re-examine the incompatibility result of Rauh et al. involving the so-called identity property and show that it holds under weaker assumptions than originally stated. Our proofs leverage the recently developed mereological framework for PID that makes the structural origins of these incompatibilities transparent and allows the results to be formulated for any PID-inducing concept, not just redundant information. We discuss the implications of these findings and examine which of the incompatible properties might be relaxed.


翻译:暂无翻译

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
《信息作为作战任务变量》
专知会员服务
46+阅读 · 2024年5月14日
【2023新书】数据科学中的信息论,417页pdf
专知会员服务
149+阅读 · 2023年5月6日
【经典书】统计学中的因果推断,156页pdf
专知会员服务
99+阅读 · 2022年6月14日
【电子书】大数据挖掘,Mining of Massive Datasets,附513页PDF
专知会员服务
105+阅读 · 2020年3月22日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
12+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
Arxiv
0+阅读 · 10月10日
VIP会员
最新内容
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
9+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
14+阅读 · 10月15日
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
11+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
14+阅读 · 10月13日
相关基金
国家自然科学基金
12+阅读 · 2016年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员