Partial Information Decomposition (PID) represents multivariate mutual information via antichain-lattice that aims to specify which source groups can recover which informational components of a target. For three or more sources, widely desired PID axioms become mutually incompatible. This is often treated as an axiomatic tuning issue. This paper argues that the obstruction is representational, rooted in the antichain indexing itself, so that purely axiomatic adjustments within an antichain-lattice structure cannot resolve it in general. We first introduce System Information Decomposition (SID) for the special target-free three-variable setting, obtaining a self-consistent entropy decomposition with an operational redundancy definition. More fundamentally, we then show that for general multivariate PID, there is no universal rule that recovers the decomposed mutual information from the antichain-indexed information atoms. In particular, two systems can share identical atoms regardless of any axioms while having different mutual information. These results reveal the limits of antichain-lattice and motivate relation-based foundations for multivariate information measures.


翻译:部分信息分解(PID)通过反链格表示多元互信息,旨在指定哪些源组可以恢复目标的哪些信息成分。对于三个或更多源,广泛期望的PID公理变得互不相容。这通常被视为公理调优问题。本文论证,这种障碍源于表示层面,其根源在于反链索引本身,因此仅靠反链格结构内的公理调整无法在一般情况下解决该问题。我们首先针对无目标的三变量特例引入系统信息分解(SID),通过操作性的冗余定义获得自洽的熵分解。更进一步,我们随后证明,对于一般多元PID,不存在通用规则能从反链索引的信息原子中恢复分解后的互信息。特别地,两个系统可能共享完全相同的原子(无论任何公理如何),却具有不同的互信息。这些结果揭示了反链格的局限性,并推动了基于关系的多元信息测度基础研究。

0
下载
关闭预览

相关内容

专知会员服务
19+阅读 · 2021年9月21日
ISWC2020最佳论文《可解释假信息检测的链接可信度评价》
【COLING2020】无监督依存解析的综述论文,12页pdf
专知会员服务
16+阅读 · 2020年10月27日
异质信息网络分析与应用综述,软件学报-北京邮电大学
一文搞懂反向传播
机器学习与推荐算法
18+阅读 · 2020年3月12日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
不用数学讲清马尔可夫链蒙特卡洛方法?
算法与数学之美
16+阅读 · 2018年8月8日
如果你研究多因子模型,这篇文章看不懂就别玩了!
量化投资与机器学习
26+阅读 · 2018年7月31日
论文浅尝 | 变分知识图谱推理:在KG中引入变分推理框架
文本分类问题不需要ResNet?小夕解析DPCNN设计原理(上)
夕小瑶的卖萌屋
36+阅读 · 2018年4月3日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
马赛克战:俄乌战场透析
专知会员服务
11+阅读 · 今天4:12
《利用人工智能增强军事决策》
专知会员服务
2+阅读 · 今天4:09
《自动机器学习在军事数据耕耘法中的应用》
专知会员服务
4+阅读 · 今天4:02
为何指挥所生存能力要求范式转变
专知会员服务
2+阅读 · 今天3:54
打造“新蛛网”模式与高科技动员
专知会员服务
2+阅读 · 今天3:33
“蛛网”行动一周年:远程无人机战争
专知会员服务
2+阅读 · 今天3:23
【剑桥博士论文】智能体-环境协同优化
专知会员服务
6+阅读 · 6月9日
为初级军官战术训练设计生成式人工智能平台
专知会员服务
8+阅读 · 6月9日
《美军条令:作战伤员后送保障》
专知会员服务
6+阅读 · 6月9日
相关VIP内容
专知会员服务
19+阅读 · 2021年9月21日
ISWC2020最佳论文《可解释假信息检测的链接可信度评价》
【COLING2020】无监督依存解析的综述论文,12页pdf
专知会员服务
16+阅读 · 2020年10月27日
异质信息网络分析与应用综述,软件学报-北京邮电大学
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员