A central challenge in analyzing multivariate interactions within complex systems is to decompose how multiple inputs jointly determine an output. Existing approaches generally operate on observed probability distributions and can conflate a system's intrinsic functional logic with statistical artifacts of limited data. As a result, distinct systems can yield identical observations, rendering information decomposition fundamentally underdetermined and obscuring true higher-order interactions. We introduce Functional Information Decomposition (FID), both a computational and theoretical framework, which defines informational components with respect to a system's complete input-output mapping, thereby addressing a core cross-scale inference problem: determining how information carried by individual components combines to shape system-level behavior. When the mapping is fully specified, FID provides a unique decomposition into independent and synergistic contributions. Crucially, given only partial observations, FID characterizes the entire space of consistent decompositions by sampling compatible functions, making inferential limits explicit. A complementary geometric perspective clarifies the structural origin of informational components. We demonstrate FID's interdisciplinary utility on canonical logical functions, Conway's Game of Life, and gene-expression-based prediction of cancer drug response, and provide an open-source implementation. By separating functional architecture from observational distribution, FID offers a principled foundation for analyzing multivariate dependence in both fully and partially observed complex systems.


翻译:分析复杂系统中多元相互作用的一个核心挑战在于分解多个输入如何共同决定一个输出。现有方法通常基于观测到的概率分布进行操作,可能将系统内在的功能逻辑与有限数据产生的统计假象相混淆。因此,不同的系统可能产生相同的观测结果,导致信息分解从根本上具有不确定性,并掩盖了真实的高阶相互作用。我们提出了功能信息分解(FID),这是一个兼具计算与理论性质的框架,它依据系统的完整输入-输出映射来定义信息组分,从而解决了一个核心的跨尺度推断问题:确定由各个组分携带的信息如何组合以塑造系统层面的行为。当映射被完全指定时,FID能够提供一种将信息分解为独立贡献与协同贡献的唯一分解。至关重要的是,在仅给定部分观测数据的情况下,FID通过采样兼容的函数来刻画所有一致分解所构成的空间,从而明确推断的极限。一个互补的几何视角阐明了信息组分的结构起源。我们在经典逻辑函数、康威生命游戏以及基于基因表达的癌症药物反应预测上展示了FID的跨学科实用性,并提供了开源实现。通过将功能架构与观测分布分离开来,FID为分析完全观测与部分观测的复杂系统中的多元依赖性提供了一个原理性的基础。

0
下载
关闭预览

相关内容

《信息在多智能体决策中的作用》214页
专知会员服务
63+阅读 · 2024年11月20日
专知会员服务
56+阅读 · 2021年8月29日
异质信息网络分析与应用综述,软件学报-北京邮电大学
一文了解成分句法分析
人工智能头条
15+阅读 · 2019年4月24日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
【CPS】社会物理信息系统(CPSS)及其典型应用
产业智能官
16+阅读 · 2018年9月18日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
具身AI安全综述:风险、攻击与防御
专知会员服务
2+阅读 · 今天12:02
DeepSeek 版Claude Code,免费小白安装教程来了!
专知会员服务
13+阅读 · 5月5日
《美空军条令出版物 2-0:情报(2026版)》
专知会员服务
16+阅读 · 5月5日
帕兰提尔 Gotham:一个游戏规则改变器
专知会员服务
9+阅读 · 5月5日
相关VIP内容
《信息在多智能体决策中的作用》214页
专知会员服务
63+阅读 · 2024年11月20日
专知会员服务
56+阅读 · 2021年8月29日
异质信息网络分析与应用综述,软件学报-北京邮电大学
相关资讯
一文了解成分句法分析
人工智能头条
15+阅读 · 2019年4月24日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
【大数据】海量数据分析能力形成和大数据关键技术
产业智能官
17+阅读 · 2018年10月29日
【CPS】社会物理信息系统(CPSS)及其典型应用
产业智能官
16+阅读 · 2018年9月18日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员