Our understanding of complex systems rests on our ability to characterise how they perform distributed computation and integrate information. Advances in information theory have introduced several quantities to describe complex information structures, where collective patterns of coordination emerge from higher-order (i.e. beyond-pairwise) interdependencies. Unfortunately, the use of these approaches to study large complex systems is severely hindered by the poor scalability of existing techniques. Moreover, there are relatively few measures specifically designed for multivariate time series data. Here we introduce a novel measure of information about macroscopic structures, termed M-information, which quantifies the higher-order integration of information in complex dynamical systems. We show that M-information can be calculated via a convex optimisation problem, and we derive a robust and efficient algorithm that scales gracefully with system size. Our analyses show that M-information is resilient to noise, indexes critical behaviour in artificial neuronal populations, and reflects states of consciousness and task performance in real-world macaque and mouse neuroimaging data. Furthermore, M-information can be incorporated into existing information decomposition frameworks to reveal a comprehensive taxonomy of information dynamics. Taken together, these results help us unravel collective computation in large complex systems.


翻译:对复杂系统的理解依赖于我们表征其执行分布式计算和整合信息的能力。信息论的进展引入了若干描述复杂信息结构的量,这些结构中涌现的集体协调模式源于高阶(即超越两两)相互依赖。遗憾的是,现有技术较差的扩展性严重阻碍了这些方法在大规模复杂系统研究中的应用。此外,专门针对多元时间序列数据的度量方法相对较少。本文提出了一种关于宏观结构信息的新型度量,称为M-信息,它量化了复杂动力系统中信息的高阶整合。我们证明M-信息可通过凸优化问题计算,并推导出一种鲁棒且高效的算法,该算法能优雅地随系统规模扩展。分析表明,M-信息对噪声具有弹性,能指示人工神经元群体中的临界行为,并在真实世界的猕猴和小鼠神经影像数据中反映意识状态与任务表现。此外,M-信息可被纳入现有信息分解框架,以揭示信息动力学的全面分类学。综合来看,这些结果有助于阐明大规模复杂系统中的集体计算。

0
下载
关闭预览

相关内容

【硬核书】信息物理系统理论、方法和应用,291页pdf
专知会员服务
104+阅读 · 2022年9月23日
【2021新书】高阶网络,150页pdf,Higher-Order Networks
专知会员服务
90+阅读 · 2021年11月26日
专知会员服务
56+阅读 · 2021年8月29日
清华大学《高级机器学习》课程
专知
40+阅读 · 2020年7月21日
赛尔笔记 | 多模态信息抽取简述
专知
29+阅读 · 2020年4月12日
【工大SCIR笔记】多模态信息抽取简述
深度学习自然语言处理
19+阅读 · 2020年4月3日
【CPS】社会物理信息系统(CPSS)及其典型应用
产业智能官
16+阅读 · 2018年9月18日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
人工智能如何变革军事C5ISR作战
专知会员服务
12+阅读 · 5月8日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员