Rényi transfer entropy (RTE) is a generalization of classical transfer entropy that replaces Shannon's entropy with Rényi's information measure. This, in turn, introduces a new tunable parameter $α$, which accounts for sensitivity to low- or high-probability events. Although RTE shows strong potential for analyzing causal relations in complex, non-Gaussian systems, its practical use is limited, primarily due to challenges related to its accurate estimation and interpretation. These difficulties are especially pronounced when working with finite, high-dimensional, or heterogeneous datasets. In this paper, we systematically study the performance of a k-nearest neighbor estimator for both Rényi entropy (RE) and RTE using various synthetic data sets with clear cause-and-effect relationships inherent to their construction. We test the estimator across a broad range of parameters, including sample size, dimensionality, memory length, and Rényi order $α$. In particular, we apply the estimator to a set of simulated processes with increasing structural complexity, ranging from linear dynamics to nonlinear systems with multi-source couplings. To address interpretational challenges arising from potentially negative RE and RTE values, we introduce three reliability conditions and formulate practical guidelines for tuning the estimator parameters. We show that when the reliability conditions are met and the parameters are calibrated accordingly, the resulting effective RTE estimates accurately capture directional information flow across a broad range of scenarios. Results obtained show that the explanatory power of RTE depends sensitively on the choice of the Rényi parameter $α$. This highlights the usefulness of the RTE framework for identifying the drivers of extreme behavior in complex systems.


翻译:Rényi转移熵(RTE)是经典转移熵的推广,它将香农熵替换为Rényi信息度量。这引入了一个新的可调参数$α$,该参数决定了其对低概率或高概率事件的敏感度。尽管RTE在分析复杂非高斯系统中的因果关系方面展现出巨大潜力,但其实际应用仍受限于准确估计与解释方面的挑战。这些困难在处理有限、高维或异构数据集时尤为突出。本文通过使用多种具有明确内置因果关系的合成数据集,系统研究了k近邻估计器在Rényi熵(RE)和RTE估计中的性能。我们在广泛参数范围内测试该估计器,包括样本量、维度、记忆长度和Rényi阶数$α$。特别地,我们将估计器应用于一系列结构复杂度递增的模拟过程——从线性动力学到具有多源耦合的非线性系统。针对RE与RTE可能出现的负值所带来的解释难题,我们提出了三个可靠性条件,并制定了调整估计器参数的实用准则。研究表明,当满足可靠性条件且参数经过相应校准时,所得的有效RTE估计能够准确捕捉各种场景下的方向性信息流。结果显示,RTE的解释力对Rényi参数$α$的选择高度敏感,这凸显了RTE框架在识别复杂系统中极端行为驱动因素方面的实用价值。

0
下载
关闭预览

相关内容

【NeurIPS2023】因果成分分析
专知会员服务
41+阅读 · 2023年11月13日
专知会员服务
39+阅读 · 2021年8月20日
专知会员服务
50+阅读 · 2021年6月2日
【NeurIPS2019】图变换网络:Graph Transformer Network
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
PCA的基本数学原理
算法与数学之美
11+阅读 · 2017年8月8日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
相关VIP内容
【NeurIPS2023】因果成分分析
专知会员服务
41+阅读 · 2023年11月13日
专知会员服务
39+阅读 · 2021年8月20日
专知会员服务
50+阅读 · 2021年6月2日
相关资讯
【NeurIPS2019】图变换网络:Graph Transformer Network
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
PCA的基本数学原理
算法与数学之美
11+阅读 · 2017年8月8日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员