Rényi transfer entropy (RTE) is a generalization of classical transfer entropy that replaces Shannon's entropy with Rényi's information measure. This, in turn, introduces a new tunable parameter $α$, which accounts for sensitivity to low- or high-probability events. Although RTE shows strong potential for analyzing causal relations in complex, non-Gaussian systems, its practical use is limited, primarily due to challenges related to its accurate estimation and interpretation. These difficulties are especially pronounced when working with finite, high-dimensional, or heterogeneous datasets. In this paper, we systematically study the performance of a k-nearest neighbor estimator for both Rényi entropy (RE) and RTE using various synthetic data sets with clear cause-and-effect relationships inherent to their construction. We test the estimator across a broad range of parameters, including sample size, dimensionality, memory length, and Rényi order $α$. In particular, we apply the estimator to a set of simulated processes with increasing structural complexity, ranging from linear dynamics to nonlinear systems with multi-source couplings. To address interpretational challenges arising from potentially negative RE and RTE values, we introduce three reliability conditions and formulate practical guidelines for tuning the estimator parameters. We show that when the reliability conditions are met and the parameters are calibrated accordingly, the resulting effective RTE estimates accurately capture directional information flow across a broad range of scenarios. Results obtained show that the explanatory power of RTE depends sensitively on the choice of the Rényi parameter $α$. This highlights the usefulness of the RTE framework for identifying the drivers of extreme behavior in complex systems.


翻译:Rényi转移熵(RTE)是经典转移熵的推广,它将香农熵替换为Rényi信息度量。这引入了一个新的可调参数$α$,该参数决定了其对低概率或高概率事件的敏感度。尽管RTE在分析复杂非高斯系统中的因果关系方面展现出巨大潜力,但其实际应用仍受限于准确估计与解释方面的挑战。这些困难在处理有限、高维或异构数据集时尤为突出。本文通过使用多种具有明确内置因果关系的合成数据集,系统研究了k近邻估计器在Rényi熵(RE)和RTE估计中的性能。我们在广泛参数范围内测试该估计器,包括样本量、维度、记忆长度和Rényi阶数$α$。特别地,我们将估计器应用于一系列结构复杂度递增的模拟过程——从线性动力学到具有多源耦合的非线性系统。针对RE与RTE可能出现的负值所带来的解释难题,我们提出了三个可靠性条件,并制定了调整估计器参数的实用准则。研究表明,当满足可靠性条件且参数经过相应校准时,所得的有效RTE估计能够准确捕捉各种场景下的方向性信息流。结果显示,RTE的解释力对Rényi参数$α$的选择高度敏感,这凸显了RTE框架在识别复杂系统中极端行为驱动因素方面的实用价值。

0
下载
关闭预览

相关内容

【经典书】信息论与统计: 教程,116页pdf
专知会员服务
62+阅读 · 2021年3月27日
专知会员服务
119+阅读 · 2021年3月23日
最新《图像到图像转换:方法与应用》综述论文,19页pdf
专知会员服务
33+阅读 · 2021年1月25日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员