R\'enyi entropy is an important measure in the context of information theory as a generalization of Shannon entropy. This information measure was often used for uncertainty quantification of dynamical behaviour of stochastic processes. In this paper, we study in detail this measure for multivariate controlled autoregressive moving average (MCARMA) systems. The characteristic function of output process is represented from the terms of its residual characteristic function. An explicit formula to compute the R\'enyi entropy for the output process of MCARMA system is derived. In addition, we investigate the covariance matrix to find the upper bound of R\'enyi entropy. We present three simulations that serve to illustrate the behavior of information in MCARMA system, where the control and noise follow the Gaussian, Cauchy and Laplace distributions. Finally, the behaviour of R\'enyi entropy is illustrated in two real-world applications: a paper-making process and an electric circuit system.


翻译:Rényi熵作为香农熵的推广,是信息论领域中的重要度量指标。该信息度量常被用于量化随机过程动态行为的不确定性。本文详细研究了多元受控自回归移动平均(MCARMA)系统的Rényi熵。通过残差特征函数项,推导了输出过程特征函数的表示形式,并建立了计算MCARMA系统输出过程Rényi熵的显式公式。此外,通过研究协方差矩阵,确定了Rényi熵的上界。我们通过三个仿真实验展示了MCARMA系统中信息量的变化特征,其中控制量与噪声分别服从高斯分布、柯西分布和拉普拉斯分布。最后,通过造纸工艺和电路系统两个实际应用案例,进一步阐释了Rényi熵的行为特性。

0
下载
关闭预览

相关内容

【ACL2020】多模态信息抽取,365页ppt
专知会员服务
151+阅读 · 2020年7月6日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Layer Normalization原理及其TensorFlow实现
深度学习每日摘要
32+阅读 · 2017年6月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Arxiv
69+阅读 · 2022年9月7日
Arxiv
16+阅读 · 2022年5月17日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
VIP会员
相关VIP内容
【ACL2020】多模态信息抽取,365页ppt
专知会员服务
151+阅读 · 2020年7月6日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Layer Normalization原理及其TensorFlow实现
深度学习每日摘要
32+阅读 · 2017年6月17日
相关论文
Arxiv
69+阅读 · 2022年9月7日
Arxiv
16+阅读 · 2022年5月17日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员