The conditional mean is a fundamental and important quantity whose applications include the theories of estimation and rate-distortion. It is also notoriously difficult to work with. This paper establishes novel bounds on the differential entropy of the conditional mean in the case of finite-variance input signals and additive Gaussian noise. The main result is a new lower bound in terms of the differential entropies of the input signal and the noisy observation. The main results are also extended to the vector Gaussian channel and to the natural exponential family. Various other properties such as upper bounds, asymptotics, Taylor series expansion, and connection to Fisher Information are obtained. Two applications of the lower bound in the remote-source coding and CEO problem are discussed.


翻译:有条件的平均值是基本和重要数量,其应用包括估算和率扭曲的理论,也难于与之合作。本文对有限变量输入信号和加固高斯噪音情况下的有条件平均值的微小差别设定了新的界限。主要结果是输入信号和噪音观测的微小差别含量增加了一个新的下限。主要结果还扩展到了矢量高西亚频道和自然指数大家庭。还获得了其他各种特性,如上界、无序、泰勒系列扩展和渔业信息连接。讨论了远程源码和CEO问题中下界的两种应用。

0
下载
关闭预览

相关内容

【硬核书】矩阵代数基础,248页pdf
专知会员服务
88+阅读 · 2021年12月9日
专知会员服务
52+阅读 · 2020年12月14日
迁移学习简明教程,11页ppt
专知会员服务
109+阅读 · 2020年8月4日
还在修改博士论文?这份《博士论文写作技巧》为你指南
专知会员服务
162+阅读 · 2020年1月16日
【新书】Python编程基础,669页pdf
专知会员服务
197+阅读 · 2019年10月10日
量化金融强化学习论文集合
专知
14+阅读 · 2019年12月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
已删除
将门创投
4+阅读 · 2018年6月4日
一文简述ResNet及其多种变体
机器之心
23+阅读 · 2018年4月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
VIP会员
最新内容
美陆军设想无人系统司令部
专知会员服务
2+阅读 · 今天13:45
【博士论文】已对齐人工智能系统的持久脆弱性
专知会员服务
0+阅读 · 今天13:52
扭曲还是编造?视频大语言模型幻觉研究综述
专知会员服务
0+阅读 · 今天13:41
《采用系统思维应对混合战争》125页
专知会员服务
2+阅读 · 今天12:47
战争机器学习:数据生态系统构建(155页)
专知会员服务
6+阅读 · 今天8:10
内省扩散语言模型
专知会员服务
6+阅读 · 4月14日
国外反无人机系统与技术动态
专知会员服务
4+阅读 · 4月14日
相关VIP内容
相关资讯
量化金融强化学习论文集合
专知
14+阅读 · 2019年12月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
已删除
将门创投
4+阅读 · 2018年6月4日
一文简述ResNet及其多种变体
机器之心
23+阅读 · 2018年4月22日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员