We study when optimal Bayesian estimators under Gaussian noise are approximately linear, and what this implies about the underlying prior distribution. Consider the classical model \(Y = X + Z\), where \(Z\) is Gaussian and independent of \(X\). It is well known that under squared-error loss, the conditional mean \(\mathbb{E}[X|Y]\) is a linear function of \(Y\) if and only if the prior is Gaussian. Much less is understood under absolute-error loss, where the optimal estimator is the conditional median and standard orthogonality-based tools no longer apply. Recent work has established that, in the Gaussian noise model, the Gaussian prior is also the unique distribution that induces an exactly linear conditional median. In this paper, we move beyond exact characterizations and develop a quantitative stability theory: if the optimal estimator is approximately linear, must the prior be close to Gaussian? For the \(L_2\) setting, we derive explicit rates showing that near-linearity of the conditional mean forces the prior to be close to Gaussian in the Levy metric. For the \(L_1\) setting, we develop a functional-analytic framework based on Hermite expansions and adjoint operators, establishing that approximate linearity of the conditional median implies proximity to the Gaussian family.


翻译:我们研究高斯噪声下最优贝叶斯估计量何时近似线性,以及这一性质对潜在先验分布的蕴含关系。考虑经典模型 \(Y = X + Z\),其中 \(Z\) 为独立于 \(X\) 的高斯噪声。众所周知,在平方误差损失下,条件均值 \(\mathbb{E}[X|Y]\) 是 \(Y\) 的线性函数当且仅当先验分布为高斯分布。而在绝对误差损失下,最优估计量为条件中位数,标准正交性工具不再适用,目前对此的理解尚不充分。近期研究表明,在高斯噪声模型中,高斯先验同样是唯一能产生严格线性条件中位数的分布。本文突破精确刻画,建立定量稳定性理论:若最优估计量近似线性,是否必须要求先验分布接近高斯分布?针对 \(L_2\) 情形,我们推导出显式收敛速率,证明条件均值的近似线性性迫使先验分布在Levy度量下接近高斯分布。针对 \(L_1\) 情形,我们构建了基于Hermite展开与伴随算子的泛函分析框架,证明条件中位数的近似线性性蕴含先验分布趋近高斯族。

0
下载
关闭预览

相关内容

【干货书】概率风险分析与贝叶斯决策理论,123页pdf
专知会员服务
56+阅读 · 2023年7月17日
【干货书】贝叶斯推断随机过程,449页pdf
专知会员服务
156+阅读 · 2020年8月27日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
面试题:简单说说贝叶斯定理
七月在线实验室
12+阅读 · 2019年6月12日
L1和L2正则先验分别服从什么分布
七月在线实验室
11+阅读 · 2019年5月8日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【干货书】概率风险分析与贝叶斯决策理论,123页pdf
专知会员服务
56+阅读 · 2023年7月17日
【干货书】贝叶斯推断随机过程,449页pdf
专知会员服务
156+阅读 · 2020年8月27日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员