We propose a projected Wasserstein gradient descent method (pWGD) for high-dimensional Bayesian inference problems. The underlying density function of a particle system of WGD is approximated by kernel density estimation (KDE), which faces the long-standing curse of dimensionality. We overcome this challenge by exploiting the intrinsic low-rank structure in the difference between the posterior and prior distributions. The parameters are projected into a low-dimensional subspace to alleviate the approximation error of KDE in high dimensions. We formulate a projected Wasserstein gradient flow and analyze its convergence property under mild assumptions. Several numerical experiments illustrate the accuracy, convergence, and complexity scalability of pWGD with respect to parameter dimension, sample size, and processor cores.


翻译:我们建议对高维贝叶斯推论问题采用预测的瓦塞尔斯坦梯度梯度下降法(pWGD) 。 WGD粒子系统的潜在密度功能被内核密度估计(KDE)所近似,因为内核密度估计面临长期的维度的诅咒。我们通过利用后方和先前分布之间的差异的内在低等级结构克服了这一挑战。这些参数被投射到一个低维次空间,以缓解 KDE在高维度上的近似误差。我们根据轻度假设制定了预测的瓦塞尔斯坦梯度流并分析其趋同特性。一些数字实验显示了PWGD在参数尺寸、样本大小和处理器核心方面的精确性、趋同性和复杂性。

0
下载
关闭预览

相关内容

贝叶斯推断(BAYESIAN INFERENCE)是一种应用于不确定性条件下的决策的统计方法。贝叶斯推断的显著特征是,为了得到一个统计结论能够利用先验信息和样本信息。
专知会员服务
45+阅读 · 2020年12月18日
专知会员服务
52+阅读 · 2020年12月14日
【Google】梯度下降,48页ppt
专知会员服务
81+阅读 · 2020年12月5日
【干货书】机器学习速查手册,135页pdf
专知会员服务
129+阅读 · 2020年11月20日
因果图,Causal Graphs,52页ppt
专知会员服务
254+阅读 · 2020年4月19日
【新书】Python编程基础,669页pdf
专知会员服务
199+阅读 · 2019年10月10日
已删除
将门创投
4+阅读 · 2020年6月12日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
笔记 | Sentiment Analysis
黑龙江大学自然语言处理实验室
10+阅读 · 2018年5月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Arxiv
0+阅读 · 2021年4月5日
Arxiv
0+阅读 · 2021年4月3日
Arxiv
0+阅读 · 2021年4月2日
Arxiv
7+阅读 · 2018年3月21日
VIP会员
最新内容
《同步多无人机系统中的故障与通信》
专知会员服务
2+阅读 · 今天6:23
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
7+阅读 · 7月28日
《异构人类团队的协作决策过程混合建模研究》
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
5+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
9+阅读 · 7月27日
相关VIP内容
专知会员服务
45+阅读 · 2020年12月18日
专知会员服务
52+阅读 · 2020年12月14日
【Google】梯度下降,48页ppt
专知会员服务
81+阅读 · 2020年12月5日
【干货书】机器学习速查手册,135页pdf
专知会员服务
129+阅读 · 2020年11月20日
因果图,Causal Graphs,52页ppt
专知会员服务
254+阅读 · 2020年4月19日
【新书】Python编程基础,669页pdf
专知会员服务
199+阅读 · 2019年10月10日
相关资讯
已删除
将门创投
4+阅读 · 2020年6月12日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
笔记 | Sentiment Analysis
黑龙江大学自然语言处理实验室
10+阅读 · 2018年5月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Top
微信扫码咨询专知VIP会员