There has been increasing interest on summary-free versions of approximate Bayesian computation (ABC), which replace distances among summaries with discrepancies between the empirical distributions of the observed data and the synthetic samples generated under the proposed parameter values. The success of these solutions has motivated theoretical studies on the limiting properties of the induced posteriors. However, current results are often specific to the discrepancy analyzed, and mostly rely on difficult-to-verify existence assumptions that are required to ease proofs at the expense of not-readily-interpretable bounds and a limited exploration of asymptotic properties in more complex settings. We address this gap via a novel theoretical framework which introduces the concept of Rademacher complexity in the analysis of the limiting properties for discrepancy-based ABC posteriors. This yields a unified theory that relies on constructive arguments and provides more interpretable asymptotic results and concentration bounds, even in challenging settings not considered by current theoretical studies. Such advancements are obtained by relating the limiting properties of summary-free ABC posteriors to the behavior of the Rademacher complexity associated with the chosen discrepancy within the broad family of integral probability semimetrics. This class extends summary-based ABC, and includes the widely-implemented Wasserstein distance and MMD, among others. As clarified through a focus of these results on the MMD case and via two illustrative simulations, this novel theoretical perspective yields an improved understanding of ABC and sets the premises to study the concentration of more general pseudo-posteriors, such as those induced by generalized Bayes.


翻译:近年来,无汇总统计的近似贝叶斯计算(ABC)方法日益受到关注,这类方法用观测数据经验分布与在提议参数值下生成的合成样本之间的差异,替代了汇总统计量之间的距离。这些解决方案的成功推动了关于诱导后验极限性质的理论研究。然而,现有结果通常局限于所分析的特定差异,且大多依赖于难以验证的存在性假设——这些假设虽便于证明,却导致界限难以解释,并限制了对更复杂设定下渐近性质的探索。我们通过一种新颖的理论框架解决了这一空白,该框架在分析基于差异的ABC后验极限性质时引入了Rademacher复杂度的概念。这构建了一个基于构造性论证的统一理论,在现有理论研究未考虑的挑战性设定中,也能提供更具可解释性的渐近结果和集中性界限。这些进展通过将无汇总统计ABC后验的极限性质与积分概率半度量族中选定差异对应的Rademacher复杂度行为建立联系而得以实现。该族方法扩展了基于汇总统计的ABC,并包含广泛使用的Wasserstein距离和最大均值差异(MMD)等。通过聚焦这些结果在MMD案例上的应用及两个示例性模拟,这一理论新视角深化了对ABC的理解,并为研究更广义伪后验(如广义贝叶斯方法诱导的后验)的集中性奠定了基础。

0
下载
关闭预览

相关内容

“后验”是指在考虑与所审查的特定案件有关的相关证据之后。类似地,后验概率分布是未知量的概率分布,视从实验或调查获得的证据为条件,该未知量被视为随机变量。
【2023新书】使用Python进行统计和数据可视化,554页pdf
专知会员服务
130+阅读 · 2023年1月29日
不可错过!700+ppt《因果推理》课程!杜克大学Fan Li教程
专知会员服务
73+阅读 · 2022年7月11日
专知会员服务
55+阅读 · 2020年9月7日
【新书】贝叶斯网络进展与新应用,附全书下载
专知会员服务
122+阅读 · 2019年12月9日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
38+阅读 · 2021年8月31日
VIP会员
最新内容
《无人机对海面作战影响评估》
专知会员服务
1+阅读 · 今天15:30
印度精确打击与指挥架构的断层
专知会员服务
4+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
相关资讯
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员