We present extensive empirical evidence showing that current Bayesian simulation-based inference algorithms are inadequate for the falsificationist methodology of scientific inquiry. Our results collected through months of experimental computations show that all benchmarked algorithms -- (S)NPE, (S)NRE, SNL and variants of ABC -- may produce overconfident posterior approximations, which makes them demonstrably unreliable and dangerous if one's scientific goal is to constrain parameters of interest. We believe that failing to address this issue will lead to a well-founded trust crisis in simulation-based inference. For this reason, we argue that research efforts should now consider theoretical and methodological developments of conservative approximate inference algorithms and present research directions towards this objective. In this regard, we show empirical evidence that ensembles are consistently more reliable.


翻译:我们提出了广泛的实证证据表明,目前巴耶斯模拟推论算法不足以用于科学调查的伪造方法。我们通过数月的实验计算收集的结果表明,所有基准算法 -- -- (S) NPE, (S) NRE, (S) NEL, SNL和ABC的变体 -- -- 都可能产生过于自信的后方近似值,因此,如果一个人的科学目标是限制感兴趣的参数,这些近似值显然不可靠和危险。我们认为,不解决这一问题将导致在模拟推论中出现有充分根据的信任危机。为此,我们认为,研究努力现在应该考虑保守的近似推论算法的理论和方法发展,并针对这一目标提出研究方向。在这方面,我们展示了经验证据,证明共聚会始终更加可靠。

0
下载
关闭预览

相关内容

因果推断,Causal Inference:The Mixtape
专知会员服务
110+阅读 · 2021年8月27日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
计算机 | CCF推荐期刊专刊信息5条
Call4Papers
3+阅读 · 2019年4月10日
大数据 | 顶级SCI期刊专刊/国际会议信息7条
Call4Papers
10+阅读 · 2018年12月29日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
Arxiv
4+阅读 · 2021年10月19日
Imitation by Predicting Observations
Arxiv
4+阅读 · 2021年7月8日
Arxiv
3+阅读 · 2018年3月2日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
计算机 | CCF推荐期刊专刊信息5条
Call4Papers
3+阅读 · 2019年4月10日
大数据 | 顶级SCI期刊专刊/国际会议信息7条
Call4Papers
10+阅读 · 2018年12月29日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
相关论文
Top
微信扫码咨询专知VIP会员