Compositional score-based approaches to simulation-based inference (SBI) approximate the posterior over a shared parameter given $n$ independent observations by aggregating individually learned posterior scores: currently, there are two main propositions of such methods (Geffner et al. (2023), Linhart et al. (2026)). As the resulting composite score does not correspond to the score of any distribution along the forward diffusion path of the true multi-observation posterior, sampling from it via a reverse SDE leads to an irreducible bias. Annealed Langevin dynamics provides a principled alternative: it treats the composite score as the genuine score of a sequence of tractable bridging densities and samples from them in succession. When properly tuned, it could lead to a controllable bias. However, its hyperparameters, namely step sizes, the number of steps per level, and the number of annealing levels, have so far been chosen empirically. We derive Wasserstein bounds for annealed Langevin with approximate scores and translate them into explicit decision rules for these hyperparameters that guarantee a prescribed sampling accuracy, while highlighting different theoretical aspects of each composite score formulation. In the Gaussian setting, we obtain closed-form expressions for all relevant quantities and prove that the bridging densities of Linhart et al. (2026) consistently admit larger step sizes and require fewer total Langevin steps than those of Geffner et al. (2023). Furthermore, we show empirically that the tuning obtained in the Gaussian setting generalizes to more complex problems, thus providing a well-understood and theoretically grounded starting point for practitioners using compositional score-based approaches.


翻译:组合得分方法在模拟推断(SBI)中,通过聚合独立学习到的后验得分,近似给定n个独立观测值时共享参数的后验分布。目前这类方法主要有两种方案(Geffner等人,2023;Linhart等人,2026)。由于该组合得分并不对应真实多观测后验沿前向扩散路径上任何分布的得分,因此通过反向随机微分方程从中采样会导致不可约偏差。退火朗之万动力学提供了一种理论严谨的替代方案:它将组合得分视为一系列可处理桥接密度的真实得分,并依次从中采样。当参数适当调整时,该方法可实现可控偏差。然而,其超参数(即步长、每级采样步数和退火级数)目前仍依赖经验选择。我们推导了近似得分下退火朗之万动力学的Wasserstein上界,并将其转化为明确的超参数决策规则,这些规则可保证指定的采样精度,同时揭示了不同组合得分公式的理论差异。在高斯场景下,我们获得所有相关量的闭式表达式,并证明Linhart等人(2026)的桥接密度始终能采用更大的步长,且所需总朗之万步数少于Geffner等人(2023)的方案。此外,我们通过实验证明,高斯场景下获得的调参策略可推广至更复杂的问题,从而为使用组合得分方法的实践者提供理论基础明确且易于理解的参数初始化方案。

0
下载
关闭预览

相关内容

在回答之前先解释:组合视觉推理综述
专知会员服务
15+阅读 · 2025年8月27日
具有组合结构的统计推断和在线算法
专知会员服务
12+阅读 · 2022年12月13日
推荐系统算法合集,满满都是干货(建议收藏)
七月在线实验室
17+阅读 · 2018年7月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
在回答之前先解释:组合视觉推理综述
专知会员服务
15+阅读 · 2025年8月27日
具有组合结构的统计推断和在线算法
专知会员服务
12+阅读 · 2022年12月13日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员