Transport MCMC trains a normalizing flow to precondition Metropolis--Hastings proposals, achieving high empirical efficiency on challenging posteriors; yet no prior work produces a numerically non-vacuous, rigorous spectral-gap bound for such samplers. We establish the first such bounds. For independence MH on the banana family we certify (γ^\ast = 0.828) at (D = 2) (covering in the original space) and (γ^\ast \ge 7.6\times 10^{-4}) at (D = 5) (covering in an analytically unwarped Gaussian space with a grid-certified gradient bound under the stated numerical Lipschitz certification), both rigorous at 95% confidence. The framework rests on three pillars: (i) spectral normalization with reduced scale clips constrains the flow Lipschitz constant from (10^{47}) to (10^4); (ii) a coverage-based empirical oscillation bound replaces the vacuous analytical bound with a data-dependent certificate; and (iii) oscillation-regularised training cuts the empirical oscillation by 60--90% at no cost to density fit, extending practical certificates through (D = 20) ((γ^\ast \ge 1.7\times 10^{-4})). Tests on four further targets (Gaussian mixture, shear-building, Neal's funnel, Bayesian logistic regression) identify three precise barriers: boundary curvature, target stiffness, and tail-coverage mismatch. An affine-vs-spline comparison shows that simpler architectures yield tighter certificates at identical NLL, inverting the usual expressiveness hierarchy.


翻译:运输马尔可夫链蒙特卡洛通过训练归一化流来预处理梅特罗波利斯-黑斯廷斯提议,在复杂后验分布上实现了高经验效率;然而,尚无前期工作为此类采样器提供数值上非平凡且严格的谱间隙界。我们首次建立了此类界。针对香蕉族上的独立梅特罗波利斯-黑斯廷斯采样器,我们在(D=2)(覆盖原始空间)下认证了(γ^\ast = 0.828),在(D=5)(覆盖经解析解卷的高斯空间,并在所述数值Lipschitz认证下通过网格认证的梯度界)下认证了(γ^\ast \ge 7.6\times 10^{-4}),两者均在95%置信度下严格成立。该框架基于三大支柱:(i)采用缩比约束的谱归一化将流Lipschitz常数从(10^{47})降至(10^4);(ii)基于覆盖的经验振荡界将平凡的分析界替换为数据依赖的证书;(iii)振荡正则化训练在不影响密度拟合质量的情况下将经验振荡降低60-90%,从而将实用证书扩展至(D=20)((γ^\ast \ge 1.7\times 10^{-4}))。对四个额外目标(高斯混合、剪切建筑、尼尔漏斗、贝叶斯逻辑回归)的测试识别出三个精确障碍:边界曲率、目标刚度与尾部覆盖失配。仿射-样条对比表明,在相同负对数似然下,更简单的架构产生更紧的证书,颠覆了通常的表达能力层级。

0
下载
关闭预览

相关内容

详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
不用数学讲清马尔可夫链蒙特卡洛方法?
算法与数学之美
16+阅读 · 2018年8月8日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员