We study variance reduction for score estimation and diffusion-based sampling in settings where the clean (target) score is available or can be approximated. Starting from the Target Score Identity (TSI), which expresses the noisy marginal score as a conditional expectation of the target score under the forward diffusion, we develop: (i) a plug-and-play nonparametric self-normalized importance sampling estimator compatible with standard reverse-time solvers, (ii) a variance-minimizing \emph{state- and time-dependent} blending rule between Tweedie-type and TSI estimators together with an anti-correlation analysis, (iii) a data-only extension based on locally fitted proxy scores, and (iv) a likelihood-tilting extension to Bayesian inverse problems. We also propose a \emph{Critic--Gate} distillation scheme that amortizes the state-dependent blending coefficient into a neural gate. Experiments on synthetic targets and PDE-governed inverse problems demonstrate improved sample quality for a fixed simulation budget.


翻译:本研究探讨在可获得或可近似干净(目标)分数的情况下,分数估计与基于扩散的采样中的方差缩减问题。从目标分数恒等式(TSI)出发——该恒等式将含噪边缘分数表达为前向扩散下目标分数的条件期望——我们发展了:(i)一种即插即用的非参数化自归一化重要性采样估计器,兼容标准逆时求解器;(ii)一种方差最小化的、状态与时间依赖的Tweedie型与TSI估计器混合规则,并附有抗相关性分析;(iii)一种基于局部拟合代理分数的纯数据扩展方法;(iv)一种适用于贝叶斯逆问题的似然倾斜扩展。我们还提出了一种Critic–Gate蒸馏方案,将状态依赖的混合系数摊销至一个神经门中。在合成目标与偏微分方程约束的逆问题上的实验表明,在固定仿真预算下,采样质量得到了提升。

0
下载
关闭预览

相关内容

【NeurIPS2024】通过方差减少实现零样本模型的稳健微调
专知会员服务
19+阅读 · 2024年11月12日
基于解耦的小样本目标检测方法研究
专知会员服务
19+阅读 · 2024年9月19日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月29日
VIP会员
相关VIP内容
【NeurIPS2024】通过方差减少实现零样本模型的稳健微调
专知会员服务
19+阅读 · 2024年11月12日
基于解耦的小样本目标检测方法研究
专知会员服务
19+阅读 · 2024年9月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员