Denoising and score estimation have long been known to be linked via the classical Tweedie's formula. In this work, we first extend the latter to a wider range of distributions often called "energy models" and denoted elliptical distributions in this work. Next, we examine an alternative view: we consider the denoising posterior $P(X|Y)$ as the optimizer of the energy score (a scoring rule) and derive a fundamental identity that connects the (path-) derivative of a (possibly) non-Euclidean energy score to the score of the noisy marginal. This identity can be seen as an analog of Tweedie's identity for the energy score, and allows for several interesting applications; for example, score estimation, noise distribution parameter estimation, as well as using energy score models in the context of "traditional" diffusion model samplers with a wider array of noising distributions.


翻译:去噪与得分估计通过经典的特威迪公式相联系,这一关联早已为人所知。在本工作中,我们首先将后者推广到更广泛的分布类别,这类分布常被称为"能量模型",本文中称之为椭圆分布。接着,我们探讨一个替代视角:我们将去噪后验分布 $P(X|Y)$ 视为能量得分(一种评分规则)的优化器,并推导出一个基本恒等式,该式将(可能)非欧几里得能量得分的(路径)导数与噪声边缘分布的得分联系起来。此恒等式可视为特威迪恒等式在能量得分下的类比,并支持若干有趣的应用;例如,得分估计、噪声分布参数估计,以及在采用更广泛噪声分布的"传统"扩散模型采样器中使用能量得分模型。

0
下载
关闭预览

相关内容

专知会员服务
29+阅读 · 2020年10月2日
专知会员服务
63+阅读 · 2020年3月4日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员