Evidential Deep Learning (EDL) is a popular framework for uncertainty-aware classification that models predictive uncertainty via Dirichlet distributions parameterized by neural networks. Despite its popularity, its theoretical foundations and behavior under distributional shift remain poorly understood. In this work, we provide a principled statistical interpretation by proving that EDL training corresponds to amortized variational inference in a hierarchical Bayesian model with a tempered pseudo-likelihood. This perspective reveals a major drawback: standard EDL conflates epistemic and aleatoric uncertainty, leading to systematic overconfidence on out-of-distribution (OOD) inputs. To address this, we introduce Density-Informed Pseudo-count EDL (DIP-EDL), a new parametrization that decouples class prediction from the magnitude of uncertainty by separately estimating the conditional label distribution and the marginal covariate density. This separation preserves evidence in high-density regions while shrinking predictions toward a uniform prior for OOD data. Theoretically, we prove that DIP-EDL achieves asymptotic concentration. Empirically, we show that our method enhances interpretability and improves robustness and uncertainty calibration under distributional shift.


翻译:证据深度学习(EDL)是一种流行的不确定性感知分类框架,它通过神经网络参数化的狄利克雷分布来建模预测不确定性。尽管EDL广受欢迎,但其理论基础以及在分布偏移下的行为仍鲜为人知。在本工作中,我们通过证明EDL训练对应于具有温度调节伪似然的层次贝叶斯模型中的摊销变分推断,从而提供了一个原则性的统计解释。这一视角揭示了一个主要缺陷:标准EDL将认知不确定性和偶然不确定性混为一谈,导致对分布外(OOD)输入的系统性过度自信。为解决此问题,我们引入了基于密度信息的伪计数证据深度学习(DIP-EDL),这是一种新的参数化方法,通过分别估计条件标签分布和边际协变量密度,将类别预测与不确定性大小解耦。这种分离保留了高密度区域的证据,同时使OOD数据的预测向均匀先验收缩。理论上,我们证明了DIP-EDL能够实现渐近集中性。实证上,我们表明该方法增强了可解释性,并提高了分布偏移下的鲁棒性和不确定性校准能力。

0
下载
关闭预览

相关内容

深度学习中的数据投毒:综述
专知会员服务
29+阅读 · 2025年4月1日
ICLR24 Spotlight | R-EDL:放宽证据深度学习中的非必要设置
专知会员服务
12+阅读 · 2024年5月31日
基于无标签视频数据的深度预测学习方法综述
专知会员服务
35+阅读 · 2022年5月16日
【AAAI2022】通过多任务学习改进证据深度学习
专知会员服务
20+阅读 · 2021年12月21日
最新《可解释深度学习XDL》2020研究进展综述大全,54页pdf
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
【深度学习】深度学习的核心:掌握训练数据的方法
产业智能官
12+阅读 · 2018年1月14日
深度学习中的五大正则化方法和七大优化策略
全球人工智能
11+阅读 · 2017年12月25日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月19日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员