In safety-critical classification, the cost of failure is often asymmetric, yet Bayesian deep learning summarises epistemic uncertainty with a single scalar, mutual information (MI), that cannot distinguish whether a model's ignorance involves a benign or safety-critical class. We decompose MI into a per-class vector $C_k(x)=σ_k^{2}/(2μ_k)$, with $μ_k{=}\mathbb{E}[p_k]$ and $σ_k^2{=}\mathrm{Var}[p_k]$ across posterior samples. The decomposition follows from a second-order Taylor expansion of the entropy; the $1/μ_k$ weighting corrects boundary suppression and makes $C_k$ comparable across rare and common classes. By construction $\sum_k C_k \approx \mathrm{MI}$, and a companion skewness diagnostic flags inputs where the approximation degrades. After characterising the axiomatic properties of $C_k$, we validate it on three tasks: (i) selective prediction for diabetic retinopathy, where critical-class $C_k$ reduces selective risk by 34.7\% over MI and 56.2\% over variance baselines; (ii) out-of-distribution detection on clinical and image benchmarks, where $\sum_k C_k$ achieves the highest AUROC and the per-class view exposes asymmetric shifts invisible to MI; and (iii) a controlled label-noise study in which $\sum_k C_k$ shows less sensitivity to injected aleatoric noise than MI under end-to-end Bayesian training, while both metrics degrade under transfer learning. Across all tasks, the quality of the posterior approximation shapes uncertainty at least as strongly as the choice of metric, suggesting that how uncertainty is propagated through the network matters as much as how it is measured.


翻译:在安全关键分类任务中,失败的代价通常是不对称的,然而贝叶斯深度学习仅使用单一标量——互信息(MI)来概括认知不确定性,这无法区分模型的未知性涉及的是良性类别还是安全关键类别。我们将MI分解为一个逐类向量 $C_k(x)=σ_k^{2}/(2μ_k)$,其中 $μ_k{=}\mathbb{E}[p_k]$ 且 $σ_k^2{=}\mathrm{Var}[p_k]$ 是在后验样本上计算的。该分解源于熵的二阶泰勒展开;$1/μ_k$ 权重校正了边界抑制效应,使得 $C_k$ 在稀有类别和常见类别之间具有可比性。根据构造,$\sum_k C_k \approx \mathrm{MI}$,并且一个配套的偏度诊断器可以标记出近似效果下降的输入。在刻画了 $C_k$ 的公理性质之后,我们在三个任务上对其进行了验证:(i)糖尿病视网膜病变的选择性预测,其中关键类别的 $C_k$ 相较于MI基线将选择性风险降低了34.7%,相较于方差基线降低了56.2%;(ii)在临床和图像基准上的分布外检测,其中 $\sum_k C_k$ 取得了最高的AUROC,并且逐类视角揭示了MI无法观察到的不对称分布偏移;(iii)一项受控的标签噪声研究,研究表明在端到端贝叶斯训练下,$\sum_k C_k$ 对注入的偶然噪声的敏感性低于MI,而在迁移学习下两种指标的性能均会下降。在所有任务中,后验近似的质量对不确定性的影响至少与度量指标的选择同等重要,这表明不确定性如何在网络中传播与其如何被测量同样关键。

0
下载
关闭预览

相关内容

「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员