Credal predictors are models that are aware of epistemic uncertainty and produce a convex set of probabilistic predictions. They offer a principled way to quantify predictive epistemic uncertainty (EU) and have been shown to improve model robustness in various settings. However, most state-of-the-art methods mainly define EU as disagreement caused by random training initializations, which mostly reflects sensitivity to optimization randomness rather than uncertainty from deeper sources. To address this, we define EU as disagreement among models trained with varying relaxations of the i.i.d. assumption between training and test data. Based on this idea, we propose CreDRO, which learns an ensemble of plausible models through distributionally robust optimization. As a result, CreDRO captures EU not only from training randomness but also from meaningful disagreement due to potential distribution shifts between training and test data. Empirical results show that CreDRO consistently outperforms existing credal methods on tasks such as out-of-distribution detection across multiple benchmarks and selective classification in medical applications.


翻译:可信预测器是能够感知认知不确定性并生成凸概率预测集的模型。这类模型为量化预测性认知不确定性提供了理论框架,并已被证明能在多种场景下提升模型的鲁棒性。然而,当前主流方法通常将认知不确定性定义为由随机训练初始化引起的预测分歧,这主要反映的是对优化随机性的敏感度,而非更深层次的不确定性来源。为解决此问题,我们将认知不确定性定义为:在训练数据与测试数据间独立同分布假设的不同松弛条件下,所训练模型产生的预测分歧。基于这一理念,我们提出CreDRO方法,通过分布鲁棒优化学习一组合理模型的集成。因此,CreDRO不仅能够捕捉来自训练随机性的认知不确定性,还能捕获因训练与测试数据间潜在分布偏移所导致的有意义分歧。实验结果表明,在多项基准测试的分布外检测任务以及医疗应用中的选择性分类任务中,CreDRO均持续优于现有的可信预测方法。

0
下载
关闭预览

相关内容

专知会员服务
144+阅读 · 2021年3月17日
可信机器学习的公平性综述
专知会员服务
69+阅读 · 2021年2月23日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
基于数据的分布式鲁棒优化算法及其应用【附PPT与视频资料】
人工智能前沿讲习班
27+阅读 · 2018年12月13日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员