Conformal prediction is a framework for uncertainty quantification that constructs prediction sets for previously unseen data, guaranteeing coverage of the true label with a specified probability. However, the efficiency of these prediction sets, measured by their size, depends on the choice of the underlying learning model. Relying on a single fixed model may lead to suboptimal performance in online environments, as a single model may not consistently perform well across all time steps. To mitigate this, prior work has explored selecting a model from a set of candidates. However, this approach becomes computationally expensive as the number of candidate models increases. Moreover, poorly performing models in the set may also hinder the effectiveness. To tackle this challenge, this work develops a novel multi-model online conformal prediction algorithm that reduces computational complexity and improves prediction efficiency. At each time step, a bipartite graph is generated to identify a subset of effective models, from which a model is selected to construct the prediction set. Experiments demonstrate that our method outperforms existing multi-model conformal prediction techniques in terms of both prediction set size and computational efficiency.


翻译:共形预测是一种不确定性量化框架,它为未见数据构建预测集合,并以指定概率保证真实标签的覆盖。然而,这些预测集合的效率(以其大小衡量)取决于底层学习模型的选择。在在线环境中,依赖单一固定模型可能导致次优性能,因为单个模型可能无法在所有时间步上始终保持良好表现。为缓解此问题,先前研究探索了从候选模型集合中选择模型的方法。然而,随着候选模型数量的增加,这种方法会变得计算昂贵。此外,集合中性能较差的模型也可能阻碍预测效果。为应对这一挑战,本研究提出了一种新颖的多模型在线共形预测算法,该算法降低了计算复杂度并提升了预测效率。在每个时间步,算法生成二分图以识别有效模型子集,并从中选择模型构建预测集合。实验表明,本方法在预测集合大小和计算效率方面均优于现有的多模型共形预测技术。

0
下载
关闭预览

相关内容

保形时间序列预测入门指南
专知会员服务
15+阅读 · 2025年11月28日
【新书】共形预测的理论基础,179页pdf
专知会员服务
46+阅读 · 2024年11月20日
多模态预训练模型综述
专知会员服务
94+阅读 · 2023年11月20日
【MIT博士论文】高效可靠深度学习的共形方法,213页pdf
专知会员服务
42+阅读 · 2023年11月12日
深度预测学习:模型与应用
专知会员服务
49+阅读 · 2022年12月5日
2022最新《预测建模笔记》329页PDF
专知会员服务
55+阅读 · 2022年4月24日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
「PPT」深度学习中的不确定性估计
专知
27+阅读 · 2019年7月20日
深度学习在CTR预估中的应用 | CTR深度模型大盘点
PaperWeekly
15+阅读 · 2018年4月11日
15款免费预测分析软件!收藏好,别丢了!
七月在线实验室
11+阅读 · 2018年2月27日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Arxiv
0+阅读 · 2月4日
VIP会员
相关VIP内容
保形时间序列预测入门指南
专知会员服务
15+阅读 · 2025年11月28日
【新书】共形预测的理论基础,179页pdf
专知会员服务
46+阅读 · 2024年11月20日
多模态预训练模型综述
专知会员服务
94+阅读 · 2023年11月20日
【MIT博士论文】高效可靠深度学习的共形方法,213页pdf
专知会员服务
42+阅读 · 2023年11月12日
深度预测学习:模型与应用
专知会员服务
49+阅读 · 2022年12月5日
2022最新《预测建模笔记》329页PDF
专知会员服务
55+阅读 · 2022年4月24日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员