Conformal prediction is a framework for uncertainty quantification that constructs prediction sets for previously unseen data, guaranteeing coverage of the true label with a specified probability. However, the efficiency of these prediction sets, measured by their size, depends on the choice of the underlying learning model. Relying on a single fixed model may lead to suboptimal performance in online environments, as a single model may not consistently perform well across all time steps. To mitigate this, prior work has explored selecting a model from a set of candidates. However, this approach becomes computationally expensive as the number of candidate models increases. Moreover, poorly performing models in the set may also hinder the effectiveness. To tackle this challenge, this work develops a novel multi-model online conformal prediction algorithm that reduces computational complexity and improves prediction efficiency. At each time step, a bipartite graph is generated to identify a subset of effective models, from which a model is selected to construct the prediction set. Experiments demonstrate that our method outperforms existing multi-model conformal prediction techniques in terms of both prediction set size and computational efficiency.


翻译:共形预测是一种不确定性量化框架,它为未见数据构建预测集合,并以指定概率保证真实标签的覆盖。然而,这些预测集合的效率(以其大小衡量)取决于底层学习模型的选择。在在线环境中,依赖单一固定模型可能导致次优性能,因为单个模型可能无法在所有时间步上始终保持良好表现。为缓解此问题,先前研究探索了从候选模型集合中选择模型的方法。然而,随着候选模型数量的增加,这种方法会变得计算昂贵。此外,集合中性能较差的模型也可能阻碍预测效果。为应对这一挑战,本研究提出了一种新颖的多模型在线共形预测算法,该算法降低了计算复杂度并提升了预测效率。在每个时间步,算法生成二分图以识别有效模型子集,并从中选择模型构建预测集合。实验表明,本方法在预测集合大小和计算效率方面均优于现有的多模型共形预测技术。

0
下载
关闭预览

相关内容

【剑桥大学-算法手册】Advanced Algorithms, Artificial Intelligence
专知会员服务
36+阅读 · 2024年11月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月1日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员