Conformal risk control (CRC) provides distribution-free guarantees for controlling the expected loss at a user-specified level. Existing theory typically assumes that the loss decreases monotonically with a tuning parameter that governs the size of the prediction set. This assumption is often violated in practice, where losses may behave non-monotonically due to competing objectives such as coverage and efficiency. We study CRC under non-monotone loss functions when the tuning parameter is selected from a finite grid, a common scenario in thresholding or discretized decision rules. Revisiting a known counterexample, we show that the validity of CRC without monotonicity depends on the relationship between the calibration sample size and the grid resolution. In particular, risk control can still be achieved when the calibration sample is sufficiently large relative to the grid. We provide a finite-sample guarantee for bounded losses over a grid of size $m$, showing that the excess risk above the target level $α$ is of order $\sqrt{\log(m)/n}$, where $n$ is the calibration sample size. A matching lower bound shows that this rate is minimax optimal. We also derive refined guarantees under additional structural conditions, including Lipschitz continuity and monotonicity, and extend the analysis to settings with distribution shift via importance weighting. Numerical experiments on synthetic multilabel classification and real object detection data illustrate the practical impact of non-monotonicity. Methods that account for finite-sample deviations achieve more stable risk control than approaches based on monotonicity transformations, while maintaining competitive prediction-set sizes.


翻译:[translated abstract in Chinese] 保形风险控制(CRC)提供了一种无分布假设的保证方法,用于在用户指定水平上控制期望损失。现有理论通常假设损失随控制预测集大小的调节参数单调递减。然而,由于覆盖率和效率等竞争目标,损失函数在实际中常呈现非单调行为,导致该假设经常被违反。我们研究了在有限网格上选择调节参数时的非单调损失函数下的CRC,这在阈值化或离散化决策规则中是常见场景。通过重新审视已知反例,我们发现无单调性假设下CRC的有效性取决于校准样本量与网格分辨率之间的关系。具体而言,当校准样本相对网格足够大时,仍可实现风险控制。我们针对大小为$m$的网格上有界损失提供了有限样本保证,表明超出目标水平$α$的过量风险阶数为$\sqrt{\log(m)/n}$,其中$n$为校准样本量。匹配的下界证明该速率是极小化最优的。我们还在附加结构条件(包括Lipschitz连续性和单调性)下推导了改进的保证,并通过重要性加权将分析扩展至分布偏移场景。在合成多标签分类和真实目标检测数据上的数值实验验证了非单调性的实际影响。相较于基于单调性变换的方法,考虑有限样本偏差的方法能在保持竞争性预测集大小的同时,实现更稳定的风险控制。

0
下载
关闭预览

相关内容

保形时间序列预测入门指南
专知会员服务
15+阅读 · 2025年11月28日
《国防投资不确定性和风险的可视化设计》最新168页
专知会员服务
18+阅读 · 2024年10月25日
【CMU博士论文】分布偏移下的不确定性量化,226页pdf
专知会员服务
31+阅读 · 2023年9月30日
《软件保障路线图》12页slides,美国国防工业协会
专知会员服务
32+阅读 · 2023年8月11日
金融风控背后的技术综述
七月在线实验室
45+阅读 · 2019年2月28日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月20日
Arxiv
0+阅读 · 4月16日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
0+阅读 · 今天14:41
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
2+阅读 · 今天14:13
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
8+阅读 · 7月19日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员