Offline model-based optimization (MBO) proposes candidates by optimizing a surrogate trained on a fixed historical dataset. Because candidates are deliberately out-of-distribution, surrogate rankings are least reliable exactly where the optimizer is most aggressive, yet existing methods provide no per-candidate statistical certificate that a design meets a target threshold. We propose \emph{Conformal Candidate Certification} (CCC), a post-hoc wrapper that attaches a calibrated one-sided lower bound to each candidate and advances only those whose bound exceeds the target. We show that entropy-regularized surrogate maximization induces a Gibbs-tilted proposal, so the same surrogate supplies importance weights for weighted conformal prediction without a separate density-ratio estimation step. In a controlled synthetic study, CCC certifies $16.7\%$ of an aggressive proposal pool with empirical coverage 0.990 at nominal 0.90, while standard conformal prediction ignoring the covariate shift collapses to 0.416 coverage.


翻译:离线模型优化(MBO)通过优化在固定历史数据集上训练的代理模型来生成候选方案。由于候选方案刻意偏离数据分布,代理模型的排序在优化器最激进的位置恰恰最不可靠,然而现有方法无法为每个候选设计提供是否达到目标阈值的统计认证。我们提出保形候选认证(CCC),这是一种后处理封装方法,能为每个候选方案附加经校准的单侧下界,仅推送下界超过目标阈值的候选方案。研究表明熵正则化代理最大化会诱导吉布斯倾斜提案,因此同一代理模型可为加权保形预测提供重要性权重,无需额外进行密度比估计步骤。在受控合成实验中,CCC为激进提案池中16.7%的候选方案提供认证,在标称置信度0.90时经验覆盖率达0.990,而忽略协变量偏移的标准保形预测方法覆盖率骤降至0.416。

0
下载
关闭预览

相关内容

【NeurIPS2024】通过方差减少实现零样本模型的稳健微调
专知会员服务
19+阅读 · 2024年11月12日
【NeurIPS2024】IPO: 面向视觉-语言模型的可解释提示优化
专知会员服务
22+阅读 · 2024年10月23日
专知会员服务
12+阅读 · 2021年7月16日
模型优化基础,Sayak Paul,67页ppt
专知会员服务
77+阅读 · 2020年6月8日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
基于模型系统的系统设计
科技导报
10+阅读 · 2019年4月25日
入门 | 深度学习模型的简单优化技巧
机器之心
10+阅读 · 2018年6月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员