Confidence intervals after bootstrap optimism correction are often reported for prediction models, but what they cover depends on the estimand. We distinguish two estimands: the target-population performance of the final model developed from the observed sample, $θ_{\mathrm{FM},n}$, and the average performance over repeated model development, $θ_{\mathrm{proc},n}$. Using first-order expansions of the estimation errors, we identify the bootstrap root that matches the error for $θ_{\mathrm{FM},n}$. We use this root in the nested error bootstrap (NEB) as a new reference method, and we show that the optimism error bootstrap (OEB), which needs no inner bootstrap, approximates NEB. We also show that the conventional two-stage bootstrap (TSB) and location-shifted bootstrap (LSB) reproduce the first-order variation for $θ_{\mathrm{proc},n}$. In simulations, NEB generally achieved coverage closer to the nominal level than TSB and LSB for the area under the receiver operating characteristic curve, Brier score, and log loss. OEB was close to NEB at moderate to high events per variable (EPV) but could give narrower intervals at low EPV. The distinction is particularly clear for calibration measures: first-order effects of perturbing the training and evaluation distributions cancel in the TSB root, yielding a degenerate first-order limit. In contrast, the NEB root has a nondegenerate first-order limit and yields asymptotically valid confidence intervals for $θ_{\mathrm{FM},n}$ under regularity conditions. Consistent with theory, TSB showed substantial undercoverage for calibration even at larger sample sizes. Our findings emphasize the need to construct confidence intervals for a specified estimand and performance measure.


翻译:暂无翻译

0
下载
关闭预览

相关内容

专知会员服务
78+阅读 · 2021年9月27日
【CVPR2021】显著目标和伪装目标的不确定性感知联合检测
论文浅尝 | 基于平行新闻的Bootstrapping关系抽取
开放知识图谱
13+阅读 · 2019年3月22日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
Relation Networks for Object Detection 论文笔记
统计学习与视觉计算组
16+阅读 · 2018年4月18日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 11月10日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
14+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
10+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
12+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
15+阅读 · 11月6日
相关VIP内容
专知会员服务
78+阅读 · 2021年9月27日
【CVPR2021】显著目标和伪装目标的不确定性感知联合检测
相关资讯
论文浅尝 | 基于平行新闻的Bootstrapping关系抽取
开放知识图谱
13+阅读 · 2019年3月22日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
Relation Networks for Object Detection 论文笔记
统计学习与视觉计算组
16+阅读 · 2018年4月18日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员