Conformal triage converts predictive scores into deployment actions that either release a case, flag it for urgent attention, or defer it to human review. Under prevalence shift, however, the usual summaries of marginal coverage and human-review rate can miss the safety-critical question of whether patients who truly experience the target event are released without review. To address this gap, we introduce a leakage-aware deployment audit for release-side conformal triage. It first assigns target subjects to three non-overlapping roles: prevalence correction, conformal calibration, and held-out release-safety evaluation. This separation then lets the audit evaluate release directly: how many event-positive patients are cleared without review, whether the pilot has enough event labels for calibration, and how the safety-review trade-off shifts. Applying this audit to a retrospective NSCLC pilot shows why lower review can be misleading: after prevalence correction, the pooled conformal branch lowers review by releasing more patients, some of whom are event-positive. Within the audit, the classwise branch acts as a scarcity diagnostic: the pilot has too few event labels to certify safe low-review release.


翻译:摘要:共形分流将预测评分转化为部署动作,包括释放案例、标记为紧急关注或转交人工审查。然而,在患病率偏移下,边际覆盖率和人工审查率的常规统计可能忽略一个安全关键问题:真正经历目标事件的患者是否未经审查就被释放。为弥补这一缺陷,我们提出一种针对发布侧共形分流的泄漏感知部署审计。该方法首先将目标对象分配至三个非重叠角色:患病率校正、共形校准和保留的发布安全评估。这种分离使审计能够直接评估发布行为:有多少事件阳性患者在无审查情况下被清除、试点项目是否有足够的事件标签用于校准、以及安全-审查权衡如何变化。将本审计应用于回顾性非小细胞肺癌试点项目表明,较低审查率可能具有误导性:患病率校正后,合并共形分支通过释放更多患者(包括部分事件阳性者)降低了审查率。在审计内部,分类分支作为稀缺性诊断工具:试点项目中事件标签过少,无法验证低审查率下安全释放的可靠性。

0
下载
关闭预览

相关内容

边缘侧具身基础模型:部署约束与缓解策略综述
《分布外泛化评估》综述
专知会员服务
44+阅读 · 2024年3月6日
【CMU博士论文】分布偏移下的不确定性量化,226页pdf
专知会员服务
31+阅读 · 2023年9月30日
[WSDM2021]用于边缘流异常检测的频率因子分解
专知会员服务
12+阅读 · 2020年11月24日
Link prediction | 三篇SEAL相关工作小结
AINLP
48+阅读 · 2020年11月17日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
CVPR 2019:精确目标检测的不确定边界框回归
AI科技评论
13+阅读 · 2019年9月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月27日
Arxiv
0+阅读 · 5月27日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员