Modern decision systems increasingly rely on learned components whose outputs may be confident yet wrong, exposing downstream actions to costly errors. We introduce Risk-Aware Causal Gating (RACG), a framework that decides whether to act on, defer, or abstain from a model's prediction by combining causal effect estimation with calibrated risk control. RACG models the causal pathway from candidate actions to outcomes and gates each decision according to an estimated counterfactual risk rather than raw predictive confidence. To make gating reliable, we derive distribution-free bounds on the probability of acting under high-risk conditions and show how these bounds translate into operating thresholds that satisfy user-specified safety constraints. We further propose an adaptive gating policy that adjusts to distribution shift by monitoring discrepancies between predicted and realized outcomes, tightening the gate when causal assumptions appear violated. Across simulated interventions and real-world decision benchmarks, RACG reduces high-cost errors substantially while preserving most of the utility of an ungated policy, and it outperforms confidence-based and selective-prediction baselines at matched abstention rates. Our results indicate that explicitly separating causal risk from predictive uncertainty yields decision systems that are both safer and more transparent, offering a principled mechanism for trustworthy automation in high-stakes settings.


翻译:现代决策系统日益依赖学习组件,其输出可能自信却错误,导致下游行动面临高昂代价。我们提出风险感知因果门控(RACG)框架,通过融合因果效应估计与校准风险控制,决定是否采纳、延迟或拒绝模型的预测。RACG对候选行动到结果的因果路径进行建模,并基于估算的反事实风险(而非原始预测置信度)对每个决策进行门控。为确保门控的可靠性,我们推导出高条件下行动概率的无分布界,并展示这些边界如何转化为满足用户指定安全约束的操作阈值。我们还进一步提出自适应门控策略,通过监控预测结果与实际结果之间的差异来应对分布偏移——当因果假设可能被违反时收紧门控。在模拟干预和真实决策基准测试中,RACG在保留未门控策略大部分效用的同时大幅减少高成本错误,并在相同弃权率下优于基于置信度和选择性预测的基线方法。结果表明,明确分离因果风险与预测不确定性可构建更安全、更透明的决策系统,为高风险场景下的可信自动化提供原则性机制。

0
下载
关闭预览

相关内容

一种Agent自主性风险评估框架 | 最新文献
专知会员服务
24+阅读 · 2025年10月24日
认知优势:人工智能在国家安全决策中的核心作用
专知会员服务
15+阅读 · 2025年8月16日
【ICML2024】悲观遇上风险:风险敏感的离线强化学习
专知会员服务
25+阅读 · 2024年7月11日
【ICML2023】序列反事实风险最小化
专知会员服务
21+阅读 · 2023年5月1日
基于因果建模的强化学习控制: 现状及展望
专知会员服务
78+阅读 · 2023年3月3日
专知会员服务
16+阅读 · 2021年5月21日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
网络安全态势感知
计算机与网络安全
26+阅读 · 2018年10月14日
智能时代如何构建金融反欺诈体系?
数据猿
12+阅读 · 2018年3月26日
网络安全态势感知浅析
计算机与网络安全
18+阅读 · 2017年10月13日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员