Machine learning systems increasingly make life-changing decisions about individuals, such as loan approvals, hiring, and cheating detection, raising a pressing question: how can individuals respond to negative decisions made by these opaque systems? While explainable artificial intelligence (XAI) has largely focused on algorithmic recourse -- helping individuals change their features to obtain a desired outcome -- the parallel problem of algorithmic contestability -- helping individuals review and correct erroneous algorithmic decisions -- has received far less attention, despite its central ethical and legal importance. We trace this neglect to the absence of clear formal definitions and a systematic operationalization of contestability as an algorithmic problem. To address it, we propose an operational definition of contestability as a natural complement to recourse: contestability starts from the presumption that a decision may be incorrect and focuses on identifying evidence to challenge and potentially overturn it, whereas recourse assumes the decision is valid and instead provides pathways for changing it. We show that standard XAI explanations, such as counterfactuals, LIME, or Anchors, even when combined with human intuitions about decision continuity or monotonicity, reveal only errors in the neighborhood of the individual, but provide insufficient grounds for overturning the decision at hand. Going thus beyond traditional XAI, we identify three types of evidence warranting reversal according to the decision maker's own ethical standards: predictive multiplicity, incorrect feature values, and neglected overruling evidence. We argue that these render decisions normatively indefensible and thus successfully contestable. Finally, we analyze how existing EU legislation connects to our framework and argue that individuals already hold some legal rights to these forms of evidence.


翻译:机器学习系统越来越多地做出关乎个人命运的决定,如贷款审批、招聘和作弊检测,这引发了一个紧迫问题:个人如何应对这些不透明系统做出的负面决定?尽管可解释人工智能(XAI)主要关注算法补救——帮助个人改变自身特征以获得预期结果——但算法可争议性的并行问题——帮助个人审查和纠正错误的算法决定——却受到的关注远远不足,尽管其具有核心的伦理和法律重要性。我们将这一忽视归因于缺乏清晰的正式定义以及将可争议性系统性地操作为算法问题的方案。为解决此问题,我们提出可争议性的操作性定义,作为补救的自然补充:可争议性始于假设决定可能错误,并侧重于识别证据以挑战并可能推翻该决定;而补救则假定决定有效,并提供改变它的途径。我们证明,即使结合人类关于决策连续性或单调性的直觉,标准的XAI解释(如反事实、LIME或Anchors)也只能揭示个体邻域内的错误,但不足以提供推翻当前决定的依据。因此,超越传统XAI,我们确定了三种依据决策者自身伦理标准而应撤销决定的证据类型:预测多重性、错误特征值以及被忽略的否决性证据。我们认为这些证据使决定在规范上不可辩护,从而可成功争议。最后,我们分析了现有欧盟立法如何与我们提出的框架相关联,并论证个人已经对这些形式的证据拥有某些法律权利。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
《人工智能在决策中角色的演变》最新278页
专知会员服务
58+阅读 · 2025年4月25日
「连续学习Continual learning, CL」最新2022研究综述
专知会员服务
85+阅读 · 2022年6月26日
专知会员服务
60+阅读 · 2021年5月20日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Arxiv
46+阅读 · 2021年10月4日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
10+阅读 · 6月15日
相关VIP内容
《人工智能在决策中角色的演变》最新278页
专知会员服务
58+阅读 · 2025年4月25日
「连续学习Continual learning, CL」最新2022研究综述
专知会员服务
85+阅读 · 2022年6月26日
专知会员服务
60+阅读 · 2021年5月20日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员