AI risk assessment is the primary tool for identifying harms caused by AI systems. These include intersectional harms, which arise from the interaction between identity categories (e.g., class and skin tone) and which do not occur, or occur differently, when those categories are considered separately. Yet existing AI risk assessments are still built around isolated identity categories, and when intersections are considered, they focus almost exclusively on race and gender. Drawing on a large-scale analysis of documented AI incidents, we show that AI harms do not occur one identity category at a time. Using a structured rubric applied with a Large Language Model (LLM), we analyze 5,300 reports from 1,200 documented incidents in the AI Incident Database, the most curated source of incident data. From these reports, we identify 1,513 harmed subjects and their associated identity categories, achieving 98% accuracy. At the level of individual categories, we find that age and political identity appear in documented AI harms at rates comparable to race and gender. At the level of intersecting categories, harm is amplified up to three times at specific intersections: adolescent girls, lower-class people of color, and upper-class political elites. We argue that intersectionality should be a core component of AI risk assessment to more accurately capture how harms are produced and distributed across social groups.


翻译:人工智能风险评估是识别AI系统所造成危害的主要工具。这些危害包括交叉性危害,它们源于身份类别(例如阶级与肤色)之间的相互作用,当这些类别被单独考虑时,此类危害不会发生或以不同方式发生。然而,现有的人工智能风险评估仍围绕孤立的身份类别构建,即使考虑交叉性,也几乎仅聚焦于种族和性别。基于对已记录AI事件的大规模分析,我们表明人工智能的危害不会一次仅涉及一个身份类别。我们利用一套结构化评估准则并借助大型语言模型(LLM),从AI事件数据库中(最严谨的事件数据来源)1,200个已记录事件中分析5,300份报告。从这些报告中,我们识别出1,513个受害主体及其相关的身份类别,准确率达到98%。在单一类别层面,我们发现年龄和政治身份在已记录AI危害中出现频率与种族和性别相当。在交叉类别层面,特定交叉点(如青少年女性、下层有色人种、上层政治精英)的危害程度最高可放大三倍。我们主张交叉性应成为人工智能风险评估的核心组成部分,以更准确地捕捉危害如何产生并在社会群体间分布。

0
下载
关闭预览

相关内容

《人工智能绝不能完全自主》
专知会员服务
29+阅读 · 2025年8月4日
《人工智能灾难性风险概述》2023最新55页报告
专知会员服务
69+阅读 · 2023年10月6日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
最新《可解释人工智能》概述,50页ppt
专知
12+阅读 · 2021年3月17日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关主题
最新内容
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
人工智能如何变革军事C5ISR作战
专知会员服务
12+阅读 · 5月8日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员