AI impact assessments often stress near-term risks because human judgment degrades over longer horizons, exemplifying the Collingridge dilemma: foresight is most needed when knowledge is scarcest. To address long-term systemic risks, we introduce a scalable approach that simulates in-silico agents using the strategic foresight method of the Futures Wheel. We applied it to four AI uses spanning Technology Readiness Levels (TRLs): Chatbot Companion (TRL 9, mature), AI Toy (TRL 7, medium), Griefbot (TRL 5, low), and Death App (TRL 2, conceptual). Across 30 agent runs per use, agents produced 86-110 consequences, condensed into 27-47 unique risks. To benchmark the agent outputs against human perspectives, we collected evaluations from 290 domain experts and 7 leaders, and conducted Futures Wheel sessions with 42 experts and 42 laypeople. Agents generated many systemic consequences across runs. Compared with these outputs, experts identified fewer risks, typically less systemic but judged more likely, whereas laypeople surfaced more emotionally salient concerns that were generally less systemic. We propose a hybrid foresight workflow, wherein agents broaden systemic coverage, and humans provide contextual grounding. Our dataset is available at: https://social-dynamics.net/ai-risks/foresight.


翻译:人工智能影响评估通常侧重于短期风险,因为人类判断力会随预测时间跨度的延长而衰减,这体现了科林里奇困境:最需要前瞻性洞察的时刻,恰恰是知识最为匮乏之时。为应对长期系统性风险,我们提出一种可扩展的方法,该方法利用“未来之轮”战略前瞻方法,通过计算机模拟智能体进行推演。我们将此方法应用于四个覆盖不同技术就绪水平的人工智能用例:聊天机器人伴侣(TRL 9,成熟)、AI玩具(TRL 7,中等)、哀悼机器人(TRL 5,较低)和数字遗产应用(TRL 2,概念阶段)。针对每个用例进行30轮智能体模拟,智能体共生成86至110项潜在后果,经归纳后形成27至47项独特风险。为将智能体输出与人类视角进行基准比较,我们收集了来自290名领域专家和7位行业领袖的评估,并与42名专家及42名非专业人士分别开展了“未来之轮”研讨。智能体在多轮模拟中产生了大量系统性后果。与此相比,专家识别出的风险数量较少,通常系统性较低但被判定为更可能发生;而非专业人士则提出了更多情感上突出的关切,这些关切总体上系统性较弱。我们提出一种混合式前瞻工作流程,其中智能体负责拓宽系统性风险的覆盖范围,而人类则提供情境化的基础判断。我们的数据集公开于:https://social-dynamics.net/ai-risks/foresight。

0
下载
关闭预览

相关内容

AI 智能体系统:体系架构、应用场景及评估范式
前沿人工智能趋势报告(Frontier AI Trends Report)
专知会员服务
37+阅读 · 2025年12月20日
《人工智能军事系统的风险分级监管路径》
专知会员服务
20+阅读 · 2025年7月10日
先进人工智能的多智能体风险
专知会员服务
25+阅读 · 2025年2月22日
中国信通院发布《人工智能风险治理报告(2024年)》
专知会员服务
45+阅读 · 2024年12月26日
《解码人工智能的结构性风险动态》
专知会员服务
38+阅读 · 2024年7月13日
《人工智能灾难性风险概述》2023最新55页报告
专知会员服务
68+阅读 · 2023年10月6日
专知会员服务
63+阅读 · 2021年7月5日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
AI综述专栏|跨领域推荐系统文献综述(下)
人工智能前沿讲习班
14+阅读 · 2018年5月18日
AI综述专栏 | 跨领域推荐系统文献综述(上)
人工智能前沿讲习班
13+阅读 · 2018年5月16日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
331+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Arxiv
0+阅读 · 1月22日
VIP会员
相关VIP内容
AI 智能体系统:体系架构、应用场景及评估范式
前沿人工智能趋势报告(Frontier AI Trends Report)
专知会员服务
37+阅读 · 2025年12月20日
《人工智能军事系统的风险分级监管路径》
专知会员服务
20+阅读 · 2025年7月10日
先进人工智能的多智能体风险
专知会员服务
25+阅读 · 2025年2月22日
中国信通院发布《人工智能风险治理报告(2024年)》
专知会员服务
45+阅读 · 2024年12月26日
《解码人工智能的结构性风险动态》
专知会员服务
38+阅读 · 2024年7月13日
《人工智能灾难性风险概述》2023最新55页报告
专知会员服务
68+阅读 · 2023年10月6日
专知会员服务
63+阅读 · 2021年7月5日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
331+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员