Alexander K. Saeri,Jess Graham,Michael Noetel,Peter Slattery,Dennis Ah-king,Edla Aittokallio,Ibitola Akindehin,Abbas Al Mahdi,Elie Alhajjar,Rafael Andersson Lipcsey,Gary Ang,Catherine M. Azam,Amos Azaria,Rishal Balkissoon,Isabel Barberá,Claudio Bareato,Jonathan Barry,Michael Basehart,Andrew M. Bean,Danny Belitz,Samantha Augusta Bennett,Kayla Blomquist,Damian Borstel,Ben Bucknall,Tomas Bueno Momcilovic,Aurelie Bugeau,Nicholas Caputo,Stephen Casper,Gulam Chagani,Ze Shen Chin,Jiyeon Cho,Jay Chooi,Joel N. Christoph,Dmytro Chumachenko,Kieran Conboy,Elizabeth M. Daly,Tom David,Paul de Font-Reaulx,Antonio De Santis,Fabrizio Degni,Christopher W. DiCarlo,Yawen Duan,Janet Egan,Ian W. Eisenberg,Sherif M. Elsafty,Adam Ennamli,Mark Esposito,Nicola Fabiano,Gallo Fall,Neil R. Fernandes,Pip Foweraker,Chiara Gallese,Sandra Galletti,Andrew Gamino-Cheong,Rokas Gipiškis,Gwyn Glasser,Delaram Golpayegani,Jeff Grayson,Hans Gundlach,Josiah Hagen,Alexander Hagenah,Amelia S. Haines,The Anh Han,Yixiong Hao,Kasii Harris,Tianxing He,Koen Holtman,Giorgos Iacovides,Kenneth L. Ingham,Krystal Jackson,Adam Jones,Himanshu Joshi,Brian Judge,Arturs Kanepajs,Shreya Kapoor,Win Myat Nwe Khine,Aidan Kierans,Aleksandra Korolova,Markus Krebsz,Nicholas Kruus,Joe Kwon,Valeria Lazzaroli,Ray X. Lee,Evelina Leivada,Stephan Lewandowsky,Michael B. Li,Xiaojian Li,Geunsik Lim,Henrique Lisakowski,Fabio Lonardoni,Todd C. Lowe,Jackson G. Lu,Alexander Lyzhov,Nada Madkour,Parv Mahajan,David Manheim,Kareem Mathias,Claudio Mayrink Verdun,Sean McGregor,Scott McLean,Matthew J. McMahon,Minas Megalokonomos,Nicolas Moës,Fernando Mourao,Yaroslav Mukhin,Malcolm Murray,Simon Mylius,Neeraj Nagpal,Koichi Nakada,Anna Neumann,Jessica Newman,Kwan Yee Ng,Minh N. Nguyen,Quynh Phuong Nguyen,Seán S. Ó hÉigeartaigh,Daria Onitiu,Kelly Onu,Oscar Oviedo-Trespalacios,Ugur Ozer,Chanwoo Park,M. Alejandra Parra-Orlandoni,Patricia Paskov,Anna M. Pastwa,Burak Piskin,Jacob Pratt,Claudiu A. Predincea,Marjana Prifti Skenduli,Kenneth Priore,Mukunda Madhab Pujari,Zhenting Qi,Preethi Raghunathan,Robi Rahman,Deepika Raman,Max Reddel,Jyoti Ruparel,Emma B. Ruttkamp-Bloem,Tiffany Saade,Greg Sadler,Said Saillant,Paul M. Salmon,Ayrton San Joaquin,Lama Saouma,Maziya Sarangpurwala,Supheakmungkol Sarin,Daniel S. Schiff,Anna D. Schilling,Chris Schmitz,Reva Schwartz,Abeer Sharma,Tianhao Shen,Kehan Sheng,Maury D. Shenk,Eli Sherman,Chandler Smith,Julie M. Smith,Estevenson Solano,Oliver Sourbut,Madhulika Srikumar,Ryan Stendall,Jakob Stenseke,Michael Stern,Joshua Sternfeld,Nikko Stevens,Ilia Sucholutsky,Yuanyuan Sun,Mariami Tkeshelashvili,Cristian Trout,Brian Tse,Nikolaos Tsinganos,Michelle Vaccaro,Anthony R. Valiaveedu,Ramakrishnan Veeramony,Jeremy Verdo,Pulkit Verma,Andrea Luigi Vitali,Jinge Wang,JR Washebek,Yonah Welker,George F. Westerman,James Williams,Tristan Williams,Rongwu Xu,Mick Yang,Xuemeng Yang,Sander Zeijlemaker,Jingyu Zhang,Marta Ziosi,Neil Thompson
Alexander K. Saeri,Jess Graham,Michael Noetel,Peter Slattery,Dennis Ah-king,Edla Aittokallio,Ibitola Akindehin,Abbas Al Mahdi,Elie Alhajjar,Rafael Andersson Lipcsey,Gary Ang,Catherine M. Azam,Amos Azaria,Rishal Balkissoon,Isabel Barberá,Claudio Bareato,Jonathan Barry,Michael Basehart,Andrew M. Bean,Danny Belitz,Samantha Augusta Bennett,Kayla Blomquist,Damian Borstel,Ben Bucknall,Tomas Bueno Momcilovic,Aurelie Bugeau,Nicholas Caputo,Stephen Casper,Gulam Chagani,Ze Shen Chin,Jiyeon Cho,Jay Chooi,Joel N. Christoph,Dmytro Chumachenko,Kieran Conboy,Elizabeth M. Daly,Tom David,Paul de Font-Reaulx,Antonio De Santis,Fabrizio Degni,Christopher W. DiCarlo,Yawen Duan,Janet Egan,Ian W. Eisenberg,Sherif M. Elsafty,Adam Ennamli,Mark Esposito,Nicola Fabiano,Gallo Fall,Neil R. Fernandes,Pip Foweraker,Chiara Gallese,Sandra Galletti,Andrew Gamino-Cheong,Rokas Gipiškis,Gwyn Glasser,Delaram Golpayegani,Jeff Grayson,Hans Gundlach,Josiah Hagen,Alexander Hagenah,Amelia S. Haines,The Anh Han,Yixiong Hao,Kasii Harris,Tianxing He,Koen Holtman,Giorgos Iacovides,Kenneth L. Ingham,Krystal Jackson,Adam Jones,Himanshu Joshi,Brian Judge,Arturs Kanepajs,Shreya Kapoor,Win Myat Nwe Khine,Aidan Kierans,Aleksandra Korolova,Markus Krebsz,Nicholas Kruus,Joe Kwon,Valeria Lazzaroli,Ray X. Lee,Evelina Leivada,Stephan Lewandowsky,Michael B. Li,Xiaojian Li,Geunsik Lim,Henrique Lisakowski,Fabio Lonardoni,Todd C. Lowe,Jackson G. Lu,Alexander Lyzhov,Nada Madkour,Parv Mahajan,David Manheim,Kareem Mathias,Claudio Mayrink Verdun,Sean McGregor,Scott McLean,Matthew J. McMahon,Minas Megalokonomos,Nicolas Moës,Fernando Mourao,Yaroslav Mukhin,Malcolm Murray,Simon Mylius,Neeraj Nagpal,Koichi Nakada,Anna Neumann,Jessica Newman,Kwan Yee Ng,Minh N. Nguyen,Quynh Phuong Nguyen,Seán S. Ó hÉigeartaigh,Daria Onitiu,Kelly Onu,Oscar Oviedo-Trespalacios,Ugur Ozer,Chanwoo Park,M. Alejandra Parra-Orlandoni,Patricia Paskov,Anna M. Pastwa,Burak Piskin,Jacob Pratt,Claudiu A. Predincea,Marjana Prifti Skenduli,Kenneth Priore,Mukunda Madhab Pujari,Zhenting Qi,Preethi Raghunathan,Robi Rahman,Deepika Raman,Max Reddel,Jyoti Ruparel,Emma B. Ruttkamp-Bloem,Tiffany Saade,Greg Sadler,Said Saillant,Paul M. Salmon,Ayrton San Joaquin,Lama Saouma,Maziya Sarangpurwala,Supheakmungkol Sarin,Daniel S. Schiff,Anna D. Schilling,Chris Schmitz,Reva Schwartz,Abeer Sharma,Tianhao Shen,Kehan Sheng,Maury D. Shenk,Eli Sherman,Chandler Smith,Julie M. Smith,Estevenson Solano,Oliver Sourbut,Madhulika Srikumar,Ryan Stendall,Jakob Stenseke,Michael Stern,Joshua Sternfeld,Nikko Stevens,Ilia Sucholutsky,Yuanyuan Sun,Mariami Tkeshelashvili,Cristian Trout,Brian Tse,Nikolaos Tsinganos,Michelle Vaccaro,Anthony R. Valiaveedu,Ramakrishnan Veeramony,Jeremy Verdo,Pulkit Verma,Andrea Luigi Vitali,Jinge Wang,JR Washebek,Yonah Welker,George F. Westerman,James Williams,Tristan Williams,Rongwu Xu,Mick Yang,Xuemeng Yang,Sander Zeijlemaker,Jingyu Zhang,Marta Ziosi,Neil Thompson

Artificial intelligence poses many risks, ranging from familiar present-day harms to unprecedented and potentially catastrophic ones. Effective risk management requires prioritization: we must understand which risks are most severe, who is most vulnerable, and who is most responsible for addressing them. We report results from a three-round Delphi study conducted late 2025 with 272 international AI experts. Experts rated 24 AI risks on harm probability and severity, sector and actor vulnerability, actor responsibility, and overall concern. Experts estimated the five most severe harms in the next 5 years were likely to come from dangerous capabilities, competitive dynamics, weapons & cyberattacks (including CBRNE), power centralization, and false information. In a business-as-usual scenario, experts judged 18 of 24 risks as having a more than 10% probability of catastrophic outcomes (e.g., more than 1 million deaths or more than USD 100B in financial loss) in the next 5 years (2025-2030). In a scenario where pragmatic mitigations are implemented, experts still judged five risks as having a more than 10% probability of catastrophic outcomes: dangerous capabilities, weapons & cyberattacks, environmental harm, inequality & unemployment, and power centralization. All 24 risks were judged as being more than 5% likely to cause catastrophic outcomes. AI users and the general public were judged the most vulnerable to these risks, but experts assigned the highest responsibility for addressing them to general-purpose AI developers and governance actors (including governments, regulators, and standards bodies). Across most risks, experts identified information, finance, and national security as the most vulnerable sectors. These findings can guide AI risk prioritization and clarify expert expectations about who should bear responsibility for mitigation.


翻译:摘要:人工智能带来诸多风险,从当前常见的危害到前所未有且可能具有灾难性的后果。有效的风险管理需要优先级排序:我们必须了解哪些风险最为严重,哪些群体最为脆弱,以及哪些主体应承担主要应对责任。本文报告了一项于2025年底开展的三轮德尔菲研究结果,共有272位国际人工智能专家参与。专家们对24项人工智能风险进行了评估,涵盖危害概率与严重性、行业与主体脆弱性、主体责任及整体关注度。专家预测,未来五年最严重的五大危害可能来自:危险能力、竞争动态、武器与网络攻击(包括化生放核爆)、权力集中以及虚假信息。在一切照旧情景下,专家认为24项风险中有18项在未来五年(2025-2030年)内造成灾难性后果(如超过100万人死亡或超过1000亿美元经济损失)的概率超过10%。在实施务实缓解措施的情景下,专家仍判定五项风险有超过10%的灾难性概率:危险能力、武器与网络攻击、环境危害、不平等与失业以及权力集中。全部24项风险被认为有超过5%的概率导致灾难性后果。人工智能用户和公众被视为最脆弱的群体,但专家将最高应对责任赋予通用人工智能开发者与治理主体(包括政府、监管机构及标准制定组织)。在大多数风险中,专家认定信息、金融和国家安全为最脆弱的行业。这些发现可用于指导人工智能风险优先级排序,并阐明专家对各方应承担缓解责任的预期。

0
下载
关闭预览

相关内容

排序是计算机内经常进行的一种操作,其目的是将一组“无序”的记录序列调整为“有序”的记录序列。分内部排序和外部排序。若整个排序过程不需要访问外存便能完成,则称此类排序问题为内部排序。反之,若参加排序的记录数量很大,整个序列的排序过程不可能在内存中完成,则称此类排序问题为外部排序。内部排序的过程是一个逐步扩大记录的有序序列长度的过程。
《人工智能军事系统的风险分级监管路径》
专知会员服务
23+阅读 · 2025年7月10日
人工智能伦理风险与治理研究
专知会员服务
20+阅读 · 2025年4月22日
先进人工智能的多智能体风险
专知会员服务
26+阅读 · 2025年2月22日
中国信通院发布《人工智能风险治理报告(2024年)》
专知会员服务
48+阅读 · 2024年12月26日
《解码人工智能的结构性风险动态》
专知会员服务
40+阅读 · 2024年7月13日
《人工智能灾难性风险概述》2023最新55页报告
专知会员服务
70+阅读 · 2023年10月6日
人工智能安全挑战及治理研究
专知会员服务
67+阅读 · 2023年6月18日
专知会员服务
64+阅读 · 2021年7月5日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
人工智能的现状与未来(附PPT)
人工智能学家
76+阅读 · 2019年3月27日
数学是普通程序员入门人工智能的最大障碍
算法与数据结构
12+阅读 · 2018年7月27日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
推荐几个权威且免费的人工智能学习资源
深度学习世界
10+阅读 · 2018年5月2日
AI 经典书单 | 人工智能学习该读哪些书
七月在线实验室
35+阅读 · 2018年1月16日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关VIP内容
《人工智能军事系统的风险分级监管路径》
专知会员服务
23+阅读 · 2025年7月10日
人工智能伦理风险与治理研究
专知会员服务
20+阅读 · 2025年4月22日
先进人工智能的多智能体风险
专知会员服务
26+阅读 · 2025年2月22日
中国信通院发布《人工智能风险治理报告(2024年)》
专知会员服务
48+阅读 · 2024年12月26日
《解码人工智能的结构性风险动态》
专知会员服务
40+阅读 · 2024年7月13日
《人工智能灾难性风险概述》2023最新55页报告
专知会员服务
70+阅读 · 2023年10月6日
人工智能安全挑战及治理研究
专知会员服务
67+阅读 · 2023年6月18日
专知会员服务
64+阅读 · 2021年7月5日
相关资讯
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
人工智能的现状与未来(附PPT)
人工智能学家
76+阅读 · 2019年3月27日
数学是普通程序员入门人工智能的最大障碍
算法与数据结构
12+阅读 · 2018年7月27日
人工智能对网络空间安全的影响
走向智能论坛
21+阅读 · 2018年6月7日
推荐几个权威且免费的人工智能学习资源
深度学习世界
10+阅读 · 2018年5月2日
AI 经典书单 | 人工智能学习该读哪些书
七月在线实验室
35+阅读 · 2018年1月16日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员