AI's central challenge is shifting from capability to coexistence. The dominant paradigm in AI research focuses on developing powerful agents that treat the world as an exogenous and stationary source of feedback. We contend that superintelligence, an extremely capable task solver, born out of such a solipsistic approach to AI design, is unlikely to be cooperative. Deploying AI systems induces endogenous non-stationarity, resulting in a train-test-deploy gap where historical distributions diverge from the deployment context. We refer to this as the self-undermining property of unilateral optimization. Closing this gap requires AI that participates in cooperation: the equilibrium-selection process through which multiple actors navigate their interdependence. We call for a non-solipsistic research paradigm that treats this interdependence as a core design principle rather than approaching cooperation as a task to solve. This entails building dynamic evaluation testbeds involving adaptive counterparties, treating institutions as design primitives, and preserving human agency as a structural feature of the systems we build.


翻译:人工智能的核心挑战正从能力转向共存。当前人工智能研究的主流范式聚焦于开发将世界视为外生且固定反馈源的强大智能体。我们认为,源自这种唯我论式人工智能设计方法的超级智能(一种极其强大的任务求解器)将难以合作。部署人工智能系统会引发内生的非平稳性,导致训练-测试-部署的分布鸿沟——历史数据分布与部署环境产生偏离。我们将此称为单边优化的自损特性。弥合这一鸿沟需要人工智能参与合作:即多个行动者在相互依存关系中通过均衡选择进行协调的过程。我们呼吁建立非唯我论的研究范式,将这种相互依存性视为核心设计原则,而非将合作视为待解决的任务。这意味着需要构建包含自适应对手方的动态测试平台,将制度视为设计原语,并将人类能动性作为所构建系统的结构性特征予以保留。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
《人工智能绝不能完全自主》
专知会员服务
30+阅读 · 2025年8月4日
《人类与人工智能协作的科学与艺术》284页博士论文
专知会员服务
23+阅读 · 2025年2月25日
《人工智能辅助决策面临的三大挑战》最新33页
专知会员服务
53+阅读 · 2025年1月8日
《人工智能辅助决策面临的三大挑战》
专知会员服务
86+阅读 · 2023年12月15日
《无人智群及其社会融合》最新论文,中国工程院院刊
专知会员服务
28+阅读 · 2022年6月20日
【人机融合智能】人机融合智能的现状与展望
产业智能官
12+阅读 · 2020年3月18日
人工智能的现状与未来(附PPT)
人工智能学家
76+阅读 · 2019年3月27日
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
数学是普通程序员入门人工智能的最大障碍
算法与数据结构
12+阅读 · 2018年7月27日
论强化学习的根本缺陷
AI科技评论
11+阅读 · 2018年7月24日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Arxiv
0+阅读 · 6月10日
Arxiv
0+阅读 · 5月28日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
6+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
3+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
10+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
12+阅读 · 6月17日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员