The ML literature contains many distinct concepts falling under the heading of 'AI alignment'. After noting three concepts of AI alignment in the context of their corresponding research programs, we claim that realistic interventions may promote 'AI alignment' under one conception while being actively counterproductive from the perspective of others. We suggest that tensions between alignment ideals emerge due to differences in background threat-models, alongside differences in normative orientations. In light of our analysis, researchers aiming to further the goal of 'AI alignment' should do five things. First, they should not conflate distinctions of policy and distinctions of scientific scope; second, methodological disagreements should be acknowledged explicitly; third, researchers should distinguish between 'AI alignment' as a high-level ideal and specific 'alignment proxies' used in empirical research; fourth, they should use more granular concepts to identify both the source and nature of possible AI harms/benefits; fifth, they should explicitly acknowledge the diversity of 'alignment' concepts in both empirical work and in communication with non-technical audiences.


翻译:机器学习文献中存在多种不同的概念,均被归入“AI对齐”这一标题下。在注意到与其相应研究计划相关的三个“AI对齐”概念后,我们声称:在某种概念下,现实干预措施可能促进“AI对齐”,但从其他概念视角看,这些措施可能适得其反。我们认为,对齐理想之间的张力源于背景威胁模型差异以及规范取向差异。基于我们的分析,旨在推进“AI对齐”目标的研究者应做到五点:第一,不应混淆政策区分与科学范围区分;第二,应明确承认方法论分歧;第三,应将“AI对齐”作为高层理想与实证研究中使用的具体“对齐代理指标”加以区分;第四,应使用更细粒度的概念来识别可能的人工智能危害/收益的来源与性质;第五,在实证工作及与非技术受众的交流中,应明确承认“对齐”概念的多样性。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
通往人工超智能的道路:超级对齐的全面综述
专知会员服务
43+阅读 · 2024年12月24日
112页《人工智能对齐:全面性综述》中文版
专知会员服务
160+阅读 · 2024年2月1日
不可错过!《人工智能安全与对齐》课程
专知会员服务
50+阅读 · 2023年12月21日
【人机融合智能】人机融合智能的现状与展望
产业智能官
12+阅读 · 2020年3月18日
完备的 AI 学习路线,最详细的资源整理!
新智元
18+阅读 · 2019年5月4日
完备的 AI 学习路线,最详细的中英文资源整理
机器之心
29+阅读 · 2019年4月28日
跨多个异构数据源的实体对齐
FCS
15+阅读 · 2019年3月13日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Arxiv
0+阅读 · 6月11日
Arxiv
0+阅读 · 6月1日
Arxiv
0+阅读 · 5月7日
VIP会员
最新内容
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 今天4:08
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
7+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
相关资讯
【人机融合智能】人机融合智能的现状与展望
产业智能官
12+阅读 · 2020年3月18日
完备的 AI 学习路线,最详细的资源整理!
新智元
18+阅读 · 2019年5月4日
完备的 AI 学习路线,最详细的中英文资源整理
机器之心
29+阅读 · 2019年4月28日
跨多个异构数据源的实体对齐
FCS
15+阅读 · 2019年3月13日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员