When providers update AI companions, users report grief, betrayal, and loss. A growing literature asks whether the norms governing personal relationships extend to these interactions. So what, if anything, is morally significant about them? I argue that this debate has missed a prior structural question: who controls the relationship, and from where? Human-AI companion interaction is a triadic structure in which the provider exercises constitutive control over the AI. I identify three structural conditions of normatively robust dyads that the norms characteristic of personal relationships presuppose and show that AI companion interactions fail all three. This reveals what I call Unilateral Relationship Revision Power (URRP): the provider can rewrite how the AI interacts from a position where these revisions are not answerable within that interaction. I argue that URRP is pro tanto wrong in interactions designed to cultivate the norms of personal relationships, because the design produces expectations that the structure cannot sustain. URRP has three implications: i) normative hollowing, under which the interaction elicits commitment but no agent inside it bears the resulting obligations; ii) displaced vulnerability, under which the user's emotional exposure is governed by an agent not answerable to her within the interaction; and iii) structural irreconcilability, under which the interaction cultivates norms of reconciliation but no agent inside it can acknowledge or answer for the revision. I propose design principles that partially substitute for the internal constraints the triadic structure removes. A central and underexplored problem in relational AI ethics is therefore the structural arrangement of power over the human-AI interaction itself.


翻译:当AI伴侣提供商进行更新时,用户会报告感到悲伤、背叛和失落。越来越多的文献探讨规范人际关系的准则是否同样适用于这些互动。那么,如果有的话,这些互动中的道德重要性何在?我认为这场争论忽略了一个结构性的先决问题:谁控制着这种关系,以及控制来自何处?人机伴侣互动是一个三方结构,其中提供商对AI行使构成性控制。我识别出规范上稳健的二元关系应具备的三个结构性条件,这些条件是人际关系典型准则预设的前提,并表明AI伴侣互动在这三个条件上均告失败。这揭示了我所称的单边关系修正权(URRP):提供商可以从这些修正无需在该互动内部问责的立场,重写AI的互动方式。我认为,在设计用于培养人际关系准则的互动中,URRP具有初步的错误性,因为这种设计产生了该结构无法维持的期望。URRP具有三个含义:i)规范空洞化,即互动激发承诺,但互动内部没有任何主体承担由此产生的义务;ii)错位脆弱性,即用户的情感暴露由一个在互动内部不对其负责的主体所支配;以及iii)结构性不可调和性,即互动培养和解准则,但互动内部没有任何主体能够承认或为修正负责。我提出了一些设计原则,这些原则能够部分替代三方结构所移除的内部约束。因此,关系性AI伦理中一个核心且未充分探索的问题,是对人机互动本身权力的结构性安排。

0
下载
关闭预览

相关内容

《在单智能体与多智能体AI系统中融入人类合理性》100页
《信任与人机协作》128页论文
专知会员服务
52+阅读 · 2023年11月22日
专知会员服务
43+阅读 · 2021年9月28日
解读!10篇人机交互领域高引论文合集
THU数据派
11+阅读 · 2019年11月14日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
不对称多代理博弈中的博弈理论解读
AI前线
14+阅读 · 2018年3月8日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关主题
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
0+阅读 · 16分钟前
21世纪的无人机战争
专知会员服务
1+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
1+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员