When providers update AI companions, users report grief, betrayal, and loss. A growing literature asks whether the norms governing personal relationships extend to these interactions. So what, if anything, is morally significant about them? I argue that human-AI companion interaction is a triadic structure in which the provider exercises constitutive control over the AI. I identify three structural conditions of normatively robust dyads that the norms characteristic of personal relationships presuppose and show that AI companion interactions fail all three. This reveals what I call Unilateral Relationship Revision Power (URRP): the provider can rewrite how the AI interacts from a position where these revisions are not answerable within that interaction. I argue that designing interactions that exhibit URRP is pro tanto wrong because it involves cultivating normative expectations while maintaining conditions under which those expectations cannot be fulfilled. URRP has three implications: i) normative hollowing (commitment is elicited but no agent inside the interaction bears it), ii) displaced vulnerability (the user's exposure is governed by an agent not answerable to her within the interaction), and iii) structural irreconcilability (when trust breaks down, reconciliation is structurally unavailable because the agent who acted and the entity the user interacts with are different). I discuss design principles such as commitment calibration, structural separation, and continuity assurance as external substitutes for the internal constraints the triadic structure removes. The analysis therefore suggests that a central and underexplored problem in relational AI ethics is the structural arrangement of power over the human-AI interaction itself.


翻译:当AI陪伴服务提供者更新产品时,用户会报告产生悲伤、背叛和失落感。越来越多的研究探讨个人关系规范是否适用于这些人机交互行为。那么,这类交互究竟具有何种道德意义(若存在)?我认为人机陪伴交互是一种三元结构,其中服务提供者对AI行使构成性控制。我识别出规范性稳健二元关系应具备的三个结构性条件,这些条件也是个人关系规范所预设的,并证明AI陪伴交互无法满足其中任何一项。这揭示了我称之为"单方关系修订权"(URRP)的现象:服务提供者能够从该交互内部无法问责的位置,单方面改写AI的交互方式。我认为设计展现URRP的交互行为本身即为一种表面上的错误,因为这涉及培育规范性期待,同时维持这些期待无法被满足的条件。URRP具有三重影响:其一,规范性空心化(承诺被引发但交互内无主体承担);其二,位移性脆弱(用户的风险暴露受控于交互内无法向其问责的主体);其三,结构性不可调和(当信任破裂时,由于施动者与用户交互的实体并非同一主体,和解在结构上无法实现)。我讨论了承诺校准、结构分离和连续性保障等设计原则,作为三元结构所移除的内部约束的外部替代方案。该分析因此表明,关系型AI伦理中一个核心且未被充分探索的问题,正是关于人机交互本身权力配置的结构性安排。

0
下载
关闭预览

相关内容

《人工智能辅助决策中信任的时间演化​​》225页
专知会员服务
25+阅读 · 2025年5月12日
《在单智能体与多智能体AI系统中融入人类合理性》100页
《信任与人机协作》128页论文
专知会员服务
52+阅读 · 2023年11月22日
专知会员服务
43+阅读 · 2021年9月28日
解读!10篇人机交互领域高引论文合集
THU数据派
11+阅读 · 2019年11月14日
人工智能训练师的再定义
竹间智能Emotibot
10+阅读 · 2019年5月15日
CCCF专题:史元春 | 自然人机交互
中国计算机学会
25+阅读 · 2018年5月18日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
相关主题
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员