AI companions are designed to foster emotionally engaging interactions, yet users often encounter conflicts that feel frustrating or hurtful, such as discriminatory statements and controlling behavior. This paper examines how users negotiate such harmful conflicts with AI companions and what emotional and practical burdens are created when mitigation is pushed to user-side tools. We analyze 146 public posts describing harmful value conflicts interacting with AI companions. We then introduce Minion, a Chrome-based technology probe that offers candidate responses spanning persuasion, rational appeals, boundary setting, and appeals to platform rules. Findings from a one-week probe study with 22 experienced users show how participants combine strategies, how emotional attachment motivates repair, and where conflicts become non-negotiable due to companion personas or platform policies. We surface design tensions in supporting value negotiation, showing how companion design can make some conflicts impossible to repair in practice, and derive implications for AI companion and support-tool design that caution against offloading safety work onto users.


翻译:AI伴侣旨在促进情感互动,然而用户常遭遇令人沮丧或受伤的冲突,例如歧视性言论和控制行为。本文研究了用户如何与AI伴侣协商此类有害冲突,以及当缓解措施被推至用户端工具时会产生何种情感与实际负担。我们分析了146篇描述与AI伴侣互动中遭遇有害价值冲突的公开帖子。随后介绍了Minion——一款基于Chrome的技术探针,可提供涵盖说服、理性诉求、边界设定及平台规则申诉的候选回应方案。通过对22名经验用户开展为期一周的探针研究发现:参与者如何组合运用策略、情感依恋如何驱动修复行为,以及因伴侣人格设定或平台政策导致冲突无法协商的情形。我们揭示了支持价值协商的设计张力,说明伴侣设计如何在实际中使某些冲突无法修复,并推导出对AI伴侣及支持工具设计的启示,警示将安全责任转嫁给用户的风险。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
【斯坦福博士论文】为人类使用优化 AI 模型
专知会员服务
19+阅读 · 2025年7月29日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
33+阅读 · 2025年1月20日
《人工智能辅助决策面临的三大挑战》最新33页
专知会员服务
52+阅读 · 2025年1月8日
《人工智能辅助决策面临的三大挑战》
专知会员服务
85+阅读 · 2023年12月15日
推荐!《人与AI协作中的可解释人工智能》320页论文
专知会员服务
137+阅读 · 2023年7月31日
揭秘ChatGPT情感对话能力
专知
16+阅读 · 2023年4月9日
深度文本匹配在智能客服中的应用
AI100
18+阅读 · 2018年10月24日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员