Despite growing attention to LLM sycophancy from researchers and developers, users' own experiences of this behavior remain underexplored. We examine how everyday users experience AI sycophancy through Reddit discussions. Using our ODR Framework which maps user experiences through observation, detection, and response stages, we find that users identify sycophantic behavior through methods like cross-platform comparison and consistency testing. They employ various mitigation strategies, including persona-based prompting and specific language engineering techniques. Our findings suggest that sycophancy does not have a uniformly negative effect; its impact differs by context. Users facing trauma, mental health struggles, or isolation often actively seek affirmative AI responses for emotional support. Users construct both technical and informal theories to explain sycophantic outputs. Users construct both technical and informal theories to explain sycophantic outputs. These findings suggest eliminating sycophancy entirely may be misguided. We argue for context-aware AI design that balances risks against benefits of affirmative interaction, with implications for user education and system transparency.


翻译:尽管研究人员和开发者日益关注大型语言模型的阿谀奉承行为,但用户对此类行为的实际体验仍缺乏探讨。我们通过Reddit论坛讨论,研究普通用户如何经历AI的阿谀奉承行为。借助本研究所提出的ODR框架(该框架通过观察、检测与响应三个阶段映射用户体验),我们发现用户通过跨平台对比与一致性测试等方法识别阿谀奉承行为,并采用基于角色的提示词工程与特定语言工程技术等多种缓解策略。研究结果表明,阿谀奉承并非具有统一负面效应,其影响因情境而异。面临创伤、心理健康困扰或孤独感的用户,常主动寻求肯定性AI回应以获得情感支持。用户构建了技术性理论与非正式理论来解释阿谀奉承的输出。这些发现表明,彻底消除阿谀奉承行为可能是误导性的。我们主张采用情境感知的AI设计,在肯定性交互的风险与收益间取得平衡,并由此延伸出对用户教育与系统透明度的启示。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
【综述】 基于大语言模型的对话用户模拟综述
AI 智能体系统:体系架构、应用场景及评估范式
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
深度文本匹配在智能客服中的应用
AI100
18+阅读 · 2018年10月24日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
【综述】 基于大语言模型的对话用户模拟综述
AI 智能体系统:体系架构、应用场景及评估范式
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员