People are increasingly turning to generative AI (e.g., ChatGPT, Gemini, Copilot) for emotional support and companionship. While trust is likely to play a central role in enabling these informal and unsupervised interactions, we still lack an understanding of how people develop and experience it in this context. Seeking to fill this gap, we recruited 24 frequent users of generative AI for emotional support and conducted a qualitative study consisting of diary entries about interactions, transcripts of chats with AI, and in-depth interviews. Our results suggest important novel drivers of trust in this context: familiarity emerging from personalisation, nuanced mental models of generative AI, and awareness of people's control over conversations. Notably, generative AI's homogeneous use of personalised, positive, and persuasive language appears to promote some of these trust-building factors. However, this also seems to discourage other trust-related behaviours, such as remembering that generative AI is a machine trained to converse in human language. We present implications for future research that are likely to become critical as the use of generative AI for emotional support increasingly overlaps with therapeutic work.


翻译:人们越来越多地转向生成式AI(如ChatGPT、Gemini、Copilot)寻求情感支持与陪伴。尽管信任很可能在这些非正式且无监督的互动中扮演核心角色,但我们仍缺乏对人们在此情境下如何形成和体验信任的理解。为填补这一空白,我们招募了24位频繁使用生成式AI获取情感支持的用户,开展了一项质性研究,内容包括互动日记、与AI的聊天记录以及深度访谈。研究结果表明,在此情境下存在若干新颖且重要的信任驱动因素:个性化带来的熟悉感、对生成式AI的精细心智模型,以及人们对对话控制权的认知。值得注意的是,生成式AI对个性化、积极且具说服力语言的同质化使用,似乎促进了其中某些信任构建因素。然而,这同时也可能抑制其他与信任相关的行为,例如牢记生成式AI仅是经过训练以人类语言对话的机器。我们提出了对未来研究的启示,这些议题将随着生成式AI在情感支持领域与治疗性工作的日益重叠而变得至关重要。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
《人工智能辅助决策中信任的时间演化​​》225页
专知会员服务
24+阅读 · 2025年5月12日
《生成式人工智能和情报评估》
专知会员服务
88+阅读 · 2024年7月22日
生成式AI:认知对抗的新武器
专知会员服务
83+阅读 · 2023年12月29日
麦肯锡《生成式AI:CEO必读指南》中文版附下载,15页pdf
专知会员服务
125+阅读 · 2023年8月1日
报告《生成式AI》| The State of Generative AI 2023,38页pdf
专知会员服务
106+阅读 · 2023年7月7日
揭秘ChatGPT情感对话能力
专知
16+阅读 · 2023年4月9日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
【团队新作】连续情感识别,精准捕捉你的小情绪!
中国科学院自动化研究所
16+阅读 · 2018年4月17日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月15日
VIP会员
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员