Conversational artificial intelligence (AI) provides an efficient and convenient gateway to information access. However, it can cause overreliance when users blindly trust AI and accept its answers without fact-checking. Information search increasingly follows a hybrid interaction paradigm that combines conversational AI with web search, making fact-checking easier. In this paper, we examine whether this interaction paradigm is effective in curbing reliance. We further investigate the underlying factors (e.g., digital literacy and conversation warmth) that drive users to verify AI answers. We conduct a mixed-subjects question-answering experiment where participants interact with either a warm or a neutral chatbot. Our findings reveal that reliance persists despite users having access to both conversational and web search. The decision to verify is driven primarily by existing user perceptions (e.g., prior trust in chatbots) rather than answer properties, with some users fact-checking regardless of the context and others trusting chatbots by default. Warm conversational style has an indirect yet critical influence on reliance by increasing agreement with the chatbot when it is incorrect. Consulting additional AI sources predicts higher accuracy, while traditional web search does not. Our study extends overreliance research by: (a) demonstrating its persistence despite access to fact-checking, (b) identifying verification behavior as user-dependent, and (c) revealing conversational warmth's indirect effect on overreliance with implications for designing trustworthy conversational search systems.


翻译:对话式人工智能(AI)为信息获取提供了高效便捷的途径。然而,当用户盲目信任AI并接受其答案而不进行事实核查时,可能导致过度依赖。信息搜索日益遵循一种结合对话式AI与网络搜索的混合交互范式,使得事实核查更加便捷。本文考察了这种交互范式在抑制依赖方面的有效性,并进一步探究了驱动用户验证AI答案的潜在因素(如数字素养、对话温暖度)。我们开展了一项混合被试问答实验,参与者与温暖型或中立型聊天机器人进行交互。研究结果表明,尽管用户可以同时使用对话式搜索和网络搜索,依赖现象依然存在。验证决策主要由用户已有认知(例如对聊天机器人的先验信任)而非答案属性驱动,部分用户无论情境如何都会进行事实核查,而其他用户则默认信任聊天机器人。温暖的对话风格通过增加对聊天机器人错误答案的认同程度,间接但关键地影响了依赖行为。咨询额外AI源能预测更高的准确率,而传统网络搜索则无此效果。本研究通过以下方面拓展了过度依赖研究:(a)证明了即便具备事实核查条件,依赖依然存在;(b)识别出验证行为具有用户依赖性;(c)揭示了对话温暖度对过度依赖的间接影响,为设计可信赖的对话式搜索系统提供了启示。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
《人工智能辅助决策中信任的时间演化​​》225页
专知会员服务
25+阅读 · 2025年5月12日
《影响对人工智能决策支持系统依赖度的关键因素》304页
《人工智能辅助决策面临的三大挑战》
专知会员服务
86+阅读 · 2023年12月15日
搜索query意图识别的演进
DataFunTalk
13+阅读 · 2020年11月15日
探索(Exploration)还是利用(Exploitation)?强化学习如何tradeoff?
深度强化学习实验室
13+阅读 · 2020年8月23日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
TextInfoExp:自然语言处理相关实验(基于sougou数据集)
全球人工智能
12+阅读 · 2017年11月12日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员