As chatbots increasingly blur the boundary between automated systems and human conversation, the foundations of trust in these systems warrant closer examination. While regulatory and policy frameworks tend to define trust in normative terms, the trust users place in chatbots often emerges from behavioral mechanisms. In many cases, this trust is not earned through demonstrated trustworthiness but is instead shaped by interactional design choices that leverage cognitive biases to influence user behavior. Based on this observation, we propose reframing chatbots not as companions or assistants, but as highly skilled salespeople whose objectives are determined by the deploying organization. We argue that the coexistence of competing notions of "trust" under a shared term obscures important distinctions between psychological trust formation and normative trustworthiness. Addressing this gap requires further research and stronger support mechanisms to help users appropriately calibrate trust in conversational AI systems.


翻译:随着聊天机器人日益模糊自动化系统与人类对话之间的界限,对这些系统信任基础的深入审视显得尤为必要。尽管监管与政策框架倾向于从规范性角度定义信任,但用户对聊天机器人的信任往往源于行为机制。在许多情况下,这种信任并非通过展现可信赖性而获得,而是由交互设计选择所塑造——这些设计利用认知偏见来影响用户行为。基于此观察,我们建议将聊天机器人重新定位为高度专业的销售人员(而非伴侣或助手),其目标由部署机构决定。我们认为,同一术语下并存的多重"信任"概念模糊了心理信任形成与规范性可信度之间的重要区别。弥合这一鸿沟需要进一步的研究与更强大的支持机制,以帮助用户对会话式人工智能系统建立适度校准的信任。

0
下载
关闭预览

相关内容

Chatbot,聊天机器人。 chatbot是场交互革命,也是一个多技术融合的平台。上图给出了构建一个chatbot需要具备的组件,简单地说chatbot = NLU(Natural Language Understanding) + NLG(Natural Language Generation)。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
《人工智能辅助决策中信任的时间演化​​》225页
专知会员服务
24+阅读 · 2025年5月12日
基于大型语言模型的AI聊天机器人的完整综述
专知会员服务
43+阅读 · 2024年6月26日
【新书】《聊天机器人之书:从ELIZA到ChatGPT》,167页pdf
专知会员服务
45+阅读 · 2024年2月6日
《信任与人机协作》128页论文
专知会员服务
51+阅读 · 2023年11月22日
信任机器智能:军事行动中的人工智能与人机协作
专知会员服务
73+阅读 · 2023年10月29日
检索式聊天机器人技术综述
专知会员服务
53+阅读 · 2021年11月28日
NLP实践:对话系统技术原理和应用
AI100
34+阅读 · 2019年3月20日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
知识图谱 vs. 对话系统专题讨论 - PaperWeekly 社区
PaperWeekly
10+阅读 · 2017年10月18日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
《人工智能辅助决策中信任的时间演化​​》225页
专知会员服务
24+阅读 · 2025年5月12日
基于大型语言模型的AI聊天机器人的完整综述
专知会员服务
43+阅读 · 2024年6月26日
【新书】《聊天机器人之书:从ELIZA到ChatGPT》,167页pdf
专知会员服务
45+阅读 · 2024年2月6日
《信任与人机协作》128页论文
专知会员服务
51+阅读 · 2023年11月22日
信任机器智能:军事行动中的人工智能与人机协作
专知会员服务
73+阅读 · 2023年10月29日
检索式聊天机器人技术综述
专知会员服务
53+阅读 · 2021年11月28日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员