Trust is a fundamental concept in human decision-making and collaboration that has long been studied in philosophy and psychology. However, software engineering (SE) articles often use the term trust informally; providing an explicit definition or embedding results in established trust models is rare. In SE research on AI assistants, this practice culminates in equating trust with the likelihood of accepting generated content, which, in isolation, does not capture the full conceptual complexity of trust. Without a common definition, true secondary research on trust is impossible. The objectives of our research were: (1) to present the psychological and philosophical foundations of human trust, (2) to systematically study how trust is conceptualized in SE and the related disciplines human-computer interaction and information systems, and (3) to discuss limitations of equating trust with content acceptance, outlining how SE research can adopt existing trust models to overcome the widespread informal use of the term trust. We conducted a literature review across disciplines and a critical review of recent SE articles with a focus on trust conceptualizations. We found that trust is rarely defined or conceptualized in SE articles. Related disciplines commonly embed their methodology and results in established trust models, clearly distinguishing, for example, between initial trust and trust formation and between appropriate and inappropriate trust. On a meta-scientific level, other disciplines even discuss whether and when trust can be applied to AI assistants at all. Our study reveals a significant maturity gap of trust research in SE compared to other disciplines. We provide concrete recommendations on how SE researchers can adopt established trust models and instruments to study trust in AI assistants beyond the acceptance of generated software artifacts.


翻译:信任是人类决策与协作的基本概念,在哲学与心理学领域已有长期研究。然而,软件工程(SE)文献常非正式地使用“信任”这一术语;明确给出定义或将研究结果嵌入既有信任模型的情况较为罕见。在关于AI助手的SE研究中,这种做法最终将信任等同于接受生成内容的可能性,而孤立地看,这一做法未能涵盖信任概念的全部复杂性。缺乏共同定义使得真正关于信任的二次研究无法实现。本研究的目标在于:(1)阐述人类信任的心理学与哲学基础;(2)系统梳理SE及相关学科(人机交互与信息系统)中信任的概念化方式;(3)讨论将信任等同于内容接受的局限性,并概述SE研究如何通过采纳现有信任模型来克服该术语被广泛非正式使用的问题。我们开展了跨学科文献综述,并对近期聚焦信任概念化的SE文献进行了批判性评述。研究发现,SE文献中很少对信任进行定义或概念化。相关学科通常将其方法论与结果置于既有的信任模型中,明确区分了例如初始信任与信任形成、适当信任与不适当信任等概念。在元科学层面,其他学科甚至探讨了信任是否及何时能适用于AI助手。本研究揭示了SE领域的信任研究相较于其他学科存在显著的成熟度差距。我们为SE研究者提供了具体建议,说明如何采纳既有的信任模型与工具,以超越对生成软件产物的接受度,深入研究AI助手中的信任问题。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
《军事应用中的AI:建立信任》最新报告
专知会员服务
23+阅读 · 2025年12月29日
《人工智能辅助决策中信任的时间演化​​》225页
专知会员服务
24+阅读 · 2025年5月12日
《信任与人机协作》128页论文
专知会员服务
51+阅读 · 2023年11月22日
重磅!AI框架发展白皮书(2022年),44页pdf
专知
28+阅读 · 2022年2月27日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月7日
Arxiv
0+阅读 · 2月6日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员