Artificial intelligence (AI)-driven decision support systems can improve diagnostic accuracy and efficiency in computational pathology. However, collaboration between human experts and AI may introduce cognitive biases such as automation and anchoring bias, where users adopt system predictions blindly or are disproportionately influenced by AI advice, even when inaccurate. These effects may be amplified under time pressure, common in routine pathology, or shaped by individual user characteristics. We conducted an online experiment in which pathology experts (n = 28) estimated tumor cell percentages: once independently and once with AI support. A subset of estimations in each condition was performed under time strain. Overall, AI assistance improved diagnostic performance but introduced a 7% automation bias rate, defined as accepted negative consultations where previously correct independent judgments were overturned by incorrect AI advice. While time pressure did not increase the frequency of automation bias, it appeared to intensify its severity, reflected in stronger performance declines associated with increased AI reliance under cognitive load. A linear mixed-effects model (LMM) simulating weighted averaging showed a statistically significant positive coefficient for AI advice, indicating moderate anchoring on system output. This effect increased under time pressure, suggesting anchoring bias becomes more pronounced when cognitive resources are limited. A second LMM assessing automation reliance, a proxy for automation and anchoring bias, showed that professional experience and self-efficacy were associated with lower dependence on AI, whereas higher confidence during AI-assisted decisions was tied to increased AI reliance. These findings highlight the dual nature of AI integration in clinical workflows: improving performance while introducing risks of bias-driven diagnostic errors.


翻译:人工智能驱动的决策支持系统能够提升计算病理学中的诊断准确性与效率。然而,人类专家与人工智能的协作可能引入自动化偏差与锚定效应等认知偏差,即用户盲目采纳系统预测或受到AI建议的过度影响,即使这些建议并不准确。这些效应可能在时间压力下被放大(这在常规病理工作中十分常见),或受到个体用户特征的影响。我们开展了一项在线实验,邀请病理学专家(n = 28)分两次估算肿瘤细胞百分比:一次独立完成,一次在AI辅助下完成。每种条件下均包含部分在时间压力下完成的估算任务。总体而言,AI辅助提升了诊断表现,但引入了7%的自动化偏差率(定义为接受负面咨询的情况,即先前正确的独立判断被错误的AI建议推翻)。虽然时间压力并未增加自动化偏差的发生频率,但似乎加剧了其严重程度,表现为在认知负荷下随着对AI依赖度的增加,诊断性能出现更明显的下降。通过线性混合效应模型模拟加权平均过程发现,AI建议的系数在统计学上显著为正,表明存在对系统输出的中度锚定效应。该效应在时间压力下进一步增强,说明当认知资源受限时锚定偏差更为显著。第二个评估自动化依赖度的线性混合效应模型(作为自动化偏差与锚定效应的代理指标)显示,专业经验与自我效能感与较低的AI依赖度相关,而在AI辅助决策过程中表现出的较高信心则与更强的AI依赖度相关。这些发现揭示了AI融入临床工作流程的双重性:在提升诊断性能的同时,也可能引入因认知偏差导致的诊断错误风险。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
【斯坦福博士论文】概率机器学习中的不确定性原理
专知会员服务
27+阅读 · 2025年8月4日
《人工智能辅助决策面临的三大挑战》最新33页
专知会员服务
52+阅读 · 2025年1月8日
《人工智能辅助决策面临的三大挑战》
专知会员服务
85+阅读 · 2023年12月15日
【AAAI2022】Diaformer: 采用症状序列生成的方式做自动诊断
【AI与医学】多模态机器学习精准医疗健康
【边缘计算】边缘计算面临的问题
产业智能官
17+阅读 · 2019年5月31日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
自注意力机制在计算机视觉中的应用
GAN生成式对抗网络
19+阅读 · 2018年12月20日
干货!自然语言处理中的自注意力机制!
全球人工智能
11+阅读 · 2018年3月27日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
5+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
12+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
2+阅读 · 4月12日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员