As physicians turn to AI-powered systems to help meet the dual demands of speed and care quality, they are met with hallucinations and sycophancy. Understanding how doctors reason through clinical problems in real-world settings is critical for design of effective AI reasoning systems. While recent advances in medical AI have emphasized performance benchmarks and diagnostic accuracy, comparatively little attention has been paid to the structure of clinicians' reasoning processes as they unfold over time, e.g., how they interact with electronic health records and operate under conditions of uncertainty and constraint. This study provides a comprehensive, empirically-grounded account of clinical reasoning and its relationship to current AI-mediated workflows through a mixed-methods design that combines qualitative interviews with structured survey data. Findings indicate that current AI systems are primarily deployed for encounter-level tasks such as documentation and summarization, and only partially align with physicians' underlying reasoning processes. In particular, AI-generated representations often omit temporal or interpretive structures central to clinical decision-making, while core aspects of reasoning, especially those spanning multiple encounters, remain largely implicit and physician-driven. By integrating fine-grained qualitative insights with broader quantitative patterns, this study offers a unified framework for understanding clinical reasoning as a context-sensitive, temporally extended process and identifies key mismatches between clinician cognition and current AI design. These results provide concrete directions for the development of AI systems that more effectively align with and augment real-world clinical reasoning.


翻译:随着医生借助AI系统来满足诊疗速度与护理质量的双重需求,他们面临着模型幻觉与奉承迎合的挑战。理解医生在真实临床环境中如何进行推理,对于设计有效的AI推理系统至关重要。尽管近期医学AI领域的进展聚焦于性能基准与诊断准确率,但对临床医生推理过程随时间展开的结构性特征——例如他们如何与电子健康记录交互、在不确定性与约束条件下如何运作——却鲜有关注。本研究采用混合研究方法,结合质性访谈与结构化调查数据,对临床推理及其与当前AI辅助工作流程的关系进行了基于实证的全面阐释。研究结果表明,现有AI系统主要用于文档记录、摘要生成等就诊层面的任务,仅部分契合医生的底层推理过程。具体而言,AI生成的表征常缺失临床决策中关键的时间结构或解释性结构,而推理的核心维度(尤其是跨多次就诊的推理)仍主要由医生主导且呈隐式状态。通过将精细化的质性洞见与广泛的量化模式相结合,本研究构建了一个统一框架,将临床推理理解为一种情境敏感、时间延展的过程,并识别出临床医生认知与当前AI设计之间的关键错位。这些发现为开发更有效对齐并增强真实临床推理的AI系统提供了具体方向。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
《医疗领域中的具身人工智能综述:技术、应用与机会》
医学应用中的可解释人工智能:综述
专知会员服务
36+阅读 · 2024年12月8日
【CELL】用AI智能体推动生物医学发现
专知会员服务
21+阅读 · 2024年11月1日
医疗人工智能:知识引导与数据挖掘联合驱动
专知会员服务
70+阅读 · 2023年2月15日
【综述】医疗可解释人工智能综述论文
专知
33+阅读 · 2019年7月18日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 今天14:45
定向能反无人机系统最新发展动态
专知会员服务
5+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 今天13:33
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员