Clinical case reports and discharge summaries may be the most complete and accurate summarization of patient encounters, yet they are finalized, i.e., timestamped after the encounter. Complementary structured data streams become available sooner but suffer from incompleteness. To train models and algorithms on more complete and temporally fine-grained data, we construct a pipeline to phenotype, extract, and annotate time-localized findings within case reports using large language models. We apply our pipeline to generate an open-access textual time series corpus for Sepsis-3 comprising 2,139 case reports from the PubMed-Open Access (PMOA) Subset. To validate our system, we apply it to PMOA and timeline annotations from i2b2/MIMIC-IV and compare the results to physician-expert annotations. We show high recovery rates of clinical findings (event match rates: GPT-5--0.93, Llama 3.3 70B Instruct--0.76) and strong temporal ordering (concordance: GPT-5--0.965, Llama 3.3 70B Instruct--0.908). Our work characterizes the ability of LLMs to time-localize clinical findings in text, illustrating the limitations of LLM use for temporal reconstruction and providing several potential avenues of improvement via multimodal integration.


翻译:临床病例报告和出院小结可能是对患者就诊过程最完整、最准确 的总结,但它们在就诊结束后才最终定稿,即带有时间戳。互补的结构化数据流虽然更早可用,但存在不完整性。为了在更完整且时间粒度更细的数据上训练模型和算法,我们构建了一个流水线,利用大语言模型对病例报告中的时间定位发现进行表型分析、提取和注释。我们应用该流水线生成了一个开放获取的脓毒症-3文本时间序列语料库,包含来自PubMed开放获取子集的2,139份病例报告。为验证系统性能,我们将其应用于PMOA及i2b2/MIMIC-IV的时间线注释,并将结果与医学专家注释进行对比。结果显示临床发现的高回收率(事件匹配率:GPT-5--0.93,Llama 3.3 70B Instruct--0.76)和强时间排序一致性(一致性指数:GPT-5--0.965,Llama 3.3 70B Instruct--0.908)。本研究揭示了大语言模型在文本中对临床发现进行时间定位的能力,说明了其在时间重建应用中的局限性,并提出了通过多模态集成进行改进的若干潜在方向。

0
下载
关闭预览

相关内容

【CMU博士论文】建模流行病学时间序列,66页·pdf
专知会员服务
27+阅读 · 2023年10月3日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
专知会员服务
73+阅读 · 2021年3月27日
R语言时间序列分析
R语言中文社区
12+阅读 · 2018年11月19日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
R语言之数据分析高级方法「时间序列」
R语言中文社区
17+阅读 · 2018年4月24日
推荐中的序列化建模:Session-based neural recommendation
机器学习研究会
18+阅读 · 2017年11月5日
如何用Python做舆情时间序列可视化?
CocoaChina
11+阅读 · 2017年7月21日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
3+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
3+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
5+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员