The simulation of realistic clinical interactions plays a pivotal role in advancing clinical Large Language Models (LLMs) and supporting medical diagnostic education. Existing approaches and benchmarks rely on generic or LLM-generated dialogue data, which limits the authenticity and diversity of doctor-patient interactions. In this work, we propose the first Chinese patient simulation dataset (Ch-PatientSim), constructed from realistic clinical interaction scenarios to comprehensively evaluate the performance of models in emulating patient behavior. Patients are simulated based on a five-dimensional persona structure. To address issues of the persona class imbalance, a portion of the dataset is augmented using few-shot generation, followed by manual verification. We evaluate various state-of-the-art LLMs and find that most produce overly formal responses that lack individual personality. To address this limitation, we propose a training-free Multi-Stage Patient Role-Playing (MSPRP) framework, which decomposes interactions into three stages to ensure both personalization and realism in model responses. Experimental results demonstrate that our approach significantly improves model performance across multiple dimensions of patient simulation.


翻译:真实临床交互的模拟在推进临床大语言模型(LLM)发展和支持医学诊断教育方面起着关键作用。现有方法和基准依赖于通用或LLM生成的对话数据,这限制了医患交互的真实性与多样性。本研究提出了首个中文患者模拟数据集(Ch-PatientSim),该数据集基于真实临床交互场景构建,旨在全面评估模型在模拟患者行为方面的性能。患者模拟基于五维人物画像结构构建。针对人物画像类别不平衡的问题,部分数据集通过小样本生成进行增强,并经过人工验证。我们评估了多种前沿大语言模型,发现大多数模型生成的回答过于正式且缺乏个体个性。为克服这一局限,我们提出了一种免训练的多阶段患者角色扮演(MSPRP)框架,该框架将交互过程分解为三个阶段,以确保模型回答兼具个性化与真实性。实验结果表明,我们的方法在患者模拟的多个维度上显著提升了模型性能。

0
下载
关闭预览

相关内容

医学领域大型语言模型的新进展
专知会员服务
25+阅读 · 2025年10月5日
《多模态态势感知交互》美陆军研究实验室
专知会员服务
53+阅读 · 2024年12月19日
医学中大型语言模型综述:进展、应用与挑战
专知会员服务
62+阅读 · 2023年11月11日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
图谱实战 | 真实世界医疗知识图谱及临床事件图谱构建
开放知识图谱
11+阅读 · 2022年10月10日
【AI与医学】多模态机器学习精准医疗健康
【深度语义匹配模型】原理篇二:交互篇
AINLP
16+阅读 · 2020年5月18日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
多轮对话之对话管理:Dialog Management
PaperWeekly
18+阅读 · 2018年1月15日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
VIP会员
相关VIP内容
医学领域大型语言模型的新进展
专知会员服务
25+阅读 · 2025年10月5日
《多模态态势感知交互》美陆军研究实验室
专知会员服务
53+阅读 · 2024年12月19日
医学中大型语言模型综述:进展、应用与挑战
专知会员服务
62+阅读 · 2023年11月11日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员