When applied directly in an end-to-end manner to medical follow-up tasks, Large Language Models (LLMs) often suffer from uncontrolled dialog flow and inaccurate information extraction due to the complexity of follow-up forms. To address this limitation, we designed and compared two follow-up chatbot systems: an end-to-end LLM-based system (control group) and a modular pipeline with structured process control (experimental group). Experimental results show that while the end-to-end approach frequently fails on lengthy and complex forms, our modular method-built on task decomposition, semantic clustering, and flow management-substantially improves dialog stability and extraction accuracy. Moreover, it reduces the number of dialogue turns by 46.73% and lowers token consumption by 80% to 87.5%. These findings highlight the necessity of integrating external control mechanisms when deploying LLMs in high-stakes medical follow-up scenarios.


翻译:当大语言模型以端到端方式直接应用于医疗随访任务时,由于随访表格的复杂性,常出现对话流程失控和信息提取不准确的问题。为应对这一局限,我们设计并比较了两种随访聊天机器人系统:基于大语言模型的端到端系统(对照组)和具有结构化流程控制的模块化流水线系统(实验组)。实验结果表明,端到端方法在处理冗长复杂表格时频繁失效,而基于任务分解、语义聚类和流程管理的模块化方法显著提升了对话稳定性和信息提取准确率。此外,该方法将对话轮次减少46.73%,并将令牌消耗降低80%至87.5%。这些发现凸显了在高风险医疗随访场景中部署大语言模型时,集成外部控制机制的必要性。

0
下载
关闭预览

相关内容

LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
【AAAI2021】低资源医疗对话生成的图演化元学习
专知会员服务
48+阅读 · 2020年12月26日
NLP实践:对话系统技术原理和应用
AI100
34+阅读 · 2019年3月20日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员