Current Virtual Mental Health Assistants (VMHAs) provide counseling and suggestive care. They refrain from patient diagnostic assistance because they lack training in safety-constrained and specialized clinical process knowledge. In this work, we define Proknow as an ordered set of information that maps to evidence-based guidelines or categories of conceptual understanding to experts in a domain. We also introduce a new dataset of diagnostic conversations guided by safety constraints and Proknow that healthcare professionals use. We develop a method for natural language question generation (NLG) that collects diagnostic information from the patient interactively. We demonstrate the limitations of using state-of-the-art large-scale language models (LMs) on this dataset. Our algorithm models the process knowledge through explicitly modeling safety, knowledge capture, and explainability. LMs augmented with ProKnow guided method generated 89% safer questions in the depression and anxiety domain. The Explainability of the generated question is assessed by computing similarity with concepts in depression and anxiety knowledge bases. Overall, irrespective of the type of LMs augmented with our ProKnow, we achieved an average 82% improvement over simple pre-trained LMs on safety, explainability, and process-guided question generation. We qualitatively and quantitatively evaluate the efficacy of the proposed ProKnow-guided methods by introducing three new evaluation metrics for safety, explainability, and process knowledge adherence.


翻译:当前虚拟心理健康助手(VMHAs)提供咨询和建议性护理,但因其缺乏安全约束与专业临床流程知识的训练,无法进行患者诊断辅助。本文定义ProKnow为按顺序排列的信息集合,该集合映射至领域专家所采用的循证指南或概念理解类别。我们同时引入一个由安全约束和ProKnow引导的医疗专业人员使用的诊断对话新数据集。我们开发了一种自然语言问题生成(NLG)方法,可从患者处交互式采集诊断信息。我们证明了在此数据集上使用最先进的大规模语言模型(LMs)的局限性。我们的算法通过对安全性、知识获取和可解释性的显式建模,实现对流程知识的建模。经ProKnow引导方法增强的LMs在抑郁和焦虑领域生成了89%更安全的问题。通过计算生成问题与抑郁及焦虑知识库中概念的相似度,评估了问题的可解释性。总体而言,无论使用何种类型的LMs,经ProKnow增强后,在安全性、可解释性和流程引导的问题生成方面,相较于简单预训练的LMs平均提升82%。我们通过引入三项新的评估指标(安全性、可解释性和流程知识遵循度),定性与定量地评估了所提出的ProKnow引导方法的有效性。

0
下载
关闭预览

相关内容

通过学习、实践或探索所获得的认识、判断或技能。
百篇论文纵览大型语言模型最新研究进展
专知会员服务
70+阅读 · 2023年3月31日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
106+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年7月24日
Arxiv
12+阅读 · 2023年5月31日
VIP会员
最新内容
综述 | 终端智能体:命令行环境中的 AI Agents
专知会员服务
2+阅读 · 8月24日
综述 | 多模态智能体框架基础与前沿
专知会员服务
1+阅读 · 8月24日
《自适应无人机集群网络开发》
专知会员服务
4+阅读 · 8月24日
无人机与作战飞机最佳精确目标定位技术
专知会员服务
3+阅读 · 8月24日
博士论文 | 大动作空间中的在线与离线策略学习
论文 | 全球负责任 AI 指数 2026 方法论
专知会员服务
7+阅读 · 8月23日
超致命战场空间中的战术通信生存能力
专知会员服务
5+阅读 · 8月23日
综述 | 面向机器人的视觉触觉智能
专知会员服务
6+阅读 · 8月22日
论文 | 基础模型驱动具身智能体安全综述
专知会员服务
4+阅读 · 8月22日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员