We present a new Hebrew medical language model designed to extract structured clinical timelines from electronic health records, enabling the construction of patient journeys. Our model is based on DictaBERT 2.0 and continually pre-trained on over five million de-identified hospital records. To evaluate its effectiveness, we introduce two new datasets -- one from internal medicine and emergency departments, and another from oncology -- annotated for event temporal relations. Our results show that our model achieves strong performance on both datasets. We also find that vocabulary adaptation improves token efficiency and that de-identification does not compromise downstream performance, supporting privacy-conscious model development. The model is made available for research use under ethical restrictions.


翻译:我们提出了一种新的希伯来语医学语言模型,旨在从电子健康记录中提取结构化临床时间线,从而构建患者旅程。该模型基于DictaBERT 2.0架构,并持续预训练了超过五百万条去识别化的医院记录。为评估其有效性,我们引入了两个新数据集——一个来自内科和急诊科,另一个来自肿瘤科——均标注了事件时序关系。实验结果表明,我们的模型在两个数据集上均表现出色。我们还发现,词汇适应提高了分词效率,且去识别化处理不会损害下游任务性能,这支持了注重隐私的模型开发。该模型在伦理限制下可供研究使用。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
Top
微信扫码咨询专知VIP会员