Seizure-frequency information is important for epilepsy research and clinical care, but it is usually recorded in variable free-text clinic letters that are hard to annotate and share. We developed a reproducible, privacy-preserving framework for extracting seizure frequency using fully synthetic yet task-faithful epilepsy letters. We defined a structured label scheme covering common descriptions of seizure burden, including explicit rates, ranges, clusters, seizure-free intervals, unknown frequency, and explicit no-seizure statements. A teacher language model generated NHS-style synthetic letters paired with normalized labels, rationales, and evidence spans. We fine-tuned several open-weight language models (4B-14B parameters) on these synthetic letters to extract seizure frequency from full documents, comparing direct numeric prediction with structured label prediction and testing evidence-grounded outputs. On a clinician-checked held-out set of real clinic letters, models trained only on synthetic data generalized well, and structured labels consistently outperformed direct numeric regression. With 15,000 synthetic training letters, models achieved micro-F1 scores up to 0.788 for fine-grained categories and 0.847 for pragmatic categories; a medically oriented 4B model achieved 0.787 and 0.858, respectively. Evidence-grounded outputs also supported rapid clinical verification and error analysis. These results show that synthetic, structured, evidence-grounded supervision can enable robust seizure-frequency extraction without sharing sensitive patient text and may generalize to other temporally complex clinical information extraction tasks.


翻译:癫痫发作频率信息对于癫痫研究和临床护理至关重要,但此类信息通常记录在多变、难以标注和共享的自由文本临床信件中。我们开发了一个可复现且保护隐私的框架,利用完全合成但任务忠实的癫痫信件来提取癫痫发作频率。我们定义了一个结构化标签方案,涵盖癫痫负担的常见描述,包括明确频率、范围、丛集发作、无发作间隔、未知频率以及明确的无发作陈述。一个教师语言模型生成了NHS风格的合成信件,并配以标准化标签、推理依据和证据片段。我们在这些合成信件上微调了多个开放权重的语言模型(参数规模4B-14B),以从完整文档中提取癫痫发作频率,比较了直接数值预测与结构化标签预测,并测试了证据支撑的输出。在临床医生审核的真实临床信件留出测试集上,仅使用合成数据训练的模型展现出良好的泛化能力,且结构化标签方法持续优于直接数值回归。使用15,000封合成训练信件,模型在细粒度类别上取得了高达0.788的微平均F1分数,在实用类别上达到0.847;一个医学导向的4B参数模型分别取得了0.787和0.858的成绩。证据支撑的输出也有助于快速临床验证和错误分析。这些结果表明,合成的、结构化的、证据支撑的监督方法能够实现稳健的癫痫发作频率提取,而无需共享敏感的患者文本,并且可能推广到其他时间维度复杂的临床信息提取任务中。

0
下载
关闭预览

相关内容

专知会员服务
40+阅读 · 2021年5月14日
论文浅尝 | 使用循环神经网络的联合事件抽取
开放知识图谱
25+阅读 · 2019年4月28日
手把手带你复现ICCV 2017经典论文—PyraNet
PaperWeekly
10+阅读 · 2018年11月9日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
干货|当深度学习遇见自动文本摘要,seq2seq+attention
机器学习算法与Python学习
10+阅读 · 2018年5月28日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《人工智能赋能的适应性多功能电磁战》
专知会员服务
8+阅读 · 9月29日
俄乌战场实验室:全面战争如何重塑现代作战
专知会员服务
6+阅读 · 9月29日
2026年美空军协会会议上的无人机系统趋势
专知会员服务
8+阅读 · 9月28日
反制无人机:乌克兰提供的五点启示
专知会员服务
13+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
10+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
9+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
14+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
17+阅读 · 9月22日
相关VIP内容
专知会员服务
40+阅读 · 2021年5月14日
相关资讯
论文浅尝 | 使用循环神经网络的联合事件抽取
开放知识图谱
25+阅读 · 2019年4月28日
手把手带你复现ICCV 2017经典论文—PyraNet
PaperWeekly
10+阅读 · 2018年11月9日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
干货|当深度学习遇见自动文本摘要,seq2seq+attention
机器学习算法与Python学习
10+阅读 · 2018年5月28日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员