In medicine, large language models (LLMs) increasingly rely on retrieval-augmented generation (RAG) to ground outputs in up-to-date external evidence. However, current RAG approaches focus primarily on performance improvements while overlooking evidence-based medicine (EBM) principles. This study addresses two key gaps: (1) the lack of PICO alignment between queries and retrieved evidence, and (2) the absence of evidence hierarchy considerations during reranking. We present a generalizable strategy for adapting EBM to graph-based RAG, integrating the PICO framework into knowledge graph construction and retrieval, and proposing a Bayesian-inspired reranking algorithm to calibrate ranking scores by evidence grade without introducing predefined weights. We validated this framework in sports rehabilitation, a literature-rich domain currently lacking RAG systems and benchmarks. We released a knowledge graph (357,844 nodes and 371,226 edges) and a reusable benchmark of 1,637 QA pairs. The system achieved 0.830 nugget coverage, 0.819 answer faithfulness, 0.882 semantic similarity, and 0.788 PICOT match accuracy. In a 5-point Likert evaluation, five expert clinicians rated the system 4.66-4.84 across factual accuracy, faithfulness, relevance, safety, and PICO alignment. These findings demonstrate that the proposed EBM adaptation strategy improves retrieval and answer quality and is transferable to other clinical domains. The released resources also help address the scarcity of RAG datasets in sports rehabilitation.


翻译:在医学领域,大型语言模型(LLM)日益依赖检索增强生成(RAG)技术,以将输出建立在最新的外部证据基础上。然而,当前的RAG方法主要关注性能提升,却忽视了循证医学(EBM)原则。本研究解决了两个关键空白:(1)查询与检索证据之间缺乏PICO对齐;(2)重排序过程中未考虑证据等级。我们提出了一种将EBM适配于基于图谱的RAG的通用策略,将PICO框架整合到知识图谱构建与检索中,并提出一种受贝叶斯启发的重排序算法,该算法依据证据等级校准排序分数,而无需引入预定义权重。我们在运动康复这一文献丰富但当前缺乏RAG系统与基准的领域中验证了该框架。我们发布了一个知识图谱(包含357,844个节点和371,226条边)以及一个包含1,637个问答对的可复用基准。该系统实现了0.830的信息块覆盖率、0.819的答案忠实度、0.882的语义相似度和0.788的PICOT匹配准确率。在5点李克特量表评估中,五位临床专家对该系统在事实准确性、忠实度、相关性、安全性和PICO对齐度五个维度上的评分介于4.66至4.84之间。这些结果表明,所提出的EBM适配策略提升了检索和答案质量,并可迁移至其他临床领域。所发布的资源也有助于缓解运动康复领域RAG数据集的稀缺问题。

0
下载
关闭预览

相关内容

【CIKM2020】多模态知识图谱推荐系统,Multi-modal KG for RS
专知会员服务
98+阅读 · 2020年8月24日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员