Retrieval-augmented generation (RAG) trained with reinforcement learning (RL) is a promising way to ground large language models in medical evidence for clinical diagnosis. However, existing RAG-RL methods face two problems: (1) their process reward is largely singleview, as most methods inherited from opendomain multi-hop QA reward only the quality of the retrieved information; (2) assigning a reliable process reward is hard, as hard matching gives zero to clinically correct but non-verbatim steps such as "Allergic Sinusitis" versus "Allergic Rhinitis", and the alternative of strong-teacher guiding is bounded by the teacher's own medical competence. To address these issues, we propose C-MIG, a Multiview Information Gain-based framework for Clinical diagnosis. We identify two complementary and crucial intermediate steps in clinical diagnosis: what to retrieve and how to refine. We reward both by the information gain each brings, measured as the increase in the predicted likelihood of the ground-truth answer under a base, frozen reference model. The frozen scorer yields a stable and reproducible reward that needs no extra reward model or teacher. Experiments on four medical benchmarks show that C-MIG outperforms RAGRL baselines in and out of domain and stays competitive with far larger medical-specialist and general-purpose LLMs, at only about 3.4% training overhead and no inference-time cost.


翻译:暂无翻译

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
大语言模型的强化学习技术综述
专知会员服务
42+阅读 · 2025年7月8日
【MIT博士论文】数据高效强化学习,176页pdf
专知会员服务
90+阅读 · 2022年7月11日
【斯坦福大学】Gradient Surgery for Multi-Task Learning
专知会员服务
47+阅读 · 2020年1月23日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
专知会员服务
216+阅读 · 2019年8月30日
「基于通信的多智能体强化学习」 进展综述
【MIT博士论文】数据高效强化学习,176页pdf
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
【深度强化学习】深度强化学习揭秘
产业智能官
21+阅读 · 2017年11月13日
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
8+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
11+阅读 · 10月15日
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
10+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
14+阅读 · 10月13日
相关基金
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员