As AI systems are increasingly used to draft radiology reports, reliably evaluating their clinical quality remains a critical challenge. We introduce RadMatch, a multi-stage LLM-based framework that turns report evaluation into a structured, auditable finding-level record. It extracts findings from a reference and a candidate report, matches them by clinical equivalence, grades each match over ten clinical attributes, and gives every match and unmatched finding a verdict and a clinical-significance tier. To validate metrics on CT, we build and release MetricEval-BodyCT, the first public metric-evaluation benchmark of chest and abdomen CT reports annotated by radiologists error by error. On it and three chest X-ray benchmarks, RadMatch with an open 31B judge on consumer GPUs agrees with radiologists more closely than previous published metrics, and even reaches inter-expert agreement on ReXVal and on the significant errors of MetricEval-BodyCT. Radiologists auditing its decisions on 60 studies confirm 98.5% of its matches and 93.6% of the errors it counts. When used to evaluate state-of-the-art radiology report generation models, RadMatch shows that most CT models, unlike several chest X-ray models, actually leave more significant errors than an image-blind normal template, as their added unsupported findings outnumber the reference findings they correctly report. We provide RadMatch's code, its dashboard, the MetricEval-BodyCT dataset and all per-report scores.


翻译:暂无翻译

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
《Engineering》:从数据到AI药物研发
专知会员服务
46+阅读 · 2023年5月17日
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
36氪研究院 | 2021年中国医疗AI行业研究报告,40页pdf
专知会员服务
84+阅读 · 2021年12月22日
【泡泡图灵智库】Detect-SLAM:目标检测和SLAM相互收益
泡泡机器人SLAM
14+阅读 · 2019年6月28日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
讲透RCNN, Fast-RCNN, Faster-RCNN,将CNN用于目标检测
数据挖掘入门与实战
18+阅读 · 2018年4月20日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
15+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
12+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
12+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
15+阅读 · 11月6日
相关VIP内容
《Engineering》:从数据到AI药物研发
专知会员服务
46+阅读 · 2023年5月17日
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
36氪研究院 | 2021年中国医疗AI行业研究报告,40页pdf
专知会员服务
84+阅读 · 2021年12月22日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员