Artificial intelligence (AI) has transformed medical imaging, with computer vision (CV) systems achieving state-of-the-art performance in classification and detection tasks. However, these systems typically output structured predictions, leaving radiologists responsible for translating results into full narrative reports. Recent advances in large language models (LLMs), such as GPT-4, offer new opportunities to bridge this gap by generating diagnostic narratives from structured findings. This study introduces a pipeline that integrates YOLOv5 and YOLOv8 for anomaly detection in chest X-ray images with a large language model (LLM) to generate natural-language radiology reports. The YOLO models produce bounding-box predictions and class labels, which are then passed to the LLM to generate descriptive findings and clinical summaries. YOLOv5 and YOLOv8 are compared in terms of detection accuracy, inference latency, and the quality of generated text, as measured by cosine similarity to ground-truth reports. Results show strong semantic similarity between AI and human reports, while human evaluation reveals GPT-4 excels in clarity (4.88/5) but exhibits lower scores for natural writing flow (2.81/5), indicating that current systems achieve clinical accuracy but remain stylistically distinguishable from radiologist-authored text.


翻译:人工智能(AI)已彻底改变医学影像领域,计算机视觉(CV)系统在分类与检测任务中达到最先进的性能水平。然而,这些系统通常输出结构化预测结果,放射科医师仍需负责将结果转化为完整的叙述性报告。以GPT-4为代表的大语言模型(LLMs)的最新进展为弥合这一差距提供了新途径,能够根据结构化发现生成诊断性叙述文本。本研究提出一种集成YOLOv5与YOLOv8进行胸部X光图像异常检测,并结合大语言模型(LLM)生成自然语言放射学报告的流程框架。YOLO模型生成边界框预测与类别标签,随后输入LLM以生成描述性发现与临床总结。研究从检测准确率、推理延迟及生成文本质量(通过与真实报告的余弦相似度衡量)三个维度对比YOLOv5与YOLOv8的性能。结果显示AI生成报告与人工报告间具有强语义相似性,而人工评估表明GPT-4在表述清晰度方面表现优异(4.88/5),但在行文自然流畅度方面得分较低(2.81/5),这表明当前系统虽能达到临床准确性要求,但在文本风格上仍与放射科医师撰写的报告存在可辨识差异。

0
下载
关闭预览

相关内容

多维度对特定行业主题进行系统性分析、概括与总结。
【ICML2024】上下文感知标记化的高效世界模型
专知会员服务
29+阅读 · 2024年7月2日
【文本生成现代方法】Modern Methods for Text Generation
专知会员服务
44+阅读 · 2020年9月11日
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
112+阅读 · 2019年11月25日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员