随着医疗成像技术的不断提升,放射科医师每天要撰写的医学报告也与日俱增。深度学习兴起后,基于深度学习的医学图像描述技术用于自动生成医学报告,取得了显著效果。本文全面整理了近年来深度医学图像描述方向的论文,包括这一领域的最新方法、数据集和评价指标,分析了它们各自的优劣,并以模型结构为线索予以介绍,是国内首篇针对医疗图像描述任务的综述。现今的深度医疗图像描述技术主要以编码器—解码器结构为基础进行拓展,包括但不局限于加入检索方法、模板匹配方法、注意力机制、强化学习和知识图谱等方法。检索和模板匹配方法虽然简单,但由于医学报告的特殊性仍在本任务上有不错的效果;注意力机制使模型产生报告时能关注图像和文本的某一部分,已经被几乎所有主流模型所采用;强化学习方法突破了医疗图像描述任务中梯度下降训练法与离散的语言生成评价指标不匹配的瓶颈;知识图谱方法则融合了人类医生对于疾病的先验知识,有效提高了生成报告的临床准确性。此外,Transformer等新型结构也正越来越多地取代循环神经网络(recurrent neural network,RNN)甚至卷积神经网络(convolutional neural network,CNN)的位置成为网络主干。本文最后讨论了目前深度医疗图像描述仍需解决的问题以及未来的研究方向,希望能推动深度医疗图像描述技术真正落地。

成为VIP会员查看完整内容
20

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
多模态数据的行为识别综述
专知会员服务
88+阅读 · 2022年11月30日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
计算成像前沿进展
专知会员服务
31+阅读 · 2022年6月29日
专知会员服务
31+阅读 · 2021年9月23日
专知会员服务
91+阅读 · 2021年8月8日
专知会员服务
30+阅读 · 2021年6月4日
专知会员服务
67+阅读 · 2021年5月21日
专知会员服务
52+阅读 · 2021年5月15日
专知会员服务
39+阅读 · 2021年5月14日
多模态数据的行为识别综述
专知
4+阅读 · 2022年11月30日
「视频目标跟踪」最新2022研究进展综述
专知
10+阅读 · 2022年9月26日
智能合约的形式化验证方法研究综述
专知
16+阅读 · 2021年5月8日
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
基于深度学习的数据融合方法研究综述
专知
37+阅读 · 2020年12月10日
基于图神经网络的知识图谱研究进展
AI科技评论
21+阅读 · 2020年8月31日
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
【综述】生成式对抗网络GAN最新进展综述
专知
61+阅读 · 2019年6月5日
【知识图谱】医学知识图谱构建技术与研究进展
产业智能官
44+阅读 · 2017年11月16日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
175+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
181+阅读 · 2023年3月24日
VIP会员
相关VIP内容
多模态数据的行为识别综述
专知会员服务
88+阅读 · 2022年11月30日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
计算成像前沿进展
专知会员服务
31+阅读 · 2022年6月29日
专知会员服务
31+阅读 · 2021年9月23日
专知会员服务
91+阅读 · 2021年8月8日
专知会员服务
30+阅读 · 2021年6月4日
专知会员服务
67+阅读 · 2021年5月21日
专知会员服务
52+阅读 · 2021年5月15日
专知会员服务
39+阅读 · 2021年5月14日
相关资讯
多模态数据的行为识别综述
专知
4+阅读 · 2022年11月30日
「视频目标跟踪」最新2022研究进展综述
专知
10+阅读 · 2022年9月26日
智能合约的形式化验证方法研究综述
专知
16+阅读 · 2021年5月8日
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
基于深度学习的数据融合方法研究综述
专知
37+阅读 · 2020年12月10日
基于图神经网络的知识图谱研究进展
AI科技评论
21+阅读 · 2020年8月31日
最全综述 | 医学图像处理
计算机视觉life
57+阅读 · 2019年6月15日
【综述】生成式对抗网络GAN最新进展综述
专知
61+阅读 · 2019年6月5日
【知识图谱】医学知识图谱构建技术与研究进展
产业智能官
44+阅读 · 2017年11月16日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员