The transformer is primarily used in the field of natural language processing. Recently, it has been adopted and shows promise in the computer vision (CV) field. Medical image analysis (MIA), as a critical branch of CV, also greatly benefits from this state-of-the-art technique. In this review, we first recap the core component of the transformer, the attention mechanism, and the detailed structures of the transformer. After that, we depict the recent progress of the transformer in the field of MIA. We organize the applications in a sequence of different tasks, including classification, segmentation, captioning, registration, detection, reconstruction, denoising, localization, and synthesis. The mainstream classification and segmentation tasks are further divided into eleven medical image modalities. Finally, We discuss the open challenges and future opportunities in this field. This review with the latest contents, detailed information, and task-modality organization mode may greatly benefit the broad MIA community.


翻译:Transformer主要应用于自然语言处理领域。近年来,该技术被引入计算机视觉领域并展现出巨大潜力。作为计算机视觉的重要分支,医学图像分析也显著受益于这一前沿技术。本综述首先回顾了Transformer的核心组件——注意力机制,以及Transformer的详细架构。随后,我们阐述了Transformer在医学图像分析领域的最新进展,按照不同任务类型对应用进行系统梳理,包括分类、分割、描述生成、配准、检测、重建、去噪、定位和合成。其中主流的分类与分割任务进一步细分为十一种医学图像模态。最后,我们探讨了该领域面临的开放挑战与未来机遇。本综述凭借最新内容、详细信息及任务-模态的组织形式,有望为广大的医学图像分析研究群体提供重要参考。

0
下载
关闭预览

相关内容

Explanation:医学图像分析。 Publisher:Elsevier。 SIT: http://dblp.uni-trier.de/db/journals/mia/
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
深度学习医学图像分析文献集
机器学习研究会
19+阅读 · 2017年10月13日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2023年5月11日
Transformers in Medical Image Analysis: A Review
Arxiv
40+阅读 · 2022年2月24日
Arxiv
15+阅读 · 2022年1月24日
Arxiv
16+阅读 · 2021年1月27日
3D Deep Learning on Medical Images: A Review
Arxiv
13+阅读 · 2020年4月1日
Deep learning for cardiac image segmentation: A review
Arxiv
21+阅读 · 2019年11月9日
VIP会员
最新内容
乌军利用美国“黄蜂”无人机摧毁俄军后勤
专知会员服务
5+阅读 · 6月7日
《支持作战级人机协同智能的交互式OODA流程》
专知会员服务
13+阅读 · 6月7日
ICML 2026 | SARDI:扩散语言模型的自增强检索
专知会员服务
8+阅读 · 6月6日
《国防领域安全采用大语言模型的战略蓝图》
专知会员服务
12+阅读 · 6月6日
相关VIP内容
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
相关论文
Arxiv
0+阅读 · 2023年5月11日
Transformers in Medical Image Analysis: A Review
Arxiv
40+阅读 · 2022年2月24日
Arxiv
15+阅读 · 2022年1月24日
Arxiv
16+阅读 · 2021年1月27日
3D Deep Learning on Medical Images: A Review
Arxiv
13+阅读 · 2020年4月1日
Deep learning for cardiac image segmentation: A review
Arxiv
21+阅读 · 2019年11月9日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员