Accurate 3D medical image segmentation is vital for diagnosis and treatment planning, but state-of-the-art models are often too large for clinics with limited computing resources. Lightweight architectures typically suffer significant performance loss. To address these deployment and speed constraints, we propose Region- and Context-aware Knowledge Distillation (ReCo-KD), a training-only framework that transfers both fine-grained anatomical detail and long-range contextual information from a high-capacity teacher to a compact student network. The framework integrates Multi-Scale Structure-Aware Region Distillation (MS-SARD), which applies class-aware masks and scale-normalized weighting to emphasize small but clinically important regions, and Multi-Scale Context Alignment (MS-CA), which aligns teacher-student affinity patterns across feature levels. Implemented on nnU-Net in a backbone-agnostic manner, ReCo-KD requires no custom student design and is easily adapted to other architectures. Experiments on multiple public 3D medical segmentation datasets and a challenging aggregated dataset show that the distilled lightweight model attains accuracy close to the teacher while markedly reducing parameters and inference latency, underscoring its practicality for clinical deployment.


翻译:精确的三维医学图像分割对于诊断与治疗规划至关重要,但现有最优模型通常体积庞大,难以在计算资源有限的临床环境中部署。轻量级架构则往往存在显著的性能损失。为应对这些部署与速度限制,本文提出区域与上下文感知知识蒸馏(ReCo-KD),一种仅需训练阶段的框架,能够将细粒度解剖细节与长程上下文信息同时从高容量教师网络迁移至紧凑的学生网络。该框架整合了多尺度结构感知区域蒸馏(MS-SARD)——通过类别感知掩码与尺度归一化加权机制强化对体积微小但临床关键区域的关注,以及多尺度上下文对齐(MS-CA)——在特征层级间对齐师生网络的关联模式。ReCo-KD以后端无关方式在nnU-Net上实现,无需定制学生网络设计,并可轻松适配其他架构。在多个公开三维医学分割数据集及一个具有挑战性的聚合数据集上的实验表明,经蒸馏的轻量模型在显著减少参数量与推理延迟的同时,达到了接近教师网络的精度,凸显了其临床部署的实用性。

0
下载
关闭预览

相关内容

【KDD2022】基于对抗性知识蒸馏的深度图神经网络压缩
专知会员服务
24+阅读 · 2022年6月10日
KDD 2021 | MoCL:利用多层次领域知识的分子图对比学习
专知会员服务
12+阅读 · 2022年5月20日
专知会员服务
39+阅读 · 2021年6月13日
高效医疗图像分析的统一表示
专知会员服务
36+阅读 · 2020年6月23日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
96+阅读 · 2020年3月25日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员