Few-Shot Medical Image Segmentation (FSMIS) aims to segment novel object classes in medical images using only minimal annotated examples, addressing the critical challenges of data scarcity and domain shifts prevalent in medical imaging. While Diffusion Models (DM) excel in visual tasks, their potential for FSMIS remains largely unexplored. We propose that the rich visual priors learned by large-scale DMs offer a powerful foundation for a more robust and data-efficient segmentation approach. In this paper, we introduce SD-FSMIS, a novel framework designed to effectively adapt the powerful pre-trained Stable Diffusion (SD) model for the FSMIS task. Our approach repurposes its conditional generative architecture by introducing two key components: a Support-Query Interaction (SQI) and a Visual-to-Textual Condition Translator (VTCT). Specifically, SQI provides a straightforward yet powerful means of adapting SD to the FSMIS paradigm. The VTCT module translates visual cues from the support set into an implicit textual embedding that guides the diffusion model, enabling precise conditioning of the generation process. Extensive experiments demonstrate that SD-FSMIS achieves competitive results compared to state-of-the-art methods in standard settings. Surprisingly, it also demonstrated excellent generalization ability in more challenging cross-domain scenarios. These findings highlight the immense potential of adapting large-scale generative models to advance data-efficient and robust medical image segmentation.


翻译:小样本医学图像分割(FSMIS)旨在仅使用少量标注样本对医学图像中的新目标类别进行分割,以应对医学成像中普遍存在的数据稀缺与领域偏移等关键挑战。尽管扩散模型(DM)在视觉任务中表现出色,但其在FSMIS领域的潜力尚未充分发掘。我们认为,大规模扩散模型学习到的丰富视觉先验为构建更鲁棒且数据高效的分割方法提供了强大基础。本文提出SD-FSMIS——一种旨在将预训练稳定扩散模型(Stable Diffusion, SD)有效适配至FSMIS任务的新型框架。该方法通过引入两个核心组件:支持-查询交互模块(SQI)与视觉-文本条件转换器(VTCT),重新利用了其条件生成架构。具体而言,SQI提供了一种直接而强大的方式将SD适配至FSMIS范式;VTCT模块将支持集中的视觉线索转化为隐式文本嵌入,用以引导扩散模型,从而实现对生成过程的精准条件控制。大量实验表明,SD-FSMIS在标准设置下取得了与现有最优方法相媲美的竞争性结果。令人惊讶的是,在更具挑战性的跨领域场景中,该方法同样展现出卓越的泛化能力。这些发现凸显了适配大规模生成模型以推动数据高效且鲁棒的医学图像分割的巨大潜力。

0
下载
关闭预览

相关内容

《生物医学图像分割的基础模型》综述
专知会员服务
31+阅读 · 2024年1月18日
扩散模型图像超分辨率等综述
专知会员服务
25+阅读 · 2024年1月2日
基于图神经网络的小样本学习方法研究进展
专知会员服务
44+阅读 · 2023年11月18日
专知会员服务
116+阅读 · 2021年1月11日
深度学习与医学图像分析
人工智能前沿讲习班
40+阅读 · 2019年6月8日
关于GANs在医学图像领域应用的总结
人工智能前沿讲习班
31+阅读 · 2019年6月4日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
2+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
4+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
3+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员