Brain tumor segmentation remains challenging because the three standard sub-regions, i.e., whole tumor (WT), tumor core (TC), and enhancing tumor (ET), often exhibit ambiguous visual boundaries. Integrating radiological description texts with imaging has shown promise. However, most multimodal approaches typically compress a report into a single global text embedding shared across all sub-regions, overlooking their distinct clinical characteristics. We propose TextCSP (text-modulated soft cascade architecture), a hierarchical text-guided framework that builds on the TextBraTS baseline with three novel components: (1) a text-modulated soft cascade decoder that predicts WT->TC->ET in a coarse-to-fine manner consistent with their anatomical containment hierarchy. (2) sub-region-aware prompt tuning, which uses learnable soft prompts with a LoRA-adapted BioBERT encoder to generate specialized text representations tailored for each sub-region; (3) text-semantic channel modulators that convert the aforementioned representations into channel-wise refinement signals, enabling the decoder to emphasize features aligned with clinically described patterns. Experiments on the TextBraTS dataset demonstrate consistent improvements across all sub-regions against state-of-the-art methods by 1.7% and 6% on the main metrics Dice and HD95.


翻译:脑肿瘤分割仍然具有挑战性,因为三种标准子区域——即全肿瘤区域(WT)、肿瘤核心区域(TC)和增强肿瘤区域(ET)——通常呈现模糊的视觉边界。将放射学描述文本与影像相结合已展现出前景。然而,大多数多模态方法通常将报告压缩为所有子区域共享的单一全局文本嵌入,忽略了它们不同的临床特征。我们提出TextCSP(文本调制软级联架构),这是一种层级化文本引导框架,基于TextBraTS基线构建,包含三个创新组件:(1)文本调制软级化解码器,按照WT→TC→ET的顺序以粗到精的方式预测,与其解剖包含层级一致;(2)子区域感知提示调优,使用可学习软提示与LoRA适配的BioBERT编码器,为每个子区域生成专用文本表示;(3)文本语义通道调制器,将上述表示转换为通道级细化信号,使解码器能够强调与临床描述模式对齐的特征。在TextBraTS数据集上的实验表明,与最先进方法相比,所有子区域在主指标Dice和HD95上分别获得1.7%和6%的持续提升。

0
下载
关闭预览

相关内容

【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
专知会员服务
50+阅读 · 2021年8月28日
专知会员服务
116+阅读 · 2021年1月11日
图像分割方法综述
专知会员服务
56+阅读 · 2020年11月22日
最新《医学图像深度语义分割》综述论文
专知会员服务
97+阅读 · 2020年6月7日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
一文概览用于图像分割的CNN
论智
14+阅读 · 2018年10月30日
开源|基于tensorflow使用CNN-RNN进行中文文本分类!
全球人工智能
11+阅读 · 2017年11月12日
基于深度学习的肿瘤图像分割研究取得进展
中科院之声
17+阅读 · 2017年9月17日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员