Deep learning based auto segmentation is increasingly used in radiotherapy, but conventional models often produce anatomically implausible false positives, or hallucinations, in slices lacking target structures. We propose a gated multi-head Transformer architecture based on Swin U-Net, augmented with inter-slice context integration and a parallel detection head, which jointly performs slice-level structure detection via a multi-layer perceptron and pixel-level segmentation through a context-enhanced stream. Detection outputs gate the segmentation predictions to suppress false positives in anatomically invalid slices, and training uses slice-wise Tversky loss to address class imbalance. Experiments on the Prostate-Anatomical-Edge-Cases dataset from The Cancer Imaging Archive demonstrate that the gated model substantially outperforms a non-gated segmentation-only baseline, achieving a mean Dice loss of $0.013 \pm 0.036$ versus $0.732 \pm 0.314$, with detection probabilities strongly correlated with anatomical presence, effectively eliminating spurious segmentations. In contrast, the non-gated model exhibited higher variability and persistent false positives across all slices. These results indicate that detection-based gating enhances robustness and anatomical plausibility in automated segmentation applications, reducing hallucinated predictions without compromising segmentation quality in valid slices, and offers a promising approach for improving the reliability of clinical radiotherapy auto-contouring workflows.


翻译:基于深度学习的自动分割在放射治疗中的应用日益广泛,但传统模型常会在缺乏目标结构的切片中产生解剖学上不可信的假阳性结果,即幻觉。我们提出了一种基于 Swin U-Net 的门控多头 Transformer 架构,该架构通过层间上下文集成与并行检测头进行增强,可联合执行通过多层感知机实现的切片级结构检测以及通过上下文增强流实现的像素级分割。检测输出对分割预测进行门控,以抑制解剖无效切片中的假阳性;训练则采用切片级 Tversky 损失以处理类别不平衡问题。在来自癌症影像档案库的 Prostate-Anatomical-Edge-Cases 数据集上的实验表明,该门控模型显著优于非门控的纯分割基线模型,其平均 Dice 损失为 $0.013 \pm 0.036$,而基线模型为 $0.732 \pm 0.314$,且检测概率与解剖结构存在性高度相关,有效消除了虚假分割。相比之下,非门控模型在所有切片中均表现出更高的变异性和持续的假阳性。这些结果表明,基于检测的门控机制增强了自动分割应用中的鲁棒性与解剖合理性,在有效切片中不损害分割质量的前提下减少了幻觉预测,为提高临床放射治疗自动勾画工作流程的可靠性提供了一种有前景的途径。

0
下载
关闭预览

相关内容

多模态指代分割综述
专知会员服务
17+阅读 · 2025年8月4日
【万字长文】视觉Transformer语义分割模型综述
专知会员服务
56+阅读 · 2024年1月2日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关VIP内容
多模态指代分割综述
专知会员服务
17+阅读 · 2025年8月4日
【万字长文】视觉Transformer语义分割模型综述
专知会员服务
56+阅读 · 2024年1月2日
相关资讯
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员