Liver tumour ablation presents a significant clinical challenge: whilst tumours are clearly visible on pre-operative MRI, they are often effectively invisible on intra-operative CT due to minimal contrast between pathological and healthy tissue. This work investigates the feasibility of cross-modality weak supervision for scenarios where pathology is visible in one modality (MRI) but absent in another (CT). We present a hybrid registration-segmentation framework that combines MSCGUNet for inter-modal image registration with a UNet-based segmentation module, enabling registration-assisted pseudo-label generation for CT images. Our evaluation on the CHAOS dataset demonstrates that the pipeline can successfully register and segment healthy liver anatomy, achieving a Dice score of 0.72. However, when applied to clinical data containing tumours, performance degrades substantially (Dice score of 0.16), revealing the fundamental limitations of current registration methods when the target pathology lacks corresponding visual features in the target modality. We analyse the "domain gap" and "feature absence" problems, demonstrating that whilst spatial propagation of labels via registration is feasible for visible structures, segmenting truly invisible pathology remains an open challenge. Our findings highlight that registration-based label transfer cannot compensate for the absence of discriminative features in the target modality, providing important insights for future research in cross-modality medical image analysis. Code an weights are available at: https://github.com/BudhaTronix/Weakly-Supervised-Tumour-Detection


翻译:肝脏肿瘤消融术面临着一个显著的临床挑战:肿瘤在术前MRI上清晰可见,但由于病变组织与健康组织之间对比度极低,在术中CT上往往实际上不可见。本研究探讨了在病理学特征在一个模态(MRI)中可见而在另一个模态(CT)中缺失的场景下,进行跨模态弱监督的可行性。我们提出了一种混合配准-分割框架,该框架结合了用于模态间图像配准的MSCGUNet和一个基于UNet的分割模块,从而能够为CT图像生成配准辅助的伪标签。我们在CHAOS数据集上的评估表明,该流程能够成功配准并分割健康的肝脏解剖结构,获得了0.72的Dice分数。然而,当应用于包含肿瘤的临床数据时,性能显著下降(Dice分数为0.16),这揭示了当目标病理学特征在目标模态中缺乏对应的视觉特征时,当前配准方法存在根本性局限。我们分析了"领域鸿沟"和"特征缺失"问题,证明虽然通过配准进行标签的空间传播对于可见结构是可行的,但分割真正不可见的病理学特征仍然是一个开放的挑战。我们的研究结果强调,基于配准的标签迁移无法弥补目标模态中判别性特征的缺失,这为未来跨模态医学图像分析的研究提供了重要见解。代码和权重可在以下网址获取:https://github.com/BudhaTronix/Weakly-Supervised-Tumour-Detection

0
下载
关闭预览

相关内容

【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
Cancer Cell综述|AI用于肿瘤学中的多模态数据集成
专知会员服务
35+阅读 · 2022年10月13日
专知会员服务
28+阅读 · 2021年10月6日
专知会员服务
50+阅读 · 2021年8月28日
专知会员服务
37+阅读 · 2021年4月23日
专知会员服务
116+阅读 · 2021年1月11日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
病理图像的全景分割
人工智能前沿讲习班
16+阅读 · 2019年6月1日
肿瘤微环境评分: 预测肿瘤免疫治疗疗效的新方法
基于深度学习的肿瘤图像分割研究取得进展
中科院之声
17+阅读 · 2017年9月17日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员