Histopathology image segmentation is essential for delineating tissue structures in skin cancer diagnostics, but modeling spatial context and inter-tissue relationships remains a challenge, especially in regions with overlapping or morphologically similar tissues. Current convolutional neural network (CNN)-based approaches operate primarily on visual texture, often treating tissues as independent regions and failing to encode biological context. To this end, we introduce Neural Tissue Relation Modeling (NTRM), a novel segmentation framework that augments CNNs with a tissue-level graph neural network to model spatial and functional relationships across tissue types. NTRM constructs a graph over predicted regions, propagates contextual information via message passing, and refines segmentation through spatial projection. Unlike prior methods, NTRM explicitly encodes inter-tissue dependencies, enabling structurally coherent predictions in boundary-dense zones. On the benchmark Histopathology Non-Melanoma Skin Cancer Segmentation Dataset, NTRM outperforms state-of-the-art methods, achieving a robust Dice similarity coefficient that is 4.9\% to 31.25\% higher than the best-performing models among the evaluated approaches. Our experiments indicate that relational modeling offers a principled path toward more context-aware and interpretable histological segmentation, compared to local receptive-field architectures that lack tissue-level structural awareness. Our code is available at https://github.com/shravan-18/NTRM.


翻译:组织病理学图像分割对于皮肤癌诊断中组织结构的勾画至关重要,但空间上下文和组织间关系的建模仍然是一个挑战,尤其是在组织重叠或形态相似的区域。当前的卷积神经网络方法主要基于视觉纹理,通常将组织视为独立区域,未能编码生物学上下文。为此,我们提出了神经组织关系建模——一种新颖的分割框架,通过组织级图神经网络增强CNN,以建模跨组织类型的空间和功能关系。NTRM在预测区域上构建图,通过消息传递传播上下文信息,并通过空间投影优化分割。与先前方法不同,NTRM显式编码组织间依赖关系,从而在边界密集区域实现结构一致的预测。在基准数据集Histopathology Non-Melanoma Skin Cancer Segmentation Dataset上,NTRM优于现有最先进方法,在评估方法中,其Dice相似系数比最佳性能模型高出4.9%至31.25%。我们的实验表明,与缺乏组织级结构意识的局部感受野架构相比,关系建模为更具上下文感知和可解释性的组织学分割提供了一条原则性路径。我们的代码可在https://github.com/shravan-18/NTRM获取。

0
下载
关闭预览

相关内容

基于UNet的医学图像分割综述
专知会员服务
38+阅读 · 2023年8月8日
知识图谱构建-关系抽取和属性抽取
深度学习自然语言处理
27+阅读 · 2020年3月1日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
基于UNet的医学图像分割综述
专知会员服务
38+阅读 · 2023年8月8日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员