Modern vision backbones for 3D medical imaging typically process dense voxel grids through parameter-heavy encoder-decoder structures, a design that allocates a significant portion of its parameters to spatial reconstruction rather than feature learning. Our approach introduces SVGFormer, a decoder-free pipeline built upon a content-aware grouping stage that partitions the volume into a semantic graph of supervoxels. Its hierarchical encoder learns rich node representations by combining a patch-level Transformer with a supervoxel-level Graph Attention Network, jointly modeling fine-grained intra-region features and broader inter-regional dependencies. This design concentrates all learnable capacity on feature encoding and provides inherent, dual-scale explainability from the patch to the region level. To validate the framework's flexibility, we trained two specialized models on the BraTS dataset: one for node-level classification and one for tumor proportion regression. Both models achieved strong performance, with the classification model achieving a F1-score of 0.875 and the regression model a MAE of 0.028, confirming the encoder's ability to learn discriminative and localized features. Our results establish that a graph-based, encoder-only paradigm offers an accurate and inherently interpretable alternative for 3D medical image representation.


翻译:现代三维医学影像视觉主干网络通常通过参数密集的编码器-解码器结构处理稠密体素网格,这种设计将大部分参数分配给了空间重建而非特征学习。我们提出的方法引入了SVGFormer——一种基于内容感知分组阶段构建的无解码器流程,该阶段将三维体分割为超体素的语义图。其分层编码器通过将块级Transformer与超体素级图注意力网络相结合,学习丰富的节点表示,共同建模细粒度的区域内特征和更广泛的区域间依赖关系。这种设计将所有可学习能力集中于特征编码,并提供从块级到区域级固有的双尺度可解释性。为验证框架的灵活性,我们在BraTS数据集上训练了两个专用模型:一个用于节点级分类,另一个用于肿瘤比例回归。两个模型均取得优异性能,分类模型F1分数达到0.875,回归模型平均绝对误差为0.028,证实了编码器学习判别性局部特征的能力。我们的研究结果表明,基于图的纯编码器范式为三维医学图像表征提供了一种精确且本质可解释的替代方案。

0
下载
关闭预览

相关内容

PyTorch & PyTorch Geometric图神经网络(GNN)实战
专知
81+阅读 · 2019年6月1日
神经网络可解释性最新进展
专知
18+阅读 · 2018年3月10日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员