With the growing interest in foundation models for brain signals, graph-based pretraining has emerged as a promising paradigm for learning transferable representations from connectome data. However, existing contrastive and masked autoencoder methods typically rely on naive random dropping or masking for augmentation, which is ill-suited for brain graphs and hypergraphs as it disrupts semantically meaningful connectivity patterns. Moreover, commonly used graph-level readout and reconstruction schemes fail to capture global structural information, limiting the robustness of learned representations. In this work, we propose a unified diffusion-based pretraining framework that addresses both limitations. First, diffusion is designed to guide structure-aware dropping and masking strategies, preserving brain graph semantics while maintaining effective pretraining diversity. Second, diffusion enables topology-aware graph-level readout and node-level global reconstruction by allowing graph embeddings and masked nodes to aggregate information from globally related regions. Extensive experiments across multiple neuroimaging datasets with over 25,000 subjects and 60,000 scans involving various mental disorders and brain atlases demonstrate consistent performance improvements.


翻译:随着脑信号基础模型研究日益深入,基于图的预训练已成为从连接组数据中学习可迁移表征的重要范式。然而,现有的对比学习和掩码自编码器方法通常依赖简单的随机丢弃或掩码进行数据增强,这种策略会破坏具有语义意义的连接模式,并不适用于脑图及超图结构。此外,常用的图级读出与重建方案难以捕获全局结构信息,限制了所学表征的鲁棒性。本研究提出一个统一的基于扩散的预训练框架以解决上述双重局限。首先,扩散过程被设计用于引导结构感知的丢弃与掩码策略,在保持脑图语义的同时维持有效的预训练多样性。其次,扩散机制通过使图嵌入与掩码节点能够聚合来自全局相关区域的信息,实现了拓扑感知的图级读出与节点级全局重建。我们在涵盖超过25,000名被试和60,000次扫描的多个神经影像数据集上进行了广泛实验,涉及多种精神障碍与脑图谱,结果均显示出持续的性能提升。

0
下载
关闭预览

相关内容

在搭建网络模型时,需要随机初始化参数,然后开始训练网络,不断调整直到网络的损失越来越小。在训练的过程中,一开始初始化的参数会不断变化。当参数训练到比较好的时候就可以将训练模型的参数保存下来,以便训练好的模型可以在下次执行类似任务时获得较好的结果。
用于三维医学影像理解的综合语言–图像预训练
专知会员服务
7+阅读 · 2025年11月5日
自监督预训练图基础模型综述:基于知识的视角
专知会员服务
42+阅读 · 2024年3月28日
AAAI2021 | 学习预训练图神经网络
专知会员服务
116+阅读 · 2021年1月28日
专知会员服务
137+阅读 · 2020年8月24日
「知识增强预训练语言模型」最新研究综述
专知
18+阅读 · 2022年11月18日
【KDD2020】图神经网络生成式预训练
专知
23+阅读 · 2020年7月3日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员