Early diagnosis of attention-deficit/hyperactivity disorder (ADHD) in children plays a crucial role in improving outcomes in education and mental health. Diagnosing ADHD using neuroimaging data, however, remains challenging due to heterogeneous presentations and overlapping symptoms with other conditions. To address this, we propose a novel parameter-efficient transfer learning approach that adapts a large-scale 3D convolutional foundation model, pre-trained on CT images, to an MRI-based ADHD classification task. Our method introduces Low-Rank Adaptation (LoRA) in 3D by factorizing 3D convolutional kernels into 2D low-rank updates, dramatically reducing trainable parameters while achieving superior performance. In a five-fold cross-validated evaluation on a public diffusion MRI database, our 3D LoRA fine-tuning strategy achieved state-of-the-art results, with one model variant reaching 71.9% accuracy and another attaining an AUC of 0.716. Both variants use only 1.64 million trainable parameters (over 113x fewer than a fully fine-tuned foundation model). Our results represent one of the first successful cross-modal (CT-to-MRI) adaptations of a foundation model in neuroimaging, establishing a new benchmark for ADHD classification while greatly improving efficiency.


翻译:儿童注意缺陷多动障碍(ADHD)的早期诊断对于改善其教育和心理健康预后至关重要。然而,利用神经影像数据诊断ADHD仍面临挑战,主要源于其异质性表现以及与其他病症症状的重叠。为此,我们提出了一种新颖的参数高效迁移学习方法,该方法将基于CT图像预训练的大规模三维卷积基础模型,适配至基于MRI的ADHD分类任务。我们的方法通过将三维卷积核分解为二维低秩更新,首次在三维卷积中引入了低秩适应(LoRA),从而在实现卓越性能的同时,大幅减少了可训练参数量。在一个公开扩散MRI数据库的五折交叉验证评估中,我们的三维LoRA微调策略取得了最先进的成果:其中一个模型变体达到了71.9%的准确率,另一个变体则获得了0.716的AUC值。两个变体均仅使用了164万个可训练参数(比完全微调的基础模型减少了超过113倍)。我们的研究结果代表了神经影像领域中基础模型首次成功的跨模态(CT到MRI)适应案例,在为ADHD分类建立新基准的同时,极大地提升了效率。

0
下载
关闭预览

相关内容

在数学(特别是功能分析)中,卷积是对两个函数(f和g)的数学运算,产生三个函数,表示第一个函数的形状如何被另一个函数修改。 卷积一词既指结果函数,又指计算结果的过程。 它定义为两个函数的乘积在一个函数反转和移位后的积分。 并针对所有shift值评估积分,从而生成卷积函数。
大模型训练与适配中的低秩结构研究综述
专知会员服务
19+阅读 · 2025年3月27日
LoRA进展有哪些?最新《基础模型的低秩适应》综述
专知会员服务
37+阅读 · 2025年1月3日
大规模多模态模型数据集、应用类别与分类学综述
专知会员服务
58+阅读 · 2024年12月25日
多模态数据的行为识别综述
专知会员服务
88+阅读 · 2022年11月30日
图像分类的深度卷积神经网络模型综述
专知会员服务
57+阅读 · 2021年10月29日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
Top
微信扫码咨询专知VIP会员