Early diagnosis of attention-deficit/hyperactivity disorder (ADHD) in children plays a crucial role in improving outcomes in education and mental health. Diagnosing ADHD using neuroimaging data, however, remains challenging due to heterogeneous presentations and overlapping symptoms with other conditions. To address this, we propose a novel parameter-efficient transfer learning approach that adapts a large-scale 3D convolutional foundation model, pre-trained on CT images, to an MRI-based ADHD classification task. Our method introduces Low-Rank Adaptation (LoRA) in 3D by factorizing 3D convolutional kernels into 2D low-rank updates, dramatically reducing trainable parameters while achieving superior performance. In a five-fold cross-validated evaluation on a public diffusion MRI database, our 3D LoRA fine-tuning strategy achieved state-of-the-art results, with one model variant reaching 71.9% accuracy and another attaining an AUC of 0.716. Both variants use only 1.64 million trainable parameters (over 113x fewer than a fully fine-tuned foundation model). Our results represent one of the first successful cross-modal (CT-to-MRI) adaptations of a foundation model in neuroimaging, establishing a new benchmark for ADHD classification while greatly improving efficiency.


翻译:儿童注意缺陷多动障碍(ADHD)的早期诊断对于改善其教育和心理健康预后至关重要。然而,利用神经影像数据诊断ADHD仍面临挑战,主要源于其异质性表现以及与其他病症症状的重叠。为此,我们提出了一种新颖的参数高效迁移学习方法,该方法将基于CT图像预训练的大规模三维卷积基础模型,适配至基于MRI的ADHD分类任务。我们的方法通过将三维卷积核分解为二维低秩更新,首次在三维卷积中引入了低秩适应(LoRA),从而在实现卓越性能的同时,大幅减少了可训练参数量。在一个公开扩散MRI数据库的五折交叉验证评估中,我们的三维LoRA微调策略取得了最先进的成果:其中一个模型变体达到了71.9%的准确率,另一个变体则获得了0.716的AUC值。两个变体均仅使用了164万个可训练参数(比完全微调的基础模型减少了超过113倍)。我们的研究结果代表了神经影像领域中基础模型首次成功的跨模态(CT到MRI)适应案例,在为ADHD分类建立新基准的同时,极大地提升了效率。

0
下载
关闭预览

相关内容

在数学(特别是功能分析)中,卷积是对两个函数(f和g)的数学运算,产生三个函数,表示第一个函数的形状如何被另一个函数修改。 卷积一词既指结果函数,又指计算结果的过程。 它定义为两个函数的乘积在一个函数反转和移位后的积分。 并针对所有shift值评估积分,从而生成卷积函数。
大模型训练与适配中的低秩结构研究综述
专知会员服务
19+阅读 · 2025年3月27日
LoRA进展有哪些?最新《基础模型的低秩适应》综述
专知会员服务
37+阅读 · 2025年1月3日
大规模多模态模型数据集、应用类别与分类学综述
专知会员服务
58+阅读 · 2024年12月25日
多模态数据的行为识别综述
专知会员服务
88+阅读 · 2022年11月30日
图像分类的深度卷积神经网络模型综述
专知会员服务
57+阅读 · 2021年10月29日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
4+阅读 · 今天6:56
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
9+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
伊朗战争停火期间美军关键弹药状况分析
专知会员服务
8+阅读 · 4月22日
电子战革命:塑造战场的十年突破(2015–2025)
相关基金
Top
微信扫码咨询专知VIP会员