Early and accessible detection of Alzheimer's disease (AD) remains a critical clinical challenge, and cube-copying tasks offer a simple yet informative assessment of visuospatial function. This work proposes a multimodal framework that converts hand-drawn cube sketches into graph-structured representations capturing geometric and topological properties, and integrates these features with demographic information and neuropsychological test (NPT) scores for AD classification. Cube drawings are modeled as graphs with node features encoding spatial coordinates, local graphlet-based topology, and angular geometry, which are processed using graph neural networks and fused with age, education, and NPT features in a late-fusion model. Experimental results show that graph-based representations provide a strong unimodal baseline and substantially outperform pixel-based convolutional models, while multimodal integration further improves balanced classification performance and discriminative ability. SHAP-based interpretability analysis identifies specific graphlet motifs associated with corner integrity and edge continuity as key predictors, closely aligning with clinical observations of distorted cube drawings in AD. Together, these findings establish graph-based analysis of cube-copying behavior as an interpretable, non-invasive, and scalable framework for Alzheimer's disease screening.


翻译:阿尔茨海默病(AD)的早期、便捷检测仍是一项关键的临床挑战,而立方体复制任务提供了一种简单且信息丰富的视空间功能评估方法。本研究提出一个多模态框架,将手绘立方体草图转化为捕捉几何和拓扑特性的图结构表示,并将这些特征与人口统计学信息及神经心理学测试(NPT)评分相结合,用于AD分类。立方体图形被建模为图,节点特征编码空间坐标、基于局部图元的拓扑结构以及角度几何,并通过图神经网络进行处理,在后期融合模型中与年龄、教育程度及NPT特征融合。实验结果表明,基于图的表示提供了强大的单模态基线,且性能显著优于基于像素的卷积模型,而多模态融合进一步提升了平衡分类性能与判别能力。基于SHAP的可解释性分析识别出与角点完整性和边缘连续性相关的特定图元模体作为关键预测因子,这与临床观察中AD患者立方体图形扭曲的现象高度一致。综上,这些发现确立了基于图的立方体复制行为分析作为一种可解释、非侵入性且可扩展的阿尔茨海默病筛查框架。

0
下载
关闭预览

相关内容

多模态幻觉的评估与检测综述
专知会员服务
18+阅读 · 2025年7月28日
多模态深度学习
专知会员服务
136+阅读 · 2023年1月15日
Nature Medicine | 多模态的生物医学AI
专知会员服务
31+阅读 · 2022年9月25日
多模态认知计算
专知会员服务
182+阅读 · 2022年9月16日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员