Stroke is a major cause of mortality and disability worldwide from which one in four people are in danger of incurring in their lifetime. The pre-hospital stroke assessment plays a vital role in identifying stroke patients accurately to accelerate further examination and treatment in hospitals. Accordingly, the National Institutes of Health Stroke Scale (NIHSS), Cincinnati Pre-hospital Stroke Scale (CPSS) and Face Arm Speed Time (F.A.S.T.) are globally known tests for stroke assessment. However, the validity of these tests is skeptical in the absence of neurologists. Therefore, in this study, we propose a motion-aware and multi-attention fusion network (MAMAF-Net) that can detect stroke from multimodal examination videos. Contrary to other studies on stroke detection from video analysis, our study for the first time proposes an end-to-end solution from multiple video recordings of each subject with a dataset encapsulating stroke, transient ischemic attack (TIA), and healthy controls. The proposed MAMAF-Net consists of motion-aware modules to sense the mobility of patients, attention modules to fuse the multi-input video data, and 3D convolutional layers to perform diagnosis from the attention-based extracted features. Experimental results over the collected StrokeDATA dataset show that the proposed MAMAF-Net achieves a successful detection of stroke with 93.62% sensitivity and 95.33% AUC score.


翻译:中风是全球范围内导致死亡和残疾的主要原因之一,每四人中便有一人在一生中面临患病风险。院前中风评估在准确识别中风患者、加速医院后续检查与治疗中起着关键作用。为此,美国国立卫生研究院中风量表(NIHSS)、辛辛那提院前中风量表(CPSS)以及"面部手臂言语时间测试"(F.A.S.T.)是全球公认的中风评估标准。然而,在缺乏神经科医生的情况下,这些测试的有效性存疑。因此,本研究提出一种运动感知与多注意力融合网络(MAMAF-Net),其可通过多模态检查视频检测中风。与现有基于视频分析的中风检测研究不同,本研究首次提出一种端到端解决方案,基于包含中风、短暂性脑缺血发作(TIA)及健康对照者的数据集,对每位受试者的多段视频记录进行分析。所提出的MAMAF-Net包含运动感知模块以感知患者活动能力、注意力模块以融合多输入视频数据,以及3D卷积层以从基于注意力的提取特征中进行诊断。在收集的StrokeDATA数据集上的实验结果表明,该MAMAF-Net实现了中风检测的93.62%灵敏度和95.33%的AUC分数。

0
下载
关闭预览

相关内容

【MIT-AI+医学课程】面向生命科学的深度学习课程
专知会员服务
49+阅读 · 2022年4月17日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
深度学习医学图像分析文献集
机器学习研究会
19+阅读 · 2017年10月13日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
22+阅读 · 2022年3月31日
VIP会员
最新内容
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
3+阅读 · 今天8:04
《异构人类团队的协作决策过程混合建模研究》
专知会员服务
3+阅读 · 今天7:59
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
3+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
7+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
10+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
6+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
9+阅读 · 7月26日
相关VIP内容
【MIT-AI+医学课程】面向生命科学的深度学习课程
专知会员服务
49+阅读 · 2022年4月17日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员