We propose a neuro-symbolic architecture that learns four interpretable physiological concepts, oculomotor dynamics, gaze stability, prefrontal hemodynamics, and multimodal, from eye-tracking and neural hemodynamics, functional near-infrared spectroscopy, (fNIRS) windows using attention-based encoders, and combines them with differentiable approximate reasoning rules using learned weights and soft thresholds, to address both rigid hand-crafted rules and the lack of subject-level alignment diagnostics. We apply this system to fatigue classification from multimodal physiological signals, a domain that requires models that are accurate and interpretable, with internal reasoning that can be inspected for safety-critical use. In leave-one-subject-out evaluation on 18 participants (560 samples), the method achieves 72.1% +/- 12.3% accuracy, comparable to tuned baselines while exposing concept activations and rule firing strengths. Ablations indicate gains from participant-specific calibration (+5.2 pp), a modest drop without the fNIRS concept (-1.2 pp), and slightly better performance with Lukasiewicz operators than product (+0.9 pp). We also introduce concept fidelity, an offline per-subject audit metric from held-out labels, which correlates strongly with per-subject accuracy (r=0.843, p < 0.0001).


翻译:我们提出了一种神经符号架构,该架构从眼动追踪和神经血液动力学(功能性近红外光谱,fNIRS)数据中,利用基于注意力的编码器学习四个可解释的生理概念——眼动动力学、注视稳定性、前额血液动力学以及多模态特征,并通过可微分近似推理规则(使用学习到的权重和软阈值)将这些概念组合起来,以应对刚性手工规则和缺乏受试者级对齐诊断的问题。我们将该系统应用于基于多模态生理信号的疲劳分类,这一领域要求模型兼具准确性和可解释性,且内部推理过程可被审查以适用于安全关键场景。在18名受试者(共560个样本)的留一法评估中,该方法达到72.1%±12.3%的准确率,与调优后的基线模型性能相当,同时能够揭示概念激活和规则触发强度。消融实验表明,采用受试者特定校准可带来性能提升(+5.2个百分点),去除fNIRS概念会导致微弱下降(-1.2个百分点),而使用Lukasiewicz算子相比乘积算子性能略优(+0.9个百分点)。我们还引入了概念保真度——一种基于保留标签的离线受试者级审计指标,该指标与受试者级准确率高度相关(r=0.843,p<0.0001)。

0
下载
关闭预览

相关内容

神经符号人工智能军事应用
专知会员服务
37+阅读 · 2024年8月23日
《面向军事应用的神经符号人工智能》
专知会员服务
35+阅读 · 2024年8月22日
【MIT博士论文】使用神经符号学习的鲁棒可靠智能系统
专知会员服务
41+阅读 · 2022年7月5日
专知会员服务
15+阅读 · 2021年10月16日
【NeurIPS 2020】视觉注意力神经编码
专知会员服务
42+阅读 · 2020年10月4日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
《基于强化学习的自动化红队测试》
专知会员服务
1+阅读 · 今天13:21
伊朗不对称防空战略的演进
专知会员服务
2+阅读 · 今天11:10
对抗环境下超视距目标打击的情报支援
专知会员服务
10+阅读 · 7月22日
《无人机对海面作战影响评估》
专知会员服务
15+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
7+阅读 · 7月20日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员