Remote photoplethysmography (rPPG) transformers achieve low heart-rate error on benchmarks, yet their decisions remain opaque--a growing concern as rPPG moves toward clinical heart rate estimation. Existing rPPG XAI is dominated by qualitative heatmap inspection without quantitative faithfulness metrics or physiology-grounded validation, leaving a gap between visual plausibility and auditable evidence. We address this gap. First, we adapt four attribution methods (raw attention, rollout, flow, Beyond Intuition) to RhythmFormer's bi-level routing attention with top-$k$ selection. Second, we introduce a skin coverage metric quantifying how much attribution mass falls on skin regions. Third, we adapt the SaCo faithfulness coefficient from its original classification setting to rPPG regression by using the MAE between original and perturbed predicted rPPG waveforms as the perturbation impact. Applying these tools, we quantify a multi-hop leakage effect under sparse top-$k$ routing: attention rollout and flow almost completely restores the connections that individual refined-attention layers explicitly set to zero. Beyond Intuition mitigates this via its value-projection-weighted rollout and gradient-supported mask, attaining the highest median refined skin coverage ($0.83$ vs. $0.57$ for vanilla rollout) and faithfulness ($F=0.92$) among the evaluated methods on UBFC-rPPG. Validation across diverse datasets and model variants is needed. A case study on a low-SaCo outlier further shows all four methods recovering consistently once an artefactual region is replaced, suggesting consistent SaCo behavior across attribution families in this illustrative case. Together, these metrics move XAI for rPPG toward auditable numerical evidence about spatial alignment and perturbation faithfulness, i.e. trustworthy rPPG XAI.


翻译:远程光电容积描记法(rPPG)Transformer在基准测试中实现了低心率误差,但其决策过程仍不透明——随着rPPG向临床心率估计迈进,这一问题日益受到关注。现有rPPG可解释人工智能(XAI)主要依赖定性热力图分析,缺乏定量保真度指标或基于生理学的验证,导致视觉合理性与可审计证据之间存在差距。我们致力于填补这一空白。首先,我们将四种归因方法(原始注意力、展开、传播、超越直觉)适配到RhythmFormer的带有top-$k$选择的双层路由注意力上。其次,我们引入皮肤覆盖度指标,量化归因质量在皮肤区域的分布情况。第三,我们将SaCo保真度系数从原始的分类场景调整为rPPG回归场景,通过使用原始与扰动后预测rPPG波形之间的平均绝对误差(MAE)作为扰动影响度量。应用这些工具,我们量化了稀疏top-$k$路由下的多跳泄漏效应:注意力展开和传播几乎完全恢复了各精炼注意力层显式设置为零的连接。超越直觉方法通过其值投影加权的展开和梯度支持的掩码缓解了这一问题,在UBFC-rPPG数据集上取得了评估方法中最高的中位精炼皮肤覆盖度($0.83$对比原始展开的$0.57$)和保真度($F=0.92$)。需要跨不同数据集和模型变体进行验证。对低SaCo离群点的案例研究表明,当伪影区域被替换后,所有四种方法的表现均恢复一致,这表明在此示例案例中,不同归因家族的SaCo行为具有一致性。综合来看,这些指标将rPPG的XAI推向涉及空间对齐和扰动保真度的可审计数值证据,即可信的rPPG XAI。

0
下载
关闭预览

相关内容

可解释的人工智能在生物医学图像分析中的应用综述
专知会员服务
14+阅读 · 2025年7月11日
可解释人工智能(XAI):从内在可解释性到大语言模型
专知会员服务
34+阅读 · 2025年1月20日
金融时间序列预测中的可解释人工智能(XAI)综述
专知会员服务
44+阅读 · 2024年7月25日
人工智能(XAI)可解释性的研究进展!
专知会员服务
33+阅读 · 2024年6月12日
【干货书】可解释人工智能(xAI)方法和深度元学习模型
专知会员服务
62+阅读 · 2020年9月13日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
深度学习的下一步:Transformer和注意力机制
云头条
56+阅读 · 2019年9月14日
可解释AI(XAI)工具集—DrWhy
专知
25+阅读 · 2019年6月4日
人脸识别技术全面总结:从传统方法到深度学习
算法与数学之美
12+阅读 · 2019年2月27日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员