Gradient-based attribution methods can highlight input regions important for neural network predictions, but their effectiveness for temporal sound event detection in audio classification has not been systematically evaluated. This paper assesses whether integrated gradients (IG) can temporally detect sound events when applied to a classifier trained without temporal supervision. We use synthetic polyphonic audio with ground truth timestamps to measure alignment between IG attributions and event boundaries. On a 10-class domestic sound dataset, IG achieves mean Intersection over Union (IoU) of 0.39, frame-level F1 of 0.52, and Pointing Game accuracy of 82.6\%. For comparison, a framewise CNN trained with weak supervision (FW-WS, clip-level training labels) achieves 0.42 IoU, 0.55 F1, and 97.3\% PG, while a strongly supervised variant (FW-SS, frame-level training labels) reaches 0.45 IoU, 0.58 F1, and 97.9\% PG. Overall, these results suggest that post-hoc IG captures meaningful temporal activity patterns of sound events, with localization performance approaching models that explicitly produce frame-level predictions. All methods substantially outperform random and energy-based baselines.


翻译:基于梯度的归因方法能够突出对神经网络预测重要的输入区域,但其在音频分类中用于时间声音事件检测的有效性尚未得到系统评估。本文评估了在无时间监督训练的分类器上应用集成梯度(IG)是否能够时间性地检测声音事件。我们使用具有真实时间戳的合成多声道音频,测量IG归因与事件边界之间的对齐程度。在一个包含10类家庭声音的数据集上,IG实现了平均交并比(IoU)为0.39,帧级F1得分为0.52,点游戏准确率为82.6%。作为对比,使用弱监督(FW-WS,片段级训练标签)训练的帧级CNN达到了0.42的IoU、0.55的F1得分和97.3%的PG;而强监督变体(FW-SS,帧级训练标签)则达到了0.45的IoU、0.58的F1得分和97.9%的PG。总体而言,这些结果表明,事后IG捕捉到了声音事件中有意义的时间活动模式,其定位性能接近显式产生帧级预测的模型。所有方法均显著优于随机和基于能量的基线方法。

0
下载
关闭预览

相关内容

梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。
《深度学习在时间序列预测中的应用:综述》
专知会员服务
29+阅读 · 2025年3月14日
图深度学习在时间序列处理中的应用:预测、重构与分析
专知会员服务
35+阅读 · 2024年11月30日
AAAI 2024 | 图感知对比学习提升多变量时间序列分类效果
专知会员服务
31+阅读 · 2024年2月7日
基于深度学习的时间序列分类研究综述
专知会员服务
83+阅读 · 2024年1月8日
专知会员服务
63+阅读 · 2020年3月4日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
时序异常检测算法概览
论智
29+阅读 · 2018年8月30日
R语言之数据分析高级方法「时间序列」
R语言中文社区
17+阅读 · 2018年4月24日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
深度学习在文本分类中的应用
AI研习社
13+阅读 · 2018年1月7日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
2+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员