Anomalous sound detection (ASD) benchmarks typically assume that the identity of the monitored machine is known at test time and that recordings are evaluated in a machine-wise manner. However, in realistic monitoring scenarios with multiple known machines operating concurrently, test recordings may not be reliably attributable to a specific machine, and requiring machine identity imposes deployment constraints such as dedicated sensors per machine. To reveal performance degradations and method-specific differences in robustness that are hidden under standard machine-wise evaluation, we consider a minimal modification of the ASD evaluation protocol in which test recordings from multiple machines are merged and evaluated jointly without access to machine identity at inference time. Training data and evaluation metrics remain unchanged, and machine identity labels are used only for post hoc evaluation. Experiments with representative ASD methods show that relaxing this assumption reveals performance degradations and method-specific differences in robustness that are hidden under standard machine-wise evaluation, and that these degradations are strongly related to implicit machine identification accuracy.


翻译:异常声音检测(ASD)基准测试通常假设测试时已知被监测机器的身份,并且录音以机器为单位进行评估。然而,在多个已知机器同时运行的真实监测场景中,测试录音可能无法可靠地归因于特定机器,而要求机器身份会带来部署限制,例如每台机器需配备专用传感器。为了揭示标准逐机器评估中隐藏的性能下降和方法特定的鲁棒性差异,我们考虑对ASD评估协议进行最小化修改:将来自多台机器的测试录音合并,并在推理时无法获取机器身份的情况下进行联合评估。训练数据和评估指标保持不变,机器身份标签仅用于事后评估。使用代表性ASD方法的实验表明,放松这一假设会揭示标准逐机器评估中隐藏的性能下降和方法特定的鲁棒性差异,并且这些下降与隐式机器身份识别的准确性密切相关。

0
下载
关闭预览

相关内容

基于深度学习的视频异常检测:综述
专知会员服务
27+阅读 · 2024年9月10日
《利用视觉问题解答进行异常检测》美陆军实验室报告
专知会员服务
24+阅读 · 2024年5月21日
专知会员服务
17+阅读 · 2021年9月8日
异常检测(Anomaly Detection)综述
极市平台
20+阅读 · 2020年10月24日
异常检测论文大列表:方法、应用、综述
专知
126+阅读 · 2019年7月15日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
基于机器学习的KPI自动化异常检测系统
运维帮
13+阅读 · 2017年8月16日
侦测欺诈交易(异常点检测)
GBASE数据工程部数据团队
20+阅读 · 2017年5月10日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月21日
Arxiv
0+阅读 · 5月5日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关VIP内容
基于深度学习的视频异常检测:综述
专知会员服务
27+阅读 · 2024年9月10日
《利用视觉问题解答进行异常检测》美陆军实验室报告
专知会员服务
24+阅读 · 2024年5月21日
专知会员服务
17+阅读 · 2021年9月8日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员