Deep learning-based sound event localization and classification is an emerging research area within wireless acoustic sensor networks. However, current methods for sound event localization and classification typically rely on a single microphone array, making them susceptible to signal attenuation and environmental noise, which limits their monitoring range. Moreover, methods using multiple microphone arrays often focus solely on source localization, neglecting the aspect of sound event classification. In this paper, we propose a deep learning-based method that employs multiple features and attention mechanisms to estimate the location and class of sound source. We introduce a Soundmap feature to capture spatial information across multiple frequency bands. We also use the Gammatone filter to generate acoustic features more suitable for outdoor environments. Furthermore, we integrate attention mechanisms to learn channel-wise relationships and temporal dependencies within the acoustic features. To evaluate our proposed method, we conduct experiments using simulated datasets with different levels of noise and size of monitoring areas, as well as different arrays and source positions. The experimental results demonstrate the superiority of our proposed method over state-of-the-art methods in both sound event classification and sound source localization tasks. And we provide further analysis to explain the reasons for the observed errors.


翻译:基于深度学习的声音事件定位与分类是无线声学传感器网络中的一个新兴研究领域。然而,当前的声音事件定位与分类方法通常依赖于单个麦克风阵列,这使得它们容易受到信号衰减和环境噪声的影响,从而限制了其监测范围。此外,使用多个麦克风阵列的方法往往仅关注声源定位,而忽略了声音事件分类的方面。本文提出了一种基于深度学习的方法,该方法利用多种特征和注意力机制来估计声源的位置和类别。我们引入了Soundmap特征来捕捉多个频带的空间信息。我们还使用Gammatone滤波器来生成更适合户外环境的声学特征。此外,我们集成了注意力机制来学习声学特征中的通道间关系和时间依赖性。为了评估我们提出的方法,我们使用具有不同噪声水平和监测区域大小的模拟数据集,以及不同的阵列和声源位置进行了实验。实验结果表明,在声音事件分类和声源定位任务中,我们提出的方法均优于现有最先进的方法。并且我们提供了进一步的分析来解释所观察到的误差原因。

0
下载
关闭预览

相关内容

人工智能与战场态势感知:声音检测
专知会员服务
26+阅读 · 2025年4月3日
《基于传感器的机器学习车辆分类》最新170页
专知会员服务
25+阅读 · 2025年3月17日
多语言语音识别声学模型建模方法最新进展
专知会员服务
36+阅读 · 2022年2月7日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
使用RNN-Transducer进行语音识别建模【附PPT与视频资料】
人工智能前沿讲习班
74+阅读 · 2019年1月29日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
人工智能与战场态势感知:声音检测
专知会员服务
26+阅读 · 2025年4月3日
《基于传感器的机器学习车辆分类》最新170页
专知会员服务
25+阅读 · 2025年3月17日
多语言语音识别声学模型建模方法最新进展
专知会员服务
36+阅读 · 2022年2月7日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员