Audio processing methods based on deep neural networks are typically trained at a single sampling frequency (SF). To handle untrained SFs, signal resampling is commonly employed, but it can degrade performance, particularly when the input SF is lower than the trained SF. This paper investigates the causes of this degradation through two hypotheses: (i) the lack of high-frequency components introduced by up-sampling, and (ii) the greater importance of their presence than their precise representation. To examine these hypotheses, we compare conventional resampling with three alternatives: post-resampling noise addition, which adds Gaussian noise to the resampled signal; noisy-kernel resampling, which perturbs the kernel with Gaussian noise to enrich high-frequency components; and trainable-kernel resampling, which adapts the interpolation kernel through training. Experiments on music source separation show that noisy-kernel and trainable-kernel resampling alleviate the degradation observed with conventional resampling. We further demonstrate that noisy-kernel resampling is effective across diverse models, highlighting it as a simple yet practical option.


翻译:基于深度神经网络的音频处理方法通常在单一采样频率(SF)下进行训练。为处理未经训练的采样频率,通常采用信号重采样技术,但这种做法可能导致性能下降,特别是在输入采样频率低于训练采样频率的情况下。本文通过两个假设探讨了这种性能退化的成因:(i)上采样引入的高频分量缺失;(ii)高频分量的存在性比其精确表示更为重要。为检验这些假设,我们将传统重采样方法与三种替代方案进行比较:后重采样噪声添加(向重采样信号添加高斯噪声)、噪声核重采样(通过高斯噪声扰动插值核以丰富高频分量)以及可训练核重采样(通过训练自适应调整插值核)。在音乐源分离任务上的实验表明,噪声核重采样和可训练核重采样能缓解传统重采样观察到的性能退化。我们进一步证明,噪声核重采样在不同模型中均具有有效性,突显其作为一种简单而实用的解决方案的潜力。

0
下载
关闭预览

相关内容

视频质量评价研究综述
专知会员服务
27+阅读 · 2023年10月10日
最新《低资源自然语言处理》综述论文,21页pdf
专知会员服务
61+阅读 · 2020年10月27日
【阿里巴巴-CVPR2020】频域学习,Learning in the Frequency Domain
图像/视频去噪算法资源集锦
专知
19+阅读 · 2019年12月14日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
基于视频的目标检测的发展【附PPT与视频资料】
人工智能前沿讲习班
19+阅读 · 2018年12月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 1月26日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员