We address the problem of time-frequency audio inpainting, where the goal is to fill missing spectrogram portions with reliable information. Despite recent advances, existing approaches still face limitations in both reconstruction quality and computational efficiency. To bridge this gap, we propose a method that utilizes a phase-aware signal prior which exploits estimates of the instantaneous frequency. An optimization problem is formulated and solved using the generalized Chambolle-Pock algorithm. The proposed method is evaluated against other time-frequency inpainting methods, specifically a deep-prior audio inpainting neural network and the autoregression-based approach known as Janssen-TF. Our proposed approach surpassed these methods by a large margin in the objective evaluation as well as in the conducted subjective listening test, improving the state of the art. In addition, the reconstructions are obtained with a substantially reduced computational cost compared to alternative methods.


翻译:本文研究时频域音频修复问题,其目标在于利用可靠信息填补缺失的频谱图区域。尽管近期研究已取得进展,现有方法在重建质量与计算效率方面仍存在局限。为弥补这一不足,我们提出一种利用相位感知信号先验的方法,该先验通过瞬时频率估计实现信号建模。我们构建了相应的优化问题,并采用广义Chambolle-Pock算法进行求解。通过与现有时频修复方法(特别是深度先验音频修复神经网络及基于自回归的Janssen-TF方法)进行对比实验,本方法在客观评价指标与主观听觉测试中均显著优于现有技术,实现了性能突破。此外,相较于其他方法,本方法能以显著降低的计算成本获得重建结果。

0
下载
关闭预览

相关内容

【NeurIPS 2024】用于变分似然估计和图像去噪的扩散先验
专知会员服务
15+阅读 · 2024年10月26日
时序知识图谱补全方法研究综述
专知会员服务
40+阅读 · 2024年3月22日
【NeurIPS2023】多样化的时空感知用于视频域泛化
专知会员服务
21+阅读 · 2023年10月30日
【ETHZ博士论文】朝向更好的图像和视频恢复,159页pdf
专知会员服务
19+阅读 · 2023年10月16日
生成先验的信号恢复
专知会员服务
22+阅读 · 2023年1月5日
专知会员服务
64+阅读 · 2021年3月9日
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
ETP:精确时序动作定位
极市平台
13+阅读 · 2018年5月25日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
【NeurIPS 2024】用于变分似然估计和图像去噪的扩散先验
专知会员服务
15+阅读 · 2024年10月26日
时序知识图谱补全方法研究综述
专知会员服务
40+阅读 · 2024年3月22日
【NeurIPS2023】多样化的时空感知用于视频域泛化
专知会员服务
21+阅读 · 2023年10月30日
【ETHZ博士论文】朝向更好的图像和视频恢复,159页pdf
专知会员服务
19+阅读 · 2023年10月16日
生成先验的信号恢复
专知会员服务
22+阅读 · 2023年1月5日
专知会员服务
64+阅读 · 2021年3月9日
相关资讯
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
使用CNN生成图像先验实现场景的盲图像去模糊
统计学习与视觉计算组
10+阅读 · 2018年6月14日
ETP:精确时序动作定位
极市平台
13+阅读 · 2018年5月25日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员