This paper addresses the challenge of audio-visual single-microphone speech separation and enhancement in the presence of real-world environmental noise. Our approach is based on generative inverse sampling, where we model clean speech and ambient noise with dedicated diffusion priors and jointly leverage them to recover all underlying sources. To achieve this, reformulate a recent inverse sampler to match our setting. We evaluate on mixtures of 1, 2, and 3 speakers with noise and show that, despite being entirely unsupervised, our method consistently outperforms leading supervised baselines in WER across all conditions. We further extend our framework to handle off-screen speaker separation. Moreover, the high fidelity of the separated noise component makes it suitable for downstream detection of the acoustic scene. Code and pretrained models will become available upon acceptance. Demo page: https://ssnaps2026.github.io/ssnaps2026/


翻译:本文针对真实环境噪声下音视频单麦克风语音分离与增强的挑战性问题,提出了一种基于生成逆采样的方法。该方法对纯净语音和环境噪声分别采用专用扩散先验进行建模,并联合利用这些先验恢复所有潜在声源。为此,我们重新构建了适用于本场景的逆采样器。在含噪条件下对1、2和3名说话人的混合语音进行了评估,结果表明:尽管完全无监督,我们的方法在所有条件下的词错误率均持续优于主流监督基线方法。进一步地,我们将框架扩展至处理画外说话人分离场景。此外,分离出的噪声分量具有高保真度,适用于下游声学场景检测任务。代码与预训练模型将在论文接收后公开。演示页面:https://ssnaps2026.github.io/ssnaps2026/

0
下载
关闭预览

相关内容

从图像去噪到成像逆问题的正则化:综述
专知会员服务
14+阅读 · 2025年9月4日
【NeurIPS 2024】用于变分似然估计和图像去噪的扩散先验
专知会员服务
15+阅读 · 2024年10月26日
《扩散模型图像编辑》综述
专知会员服务
28+阅读 · 2024年2月28日
专知会员服务
43+阅读 · 2021年8月30日
专知会员服务
39+阅读 · 2021年3月29日
图像/视频去噪算法资源集锦
专知
19+阅读 · 2019年12月14日
使用 FastAI 和即时频率变换进行音频分类
AI研习社
11+阅读 · 2019年5月9日
近期声学领域前沿论文(No. 3)
深度学习每日摘要
24+阅读 · 2019年3月31日
使用RNN-Transducer进行语音识别建模【附PPT与视频资料】
人工智能前沿讲习班
74+阅读 · 2019年1月29日
CVPR 2018 论文解读 | 基于GAN和CNN的图像盲去噪
PaperWeekly
13+阅读 · 2019年1月22日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月6日
VIP会员
最新内容
《边缘计算关键技术分析及美军作战实践应用》
专知会员服务
0+阅读 · 今天14:08
边缘计算的军事应用
专知会员服务
1+阅读 · 今天13:50
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
4+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
10+阅读 · 8月7日
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员