In this work, we address the problem of binaural target-speaker extraction in the presence of multiple simultane-ous talkers. We propose a novel approach that leverages the individual listener's Head-Related Transfer Function (HRTF) to isolate the target speaker. The proposed method is speaker-independent, as it does not rely on speaker embeddings. We employ a fully complex-valued neural network that operates directly on the complex-valued Short-Time Fourier transform (STFT) of the mixed audio signals, and compare it to a Real-Imaginary (RI)-based neural network, demonstrating the advantages of the former. We first evaluate the method in an anechoic, noise-free scenario, achieving excellent extraction performance while preserving the binaural cues of the target signal. We then extend the evaluation to reverberant conditions. Our method proves robust, maintaining speech clarity and source directionality while simultaneously reducing reverberation. A comparative analysis with existing binaural Target Speaker Extraction (TSE) methods shows that the proposed approach achieves performance comparable to state-of-the-art techniques in terms of noise reduction and perceptual quality, while providing a clear advantage in preserving binaural cues. Demo-page: https://bi-ctse-hrtf.github.io


翻译:本文研究多说话人同时存在场景下的双耳目标说话人提取问题。我们提出一种创新方法,利用听者个性化的头相关传递函数来分离目标说话人。该方法不依赖于说话人嵌入向量,因此具有说话人无关的特性。我们采用完全复数值神经网络直接处理混合音频信号的复数值短时傅里叶变换,并与基于实部-虚部表示的神经网络进行对比,证明了前者的优势。首先在无回声、无噪声场景中评估该方法,在保持目标信号双耳线索的同时获得了优异的提取性能。随后将评估扩展至混响环境。实验表明该方法具有强鲁棒性,在保持语音清晰度和声源方向性的同时有效抑制混响。与现有双耳目标说话人提取方法的对比分析显示,所提方法在降噪效果和感知质量方面达到当前先进技术水平,同时在保持双耳线索方面具有显著优势。演示页面:https://bi-ctse-hrtf.github.io

0
下载
关闭预览

相关内容

专知会员服务
16+阅读 · 2021年5月13日
搜索query意图识别的演进
DataFunTalk
13+阅读 · 2020年11月15日
【论文笔记】基于强化学习的人机对话
专知
20+阅读 · 2019年9月21日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
基于Tacotron模型的语音合成实践
深度学习每日摘要
15+阅读 · 2018年12月25日
一种关键字提取新方法
1号机器人网
21+阅读 · 2018年11月15日
原创 | Attention Modeling for Targeted Sentiment
黑龙江大学自然语言处理实验室
25+阅读 · 2017年11月5日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
《作战研究是实现战场人工智能潜力的关键》
专知会员服务
7+阅读 · 今天6:08
《军事训练与行动期间新鲜膳食营养保障》380页
专知会员服务
2+阅读 · 今天5:40
伊朗战争时间线:关键节点与袭击事件
专知会员服务
4+阅读 · 今天5:34
《面向海军应用的无人机网络安全仿真环境》
专知会员服务
11+阅读 · 4月7日
无人机与僵局:俄乌战争难以突破
专知会员服务
4+阅读 · 4月7日
相关VIP内容
专知会员服务
16+阅读 · 2021年5月13日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员