Speech separation has been shown effective for multi-talker speech recognition. Under the ad hoc microphone array setup where the array consists of spatially distributed asynchronous microphones, additional challenges must be overcome as the geometry and number of microphones are unknown beforehand. Prior studies show, with a spatial-temporalinterleaving structure, neural networks can efficiently utilize the multi-channel signals of the ad hoc array. In this paper, we further extend this approach to continuous speech separation. Several techniques are introduced to enable speech separation for real continuous recordings. First, we apply a transformer-based network for spatio-temporal modeling of the ad hoc array signals. In addition, two methods are proposed to mitigate a speech duplication problem during single talker segments, which seems more severe in the ad hoc array scenarios. One method is device distortion simulation for reducing the acoustic mismatch between simulated training data and real recordings. The other is speaker counting to detect the single speaker segments and merge the output signal channels. Experimental results for AdHoc-LibiCSS, a new dataset consisting of continuous recordings of concatenated LibriSpeech utterances obtained by multiple different devices, show the proposed separation method can significantly improve the ASR accuracy for overlapped speech with little performance degradation for single talker segments.


翻译:语音分离已被显示对多讲者语音识别有效。 在临时麦克风阵列设置下, 阵列由空间分布的无同步麦克风组成, 还必须克服额外的挑战, 因为对麦克风的几何和数量事先不为人知。 先前的研究显示, 有空间时空交错结构, 神经网络可以有效地利用临时阵列的多声道信号。 在本文中, 我们进一步将这一方法扩大到持续语音分离。 引入了几种技术, 以便能够将语音分离用于真实连续录音。 首先, 我们应用了一个基于变压器的网络, 用于对临时阵列信号进行空间分布- 时空建模。 此外, 提议了两种方法, 以缓解单一谈话器段的语音重复问题, 而在临时阵列场景中, 这一问题似乎更为严重。 一种方法是安装扭曲模拟器, 以减少模拟训练数据和真实录音之间的声波错乱。 另一种方法是让发言者计数来检测单声道段, 并合并输出信号频道。 Adoc- LibiCSSS, 的实验结果是新的数据设置,, 包括连续连续记录对等式阵列式阵列式阵列的音频重复, 。

0
下载
关闭预览

相关内容

让 iOS 8 和 OS X Yosemite 无缝切换的一个新特性。 > Apple products have always been designed to work together beautifully. But now they may really surprise you. With iOS 8 and OS X Yosemite, you’ll be able to do more wonderful things than ever before.

Source: Apple - iOS 8
专知会员服务
33+阅读 · 2021年4月6日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
计算机视觉最佳实践、代码示例和相关文档
专知会员服务
20+阅读 · 2019年10月9日
已删除
将门创投
3+阅读 · 2018年8月21日
Arxiv
0+阅读 · 2021年4月21日
Advances in Online Audio-Visual Meeting Transcription
Arxiv
4+阅读 · 2019年12月10日
Arxiv
8+阅读 · 2018年11月27日
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
4+阅读 · 今天6:56
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
9+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
10+阅读 · 4月22日
伊朗战争停火期间美军关键弹药状况分析
专知会员服务
8+阅读 · 4月22日
电子战革命:塑造战场的十年突破(2015–2025)
相关资讯
已删除
将门创投
3+阅读 · 2018年8月21日
Top
微信扫码咨询专知VIP会员