This paper proposes an online end-to-end diarization that can handle overlapping speech and flexible numbers of speakers. The end-to-end neural speaker diarization (EEND) model has already achieved significant improvement when compared with conventional clustering-based methods. However, the original EEND has two limitations: i) EEND does not perform well in online scenarios; ii) the number of speakers must be fixed in advance. This paper solves both problems by applying a modified extension of the speaker-tracing buffer method that deals with variable numbers of speakers. Experiments on CALLHOME and DIHARD II datasets show that the proposed online method achieves comparable performance to the offline EEND method. Compared with the state-of-the-art online method based on a fully supervised approach (UIS-RNN), the proposed method shows better performance on the DIHARD II dataset.


翻译:本文件建议采用在线端对端二分法,处理发言重叠和发言者人数灵活的问题。与传统的集群方法相比,端对端神经发言者二分法(END)模式已经取得了显著的改进。然而,原EEND有两个限制:(1) EEND在网上设想方案方面表现不佳;(2) 发言者人数必须事先固定。本文件采用经修改的语音缓冲法扩展适用于不同人数的发言者。CALHOME和DIHARD II数据集实验显示,拟议的在线方法取得了与离线 EEND方法相似的业绩。与基于完全监督方法(UIS-RNN)的最新在线方法(UIS-RNN)相比,拟议方法显示了DIHARD II数据集的更好表现。

0
下载
关闭预览

相关内容

【ACMMM2020】小规模行人检测的自模拟学习
专知会员服务
15+阅读 · 2020年9月25日
《强化学习》简介小册,24页pdf
专知会员服务
283+阅读 · 2020年4月19日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
一文读懂语音识别史
机械鸡
9+阅读 · 2017年10月16日
BranchOut: Regularization for Online Ensemble Tracking with CNN
统计学习与视觉计算组
9+阅读 · 2017年10月7日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年3月12日
Arxiv
8+阅读 · 2018年11月27日
VIP会员
最新内容
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
4+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
6+阅读 · 7月26日
《反无人机交战场景下的战斗归零研究》
专知会员服务
7+阅读 · 7月26日
博士论文 | 用代码结构感知方法推进代码大模型
《决策模型比较研究》
专知会员服务
12+阅读 · 7月25日
《美军水下战与海床战概述及本地实施》
专知会员服务
6+阅读 · 7月25日
面向未来冲突推进陆军情报体制改革
专知会员服务
5+阅读 · 7月25日
相关VIP内容
【ACMMM2020】小规模行人检测的自模拟学习
专知会员服务
15+阅读 · 2020年9月25日
《强化学习》简介小册,24页pdf
专知会员服务
283+阅读 · 2020年4月19日
相关资讯
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
一文读懂语音识别史
机械鸡
9+阅读 · 2017年10月16日
BranchOut: Regularization for Online Ensemble Tracking with CNN
统计学习与视觉计算组
9+阅读 · 2017年10月7日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员