We present our transducer model on Librispeech. We study variants to include an external language model (LM) with shallow fusion and subtract an estimated internal LM. This is justified by a Bayesian interpretation where the transducer model prior is given by the estimated internal LM. The subtraction of the internal LM gives us over 14% relative improvement over normal shallow fusion. Our transducer has a separate probability distribution for the non-blank labels which allows for easier combination with the external LM, and easier estimation of the internal LM. We additionally take care of including the end-of-sentence (EOS) probability of the external LM in the last blank probability which further improves the performance. All our code and setups are published.


翻译:我们在Librispeech上展示了我们的传感器模型。 我们研究变量, 以包括外语模型(LM), 有浅聚变, 并减去内部估计的LM。 一种巴伊西亚解释证明这一点是合理的, 估计内部LM给出了先前的传感器模型。 内部LM的减值让我们比正常的浅聚变提高了14%以上。 我们的传感器对非空白标签的概率分布是分开的, 它使得与外部LM更容易组合, 并且更容易估计内部LM。 我们另外还注意将外部LM的末端概率(EOS)纳入最后的空白概率, 从而进一步提高了性能。 我们的所有代码和设置都公布了 。

0
下载
关闭预览

相关内容

迁移学习简明教程,11页ppt
专知会员服务
109+阅读 · 2020年8月4日
【ACL2020】端到端语音翻译的课程预训练
专知会员服务
6+阅读 · 2020年7月2日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
173+阅读 · 2020年5月6日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
TiramisuASR:用TensorFlow实现的语音识别引擎
基于BERT的ASR纠错
深度学习自然语言处理
8+阅读 · 2020年7月16日
使用RNN-Transducer进行语音识别建模【附PPT与视频资料】
人工智能前沿讲习班
74+阅读 · 2019年1月29日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
已删除
将门创投
10+阅读 · 2018年5月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
一文读懂语音识别史
机械鸡
9+阅读 · 2017年10月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年8月12日
Arxiv
8+阅读 · 2018年11月27日
VIP会员
最新内容
内省扩散语言模型
专知会员服务
1+阅读 · 今天14:42
国外反无人机系统与技术动态
专知会员服务
2+阅读 · 今天12:48
大规模作战行动中的战术作战评估(研究论文)
专知会员服务
3+阅读 · 今天12:21
未来的海战无人自主系统
专知会员服务
2+阅读 · 今天12:05
美军多域作战现状分析:战略、概念还是幻想?
专知会员服务
4+阅读 · 今天11:52
无人机与反无人机系统(书籍)
专知会员服务
16+阅读 · 今天6:45
美陆军2026条令:安全与机动支援
专知会员服务
6+阅读 · 今天5:49
相关资讯
TiramisuASR:用TensorFlow实现的语音识别引擎
基于BERT的ASR纠错
深度学习自然语言处理
8+阅读 · 2020年7月16日
使用RNN-Transducer进行语音识别建模【附PPT与视频资料】
人工智能前沿讲习班
74+阅读 · 2019年1月29日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
已删除
将门创投
10+阅读 · 2018年5月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
一文读懂语音识别史
机械鸡
9+阅读 · 2017年10月16日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员