Preserving the linguistic content of input speech is essential during voice conversion (VC). The star generative adversarial network-based VC method (StarGAN-VC) is a recently developed method that allows non-parallel many-to-many VC. Although this method is powerful, it can fail to preserve the linguistic content of input speech when the number of available training samples is extremely small. To overcome this problem, we propose the use of automatic speech recognition to assist model training, to improve StarGAN-VC, especially in low-resource scenarios. Experimental results show that using our proposed method, StarGAN-VC can retain more linguistic information than vanilla StarGAN-VC.


翻译:在语音转换期间,必须保留输入语言的语言内容。星体基因对抗网络VC方法(StarGAN-VC)是最近开发的一种方法,允许许多到许多不平行的VC。虽然这种方法很有力,但当现有培训样本数量极小时,它可能无法保留输入语言的语言内容。为了解决这一问题,我们提议使用自动语音识别来协助模式培训,改进StarGAN-VC,特别是在低资源情况下。实验结果表明,使用我们提议的方法,StarGAN-VC可以保留比香草StarGAN-VC更多的语言信息。

0
下载
关闭预览

相关内容

生成对抗网络GAN在各领域应用研究进展(中文版),37页pdf
专知会员服务
151+阅读 · 2020年12月30日
专知会员服务
41+阅读 · 2020年9月6日
最新《生成式对抗网络》简介,25页ppt
专知会员服务
176+阅读 · 2020年6月28日
生成式对抗网络GAN异常检测
专知会员服务
120+阅读 · 2019年10月13日
已删除
将门创投
11+阅读 · 2019年8月13日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年10月7日
Teacher-Student Training for Robust Tacotron-based TTS
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
5+阅读 · 4月23日
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 4月23日
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
10+阅读 · 4月23日
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 4月23日
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 4月23日
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 4月23日
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
10+阅读 · 4月22日
相关资讯
已删除
将门创投
11+阅读 · 2019年8月13日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员