Recent advances in singing voice synthesis (SVS) have attracted substantial attention from both academia and industry. With the advent of large language models and novel generative paradigms, producing controllable, high-fidelity singing voices has become an attainable goal. Yet the field still lacks a comprehensive survey that systematically analyzes deep-learning-based singing voice synthesis systems and their enabling technologies. To address the aforementioned issue, this survey first categorizes existing systems by task type and then organizes current architectures into two major paradigms: cascaded and end-to-end approaches. Moreover, we provide an in-depth analysis of core technologies, covering singing modeling and control techniques. Finally, we review relevant datasets, annotation tools, and evaluation benchmarks that support training and assessment. In appendix, we introduce training strategies and further discussion of SVS. This survey provides an up-to-date review of the literature on SVS models, which would be a useful reference for both researchers and engineers. Related materials are available at https://github.com/David-Pigeon/SyntheticSingers.


翻译:近年来,歌声合成领域的最新进展已引起学术界与工业界的广泛关注。随着大语言模型及新型生成范式的出现,生成可控且高保真的歌声已成为可实现的目标。然而,该领域仍缺乏对基于深度学习的歌声合成系统及其支撑技术进行系统性分析的全面综述。针对上述问题,本综述首先依据任务类型对现有系统进行分类,进而将当前架构归纳为两大主要范式:级联式方法与端到端方法。此外,我们对核心技术进行了深入分析,涵盖歌声建模与控制技术。最后,我们回顾了支持训练与评估的相关数据集、标注工具及评测基准。附录部分介绍了训练策略并进一步探讨了歌声合成的相关问题。本综述提供了对歌声合成模型文献的最新梳理,可为研究人员与工程师提供有价值的参考。相关材料可在 https://github.com/David-Pigeon/SyntheticSingers 获取。

0
下载
关闭预览

相关内容

基于深度学习的程序合成研究进展
专知会员服务
17+阅读 · 2024年11月14日
基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
多语言语音识别声学模型建模方法最新进展
专知会员服务
36+阅读 · 2022年2月7日
专知会员服务
31+阅读 · 2021年8月16日
基于深度学习的手语识别综述
专知会员服务
47+阅读 · 2020年5月18日
基于深度学习的数据融合方法研究综述
专知
37+阅读 · 2020年12月10日
语音识别的前沿论文,看我们推荐的这4篇
人工智能前沿讲习班
26+阅读 · 2019年1月14日
深度学习学习合集
计算机视觉战队
12+阅读 · 2017年12月12日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员