ZONOS3-Mini is an ultra-compact, ultra-fast, zero-shot voice-cloning TTS model. The model can run in real time on a laptop or smartphone. For its latency and size, it achieves state-of-the-art accuracy and cloning fidelity. To achieve this we propose a latent MoE backbone with only 886M parameters (100M active per token) and a new audio codec, Zyphra Audio Codec 1 (ZAC-1), which represents 44.1 kHz audio at a 15 Hz frame rate. On the new ZTTS2-Eval benchmark, ZONOS3-Mini reaches a 6.71% macro-average WER over 55 language sets (35 clean and 20 in the wild), which is competitive with larger and slower state-of-the-art models. We release the model weights, inference, and training code.


翻译:暂无翻译

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
OpenAI 发布推理模型o3-mini,附37页技术报告,中英文版
专知会员服务
48+阅读 · 2025年2月1日
《Llama 3大模型》技术报告中英文版,95页pdf
专知会员服务
107+阅读 · 2024年8月2日
Sora技术深度解析,21页pdf
专知会员服务
162+阅读 · 2024年2月26日
中国仿生机器人产业全景报告2023(附下载)
专知会员服务
35+阅读 · 2023年8月20日
全球Web3技术产业生态发展报告(2022年)
专知会员服务
37+阅读 · 2022年12月29日
超全汇总 | ORB-SLAM2 / ORB-SLAM3 相关改进代码!
计算机视觉life
35+阅读 · 2020年11月22日
ORB-SLAM3来了!真有生之年!
CVer
10+阅读 · 2020年7月24日
SQN算法效果及代码: Breakout-ram-v4 打砖块
CreateAMind
12+阅读 · 2019年1月21日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Github 项目推荐 | YOLOv3 的最小化 PyTorch 实现
AI研习社
25+阅读 · 2018年5月31日
YOLOv3:你一定不能错过
机器学习研究会
13+阅读 · 2018年3月26日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 11月16日
Arxiv
0+阅读 · 11月11日
Arxiv
0+阅读 · 11月9日
Arxiv
0+阅读 · 11月9日
Arxiv
0+阅读 · 11月6日
Arxiv
0+阅读 · 11月3日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
17+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
14+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
14+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
相关VIP内容
OpenAI 发布推理模型o3-mini,附37页技术报告,中英文版
专知会员服务
48+阅读 · 2025年2月1日
《Llama 3大模型》技术报告中英文版,95页pdf
专知会员服务
107+阅读 · 2024年8月2日
Sora技术深度解析,21页pdf
专知会员服务
162+阅读 · 2024年2月26日
中国仿生机器人产业全景报告2023(附下载)
专知会员服务
35+阅读 · 2023年8月20日
全球Web3技术产业生态发展报告(2022年)
专知会员服务
37+阅读 · 2022年12月29日
相关资讯
超全汇总 | ORB-SLAM2 / ORB-SLAM3 相关改进代码!
计算机视觉life
35+阅读 · 2020年11月22日
ORB-SLAM3来了!真有生之年!
CVer
10+阅读 · 2020年7月24日
SQN算法效果及代码: Breakout-ram-v4 打砖块
CreateAMind
12+阅读 · 2019年1月21日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Github 项目推荐 | YOLOv3 的最小化 PyTorch 实现
AI研习社
25+阅读 · 2018年5月31日
YOLOv3:你一定不能错过
机器学习研究会
13+阅读 · 2018年3月26日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员