We introduce Nemotron-Cascade 2, an open 30B MoE model with 3B activated parameters that delivers best-in-class reasoning and strong agentic capabilities. Despite its compact size, its mathematical and coding reasoning performance approaches that of frontier open models. It is the second open-weight LLM, after DeepSeekV3.2-Speciale-671B-A37B, to achieve Gold Medal-level performance in the 2025 International Mathematical Olympiad (IMO), the International Olympiad in Informatics (IOI), and the ICPC World Finals, demonstrating remarkably high intelligence density with 20x fewer parameters. In contrast to Nemotron-Cascade 1, the key technical advancements are as follows. After SFT on a meticulously curated dataset, we substantially expand Cascade RL to cover a much broader spectrum of reasoning and agentic domains. Furthermore, we introduce multi-domain on-policy distillation from the strongest intermediate teacher models for each domain throughout the Cascade RL process, allowing us to efficiently recover benchmark regressions and sustain strong performance gains along the way. We release the collection of model checkpoint and training data.


翻译:我们介绍了Nemotron-Cascade 2,这是一个开放的30B MoE模型(3B激活参数),具备顶尖的推理能力和强大的智能体能力。尽管其规模紧凑,其数学与代码推理性能已逼近前沿开放模型。该模型是继DeepSeekV3.2-Speciale-671B-A37B之后第二个在2025年国际数学奥林匹克竞赛(IMO)、国际信息学奥林匹克竞赛(IOI)及ICPC世界总决赛中达到金牌级表现的开放权重大语言模型,以20倍更少的参数实现了极高智能密度。相较于Nemotron-Cascade 1,关键技术进展如下:在精心整理的数据集上完成SFT后,我们大幅扩展了级联强化学习(Cascade RL)覆盖的推理与智能体领域范围。此外,我们引入了多域在线策略蒸馏技术,在整个级联强化学习过程中从各领域的最强中间教师模型获取知识,从而有效恢复基准性能退化并在过程中持续保持强劲性能提升。我们发布了模型检查点与训练数据的完整集合。

0
下载
关闭预览

相关内容

DeepSeek 实践:大模型部署、微调与应用
专知会员服务
41+阅读 · 2025年11月17日
Llama-3-SynE:实现有效且高效的大语言模型持续预训练
专知会员服务
36+阅读 · 2024年7月30日
深度学习框架大PK:TNN决战MNN,ncnn依旧经典
新智元
10+阅读 · 2020年7月3日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月14日
Arxiv
18+阅读 · 2024年12月27日
VIP会员
最新内容
《人工智能赋能的适应性多功能电磁战》
专知会员服务
9+阅读 · 9月29日
俄乌战场实验室:全面战争如何重塑现代作战
专知会员服务
6+阅读 · 9月29日
2026年美空军协会会议上的无人机系统趋势
专知会员服务
8+阅读 · 9月28日
反制无人机:乌克兰提供的五点启示
专知会员服务
13+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
10+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
9+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
14+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
17+阅读 · 9月22日
相关VIP内容
DeepSeek 实践:大模型部署、微调与应用
专知会员服务
41+阅读 · 2025年11月17日
Llama-3-SynE:实现有效且高效的大语言模型持续预训练
专知会员服务
36+阅读 · 2024年7月30日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员