We introduce Yuan3.0 Flash, an open-source Mixture-of-Experts (MoE) MultiModal Large Language Model featuring 3.7B activated parameters and 40B total parameters, specifically designed to enhance performance on enterprise-oriented tasks while maintaining competitive capabilities on general-purpose tasks. To address the overthinking phenomenon commonly observed in Large Reasoning Models (LRMs), we propose Reflection-aware Adaptive Policy Optimization (RAPO), a novel RL training algorithm that effectively regulates overthinking behaviors. In enterprise-oriented tasks such as retrieval-augmented generation (RAG), complex table understanding, and summarization, Yuan3.0 Flash consistently achieves superior performance. Moreover, it also demonstrates strong reasoning capabilities in domains such as mathematics, science, etc., attaining accuracy comparable to frontier model while requiring only approximately 1/4 to 1/2 of the average tokens. Yuan3.0 Flash has been fully open-sourced to facilitate further research and real-world deployment: https://github.com/Yuan-lab-LLM/Yuan3.0.


翻译:本文介绍Yuan3.0 Flash,一个开源的专家混合模型架构多模态大语言模型,其激活参数为37亿,总参数量达400亿。该模型专为提升企业导向任务性能而设计,同时保持在通用任务上的竞争力。针对大型推理模型中常见的“过度思考”现象,我们提出了一种新颖的强化学习训练算法——反思感知自适应策略优化,该算法能有效调控过度思考行为。在企业导向任务中,如检索增强生成、复杂表格理解和文本摘要,Yuan3.0 Flash始终展现出卓越性能。此外,在数学、科学等领域,它也表现出强大的推理能力,在仅需约1/4至1/2平均令牌数的情况下,达到了与前沿模型相当的准确率。Yuan3.0 Flash已完全开源,以促进进一步研究和实际部署:https://github.com/Yuan-lab-LLM/Yuan3.0。

0
下载
关闭预览

相关内容

不可错过!《大语言模型》课程
专知会员服务
31+阅读 · 2025年4月15日
《开源大模型应用指南1.0》正式发布,85页pdf
专知会员服务
78+阅读 · 2024年12月4日
多模态大语言模型
专知会员服务
98+阅读 · 2024年6月25日
一文速览大语言模型提示最新进展
专知会员服务
82+阅读 · 2023年12月24日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月2日
VIP会员
最新内容
刚刚!Jev中文教程项目发布了
专知会员服务
0+阅读 · 10月4日
《人工智能赋能的适应性多功能电磁战》
专知会员服务
12+阅读 · 9月29日
俄乌战场实验室:全面战争如何重塑现代作战
专知会员服务
8+阅读 · 9月29日
2026年美空军协会会议上的无人机系统趋势
专知会员服务
11+阅读 · 9月28日
反制无人机:乌克兰提供的五点启示
专知会员服务
17+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
11+阅读 · 9月23日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员