We present Innovator-VL, a scientific multimodal large language model designed to advance understanding and reasoning across diverse scientific domains while maintaining excellent performance on general vision tasks. Contrary to the trend of relying on massive domain-specific pretraining and opaque pipelines, our work demonstrates that principled training design and transparent methodology can yield strong scientific intelligence with substantially reduced data requirements. (i) First, we provide a fully transparent, end-to-end reproducible training pipeline, covering data collection, cleaning, preprocessing, supervised fine-tuning, reinforcement learning, and evaluation, along with detailed optimization recipes. This facilitates systematic extension by the community. (ii) Second, Innovator-VL exhibits remarkable data efficiency, achieving competitive performance on various scientific tasks using fewer than five million curated samples without large-scale pretraining. These results highlight that effective reasoning can be achieved through principled data selection rather than indiscriminate scaling. (iii) Third, Innovator-VL demonstrates strong generalization, achieving competitive performance on general vision, multimodal reasoning, and scientific benchmarks. This indicates that scientific alignment can be integrated into a unified model without compromising general-purpose capabilities. Our practices suggest that efficient, reproducible, and high-performing scientific multimodal models can be built even without large-scale data, providing a practical foundation for future research.


翻译:我们提出了Innovator-VL,一个旨在提升跨多样科学领域理解与推理能力,同时在通用视觉任务上保持优异性能的科学多模态大语言模型。与依赖海量领域特定预训练和不透明流程的趋势相反,我们的工作表明,基于原则的训练设计和透明的方法论能够以显著减少的数据需求产生强大的科学智能。(i) 首先,我们提供了一个完全透明、端到端可复现的训练流程,涵盖数据收集、清洗、预处理、监督微调、强化学习与评估,并附有详细的优化方案。这便于社区进行系统性扩展。(ii) 其次,Innovator-VL展现出卓越的数据效率,在没有大规模预训练的情况下,仅使用不到五百万个精选样本,便在多种科学任务上取得了有竞争力的性能。这些结果凸显了有效的推理可以通过有原则的数据选择而非无差别的规模扩展来实现。(iii) 第三,Innovator-VL表现出强大的泛化能力,在通用视觉、多模态推理和科学基准测试中均取得了有竞争力的性能。这表明科学对齐能力可以整合到一个统一模型中,而不会损害其通用能力。我们的实践表明,即使没有大规模数据,也能构建高效、可复现且高性能的科学多模态模型,这为未来的研究提供了实用的基础。

0
下载
关闭预览

相关内容

大型语言模型赋能科研创意生成:创造力导向的研究综述
专知会员服务
19+阅读 · 2025年11月13日
视觉语言模型泛化到新领域:全面综述
专知会员服务
38+阅读 · 2025年6月27日
多模态大型语言模型:综述
专知会员服务
45+阅读 · 2025年6月14日
大规模视觉-语言模型的基准、评估、应用与挑战
专知会员服务
18+阅读 · 2025年2月10日
《高效多模态大型语言模型》综述
专知会员服务
73+阅读 · 2024年5月20日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员