Julien Abadji,Marah Abdin,Connor Adams,Eric Alcaide,Mustafa Altun,Michele Artoni,Junze Bao,Uday Barar,Vassilis Bekiaris,Arkadii Bessonov,Benjamin Bütikofer,Jonathan Chang,Yen-Chun Chen,Dmitry Chernenkov,Yang Chi,Filippos Christianos,Fenia Christopoulou,Razvan-Andrei Ciocoiu,Tzachi Cohen,Yohann Coppel,Dmitrii Emelianenko,Brandon Fergerson,Brian Fitzgerald,Matthias Gallé,Alex Golonzovskyi,George Grigorev,Yiyang Hao,Christian Hensel,Jan Huenermann,Ye Ji,Sarthak Joshi,Eiso Kant,Kabir Khandpur,Seonghyeon Kim,Vladimir Kirichenko,Umut Kocasarac,Ilya Kochik,Ivan Komarov,Chaerin Kong,Anurag Koul,François-Joseph Lacroix,Sergei Laktionov,Waren Long,Quentin Malartic,Vadim Markovtsev,Afonso Marques,Robert McHardy,Carlos Mocholí,Dmitry Monakhov,Adam Morris,Martin Muller,Christian Mürtz,Robin Nabel,Thien Nguyen,Rok Novosel,Szymon Ozog,Aalhad Patankar,Aleksei Petrov,Alexandre Piché,Arthur Pignet,Teodor Poncu,Phil Potter,Alexander Rakowski,Pierre-Yves Ritschard,Jay Roberts,Joe Rowell,Piotr Sarna,Pierre-André Savalle,Uladzislau Sazanovich,Nikita Shapovalov,Arsenii Shevchenko,Mikhail Shilkov,Andrei Sokol,Mohamed Soliman,Jack Stephenson,Victor Storchan,Dragos-Constantin Tantaru,Artem Tyurin,Adrian Wälchli,Pengming Wang,Jianxiao Yang,Renat Zayashnikov,Alexander Zelenka Martin,Nikolay Zinov,Caroline Bercier,José Caldeira,Margarida Garcia,Tom George,Kabeer Gharzai,Glenn Hitchcock,Carson Klingenberg,Ivo Pinto,Varun Randery,Noah Smith,Arina Sugako,Jason Warner

We present Laguna M.1 and Laguna XS.2, two Mixture-of-Experts foundation models built for long-horizon, agentic coding: M.1 has $225.8$B total parameters ($23.4$B activated per token) and XS.2 has $33.4$B total ($3$B activated). Both models were trained from scratch end-to-end inside the same internal system that we refer to as our Model Factory: a tightly-integrated stack of versioned data, training, evaluation, and inference components that turn model development into an industrial process. We describe the principles and design choices of the Model Factory and also detail the end-to-end training process of our models, throughout pre-training data and architecture, post-training stages, evaluation, and quantization. On agentic software engineering and terminal benchmarks (SWE-bench Verified, SWE-bench Multilingual, SWE-Bench Pro, and Terminal-Bench 2.0) M.1 and XS.2 are competitive with state-of-the-art open models in their respective weight classes. Laguna XS.2 weights are released under Apache~2.0 at https://huggingface.co/collections/poolside/laguna-xs2.


翻译:我们介绍Laguna M.1和Laguna XS.2,两个基于混合专家架构的基座模型,专为长期、自主化的编码任务而设计:M.1总参数量为225.8B(每Token激活23.4B参数),XS.2总参数量为33.4B(每Token激活3B参数)。两个模型均在我们内部称为“模型工厂”的同一系统中从头开始端到端训练而成:该工厂是一个紧密集成的组件栈,涵盖版本化数据、训练、评估与推理,将模型开发转变为工业化流程。本文阐述了模型工厂的设计原则与决策,并详细介绍了我们模型从端到端训练的全过程,包括预训练数据与架构、后训练阶段、评估及量化。在自主化软件工程与终端基准测试(SWE-bench Verified、SWE-bench Multilingual、SWE-Bench Pro及Terminal-Bench 2.0)中,M.1和XS.2在各自权重等级内可与最先进的开源模型相匹敌。Laguna XS.2的权重已在Apache~2.0许可下发布于https://huggingface.co/collections/poolside/laguna-xs2。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
检索增强生成(RAG)技术,261页slides
专知会员服务
42+阅读 · 2025年10月16日
《OpenAI o1大模型》中英文技术报告,44页pdf
专知会员服务
150+阅读 · 2024年9月15日
《Llama 3大模型》技术报告中英文版,95页pdf
专知会员服务
107+阅读 · 2024年8月2日
模型即服务MaaS框架与应用研究报告(2024年),46页pdf
专知会员服务
66+阅读 · 2024年6月9日
Sora技术详解及影响分析!
专知会员服务
70+阅读 · 2024年2月23日
谷歌开源模型系列「Gemma」技术报告,中英文版
专知会员服务
47+阅读 · 2024年2月22日
进一步改进GPT和BERT:使用Transformer的语言模型
机器之心
16+阅读 · 2019年5月1日
技术动态 | TechKG:一个面向中文学术领域的大型知识图谱
开放知识图谱
25+阅读 · 2018年12月20日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
专栏 | 技术干货:一文详解LDA主题模型
机器之心
28+阅读 · 2017年12月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月23日
Arxiv
0+阅读 · 6月16日
Arxiv
0+阅读 · 6月15日
Arxiv
0+阅读 · 6月5日
Arxiv
0+阅读 · 6月4日
Arxiv
0+阅读 · 5月28日
Arxiv
0+阅读 · 5月18日
Arxiv
0+阅读 · 5月6日
Arxiv
18+阅读 · 2024年12月27日
VIP会员
最新内容
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
2+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
6+阅读 · 7月17日
《无人地面战车(UGV)的崛起》报告
专知会员服务
8+阅读 · 7月16日
相关VIP内容
检索增强生成(RAG)技术,261页slides
专知会员服务
42+阅读 · 2025年10月16日
《OpenAI o1大模型》中英文技术报告,44页pdf
专知会员服务
150+阅读 · 2024年9月15日
《Llama 3大模型》技术报告中英文版,95页pdf
专知会员服务
107+阅读 · 2024年8月2日
模型即服务MaaS框架与应用研究报告(2024年),46页pdf
专知会员服务
66+阅读 · 2024年6月9日
Sora技术详解及影响分析!
专知会员服务
70+阅读 · 2024年2月23日
谷歌开源模型系列「Gemma」技术报告,中英文版
专知会员服务
47+阅读 · 2024年2月22日
相关论文
Arxiv
0+阅读 · 6月23日
Arxiv
0+阅读 · 6月16日
Arxiv
0+阅读 · 6月15日
Arxiv
0+阅读 · 6月5日
Arxiv
0+阅读 · 6月4日
Arxiv
0+阅读 · 5月28日
Arxiv
0+阅读 · 5月18日
Arxiv
0+阅读 · 5月6日
Arxiv
18+阅读 · 2024年12月27日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员