Reflection Team,Adam Abdulhamid,Osama Abuelsorour,Yasmin Alameddine,Carlo Alfano,Duarte Alves,Brandon Amos,Selvaraj Anandaraj,Arseni Anisimovich,George Antoniadis,Ioannis Antonoglou,Sheila Babayan,Neeraj Bahl,Märt Bakler,Vidhisha Balachandran,Cameron Banks,Thibaut Barroyer,Navroop Bath,Irwan Bello,Jeremy Berman,Fernanda Bernaldo,Mrityunjay Bhadauria,Sanyam Bhutani,Tolga Bolukbasi,Anudhyan Boral,Joseph Brennan,Ethan Brooks,Sam Buchanan,Anton Bulyenov,John Cai,Catherine Cang,Eason Chan,Elijah Chanakira,Nathan Chandrasekaran,Hao Chen,Hong-You Chen,Jeffrey Chen,Saurav Chhatrapati,Ting-Rui Chiang,Brian Tiger Chow,Aakanksha Chowdhery,Timothy Chung,Rob Claire,John D. Co-Reyes,Anthony Conte,Eduardo Coronado-Montoya,Julien Crozon,Drew Csillag,Joe Cummings,Jeff Da,Samira Daruki,Tim Dawson,Charlie Deck,Arash Delijani,Ousmane Dia,Randy Dodgen,Ryan Douglas,Omar El-Kishky,Ben Ellis,Gamaleldin Elsayed,Simon Fan,Patrick Fernandes,Gabriel Ferns,Nick Fram,Ankush Garg,Florent Gbelidji,Iaroslav Geraskin,Behrooz Ghorbani,Ivan Glushkov,Neil Gollapudi,Scott Goodfriend,Yoni Gozlan,Christopher Grimm,Suriya Gunasekar,Shruti Gupta,Joel Gustafson,Emre Guven,Jon Hackmann,Jeremy Hadidjojo,Jess Hamrick,Ethan Hellman,Joscha Hoche,Spurthi Amba Hombaiah,Uzair Honda,Zijian Hu,Dzmitry Huba,Nancy Hung,Vladimir Ivanov,Shomik Jain,Mojan Javaheripi,Kevin Martin Jose,Aymen Kallala,Amog Kamsetty,Min Hyung Kang,Steven Kapturowski,Ramtin Keramati,Samuel Kessler,Sabina Kim,Seonghyeon Kim,Ivan Komarov,Agni Kumar,Thanard Kurutach,Jessica Landon,James Larochelle,Michael Laskin,Jonathan Lee,Jonathan Leung,Chenyu Li,Haoran Li,Rongzhao Li,Michelle Light,Boyan Lin,Hai Lin,Xiayue Charles Lin,Michael Linden,Ollie Liu,Wei Liu,Zichang Liu,Brian Lui,Amr Mahdi,Raunak Manjani,Kobe Martin,Lucas Maystre,Francis McCann,Brendan McLaughlin,Isabel Mehta,Alishah Momin,Gerard Moreno-Torres Bertran,Adriana Murga,Swarnashree Mysore Sathyendra,Ashley Nagaki,Vishal Nandavanam,Swaroop Nath,Jake Nations,Angus Ng,Thien Nguyen,Tyler Nichols,Anaelia Ovalle,James Pelly,Michelle Pieszko,Sashank Pisupati,Oleksandr Polozov,Piyush Prasad,Drew Proud,Salman Quazi,Asfandyar Qureshi,Marko Radmilac,Mohit Raghavendra,Vikash Rai,Ralph Recto,Anurag Reddy,Aksel Reedi,Abby Reider,David Renardy,Matthias Reso,Pierre Roux,David Rubinstein,Paul Ruh,Ildar Safarov,Himanshu Sahni,Adrian Samatan,Simon Sandrew,Adriel Saporta,Rohan Savargaonkar,Vlad Savinov,Nick Schank,Jonathon Schwartz,Tim Seah,Ahmad Sharif,Miriam Shlimovich,Hamid Shojanazeri,Yusuf Sindi,Teak Sittipunt,Kurt Smith,Nicolas Sonnerat,Joe Spisak,Raunak Srivastava,Richard Steigerwald,Adam Stein,Stu Stewart,Arnaud Stiegler,Jingtong Su,Alicia Sun,Zoey Sun,Jakub Sygnowski,Douglas Teixeira,Chetan Tekur,Zachary Tellman,Helen Thatcher,Romal Thoppilan,Anil Tolwani,Konstantin Topaloglou-Mundy,Dmitry Ulyumdzhiev,Meet Vadakkanchery,Christopher Vanderschuere,Balaji Varadarajan,Rohan Varma,Balaji Veeramani,Andreas Verdelis,Risto Vuorio,Tom Walshe,Allen Wang,Ewen Wang,Taiyi Wang,Zach Wentz,Peter Wiese,Travis Wilson,Jason Winters,Sam Wiseman,Arvin Wu,Jin Wu,Kai Wu,Kenneth Xu,Mira Yadav,Xianjun Yang,Yao-Yuan Yang,Xiaolan You,Renault Young,Christina Yu,Biao Zhang,Gavin Zhang,Mingrui Zhang,Shenao Zhang,Jiesi Zhao,Mengjun Zhao,Xingchen Zhao,Mike Zhou,Tong Zhou,Zhenpeng Zhou,Tina Zhu
Reflection Team,Adam Abdulhamid,Osama Abuelsorour,Yasmin Alameddine,Carlo Alfano,Duarte Alves,Brandon Amos,Selvaraj Anandaraj,Arseni Anisimovich,George Antoniadis,Ioannis Antonoglou,Sheila Babayan,Neeraj Bahl,Märt Bakler,Vidhisha Balachandran,Cameron Banks,Thibaut Barroyer,Navroop Bath,Irwan Bello,Jeremy Berman,Fernanda Bernaldo,Mrityunjay Bhadauria,Sanyam Bhutani,Tolga Bolukbasi,Anudhyan Boral,Joseph Brennan,Ethan Brooks,Sam Buchanan,Anton Bulyenov,John Cai,Catherine Cang,Eason Chan,Elijah Chanakira,Nathan Chandrasekaran,Hao Chen,Hong-You Chen,Jeffrey Chen,Saurav Chhatrapati,Ting-Rui Chiang,Brian Tiger Chow,Aakanksha Chowdhery,Timothy Chung,Rob Claire,John D. Co-Reyes,Anthony Conte,Eduardo Coronado-Montoya,Julien Crozon,Drew Csillag,Joe Cummings,Jeff Da,Samira Daruki,Tim Dawson,Charlie Deck,Arash Delijani,Ousmane Dia,Randy Dodgen,Ryan Douglas,Omar El-Kishky,Ben Ellis,Gamaleldin Elsayed,Simon Fan,Patrick Fernandes,Gabriel Ferns,Nick Fram,Ankush Garg,Florent Gbelidji,Iaroslav Geraskin,Behrooz Ghorbani,Ivan Glushkov,Neil Gollapudi,Scott Goodfriend,Yoni Gozlan,Christopher Grimm,Suriya Gunasekar,Shruti Gupta,Joel Gustafson,Emre Guven,Jon Hackmann,Jeremy Hadidjojo,Jess Hamrick,Ethan Hellman,Joscha Hoche,Spurthi Amba Hombaiah,Uzair Honda,Zijian Hu,Dzmitry Huba,Nancy Hung,Vladimir Ivanov,Shomik Jain,Mojan Javaheripi,Kevin Martin Jose,Aymen Kallala,Amog Kamsetty,Min Hyung Kang,Steven Kapturowski,Ramtin Keramati,Samuel Kessler,Sabina Kim,Seonghyeon Kim,Ivan Komarov,Agni Kumar,Thanard Kurutach,Jessica Landon,James Larochelle,Michael Laskin,Jonathan Lee,Jonathan Leung,Chenyu Li,Haoran Li,Rongzhao Li,Michelle Light,Boyan Lin,Hai Lin,Xiayue Charles Lin,Michael Linden,Ollie Liu,Wei Liu,Zichang Liu,Brian Lui,Amr Mahdi,Raunak Manjani,Kobe Martin,Lucas Maystre,Francis McCann,Brendan McLaughlin,Isabel Mehta,Alishah Momin,Gerard Moreno-Torres Bertran,Adriana Murga,Swarnashree Mysore Sathyendra,Ashley Nagaki,Vishal Nandavanam,Swaroop Nath,Jake Nations,Angus Ng,Thien Nguyen,Tyler Nichols,Anaelia Ovalle,James Pelly,Michelle Pieszko,Sashank Pisupati,Oleksandr Polozov,Piyush Prasad,Drew Proud,Salman Quazi,Asfandyar Qureshi,Marko Radmilac,Mohit Raghavendra,Vikash Rai,Ralph Recto,Anurag Reddy,Aksel Reedi,Abby Reider,David Renardy,Matthias Reso,Pierre Roux,David Rubinstein,Paul Ruh,Ildar Safarov,Himanshu Sahni,Adrian Samatan,Simon Sandrew,Adriel Saporta,Rohan Savargaonkar,Vlad Savinov,Nick Schank,Jonathon Schwartz,Tim Seah,Ahmad Sharif,Miriam Shlimovich,Hamid Shojanazeri,Yusuf Sindi,Teak Sittipunt,Kurt Smith,Nicolas Sonnerat,Joe Spisak,Raunak Srivastava,Richard Steigerwald,Adam Stein,Stu Stewart,Arnaud Stiegler,Jingtong Su,Alicia Sun,Zoey Sun,Jakub Sygnowski,Douglas Teixeira,Chetan Tekur,Zachary Tellman,Helen Thatcher,Romal Thoppilan,Anil Tolwani,Konstantin Topaloglou-Mundy,Dmitry Ulyumdzhiev,Meet Vadakkanchery,Christopher Vanderschuere,Balaji Varadarajan,Rohan Varma,Balaji Veeramani,Andreas Verdelis,Risto Vuorio,Tom Walshe,Allen Wang,Ewen Wang,Taiyi Wang,Zach Wentz,Peter Wiese,Travis Wilson,Jason Winters,Sam Wiseman,Arvin Wu,Jin Wu,Kai Wu,Kenneth Xu,Mira Yadav,Xianjun Yang,Yao-Yuan Yang,Xiaolan You,Renault Young,Christina Yu,Biao Zhang,Gavin Zhang,Mingrui Zhang,Shenao Zhang,Jiesi Zhao,Mengjun Zhao,Xingchen Zhao,Mike Zhou,Tong Zhou,Zhenpeng Zhou,Tina Zhu

Beam is a sparse Mixture-of-Experts (MoE) model with 501.3B total parameters and 23.4B active parameters, specifically built and optimized for coding, reasoning, and agentic workloads. Beam delivers frontier level reasoning, while requiring 3-4x less inference compute than many models of its class. Pretrained on 23.8T diverse, curated, high-quality tokens, Beam features a 1M-token context window achieved through a novel two-stage midtraining phase, built on verifiable, correctness-anchored data. Post-training leveraged a large-scale, fully asynchronous reinforcement learning (RL) campaign across 10.5K GB300 GPUs, generating over 100M rollouts over 4 weeks of training. We believe this is one of the largest scale RL runs conducted by any open lab to date. Across our evaluation suite, capabilities continued to improve as we increased RL compute, with no sign of a plateau. Supported by deep hardware-model co-design, FP8/NVFP4 quantization, and a 1.93B-parameter speculative decoding drafter (DFlash 2), Beam maximizes serving throughput with efficient, flexible deployment. Averaged across conversation turns and harm categories, Beam refuses or pivots on 88.9% of harmful requests while complying with 81.5% of harmless requests, achieving the highest refusal/pivot rate on harmful requests among open-weight models on the Pareto frontier.


翻译:暂无翻译

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
《BEAM:一种用于评估军事行动战略与力量的新仿真工具》
混合专家模型简述
专知会员服务
18+阅读 · 2025年5月30日
《Llama 3大模型》技术报告中英文版,95页pdf
专知会员服务
107+阅读 · 2024年8月2日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
3倍加速CPU上的BERT模型部署
ApacheMXNet
11+阅读 · 2020年7月13日
8篇论文梳理BERT相关模型进展与反思 | MSRA出品
量子位
11+阅读 · 2019年9月15日
BERT源码分析PART I
AINLP
38+阅读 · 2019年7月12日
【GitHub】BERT模型从训练到部署全流程
专知
34+阅读 · 2019年6月28日
【干货】BERT模型的标准调优和花式调优
新智元
11+阅读 · 2019年4月26日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
BERT大火却不懂Transformer?读这一篇就够了
大数据文摘
12+阅读 · 2019年1月8日
BERT相关论文、文章和代码资源汇总
AINLP
19+阅读 · 2018年11月17日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 11月9日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
17+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
14+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
14+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
相关VIP内容
相关资讯
3倍加速CPU上的BERT模型部署
ApacheMXNet
11+阅读 · 2020年7月13日
8篇论文梳理BERT相关模型进展与反思 | MSRA出品
量子位
11+阅读 · 2019年9月15日
BERT源码分析PART I
AINLP
38+阅读 · 2019年7月12日
【GitHub】BERT模型从训练到部署全流程
专知
34+阅读 · 2019年6月28日
【干货】BERT模型的标准调优和花式调优
新智元
11+阅读 · 2019年4月26日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
BERT大火却不懂Transformer?读这一篇就够了
大数据文摘
12+阅读 · 2019年1月8日
BERT相关论文、文章和代码资源汇总
AINLP
19+阅读 · 2018年11月17日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员