The rapid development of interactive and autonomous AI systems signals our entry into the agentic era. Training and evaluating agents on complex agentic tasks such as software engineering and computer use requires not only efficient model computation but also sophisticated infrastructure capable of coordinating vast agent-environment interactions. However, no open-source infrastructure can effectively support large-scale training and evaluation on such complex agentic tasks. To address this challenge, we present MegaFlow, a large-scale distributed orchestration system that enables efficient scheduling, resource allocation, and fine-grained task management for agent-environment workloads. MegaFlow abstracts agent training infrastructure into three independent services (Model Service, Agent Service, and Environment Service) that interact through unified interfaces, enabling independent scaling and flexible resource allocation across diverse agent-environment configurations. In our agent training deployments, MegaFlow successfully orchestrates tens of thousands of concurrent agent tasks while maintaining high system stability and achieving efficient resource utilization. By enabling such large-scale agent training, MegaFlow addresses a critical infrastructure gap in the emerging agentic AI landscape.


翻译:交互式与自主人工智能系统的快速发展标志着我们正迈入智能体时代。在软件工程与计算机使用等复杂智能体任务上训练与评估智能体,不仅需要高效的模型计算,更需要能够协调海量智能体-环境交互的复杂基础设施。然而,目前尚无开源基础设施能有效支持此类复杂智能体任务的大规模训练与评估。为应对这一挑战,我们提出了MegaFlow——一个面向智能体-环境工作负载的大规模分布式编排系统,能够实现高效的调度、资源分配与细粒度任务管理。MegaFlow将智能体训练基础设施抽象为三个独立服务(模型服务、智能体服务与环境服务),这些服务通过统一接口进行交互,从而实现在多样化智能体-环境配置中的独立扩展与灵活资源分配。在我们的智能体训练部署中,MegaFlow成功协调了数万个并发智能体任务,同时保持了较高的系统稳定性并实现了高效的资源利用率。通过支持如此大规模的智能体训练,MegaFlow填补了新兴智能体人工智能领域的关键基础设施空白。

0
下载
关闭预览

相关内容

AI 智能体系统:体系架构、应用场景及评估范式
智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
迈向智能体系统规模化的科学
专知会员服务
20+阅读 · 2025年12月12日
智能体化多模态大语言模型综述
专知会员服务
38+阅读 · 2025年10月14日
多模态移动智能体的基础与最新趋势:综述
专知会员服务
37+阅读 · 2024年11月6日
大模型智能体:概念、前沿和产业实践
专知会员服务
76+阅读 · 2024年8月20日
《大模型驱动的汽车行业群体智能技术白皮书》,176页pdf
重磅!AI框架发展白皮书(2022年),44页pdf
专知
28+阅读 · 2022年2月27日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
智能无人作战系统的发展
科技导报
36+阅读 · 2018年6月29日
尽早跑通深度学习的实践代码,是入门深度学习的最快途径
算法与数据结构
22+阅读 · 2017年12月13日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关VIP内容
AI 智能体系统:体系架构、应用场景及评估范式
智能体工程(Agent Engineering)
专知会员服务
27+阅读 · 2025年12月31日
迈向智能体系统规模化的科学
专知会员服务
20+阅读 · 2025年12月12日
智能体化多模态大语言模型综述
专知会员服务
38+阅读 · 2025年10月14日
多模态移动智能体的基础与最新趋势:综述
专知会员服务
37+阅读 · 2024年11月6日
大模型智能体:概念、前沿和产业实践
专知会员服务
76+阅读 · 2024年8月20日
《大模型驱动的汽车行业群体智能技术白皮书》,176页pdf
相关资讯
重磅!AI框架发展白皮书(2022年),44页pdf
专知
28+阅读 · 2022年2月27日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
面向人工智能的计算机体系结构
计算机研究与发展
14+阅读 · 2019年6月6日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【知识图谱】知识图谱+人工智能=新型网络信息体系
产业智能官
14+阅读 · 2018年11月18日
智能无人作战系统的发展
科技导报
36+阅读 · 2018年6月29日
尽早跑通深度学习的实践代码,是入门深度学习的最快途径
算法与数据结构
22+阅读 · 2017年12月13日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员