World models for interactive video generation have largely focused on single-agent settings, where future observations are generated from a single control signal. However, many generated environments require multi-agent interaction: multiple players, robots, or embodied agents act simultaneously within a shared space. Scaling world models to such settings requires a principled multi-agent design: agents should remain independently controllable, permutation-symmetric, and support efficient inference while maintaining consistency across time and perspectives. In this paper, we present our generative multi-agent world model for interactive simulation. It introduces Simplex Rotary Agent Encoding, a parameter-free extension of 3D RoPE that represents agents as vertices of a regular simplex in rotary angle space. This gives each agent a distinct phase while making all agents permutation-equivalent, enabling scalable agent identity without learned per-slot identities or a fixed agent ordering. To avoid dense all-to-all attention across agents, we further propose Sparse Hub Attention, where learnable hub tokens mediate token interaction across agents, reducing cross-agent attention cost from quadratic to linear in the number of agents. For real-time rollout, we distill a full-context diffusion teacher into a causal student that generates temporal blocks sequentially with KV caching, enabling action-responsive generation at 24 FPS. Experiments in multiplayer virtual environments show that our model improves video fidelity, action controllability, and inter-agent consistency over slot-based and dense-attention baselines, while generalizing from two to four players without additional training.


翻译:交互式视频生成的世界模型主要聚焦于单智能体场景,即未来观测值由单一控制信号生成。然而,多数生成环境需要多智能体交互:多个玩家、机器人或具身智能体在共享空间内同时行动。将世界模型扩展至此类场景需要原则性强的多智能体设计:智能体应保持独立可控性、排列对称性,并在支持高效推理的同时确保跨时间与视角的一致性。本文提出一种用于交互式模拟的生成式多智能体世界模型。该模型引入单纯形旋转智能体编码(Simplex Rotary Agent Encoding)——一种无需参数的3D RoPE扩展方法,将各智能体表示为旋转角度空间中正则单纯形的顶点。该编码赋予每个智能体独特相位的同时保持所有智能体的排列等价性,从而无需学习每槽位身份或固定智能体排序即可实现可扩展的智能体标识。为避免智能体间的全连接注意力计算,我们进一步提出稀疏中枢注意力(Sparse Hub Attention),通过可学习的中枢令牌(hub tokens)调节跨智能体的令牌交互,将跨智能体注意力成本从智能体数量的二次方降至线性。为实现实时推演,我们将全上下文扩散教师模型蒸馏为因果学生模型,该模型通过KV缓存(KV caching)顺序生成时间分块,支持24 FPS的响应式动作生成。在多玩家虚拟环境中的实验表明,相较基于槽位与密集注意力的基线方法,本模型在视频保真度、动作可控性及跨智能体一致性方面均实现提升,且无需额外训练即可从双玩家场景泛化至四玩家场景。

0
下载
关闭预览

相关内容

智能体化世界建模:基础、能力、规律及展望
专知会员服务
23+阅读 · 4月28日
具身智能中的心理世界建模:深度综述
专知会员服务
39+阅读 · 1月10日
具身智能中的世界模型:全面综述
专知会员服务
52+阅读 · 2025年10月21日
三维与四维世界建模综述
专知会员服务
30+阅读 · 2025年9月12日
具身智能体:世界建模
专知会员服务
42+阅读 · 2025年7月8日
从二维到三维认知:通用世界模型简要综述
专知会员服务
30+阅读 · 2025年6月26日
Agent AI:多模态交互的新地平线
专知会员服务
22+阅读 · 2025年5月26日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
27+阅读 · 2019年9月9日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
智能体化世界建模:基础、能力、规律及展望
专知会员服务
23+阅读 · 4月28日
具身智能中的心理世界建模:深度综述
专知会员服务
39+阅读 · 1月10日
具身智能中的世界模型:全面综述
专知会员服务
52+阅读 · 2025年10月21日
三维与四维世界建模综述
专知会员服务
30+阅读 · 2025年9月12日
具身智能体:世界建模
专知会员服务
42+阅读 · 2025年7月8日
从二维到三维认知:通用世界模型简要综述
专知会员服务
30+阅读 · 2025年6月26日
Agent AI:多模态交互的新地平线
专知会员服务
22+阅读 · 2025年5月26日
相关基金
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员