Physics-based humanoid control has achieved remarkable progress in enabling realistic and high-performing single-agent behaviors, yet extending these capabilities to cooperative human-object interaction (HOI) remains challenging. We present TeamHOI, a framework that enables a single decentralized policy to handle cooperative HOIs across any number of cooperating agents. Each agent operates using local observations while attending to other teammates through a Transformer-based policy network with teammate tokens, allowing scalable coordination across variable team sizes. To enforce motion realism while addressing the scarcity of cooperative HOI data, we further introduce a masked Adversarial Motion Prior (AMP) strategy that uses single-human reference motions while masking object-interacting body parts during training. The masked regions are then guided through task rewards to produce diverse and physically plausible cooperative behaviors. We evaluate TeamHOI on a challenging cooperative carrying task involving two to eight humanoid agents and varied object geometries. Finally, to promote stable carrying, we design a team-size- and shape-agnostic formation reward. TeamHOI achieves high success rates and demonstrates coherent cooperation across diverse configurations with a single policy.


翻译:基于物理的人形控制已在实现逼真且高性能的单智能体行为方面取得显著进展,然而将此类能力扩展到协作式人-物交互(HOI)仍具挑战性。本文提出TeamHOI框架,该框架使单个去中心化策略能够处理任意数量协作智能体间的协作式HOI。每个智能体利用局部观测进行操作,同时通过基于Transformer的、带有队友令牌的策略网络关注其他队友,从而实现可变团队规模间的可扩展协调。为在解决协作式HOI数据稀缺性的同时确保运动真实性,我们进一步引入掩码对抗运动先验策略,该策略在训练时使用单人参考运动并掩码与物体交互的身体部位。随后通过任务奖励引导被掩码区域,以生成多样且物理合理的协作行为。我们在涉及二至八个人形智能体及不同物体几何形状的挑战性协作搬运任务上评估TeamHOI。最后,为促进稳定搬运,我们设计了与团队规模和形状无关的编队奖励。TeamHOI以单一策略实现了高成功率,并在多样化配置中展现出连贯的协作能力。

0
下载
关闭预览

相关内容

《面向人机协作的扩展型信念-愿望-意图模型》最新111页
中文版 | 集中式与分布式多智能体AI协调策略
专知会员服务
19+阅读 · 2025年5月8日
《利用自适应交互增强有人无人编队协同》217页
专知会员服务
91+阅读 · 2024年11月23日
浅谈群体智能——新一代AI的重要方向
中国科学院自动化研究所
44+阅读 · 2019年10月16日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
群体智能:新一代人工智能的重要方向
走向智能论坛
12+阅读 · 2017年8月16日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员