Humanoid whole-body control has made significant progress in recent years, yet existing approaches remain limited to few-skill policies with heavy reward engineering, or motion trackers that are difficult to extend to new input modalities. We argue that the key to general-purpose humanoid control is to build a scalable brain, a module capable of reasoning with diverse conditioning modalities, atop a reactive motion tracking cerebellum, mirroring the hierarchical structure of biological motor systems. Two challenges arise in realizing this vision: acquiring a vast amount of high-quality data to achieve general purpose control, and equipping the generator with the capability to condition on compositional, extensible multi-modal inputs. We present OMG, which addresses these challenges with a meticulous data curation, filtering and labeling pipeline, as well as a diffusion-based motion generation backbone that conditions on language, audio, and human reference motions. Extensive experiments validate OMG as an omni-modal whole-body controller exhibiting state-of-the-art performance, model scaling behavior and efficient adaptation to new distributions and modalities, marking a concrete step toward foundation models for humanoid robots.


翻译:近年来,人形机器人全身控制取得了显著进展,但现有方法仍受限于依赖大量奖励工程设计的少技能策略,或难以扩展至新型输入模态的运动追踪器。我们认为,通用型人形控制的关键在于构建一个可扩展的“大脑”——该模块能够基于多样化条件模态进行推理,并连接至一个反应式运动追踪“小脑”,从而模拟生物运动系统的层级结构。实现这一愿景面临两大挑战:获取海量高质量数据以达成通用控制,以及赋予生成器处理组合式、可扩展的多模态输入的能力。我们提出OMG,通过精细的数据整理、过滤与标注流程,以及基于扩散模型的运动生成主干(支持语言、音频和人类参考动作条件),有效应对上述挑战。大量实验验证OMG作为全模态全身控制器,展现出最先进的性能、模型扩展行为,以及对新分布与新模态的高效适应能力,这标志着向人形机器人基础模型迈出了坚实一步。

0
下载
关闭预览

相关内容

【CMU博士论文】交互驱动的人体动作估计与生成
专知会员服务
18+阅读 · 2025年9月17日
重磅!人形机器人产业发展研究报告(2024年)
专知会员服务
39+阅读 · 2024年12月28日
人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
人形机器人行业深度:具身智能,迈向广阔蓝海市场
专知会员服务
51+阅读 · 2023年7月2日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
27+阅读 · 2019年9月9日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员