Humanoid behavior foundation models aim to acquire reusable whole-body control policies from broad human motion priors, enabling a single controller to produce diverse and expressive behaviors. However, existing motion-centric foundation policies largely assume that the reference motion is already physically compatible with the robot's surroundings. This assumption breaks when the demonstrator, operator, and robot inhabit different environments: a human motion may specify the intended behavior, but not the footholds, clearance, body height, or contact timing required by the robot's local terrain. We introduce \emph{Perceptive Behavior Foundation Model} (Perceptive BFM), a terrain-aware humanoid control framework that grounds human motion priors in robot-centric perception. The model preserves raw kinematic motion references as the behavioral interface, while using local terrain observations to adapt contacts, posture, and timing. To provide scalable terrain supervision, we develop \emph{terrain-conformal reference synthesis} (TCRS), which converts locomotion-oriented human motion clips into terrain-consistent references through contact-aware foothold construction, foot-geometry-aware swing optimization, support-aware root reconstruction, collision repair, and multi-point inverse kinematics. We then train a blind adapted-reference teacher and transfer its terrain-conformal behavior to a deployed raw-reference student through target-frame action alignment. The student is an identity-gated Transformer tracker whose terrain features enter through residual pathways initialized to preserve the motion-tracking prior and trained to produce local corrections only when needed.


翻译:人形机器人行为基础模型旨在从广泛的人体运动先验中获取可复用的全身控制策略,使单一控制器能够产生多样且富有表现力的行为。然而,现有以运动为中心的基础策略大多假设参考运动已与机器人的物理环境兼容。这种假设在示范者、操作员和机器人身处不同环境时失效:人体运动可能定义了预期行为,但未能提供机器人局部地形所需的落脚点、安全间隙、身体高度或接触时序。我们提出感知行为基础模型(Perceptive BFM),这是一种地形感知的人形机器人控制框架,将人体运动先验锚定于以机器人为中心的感知。该模型保留原始运动学运动参考作为行为接口,同时利用局部地形观测来调整接触、姿态和时序。为提供可扩展的地形监督,我们开发了地形共形参考合成(TCRS),通过接触感知的落脚点构建、足部几何感知的摆动优化、支撑感知的躯干重建、碰撞修复以及多点逆运动学,将面向运动的运动片段转换为地形一致参考。随后训练一个盲适应参考教师模型,并通过目标帧动作对齐将其地形共形行为迁移至部署的原始参考学生模型。该学生模型基于身份门控Transformer跟踪器,其地形特征通过初始化为保留运动跟踪先验的残差路径输入,仅在必要时训练以产生局部修正。

0
下载
关闭预览

相关内容

以人为中心的基础模型:感知、生成与代理建模
专知会员服务
24+阅读 · 2025年2月13日
《行为与认知机器人学》,241页pdf
专知会员服务
55+阅读 · 2021年4月11日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员