Humanoid behavior foundation models aim to acquire reusable whole-body control policies from broad human motion priors, enabling a single controller to produce diverse and expressive behaviors. However, existing motion-centric foundation policies largely assume that the reference motion is already physically compatible with the robot's surroundings. This assumption breaks when the demonstrator, operator, and robot inhabit different environments: a human motion may specify the intended behavior, but not the footholds, clearance, body height, or contact timing required by the robot's local terrain. We introduce \emph{Perceptive Behavior Foundation Model} (Perceptive BFM), a terrain-aware humanoid control framework that grounds human motion priors in robot-centric perception. The model preserves raw kinematic motion references as the behavioral interface, while using local terrain observations to adapt contacts, posture, and timing. To provide scalable terrain supervision, we develop \emph{terrain-conformal reference synthesis} (TCRS), which converts locomotion-oriented human motion clips into terrain-consistent references through contact-aware foothold construction, foot-geometry-aware swing optimization, support-aware root reconstruction, collision repair, and multi-point inverse kinematics. We then train a blind adapted-reference teacher and transfer its terrain-conformal behavior to a deployed raw-reference student through target-frame action alignment. The student is an identity-gated Transformer tracker whose terrain features enter through residual pathways initialized to preserve the motion-tracking prior and trained to produce local corrections only when needed.


翻译:仿人行为基础模型旨在从广泛的人类运动先验中获取可复用的全身控制策略,使单一控制器能够生成多样化且富有表现力的行为。然而,现有以运动为中心的基础模型主要假设参考运动已与机器人所处环境物理兼容。当演示者、操作者和机器人处于不同环境时,这一假设便不再成立:人类运动可能指定了预期行为,但未能提供机器人局部地形所需的落脚点、间隙、身体高度或接触时序。我们提出感知行为基础模型(Perceptive BFM),这是一种地形感知的仿人控制框架,将人类运动先验与机器人中心感知相融合。该模型保留原始运动学运动参考作为行为接口,同时利用局部地形观测调整接触点、姿态及时序。为提供可扩展的地形监督,我们开发了地形一致参考合成(TCRS)方法,通过接触感知的落脚点构建、脚部几何感知的摆动优化、支撑感知的躯干重建、碰撞修复及多点逆运动学,将面向运动的运动片段转换为与地形一致的运动参考。随后训练盲适应参考教师模型,并通过目标帧动作对齐将其地形一致行为迁移至部署的原始参考学生模型。学生模型采用身份门控Transformer跟踪器,其地形特征通过残差通路输入,该通路初始化为保留运动跟踪先验,并仅在需要时训练产生局部修正。

0
下载
关闭预览

相关内容

以人为中心的基础模型:感知、生成与代理建模
专知会员服务
24+阅读 · 2025年2月13日
机器人运动轨迹的模仿学习综述
专知会员服务
45+阅读 · 2021年6月8日
《行为与认知机器人学》,241页pdf
专知会员服务
55+阅读 · 2021年4月11日
基于 Carsim 2016 和 Simulink的无人车运动控制联合仿真(三)
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
10+阅读 · 6月15日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员