Distilling humanoid locomotion control from offline datasets into deployable policies remains a challenge, as existing methods rely on privileged full-body states that require complex and often unreliable state estimation. We present Sensor-Conditioned Diffusion Policies (SCDP) that enables humanoid locomotion using only onboard sensors, eliminating the need for explicit state estimation. SCDP decouples sensing from supervision through mixed-observation training: diffusion model conditions on sensor histories while being supervised to predict privileged future state-action trajectories, enforcing the model to infer the motion dynamics under partial observability. We further develop restricted denoising, context distribution alignment, and context-aware attention masking to encourage implicit state estimation within the model and to prevent train-deploy mismatch. We validate SCDP on velocity-commanded locomotion and motion reference tracking tasks. In simulation, SCDP achieves near-perfect success on velocity control (99-100%) and 93% tracking success in AMASS test set, performing comparable to privileged baselines while using only onboard sensors. Finally, we deploy the trained policy on a real G1 humanoid at 50 Hz, demonstrating robust real robot locomotion without external sensing or state estimation.


翻译:将人形机器人步态控制从离线数据集蒸馏至可部署策略仍具挑战,现有方法依赖需要复杂且往往不可靠状态估计的全局特权状态。我们提出传感器条件扩散策略(SCDP),仅利用机载传感器即可实现人形机器人步态控制,无需显式状态估计。SCDP通过混合观测训练解耦感知与监督:扩散模型以传感器历史为条件,同时被监督预测特权未来状态-动作轨迹,迫使模型在部分可观测性下推断运动动力学。我们进一步开发了受限去噪、上下文分布对齐和上下文感知注意力掩码机制,以促进模型内部的隐式状态估计并防止训练-部署失配。我们在速度指令步态与运动参考跟踪任务上验证SCDP。在仿真中,SCDP实现速度控制近乎完美的成功率(99-100%),在AMASS测试集上达到93%的跟踪成功率,其性能与使用全局特权状态的基线方法相当,却仅使用机载传感器。最终,我们将训练策略以50Hz频率部署于真实G1人形机器人,展示了无需外部传感或状态估计的鲁棒真实机器人步态控制。

0
下载
关闭预览

相关内容

基于人机智能融合技术的态势感知应用研究
专知会员服务
95+阅读 · 2024年2月11日
机器人运动轨迹的模仿学习综述
专知会员服务
45+阅读 · 2021年6月8日
人脸识别技术全面总结:从传统方法到深度学习
算法与数学之美
12+阅读 · 2019年2月27日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
AI综述专栏 | 步态识别的深度学习综述
人工智能前沿讲习班
29+阅读 · 2018年6月27日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
最新内容
美陆军设想无人系统司令部
专知会员服务
2+阅读 · 4月15日
【博士论文】已对齐人工智能系统的持久脆弱性
扭曲还是编造?视频大语言模型幻觉研究综述
专知会员服务
1+阅读 · 4月15日
《采用系统思维应对混合战争》125页
专知会员服务
5+阅读 · 4月15日
战争机器学习:数据生态系统构建(155页)
专知会员服务
8+阅读 · 4月15日
内省扩散语言模型
专知会员服务
6+阅读 · 4月14日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员