Reinforcement learning (RL) has demonstrated substantial potential for humanoid bipedal locomotion and the control of complex motions. To cope with oscillations and impacts induced by environmental interactions, compliant control is widely regarded as an effective remedy. However, the model-free nature of RL makes it difficult to impose task-specified and quantitatively verifiable compliance objectives, and classical model-based stiffness designs are not directly applicable. Lipschitz-Constrained Policies (LCP), which regularize the local sensitivity of a policy via gradient penalties, have recently been used to smooth humanoid motions. Nevertheless, existing LCP-based methods typically employ a single scalar Lipschitz budget and lack an explicit connection to physically meaningful compliance specifications in real-world systems. In this study, we propose an anisotropic Lipschitz-constrained policy (ALCP) that maps a task-space stiffness upper bound to a state-dependent Lipschitz-style constraint on the policy Jacobian. The resulting constraint is enforced during RL training via a hinge-squared spectral-norm penalty, preserving physical interpretability while enabling direction-dependent compliance. Experiments on humanoid robots show that ALCP improves locomotion stability and impact robustness, while reducing oscillations and energy usage.


翻译:强化学习在双足人形机器人运动及复杂动作控制中展现出显著潜力。为应对环境交互引发的振荡与冲击,合规控制被广泛视为有效手段。然而,强化学习的无模型特性使其难以施加面向特定任务且可量化验证的合规性目标,而经典基于模型的刚度设计亦无法直接适用。近期,通过梯度惩罚正则化策略局部灵敏度的Lipschitz约束策略(LCP)被用于平滑人形机器人运动。但现有基于LCP的方法通常采用单一标量Lipschitz预算,且与真实系统中具有物理意义的合规性规范缺乏明确关联。本研究提出各向异性Lipschitz约束策略(ALCP),将任务空间刚度上限映射为策略雅可比矩阵的状态相关Lipschitz型约束。该约束通过铰链平方谱范数惩罚在强化学习训练中实施,在保持物理可解释性的同时实现方向依赖性合规。人形机器人实验表明,ALCP提升了运动稳定性与抗冲击鲁棒性,同时减少了振荡与能量消耗。

0
下载
关闭预览

相关内容

重磅!人形机器人产业发展研究报告(2024年)
专知会员服务
39+阅读 · 2024年12月28日
面向机器人系统的虚实迁移强化学习综述
专知会员服务
46+阅读 · 2024年2月8日
人形机器人发展与展望
专知会员服务
51+阅读 · 2023年9月6日
《结合机器人行为以实现安全、智能的执行》
专知会员服务
17+阅读 · 2023年7月4日
无人预警机系统架构及关键技术分析
专知
14+阅读 · 2022年8月6日
国外有人/无人平台协同作战概述
无人机
124+阅读 · 2019年5月28日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
无人机飞行控制方法概述
无人机
13+阅读 · 2017年10月7日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
24+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
12+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
11+阅读 · 11月6日
“星链”减速与不断适应的乌克兰
专知会员服务
9+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
6+阅读 · 11月6日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员