Robotic systems that interact with the physical world must reason about kinematic and dynamic constraints imposed by their own embodiment, their environment, and the task at hand. We introduce KinDER, a benchmark for Kinematic and Dynamic Embodied Reasoning that targets physical reasoning challenges arising in robot learning and planning. KinDER comprises 25 procedurally generated environments, a Gymnasium-compatible Python library with parameterized skills and demonstrations, and a standardized evaluation suite with 13 implemented baselines spanning task and motion planning, imitation learning, reinforcement learning, and foundation-model-based approaches. The environments are designed to isolate five core physical reasoning challenges: basic spatial relations, nonprehensile multi-object manipulation, tool use, combinatorial geometric constraints, and dynamic constraints, disentangled from perception, language understanding, and application-specific complexity. Empirical evaluation shows that existing methods struggle to solve many of the environments, indicating substantial gaps in current approaches to physical reasoning. We additionally include real-to-sim-to-real experiments on a mobile manipulator to assess the correspondence between simulation and real-world physical interaction. KinDER is fully open-sourced and intended to enable systematic comparison across diverse paradigms for advancing physical reasoning in robotics. Website and code: https://prpl-group.com/kinder-site/


翻译:需与物理世界交互的机器人系统必须推理由自身具身、环境及当前任务所施加的运动学与动力学约束。我们提出KinDER——面向运动学与动力学具身推理的基准测试,针对机器人学习与规划中出现的物理推理挑战。KinDER包含25个程序化生成的环境、一个兼容Gymnasium的Python库(提供参数化技能与演示),以及一套标准化评估体系(涵盖13个基线方法,涉及任务与运动规划、模仿学习、强化学习及基于基础模型的方案)。这些环境旨在隔离五种核心物理推理挑战:基本空间关系、非抓取式多物体操作、工具使用、组合几何约束及动态约束,同时解耦感知、语言理解与应用场景复杂性。实证评估表明,现有方法难以解决多数环境中的问题,揭示了当前物理推理方法存在的显著缺陷。我们还在移动操作平台上进行了实物-仿真-实物实验,以评估仿真与现实世界物理交互的一致性。KinDER已完全开源,旨在支持跨不同范式对机器人物理推理进行系统性比较。网站及代码:https://prpl-group.com/kinder-site/

0
下载
关闭预览

相关内容

第二章 机器学习中的数学基础
Datartisan数据工匠
12+阅读 · 2018年4月5日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员