A deep understanding of kinematic structures and movable components is essential for enabling robots to manipulate objects and model their own articulated forms. Such understanding is captured through articulated objects, which are essential for tasks such as physical simulation, motion planning, and policy learning. However, creating these models, particularly for objects with high degrees of freedom (DoF), remains a significant challenge. Existing methods typically rely on motion sequences or strong assumptions from hand-curated datasets, which hinders scalability. In this paper, we introduce Kinematify, an automated framework that synthesizes articulated objects directly from arbitrary RGB images or textual descriptions. Our method addresses two core challenges: (i) inferring kinematic topologies for high-DoF objects and (ii) estimating joint parameters from static geometry. To achieve this, we combine MCTS search for structural inference with geometry-driven optimization for joint reasoning, producing physically consistent and functionally valid descriptions. We evaluate Kinematify on diverse inputs from both synthetic and real-world environments, demonstrating improvements in registration and kinematic topology accuracy over prior work.


翻译:对运动学结构和可动部件的深入理解对于机器人操控物体及建模自身铰接形态至关重要。此类理解通过铰接物体得以体现,其在物理仿真、运动规划与策略学习等任务中不可或缺。然而,创建此类模型(尤其是针对高自由度物体)仍面临重大挑战。现有方法通常依赖手工标注数据集中的运动序列或强假设,这限制了方法的可扩展性。本文提出Kinematify,一种能够直接从任意RGB图像或文本描述中合成铰接物体的自动化框架。我们的方法解决了两个核心挑战:(i)推断高自由度物体的运动学拓扑结构;(ii)从静态几何中估计关节参数。为实现这一目标,我们将用于结构推断的MCTS搜索与基于几何驱动的关节参数优化推理相结合,生成物理一致且功能有效的描述。我们在合成与真实环境中的多样化输入上评估Kinematify,结果表明其在配准精度与运动学拓扑准确性方面优于现有方法。

0
下载
关闭预览

相关内容

空间模块化机器人自重构机理与算法研究现状
专知会员服务
16+阅读 · 1月31日
物理学中的高级深度学习
专知会员服务
20+阅读 · 2025年12月9日
【CMU博士论文】交互驱动的人体动作估计与生成
专知会员服务
18+阅读 · 2025年9月17日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
4+阅读 · 今天6:56
国外海军作战管理系统与作战训练系统
专知会员服务
2+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
9+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
4+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
6+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
6+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
专知会员服务
10+阅读 · 4月22日
伊朗战争停火期间美军关键弹药状况分析
专知会员服务
8+阅读 · 4月22日
电子战革命:塑造战场的十年突破(2015–2025)
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员