High-fidelity interactive digital assets are essential for embodied intelligence and robotic interaction, yet articulated objects remain challenging to reconstruct due to their complex structures and coupled geometry-motion relationships. Existing methods suffer from instability in geometry-motion joint optimization, while their generalization remains limited on complex multi-joint or out-of-distribution objects. To address these challenges, we propose GEAR, an EM-style alternating optimization framework that jointly models geometry and motion as interdependent components within a Gaussian Splatting representation. GEAR treats part segmentation as a latent variable and joint motion parameters as explicit variables, alternately refining them for improved convergence and geometric-motion consistency. To enhance part segmentation quality without sacrificing generalization, we leverage a vanilla 2D segmentation model to provide multi-view part priors, and employ a weakly supervised constraint to regularize the latent variable. Experiments on multiple benchmarks and our newly constructed dataset GEAR-Multi demonstrate that GEAR achieves state-of-the-art results in geometric reconstruction and motion parameters estimation, particularly on complex articulated objects with multiple movable parts.


翻译:摘要:高保真交互式数字资产对于具身智能与机器人交互至关重要,但铰接物体因其复杂结构及几何-运动耦合关系,在重建过程中仍面临挑战。现有方法在几何-运动联合优化中存在不稳定性,且针对复杂多关节或分布外物体的泛化能力有限。为解决上述问题,我们提出GEAR——一种基于期望最大化(EM)的交替优化框架,将几何与运动作为高斯溅射表示中的相互依赖组件进行联合建模。GEAR将部件分割视为隐变量,关节运动参数视为显式变量,通过交替优化提升收敛性与几何-运动一致性。为在不牺牲泛化能力的前提下提升部件分割质量,我们利用基础二维分割模型提供多视角部件先验,并引入弱监督约束对隐变量进行正则化。在多个基准数据集及我们新构建的GEAR-Multi数据集上的实验表明,GEAR在几何重建与运动参数估计方面达到最优性能,尤其适用于具有多个运动部件的复杂铰接物体。

0
下载
关闭预览

相关内容

Agent AI:多模态交互的新地平线
专知会员服务
22+阅读 · 2025年5月26日
【ETHZ博士论文】《人类动作与交互的生成式建模》
专知会员服务
16+阅读 · 2025年3月28日
多模态移动智能体的基础与最新趋势:综述
专知会员服务
38+阅读 · 2024年11月6日
Meta-Transformer:多模态学习的统一框架
专知会员服务
59+阅读 · 2023年7月21日
【论文】结构GANs,Structured GANs,
专知会员服务
15+阅读 · 2020年1月16日
面向多智能体博弈对抗的对手建模框架
专知
19+阅读 · 2022年9月28日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
23+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
10+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
11+阅读 · 11月6日
“星链”减速与不断适应的乌克兰
专知会员服务
9+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
6+阅读 · 11月6日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员