Marker-based optical motion capture (MoCap), while long regarded as the gold standard for accuracy, faces practical challenges, such as time-consuming preparation and marker identification ambiguity, due to its reliance on dense marker configurations, which fundamentally limit its scalability. To address this, we introduce a novel fundamental unit for MoCap, the Rigid Body Marker (RBM), which provides unambiguous 6-DoF data and drastically simplifies setup. Leveraging this new data modality, we develop a deep-learning-based regression model that directly estimates SMPL parameters under a geodesic loss. This end-to-end approach matches the performance of optimization-based methods while requiring over an order of magnitude less computation. Trained on synthesized data from the AMASS dataset, our end-to-end model achieves state-of-the-art accuracy in body pose estimation. Real-world data captured using a Vicon optical tracking system further demonstrates the practical viability of our approach. Overall, the results show that combining sparse 6-DoF RBM with a manifold-aware geodesic loss yields a practical and high-fidelity solution for real-time MoCap in graphics, virtual reality, and biomechanics.


翻译:基于标记点的光学运动捕捉技术虽长期被视为精度最高的方法,但其依赖密集标记点配置,导致准备过程耗时、标记点识别存在歧义等实际问题,从根本上限制了其可扩展性。为解决这一问题,我们引入了一种新型运动捕捉基础单元——刚体标记点,其可提供无歧义的六自由度数据并大幅简化系统配置。基于这一新型数据模态,我们开发了一种基于深度学习的回归模型,该模型在测地线损失函数下直接估计SMPL参数。这种端到端方法在达到基于优化方法同等性能的同时,计算量降低了一个数量级以上。通过在AMASS数据集合成数据上训练,我们的端到端模型在人体姿态估计中达到了最先进的精度水平。使用Vicon光学追踪系统采集的真实世界数据进一步验证了我们方法的实际可行性。总体而言,结果表明:将稀疏六自由度刚体标记点与流形感知的测地线损失相结合,为图形学、虚拟现实和生物力学领域的实时运动捕捉提供了一种实用且高保真的解决方案。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
33+阅读 · 2022年3月18日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2025年12月29日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员