Modeling spinal motion is fundamental to understanding human biomechanics, yet remains underexplored in computer vision due to the spine's complex multi-joint kinematics and the lack of large-scale 3D annotations. We present a biomechanics-aware keypoint simulation framework that augments existing human pose datasets with anatomically consistent 3D spinal keypoints derived from musculoskeletal modeling. Using this framework, we create the first open dataset, named SIMSPINE, which provides sparse vertebra-level 3D spinal annotations for natural full-body motions in indoor multi-camera capture without external restraints. With 2.14 million frames, this enables data-driven learning of vertebral kinematics from subtle posture variations and bridges the gap between musculoskeletal simulation and computer vision. In addition, we release pretrained baselines covering fine-tuned 2D detectors, monocular 3D pose lifting models, and multi-view reconstruction pipelines, establishing a unified benchmark for biomechanically valid spine motion estimation. Specifically, our 2D spine baselines improve the state-of-the-art from 0.63 to 0.80 AUC in controlled environments, and from 0.91 to 0.93 AP for in-the-wild spine tracking. Together, the simulation framework and SIMSPINE dataset advance research in vision-based biomechanics, motion analysis, and digital human modeling by enabling reproducible, anatomically grounded 3D spine estimation under natural conditions.


翻译:脊柱运动建模是理解人体生物力学的基石,然而由于脊柱复杂的多关节运动学特性及大规模三维标注数据的缺乏,该领域在计算机视觉中仍未得到充分探索。本文提出一种生物力学感知的关键点仿真框架,该框架通过从肌肉骨骼模型导出的解剖学一致的三维脊柱关键点,对现有人体姿态数据集进行增强。基于此框架,我们创建了首个开放数据集SIMSPINE,该数据集为室内多相机无约束条件下采集的自然全身运动提供了稀疏椎骨级三维脊柱标注。该数据集包含214万帧数据,能够从细微姿态变化中实现数据驱动的椎骨运动学学习,并弥合了肌肉骨骼仿真与计算机视觉之间的鸿沟。此外,我们发布了涵盖微调二维检测器、单目三维姿态提升模型及多视角重建流程的预训练基线模型,为生物力学有效的脊柱运动估计建立了统一基准。具体而言,我们的二维脊柱基线模型在受控环境中将最佳性能从0.63 AUC提升至0.80 AUC,在自然场景脊柱跟踪任务中将平均精度从0.91 AP提升至0.93 AP。该仿真框架与SIMSPINE数据集共同通过实现自然条件下可复现、解剖学基础的三维脊柱估计,推动了基于视觉的生物力学、运动分析与数字人体建模领域的研究进展。

0
下载
关闭预览

相关内容

具有动能的生命体。
【CMU博士论文】交互驱动的人体动作估计与生成
专知会员服务
18+阅读 · 2025年9月17日
【博士论文】ࣞ动态三维人体的隐式神经表示方法研究
专知会员服务
18+阅读 · 2024年11月22日
最新《深度学习人体姿态估计》综述论文,26页pdf
专知会员服务
40+阅读 · 2020年12月29日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
AI综述专栏 | 人体骨骼关键点检测综述
人工智能前沿讲习班
19+阅读 · 2018年11月7日
人体骨骼关键点检测综述
极市平台
22+阅读 · 2018年6月29日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
1+阅读 · 今天14:22
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
21+阅读 · 4月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员