Wearable inertial motion capture (MoCap) provides a portable, occlusion-free, and privacy-preserving alternative to camera-based systems, but its accuracy depends on tightly attached sensors - an intrusive and uncomfortable requirement for daily use. Embedding IMUs into loose-fitting garments is a desirable alternative, yet sensor-body displacement introduces severe, structured, and location-dependent corruption that breaks standard inertial pipelines. We propose GID (Garment Inertial Denoiser), a lightweight, plug-and-play Transformer that factorizes loose-wear MoCap into three stages: (i) location-specific denoising, (ii) adaptive cross-wear fusion, and (iii) general pose prediction. GID uses a location-aware expert architecture, where a shared spatio-temporal backbone models global motion while per-IMU expert heads specialize in local garment dynamics, and a lightweight fusion module ensures cross-part consistency. This inductive bias enables stable training and effective learning from limited paired loose-tight IMU data. We also introduce GarMoCap, a combined public and newly collected dataset covering diverse users, motions, and garments. Experiments show that GID enables accurate, real-time denoising from single-user training and generalizes across unseen users, motions, and garment types, consistently improving state-of-the-art inertial MoCap methods when used as a drop-in module.


翻译:可穿戴惯性运动捕捉系统为基于摄像头的系统提供了一种便携、无遮挡且保护隐私的替代方案,但其精度依赖于紧密贴附的传感器——这对日常使用而言是一种侵入式且不舒适的要求。将惯性测量单元嵌入宽松服装是一种理想的替代方案,然而传感器与身体之间的相对位移会引入严重、结构化且位置相关的干扰,从而破坏标准惯性处理流程。我们提出GID(服装惯性去噪器),一种轻量级即插即用Transformer架构,将宽松穿着条件下的运动捕捉分解为三个阶段:(i)位置特异性去噪,(ii)自适应跨穿着部位融合,以及(iii)通用姿态预测。GID采用位置感知专家架构,其中共享的时空主干网络建模全局运动,而每个IMU的专家头部专门处理局部服装动力学,轻量级融合模块确保跨部位一致性。这种归纳偏置实现了稳定训练,并能从有限的成对宽松-紧身IMU数据中进行有效学习。我们还推出了GarMoCap数据集,该数据集结合了公开数据与新采集数据,涵盖多样化用户、动作与服装类型。实验表明,GID能够通过单用户训练实现精准的实时去噪,并在未见过的用户、动作和服装类型上展现泛化能力;当作为即插即用模块使用时,能持续提升当前最先进的惯性运动捕捉方法的性能。

0
下载
关闭预览

相关内容

【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
33+阅读 · 2022年3月18日
【AAAI2021】“可瘦身”的生成式对抗网络
专知会员服务
13+阅读 · 2020年12月12日
Polygon-RNN++图像分割数据集自动标注
论智
10+阅读 · 2018年8月16日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员