Human body fitting, which aligns parametric body models such as SMPL to raw 3D point clouds of clothed humans, serves as a crucial first step for downstream tasks like animation and texturing. An effective fitting method should be both locally expressive-capturing fine details such as hands and facial features-and globally robust to handle real-world challenges, including clothing dynamics, pose variations, and noisy or partial inputs. Existing approaches typically excel in only one aspect, lacking an all-in-one solution.We upgrade ETCH to ETCH-X, which leverages a tightness-aware fitting paradigm to filter out clothing dynamics ("undress"), extends expressiveness with SMPL-X, and replaces explicit sparse markers (which are highly sensitive to partial data) with implicit dense correspondences ("dense fit") for more robust and fine-grained body fitting. Our disentangled "undress" and "dense fit" modular stages enable separate and scalable training on composable data sources, including diverse simulated garments (CLOTH3D), large-scale full-body motions (AMASS), and fine-grained hand gestures (InterHand2.6M), improving outfit generalization and pose robustness of both bodies and hands. Our approach achieves robust and expressive fitting across diverse clothing, poses, and levels of input completeness, delivering a substantial performance improvement over ETCH on both: 1) seen data, such as 4D-Dress (MPJPE-All, 33.0% ) and CAPE (V2V-Hands, 35.8% ), and 2) unseen data, such as BEDLAM2.0 (MPJPE-All, 80.8% ; V2V-All, 80.5% ). Code and models will be released at https://xiaobenli00.github.io/ETCH-X/.


翻译:人体拟合——将SMPL等参数化人体模型对齐到穿衣人体的原始三维点云——是动画、纹理等下游任务的关键第一步。有效的拟合方法需兼具局部表现力(捕捉手部、面部等精细细节)与全局鲁棒性,以应对服装动态、姿态变化及噪声或部分输入等实际挑战。现有方法通常仅擅长某一方面,缺乏一体化解决方案。我们将ETCH升级为ETCH-X,采用紧度感知拟合范式过滤服装动态("脱衣"),通过SMPL-X扩展表现力,并以隐式密集对应("密集拟合")替代对部分数据高度敏感的显式稀疏标记,实现更鲁棒、更精细的人体拟合。解耦的"脱衣"与"密集拟合"模块化阶段支持基于可组合数据源的独立可扩展训练,这些数据源包括多样化模拟服装(CLOTH3D)、大规模全身运动(AMASS)及精细手部姿态(InterHand2.6M),从而提升身体与手部的着装泛化能力和姿态鲁棒性。我们的方法在多样化服装、姿态及输入完整度下实现了鲁棒且具表现力的拟合,相较于ETCH在以下场景均取得显著性能提升:1)已知数据,如4D-Dress(MPJPE-All提升33.0%)和CAPE(V2V-Hands提升35.8%);2)未知数据,如BEDLAM2.0(MPJPE-All提升80.8%,V2V-All提升80.5%)。代码与模型将发布于https://xiaobenli00.github.io/ETCH-X/。

0
下载
关闭预览

相关内容

多模态数字人建模、合成与驱动综述
专知会员服务
30+阅读 · 2024年9月19日
基于异构数据融合的SLAM 研究综述
专知会员服务
28+阅读 · 2024年9月18日
虚拟人运动控制策略学习方法的研究进展与展望
专知会员服务
19+阅读 · 2024年8月17日
几种典型的虚实融合技术发展研究
专知会员服务
94+阅读 · 2023年12月17日
《基于图像的虚拟试穿》综述
专知会员服务
22+阅读 · 2023年11月10日
虚拟数字人发展白皮书,37页pdf
专知会员服务
156+阅读 · 2022年2月16日
虚拟数字人应用技术与发展路径
专知会员服务
101+阅读 · 2021年11月3日
虚拟数字人发展白皮书,37页pdf
专知
10+阅读 · 2022年2月16日
基于姿态的人物视频生成【附PPT与视频资料】
人工智能前沿讲习班
32+阅读 · 2019年1月28日
【紫冬分享】基于人体骨架的行为识别
中国科学院自动化研究所
20+阅读 · 2019年1月18日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
人体骨骼关键点检测综述
极市平台
22+阅读 · 2018年6月29日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
《无人机蜂群:释放人类-蜂群编队的潜能》
专知会员服务
0+阅读 · 14分钟前
《战略战术化:一项综合性述评》
专知会员服务
0+阅读 · 18分钟前
美陆军-工业界协同推进反无人机系统技术发展
专知会员服务
1+阅读 · 40分钟前
《跨域指挥背景下的领导力发展》最新报告
专知会员服务
0+阅读 · 46分钟前
俄乌无人机战争的六大启示
专知会员服务
10+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
8+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
相关VIP内容
多模态数字人建模、合成与驱动综述
专知会员服务
30+阅读 · 2024年9月19日
基于异构数据融合的SLAM 研究综述
专知会员服务
28+阅读 · 2024年9月18日
虚拟人运动控制策略学习方法的研究进展与展望
专知会员服务
19+阅读 · 2024年8月17日
几种典型的虚实融合技术发展研究
专知会员服务
94+阅读 · 2023年12月17日
《基于图像的虚拟试穿》综述
专知会员服务
22+阅读 · 2023年11月10日
虚拟数字人发展白皮书,37页pdf
专知会员服务
156+阅读 · 2022年2月16日
虚拟数字人应用技术与发展路径
专知会员服务
101+阅读 · 2021年11月3日
相关资讯
虚拟数字人发展白皮书,37页pdf
专知
10+阅读 · 2022年2月16日
基于姿态的人物视频生成【附PPT与视频资料】
人工智能前沿讲习班
32+阅读 · 2019年1月28日
【紫冬分享】基于人体骨架的行为识别
中国科学院自动化研究所
20+阅读 · 2019年1月18日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
人体骨骼关键点检测综述
极市平台
22+阅读 · 2018年6月29日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员