In this paper, we present TightCap, a data-driven scheme to capture both the human shape and dressed garments accurately with only a single 3D human scan, which enables numerous applications such as virtual try-on, biometrics and body evaluation. To break the severe variations of the human poses and garments, we propose to model the clothing tightness - the displacements from the garments to the human shape implicitly in the global UV texturing domain. To this end, we utilize an enhanced statistical human template and an effective multi-stage alignment scheme to map the 3D scan into a hybrid 2D geometry image. Based on this 2D representation, we propose a novel framework to predicted clothing tightness via a novel tightness formulation, as well as an effective optimization scheme to further reconstruct multi-layer human shape and garments under various clothing categories and human postures. We further propose a new clothing tightness dataset (CTD) of human scans with a large variety of clothing styles, poses and corresponding ground-truth human shapes to stimulate further research. Extensive experiments demonstrate the effectiveness of our TightCap to achieve high-quality human shape and dressed garments reconstruction, as well as the further applications for clothing segmentation, retargeting and animation.


翻译:在本文中,我们展示了TightCap, 这是一种由数据驱动的计划,以精确地捕捉人的形状和着装,只进行单一的3D人体扫描,从而精确地捕捉人的形状和服装,这种由数据驱动的计划,能够使虚拟试镜、生物测定和身体评估等多种应用成为可能。为了打破人脸和服装的严重差异,我们提议模拟衣物紧凑性,即全球紫外线纹域内从服装向人形状的隐含偏移。为此,我们利用一个强化的统计人类模板和一个有效的多阶段协调计划,将3D扫描映射成混合的 2D 几何图象。基于这一2D 代表,我们提出了一个新的框架,通过一种新的紧身配方来预测衣紧身,以及一个有效的优化计划,以进一步重建不同服装类别和人类姿势下的多层人类形状和服装。我们进一步提出了一个新的衣物紧身数据集。我们提出了一个新的服装紧身数据集(CTD),以各种服装样式、姿势和相应的地面图象来刺激进一步的研究。广泛的实验展示了我们紧身结构的效能,以达到高质的形状和服装的整整形和服装结构。

0
下载
关闭预览

相关内容

【DeepMind】强化学习教程,83页ppt
专知会员服务
160+阅读 · 2020年8月7日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
173+阅读 · 2020年5月6日
ICRA 2019 论文速览 | 传统SLAM、三维视觉算法进展
计算机视觉life
50+阅读 · 2019年7月16日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
胶囊网络资源汇总
论智
7+阅读 · 2018年3月10日
carla 体验效果 及代码
CreateAMind
8+阅读 · 2018年2月3日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年9月30日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
9+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
8+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
5+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
10+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
12+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
6+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
12+阅读 · 9月21日
相关资讯
ICRA 2019 论文速览 | 传统SLAM、三维视觉算法进展
计算机视觉life
50+阅读 · 2019年7月16日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
胶囊网络资源汇总
论智
7+阅读 · 2018年3月10日
carla 体验效果 及代码
CreateAMind
8+阅读 · 2018年2月3日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员