We present a large-scale facial UV-texture dataset that contains over 50,000 high-quality texture UV-maps with even illuminations, neutral expressions, and cleaned facial regions, which are desired characteristics for rendering realistic 3D face models under different lighting conditions. The dataset is derived from a large-scale face image dataset namely FFHQ, with the help of our fully automatic and robust UV-texture production pipeline. Our pipeline utilizes the recent advances in StyleGAN-based facial image editing approaches to generate multi-view normalized face images from single-image inputs. An elaborated UV-texture extraction, correction, and completion procedure is then applied to produce high-quality UV-maps from the normalized face images. Compared with existing UV-texture datasets, our dataset has more diverse and higher-quality texture maps. We further train a GAN-based texture decoder as the nonlinear texture basis for parametric fitting based 3D face reconstruction. Experiments show that our method improves the reconstruction accuracy over state-of-the-art approaches, and more importantly, produces high-quality texture maps that are ready for realistic renderings. The dataset, code, and pre-trained texture decoder are publicly available at https://github.com/csbhr/FFHQ-UV.


翻译:我们提出一个大规模面部UV纹理数据集,包含超过5万张高质量纹理UV贴图,这些贴图具有均匀光照、中性表情及经过清洗的面部区域——这些特征正是不同光照条件下渲染逼真三维人脸模型所需的理想属性。该数据集源自大规模人脸图像数据集FFHQ,依托我们全自动且鲁棒的UV纹理生成流水线实现。该流水线利用基于StyleGAN的面部图像编辑技术最新进展,从单张输入图像生成多视角标准化人脸图像。随后通过精心设计的UV纹理提取、校正与补全流程,从标准化人脸图像中生成高质量UV贴图。与现有UV纹理数据集相比,我们的数据集具有更丰富多样、质量更高的纹理图。我们进一步训练了基于GAN的纹理解码器作为非线性纹理基,用于基于参数拟合的三维人脸重建。实验表明,我们的方法相较于现有最优方法提升了重建精度,更重要的是,能生成可直接用于逼真渲染的高质量纹理图。该数据集、代码及预训练纹理解码器已开源发布于https://github.com/csbhr/FFHQ-UV。

0
下载
关闭预览

相关内容

【CVPR2021】GAN人脸预训练模型
专知会员服务
24+阅读 · 2021年4月10日
 【SIGGRAPH 2020】人像阴影处理,Portrait Shadow Manipulation
专知会员服务
29+阅读 · 2020年5月19日
人脸专集3 | 人脸关键点检测(下)—文末源码
计算机视觉战队
19+阅读 · 2019年4月8日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
VIP会员
最新内容
定向能反无人机系统最新发展动态
专知会员服务
2+阅读 · 52分钟前
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
2+阅读 · 今天13:33
《通过小型无人机系统将情报能力“作战化”》
相关VIP内容
【CVPR2021】GAN人脸预训练模型
专知会员服务
24+阅读 · 2021年4月10日
 【SIGGRAPH 2020】人像阴影处理,Portrait Shadow Manipulation
专知会员服务
29+阅读 · 2020年5月19日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员