Generating synthetic datasets for training face recognition models is challenging because dataset generation entails more than creating high fidelity images. It involves generating multiple images of same subjects under different factors (\textit{e.g.}, variations in pose, illumination, expression, aging and occlusion) which follows the real image conditional distribution. Previous works have studied the generation of synthetic datasets using GAN or 3D models. In this work, we approach the problem from the aspect of combining subject appearance (ID) and external factor (style) conditions. These two conditions provide a direct way to control the inter-class and intra-class variations. To this end, we propose a Dual Condition Face Generator (DCFace) based on a diffusion model. Our novel Patch-wise style extractor and Time-step dependent ID loss enables DCFace to consistently produce face images of the same subject under different styles with precise control. Face recognition models trained on synthetic images from the proposed DCFace provide higher verification accuracies compared to previous works by $6.11\%$ on average in $4$ out of $5$ test datasets, LFW, CFP-FP, CPLFW, AgeDB and CALFW. Code is available at https://github.com/mk-minchul/dcface


翻译:生成用于训练人脸识别模型的合成数据集具有挑战性,因为数据集生成不仅需要创建高保真度图像,还涉及在遵循真实图像条件分布的不同因素(例如姿态、光照、表情、老化及遮挡变化)下生成同一主体的多张图像。以往研究探讨了使用生成对抗网络(GAN)或三维模型生成合成数据集的方法。本文从融合主体外观(身份)和外部因素(风格)条件这一角度处理该问题,这两种条件提供了直接控制类间与类内变异的方式。为此,我们提出了一种基于扩散模型的双条件人脸生成器(DCFace)。其新颖的逐块风格提取器与时步相关的身份损失函数,使DCFace能够在不同风格下稳定生成同一主体的面部图像并实现精确控制。与以往研究相比,基于所提出的DCFace生成的合成图像训练的人脸识别模型,在LFW、CFP-FP、CPLFW、AgeDB和CALFW这5个测试数据集中的4个上,平均验证准确率提高了6.11%。代码见https://github.com/mk-minchul/dcface。

0
下载
关闭预览

相关内容

专知会员服务
16+阅读 · 2021年5月13日
【CVPR2021】GAN人脸预训练模型
专知会员服务
24+阅读 · 2021年4月10日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
33+阅读 · 2020年1月10日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
专知会员服务
16+阅读 · 2021年5月13日
【CVPR2021】GAN人脸预训练模型
专知会员服务
24+阅读 · 2021年4月10日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
33+阅读 · 2020年1月10日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
相关资讯
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员