Recently there has been a growing interest in Transformer not only in NLP but also in computer vision. We wonder if transformer can be used in face recognition and whether it is better than CNNs. Therefore, we investigate the performance of Transformer models in face recognition. Considering the original Transformer may neglect the inter-patch information, we modify the patch generation process and make the tokens with sliding patches which overlaps with each others. The models are trained on CASIA-WebFace and MS-Celeb-1M databases, and evaluated on several mainstream benchmarks, including LFW, SLLFW, CALFW, CPLFW, TALFW, CFP-FP, AGEDB and IJB-C databases. We demonstrate that Face Transformer models trained on a large-scale database, MS-Celeb-1M, achieve comparable performance as CNN with similar number of parameters and MACs. To facilitate further researches, Face Transformer models and codes are available at https://github.com/zhongyy/Face-Transformer.


翻译:最近,人们不仅对NLP而且对计算机视觉都越来越关注变压器。我们想知道变压器能否用于面部识别,是否比CNN更好。因此,我们调查变压器模型的性能,以面部识别。考虑到原来的变压器可能忽略互换信息,我们修改补丁生成过程,用相互重叠的滑动补丁打下标记。这些模型在CASIA-WebFace和MS-Celeb-1M数据库上接受培训,并根据几个主流基准进行评估,包括LFW、SLLFW、CLFW、CPLFW、TALFW、CFP-FD、AGEDB和IJB-C数据库。我们证明,在大型数据库MS-Celeb-1M上培训的面形变压器模型,与CNN具有类似参数和MACS的类似性能。为了便利进一步研究,Face Fealdererverer 模型和代码可在https://github.com/zhyy/Face-Trans-Transforforforfent。

0
下载
关闭预览

相关内容

专知会员服务
47+阅读 · 2021年6月1日
最新《Transformers模型》教程,64页ppt
专知会员服务
326+阅读 · 2020年11月26日
Transformer模型-深度学习自然语言处理,17页ppt
专知会员服务
108+阅读 · 2020年8月30日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
超全的人脸识别数据集汇总,附打包下载
极市平台
90+阅读 · 2020年3月7日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
胶囊网络资源汇总
论智
7+阅读 · 2018年3月10日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
Arxiv
0+阅读 · 2021年6月4日
Arxiv
5+阅读 · 2020年3月17日
Arxiv
3+阅读 · 2018年6月19日
Arxiv
15+阅读 · 2018年2月4日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
25+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
10+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
12+阅读 · 11月8日
人工智能在军事教育中的应用:若干视角与经验
专知会员服务
12+阅读 · 11月6日
“星链”减速与不断适应的乌克兰
专知会员服务
10+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
7+阅读 · 11月6日
相关资讯
超全的人脸识别数据集汇总,附打包下载
极市平台
90+阅读 · 2020年3月7日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
胶囊网络资源汇总
论智
7+阅读 · 2018年3月10日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
Top
微信扫码咨询专知VIP会员