Automated face recognition has made rapid strides over the past decade due to the unprecedented rise of deep neural network (DNN) models that can be trained for domain-specific tasks. At the same time, foundation models that are pretrained on broad vision or vision-language tasks have shown impressive generalization across diverse domains, including biometrics. This raises an important question: Do different DNN models--both domain-specific and foundation models--encode facial identity in similar ways, despite being trained on different datasets, loss functions, and architectures? In this regard, we directly analyze the geometric structure of embedding spaces imputed by different DNN models. Treating embeddings of face images as point clouds, we study whether simple affine transformations can align face representations of one model with another. Our findings reveal surprising cross-model compatibility: low-capacity linear mappings substantially improve cross-model face recognition over unaligned baselines for both face identification and verification tasks. Alignment patterns generalize across datasets and vary systematically across model families, indicating representational convergence in facial identity encoding. These findings have implications for model interoperability, ensemble design, and biometric template security.


翻译:过去十年中,由于能够针对特定领域任务进行训练的深度神经网络模型空前崛起,自动人脸识别取得了飞速发展。同时,在广泛的视觉或视觉-语言任务上预训练的基础模型,在包括生物特征识别在内的多个领域展现出了卓越的泛化能力。这引发了一个重要问题:不同的深度神经网络模型——无论是特定领域模型还是基础模型——尽管基于不同的数据集、损失函数和架构进行训练,它们编码面部身份信息的方式是否相似?针对此问题,我们直接分析了不同深度神经网络模型所提供的嵌入空间的几何结构。将人脸图像的嵌入视为点云,我们研究简单的仿射变换能否将一个模型的人脸表示与另一个模型对齐。我们的发现揭示了惊人的跨模型兼容性:在面部识别和验证任务中,低容量的线性映射显著提升了跨模型的面部识别性能,超越了未对齐的基线方法。对齐模式在不同数据集上具有泛化性,并依模型系列呈现系统性差异,这表明面部身份编码存在表征趋同现象。这些发现对模型互操作性、集成设计以及生物特征模板安全具有重要启示。

0
下载
关闭预览

相关内容

【博士论文】通过利用内在方法解释深度神经网络
专知会员服务
25+阅读 · 2024年7月20日
专知会员服务
56+阅读 · 2021年3月5日
专知会员服务
118+阅读 · 2020年8月22日
最新《深度学习人脸识别》综述论文,
专知会员服务
68+阅读 · 2020年8月10日
深度神经网络模型压缩与加速综述
专知会员服务
130+阅读 · 2019年10月12日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
综述 | 聚焦深度学习的人脸年龄估计
中国图象图形学报
14+阅读 · 2019年8月30日
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Arxiv
0+阅读 · 3月20日
Arxiv
0+阅读 · 2月25日
Arxiv
14+阅读 · 2023年9月27日
VIP会员
最新内容
ICML2026 | 重新思考顺序知识编辑中的正则化
专知会员服务
1+阅读 · 5月27日
《用于兵力发展选项优先排序的成本效益模型》
AutoResearch AI综述:迈向AI驱动的科学发现自动化
《Palantir边缘人工智能》手册
专知会员服务
20+阅读 · 5月26日
美军“国防自主作战群”(DAWG)概念解析
专知会员服务
3+阅读 · 5月26日
“史诗怒火”行动中的无人机与反无人机作战
专知会员服务
16+阅读 · 5月25日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员