Creative face stylization aims to render portraits in diverse visual idioms such as cartoons, sketches, and paintings while retaining recognizable identity. However, current identity encoders, which are typically trained and calibrated on natural photographs, exhibit severe brittleness under stylization. They often mistake changes in texture or color palette for identity drift or fail to detect geometric exaggerations. This reveals the lack of a style-agnostic framework to evaluate and supervise identity consistency across varying styles and strengths. To address this gap, we introduce StyleID, a human perception-aware dataset and evaluation framework for facial identity under stylization. StyleID comprises two datasets: (i) StyleBench-H, a benchmark that captures human same-different verification judgments across diffusion- and flow-matching-based stylization at multiple style strengths, and (ii) StyleBench-S, a supervision set derived from psychometric recognition-strength curves obtained through controlled two-alternative forced-choice (2AFC) experiments. Leveraging StyleBench-S, we fine-tune existing semantic encoders to align their similarity orderings with human perception across styles and strengths. Experiments demonstrate that our calibrated models yield significantly higher correlation with human judgments and enhanced robustness for out-of-domain, artist drawn portraits. All of our datasets, code, and pretrained models are publicly available at https://kwanyun.github.io/StyleID_page/


翻译:摘要:创意面部风格化旨在以多样的视觉语言(如卡通、素描和绘画)呈现肖像,同时保留可识别的身份信息。然而,当前的身份编码器通常基于自然照片训练和校准,在风格化条件下表现出严重的脆弱性。它们常将纹理或色调变化误判为身份漂移,或无法检测出几何夸张变形,这揭示了在跨不同风格与强度下,缺乏一种风格无关的框架来评估和监督身份一致性。为填补这一空白,我们提出StyleID——一种面向风格化面部身份的人类感知感知数据集与评估框架。StyleID包含两个数据集:(i) StyleBench-H,一个基准数据集,捕捉基于扩散和流匹配风格化方法在多种风格强度下的人类"相同-不同"验证判断; (ii) StyleBench-S,一个监督数据集,源自通过受控的二选一强制选择(2AFC)实验获得的心理测量识别强度曲线。利用StyleBench-S,我们对现有语义编码器进行微调,使其在跨风格与强度的相似性排序与人类感知对齐。实验表明,经过校准的模型与人类判断的相关性显著提高,并在域外艺术家绘制肖像上展现出更强的鲁棒性。所有数据集、代码及预训练模型均已在 https://kwanyun.github.io/StyleID_page/ 公开提供。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
基于神经网络的图像风格迁移算法综述
专知会员服务
12+阅读 · 2025年5月29日
《静态与动态情感的面部表情识别综述》
专知会员服务
20+阅读 · 2024年8月31日
专知会员服务
34+阅读 · 2021年10月8日
【芝加哥大学】可变形的风格转移,Deformable Style Transfer
专知会员服务
31+阅读 · 2020年3月26日
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
清华大学发布:人脸识别最全知识图谱
全球创新论坛
10+阅读 · 2018年11月21日
镜头间的风格转换行人重识别
统计学习与视觉计算组
13+阅读 · 2018年8月16日
图像风格迁移(Neural Style)简史
算法与数学之美
21+阅读 · 2018年2月4日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
1+阅读 · 今天16:54
Agentic RL:框架、实践与长程智能体训练
专知会员服务
1+阅读 · 今天16:52
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
相关资讯
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
基于人体骨架的行为识别【附PPT与视频资料】
人工智能前沿讲习班
31+阅读 · 2019年1月15日
清华大学发布:人脸识别最全知识图谱
全球创新论坛
10+阅读 · 2018年11月21日
镜头间的风格转换行人重识别
统计学习与视觉计算组
13+阅读 · 2018年8月16日
图像风格迁移(Neural Style)简史
算法与数学之美
21+阅读 · 2018年2月4日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员