Facial expression recognition (FER) models are widely used in video-based affective computing applications, such as human-computer interaction and healthcare monitoring. However, deep FER models often struggle with subtle expressions and high inter-subject variability, limiting performance in real-world settings. Source-free domain adaptation (SFDA) has been proposed to personalize a pretrained source model using only unlabeled target data, avoiding privacy, storage, and transmission constraints. We address a particularly challenging setting where source data is unavailable and the target data contains only neutral expressions. Existing SFDA methods are not designed for adaptation from a single target class, while generating non-neutral facial images is often unstable and expensive. To address this, we propose Source-Free Domain Adaptation with Personalized Feature Translation (SFDA-PFT), a lightweight latent-space approach. A translator is first pretrained on source data to map subject-specific style features between subjects while preserving expression information through expression-consistency and style-aware objectives. It is then adapted to neutral target data without source data or image synthesis. By operating in the latent space, SFDA-PFT avoids noisy facial image generation, reduces computation, and learns discriminative embeddings for classification. Experiments on BioVid, StressID, BAH, and Aff-Wild2 show that SFDA-PFT consistently outperforms state-of-the-art SFDA methods in privacy-sensitive FER scenarios. Our code is publicly available at: \href{https://github.com/MasoumehSharafi/SFDA-PFT}{GitHub}.


翻译:面部表情识别模型广泛应用于基于视频的情感计算应用,如人机交互与健康监测。然而,深度表情识别模型常难以处理细微表情及较高的个体间差异,限制了其在真实场景中的性能。无源域自适应方法被提出用于仅利用未标注目标数据对预训练的源模型进行个性化调整,从而避免隐私、存储及传输限制。我们针对一个极具挑战性的场景:源数据不可用且目标数据仅包含中性表情。现有无源域自适应方法未针对从单一目标类别进行自适应而设计,而生成非中性面部图像通常不稳定且成本高昂。为此,我们提出基于个性化特征迁移的无源域自适应方法,这是一种轻量级的隐空间方法。首先在源数据上预训练一个迁移器,通过表情一致性与风格感知目标,在保持表情信息的同时实现个体间特定风格特征的映射。随后,该方法在无需源数据或图像合成的情况下,仅利用中性目标数据进行自适应。通过在隐空间中操作,该方法避免了噪声面部图像的生成,减少了计算量,并学习到具有判别性的分类嵌入。在BioVid、StressID、BAH和Aff-Wild2数据集上的实验表明,在隐私敏感的表情识别场景中,该方法持续优于当前最先进的无源域自适应方法。我们的代码已公开于:\href{https://github.com/MasoumehSharafi/SFDA-PFT}{GitHub}。

0
下载
关闭预览

相关内容

《静态与动态情感的面部表情识别综述》
专知会员服务
20+阅读 · 2024年8月31日
「深度学习表情动作单元识别」 最新2022研究综述
专知会员服务
25+阅读 · 2022年10月8日
【伯克利博士论文】学习跨领域的可迁移表示
专知会员服务
47+阅读 · 2022年8月17日
专知会员服务
44+阅读 · 2021年4月18日
专知会员服务
56+阅读 · 2021年3月5日
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
Github项目推荐 | Emotion-recognition 实时表情识别
AI科技评论
19+阅读 · 2019年7月8日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
keras实战︱人脸表情分类与识别:人脸检测+情绪分类
数据挖掘入门与实战
21+阅读 · 2017年12月16日
极市分享|王晋东 迁移学习中的领域自适应方法
极市平台
10+阅读 · 2017年12月11日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
最新内容
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
0+阅读 · 今天14:22
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
21+阅读 · 4月29日
相关资讯
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
Github项目推荐 | Emotion-recognition 实时表情识别
AI科技评论
19+阅读 · 2019年7月8日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
keras实战︱人脸表情分类与识别:人脸检测+情绪分类
数据挖掘入门与实战
21+阅读 · 2017年12月16日
极市分享|王晋东 迁移学习中的领域自适应方法
极市平台
10+阅读 · 2017年12月11日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员