With the increasing deployment of intelligent CCTV systems in outdoor environments, there is a growing demand for face recognition systems optimized for challenging weather conditions. Adverse weather significantly degrades image quality, which in turn reduces recognition accuracy. Although recent face image restoration (FIR) models based on generative adversarial networks (GANs) and diffusion models have shown progress, their performance remains limited due to the lack of dedicated modules that explicitly address weather-induced degradations. This leads to distorted facial textures and structures. To address these limitations, we propose a novel GAN-based blind FIR framework that integrates two key components: local Statistical Facial Feature Transformation (SFFT) and Degradation-Agnostic Feature Embedding (DAFE). The local SFFT module enhances facial structure and color fidelity by aligning the local statistical distributions of low-quality (LQ) facial regions with those of high-quality (HQ) counterparts. Complementarily, the DAFE module enables robust statistical facial feature extraction under adverse weather conditions by aligning LQ and HQ encoder representations, thereby making the restoration process adaptive to severe weather-induced degradations. Experimental results demonstrate that the proposed degradation-agnostic SFFT model outperforms existing state-of-the-art FIR methods based on GAN and diffusion models, particularly in suppressing texture distortions and accurately reconstructing facial structures. Furthermore, both the SFFT and DAFE modules are empirically validated in enhancing structural fidelity and perceptual quality in face restoration under challenging weather scenarios.


翻译:随着智能闭路电视系统在户外环境中的部署日益增多,针对恶劣天气条件优化的人脸识别系统需求不断增长。恶劣天气会显著降低图像质量,进而降低识别准确率。尽管近期基于生成对抗网络和扩散模型的人脸图像复原模型已取得进展,但由于缺乏专门处理天气所致退化的显式模块,其性能仍然受限,导致面部纹理和结构失真。为应对这些局限,我们提出了一种新颖的基于GAN的盲人脸图像复原框架,该框架集成了两个关键组件:局部统计面部特征变换和退化无关特征嵌入。局部SFFT模块通过将低质量面部区域的局部统计分布与高质量对应区域对齐,来增强面部结构和色彩保真度。互补地,DAFE模块通过对齐LQ和HQ编码器表示,实现在恶劣天气条件下鲁棒的统计面部特征提取,从而使复原过程能够自适应严重的天气所致退化。实验结果表明,所提出的退化无关SFFT模型在抑制纹理失真和准确重建面部结构方面,优于现有的基于GAN和扩散模型的先进人脸图像复原方法。此外,SFFT和DAFE模块在提升恶劣天气场景下人脸复原的结构保真度和感知质量方面均得到了实证验证。

0
下载
关闭预览

相关内容

专知会员服务
39+阅读 · 2021年8月31日
人脸静默活体检测最新综述
PaperWeekly
14+阅读 · 2020年8月9日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
人脸识别最全知识图谱—清华大学出品
人工智能学家
10+阅读 · 2018年10月28日
无需干净样本,英伟达AI去马赛克
AR酱
10+阅读 · 2018年7月13日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
专知会员服务
39+阅读 · 2021年8月31日
相关资讯
人脸静默活体检测最新综述
PaperWeekly
14+阅读 · 2020年8月9日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
人脸识别最全知识图谱—清华大学出品
人工智能学家
10+阅读 · 2018年10月28日
无需干净样本,英伟达AI去马赛克
AR酱
10+阅读 · 2018年7月13日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
从人脸识别到行人重识别,下一个风口
计算机视觉战队
13+阅读 · 2017年11月24日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员