Ear occlusions (arising from the presence of ear accessories such as earrings and earphones) can negatively impact performance in ear-based biometric recognition systems, especially in unconstrained imaging circumstances. In this study, we assess the effectiveness of a diffusion-based ear inpainting technique as a pre-processing aid to mitigate the issues of ear accessory occlusions in transformer-based ear recognition systems. Given an input ear image and an automatically derived accessory mask, the inpainting model reconstructs clean and anatomically plausible ear regions by synthesizing missing pixels while preserving local geometric coherence along key ear structures, including the helix, antihelix, concha, and lobule. We evaluate the effectiveness of this pre-processing aid in transformer-based recognition systems for several vision transformer models and different patch sizes for a range of benchmark datasets. Experiments show that diffusion-based inpainting can be a useful pre-processing aid to alleviate ear accessory occlusions to improve overall recognition performance.


翻译:耳部遮挡(由耳环、耳机等耳部配饰的存在引起)会对基于耳部的生物特征识别系统性能产生负面影响,尤其是在非受控成像条件下。本研究评估了一种基于扩散的耳部修复技术作为预处理辅助手段的有效性,旨在缓解基于Transformer的耳部识别系统中耳部配饰遮挡问题。给定输入耳部图像及自动生成的配饰掩码,修复模型通过合成缺失像素来重建清洁且解剖结构合理的耳部区域,同时保持沿关键耳部结构(包括耳轮、对耳轮、耳甲腔和耳垂)的局部几何一致性。我们在多个基准数据集上,针对不同的视觉Transformer模型及不同补丁尺寸,评估了该预处理辅助手段在基于Transformer的识别系统中的有效性。实验表明,基于扩散的修复技术可作为有效的预处理辅助手段,缓解耳部配饰遮挡问题,从而提升整体识别性能。

0
下载
关闭预览

相关内容

【NeurIPS 2024】用于变分似然估计和图像去噪的扩散先验
专知会员服务
15+阅读 · 2024年10月26日
中科大等最新《基于扩散模型的图像恢复和增强》综述
专知会员服务
37+阅读 · 2023年8月22日
专知会员服务
22+阅读 · 2021年1月5日
鲁棒模式识别研究进展
专知会员服务
41+阅读 · 2020年8月9日
图像修复研究进展综述
专知
20+阅读 · 2021年3月9日
用于语音识别的数据增强
AI研习社
24+阅读 · 2019年6月5日
读者来稿 | 有效遮挡检测的鲁棒人脸识别
计算机视觉战队
19+阅读 · 2019年3月28日
CVPR 2019 | 无监督领域特定单图像去模糊
PaperWeekly
14+阅读 · 2019年3月20日
图像降噪算法介绍及实现汇总
极市平台
26+阅读 · 2018年1月3日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员