Accurate facial landmark detection under occlusion remains challenging, especially for human-like faces with large appearance variation and rotation-driven self-occlusion. Existing detectors typically localize landmarks while handling occlusion implicitly, without predicting per-point visibility that downstream applications can benefits. We present OccFace, an occlusion-aware framework for universal human-like faces, including humans, stylized characters, and other non-human designs. OccFace adopts a unified dense 100-point layout and a heatmap-based backbone, and adds an occlusion module that jointly predicts landmark coordinates and per-point visibility by combining local evidence with cross-landmark context. Visibility supervision mixes manual labels with landmark-aware masking that derives pseudo visibility from mask-heatmap overlap. We also create an occlusion-aware evaluation suite reporting NME on visible vs. occluded landmarks and benchmarking visibility with Occ AP, F1@0.5, and ROC-AUC, together with a dataset annotated with 100-point landmarks and per-point visibility. Experiments show improved robustness under external occlusion and large head rotations, especially on occluded regions, while preserving accuracy on visible landmarks.


翻译:遮挡条件下的精确人脸关键点检测仍具挑战性,尤其对于类人面孔,其外观变化大且旋转易导致自遮挡。现有检测器通常在隐式处理遮挡的同时定位关键点,未能预测下游应用可受益的逐点可见性。我们提出OccFace,一个面向通用类人面孔(包括人类、风格化角色及其他非人类设计)的遮挡感知框架。OccFace采用统一的密集100点布局与基于热图的骨干网络,并添加一个遮挡模块,通过结合局部证据与跨关键点上下文,联合预测关键点坐标与逐点可见性。可见性监督混合了人工标注与基于关键点的掩码生成,后者通过掩码-热图重叠推导伪可见性。我们还创建了一个遮挡感知评估套件,报告可见与遮挡关键点的归一化平均误差,并使用Occ AP、F1@0.5和ROC-AUC指标对可见性进行基准测试,同时提供了一个标注有100点关键点及逐点可见性的数据集。实验表明,该方法在外部遮挡与大角度头部旋转下(尤其在遮挡区域)鲁棒性显著提升,同时保持了对可见关键点的检测精度。

0
下载
关闭预览

相关内容

深度学习人脸特征点自动定位综述
专知会员服务
24+阅读 · 2021年12月1日
专知会员服务
34+阅读 · 2021年9月8日
人脸静默活体检测最新综述
PaperWeekly
14+阅读 · 2020年8月9日
PFLD:简单高效的实用人脸关键点检测算法
PaperWeekly
20+阅读 · 2019年4月17日
人脸专集4 | 遮挡、光照等因素的人脸关键点检测
计算机视觉战队
29+阅读 · 2019年4月11日
人脸专集3 | 人脸关键点检测(下)—文末源码
计算机视觉战队
19+阅读 · 2019年4月8日
人脸专集2 | 人脸关键点检测汇总(文末有相关文章链接)
计算机视觉战队
25+阅读 · 2019年4月4日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
人脸静默活体检测最新综述
PaperWeekly
14+阅读 · 2020年8月9日
PFLD:简单高效的实用人脸关键点检测算法
PaperWeekly
20+阅读 · 2019年4月17日
人脸专集4 | 遮挡、光照等因素的人脸关键点检测
计算机视觉战队
29+阅读 · 2019年4月11日
人脸专集3 | 人脸关键点检测(下)—文末源码
计算机视觉战队
19+阅读 · 2019年4月8日
人脸专集2 | 人脸关键点检测汇总(文末有相关文章链接)
计算机视觉战队
25+阅读 · 2019年4月4日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
从传统方法到深度学习,人脸关键点检测方法综述
机器之心
14+阅读 · 2017年12月17日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员