Facial optical flow supports a wide range of tasks in facial motion analysis. However, the lack of high-resolution facial optical flow datasets has hindered progress in this area. In this paper, we introduce Splatting Rasterization Flow (SRFlow), a high-resolution facial optical flow dataset, and Splatting Rasterization Guided FlowNet (SRFlowNet), a facial optical flow model with tailored regularization losses. These losses constrain flow predictions using masks and gradients computed via difference or Sobel operator. This effectively suppresses high-frequency noise and large-scale errors in texture-less or repetitive-pattern regions, enabling SRFlowNet to be the first model explicitly capable of capturing high-resolution skin motion guided by Gaussian splatting rasterization. Experiments show that training with the SRFlow dataset improves facial optical flow estimation across various optical flow models, reducing end-point error (EPE) by up to 42% (from 0.5081 to 0.2953). Furthermore, when coupled with the SRFlow dataset, SRFlowNet achieves up to a 48% improvement in F1-score (from 0.4733 to 0.6947) on a composite of three micro-expression datasets. These results demonstrate the value of advancing both facial optical flow estimation and micro-expression recognition.


翻译:面部光流为面部运动分析中的多种任务提供了支持。然而,高分辨率面部光流数据集的缺乏阻碍了该领域的进展。本文介绍了溅射光栅化光流数据集(SRFlow)——一个高分辨率面部光流数据集,以及溅射光栅化引导光流网络(SRFlowNet)——一种配备了定制化正则化损失的面部光流模型。这些损失利用通过差分或Sobel算子计算得到的掩码和梯度来约束光流预测。该方法有效地抑制了在缺乏纹理或具有重复图案区域中出现的高频噪声和大尺度误差,使得SRFlowNet成为首个明确能够捕获由高斯溅射光栅化引导的高分辨率皮肤运动的模型。实验表明,使用SRFlow数据集进行训练能提升多种光流模型的面部光流估计性能,将端点误差(EPE)最高降低42%(从0.5081降至0.2953)。此外,当结合SRFlow数据集使用时,SRFlowNet在三个微表情数据集的复合评估中,F1分数最高提升了48%(从0.4733提升至0.6947)。这些结果证明了在推进面部光流估计和微表情识别两方面的价值。

0
下载
关闭预览

相关内容

【Yoshua Bengio最新一作论文】GFlowNet基础,GFlowNet Foundations
专知会员服务
26+阅读 · 2021年11月22日
基于TensorFlow和Keras的图像识别
Python程序员
16+阅读 · 2019年6月24日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
Layer Normalization原理及其TensorFlow实现
深度学习每日摘要
32+阅读 · 2017年6月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【Yoshua Bengio最新一作论文】GFlowNet基础,GFlowNet Foundations
专知会员服务
26+阅读 · 2021年11月22日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员