Model-based eye tracking has been a dominant approach for eye gaze tracking because of its ability to generalize to different subjects, without the need of any training data and eye gaze annotations. Model-based eye tracking, however, is susceptible to eye feature detection errors, in particular for eye tracking in the wild. To address this issue, we propose a Bayesian framework for model-based eye tracking. The proposed system consists of a cascade-Bayesian Convolutional Neural Network (c-BCNN) to capture the probabilistic relationships between eye appearance and its landmarks, and a geometric eye model to estimate eye gaze from the eye landmarks. Given a testing eye image, the Bayesian framework can generate, through Bayesian inference, the eye gaze distribution without explicit landmark detection and model training, based on which it not only estimates the most likely eye gaze but also its uncertainty. Furthermore, with Bayesian inference instead of point-based inference, our model can not only generalize better to different sub-jects, head poses, and environments but also is robust to image noise and landmark detection errors. Finally, with the estimated gaze uncertainty, we can construct a cascade architecture that allows us to progressively improve gaze estimation accuracy. Compared to state-of-the-art model-based and learning-based methods, the proposed Bayesian framework demonstrates significant improvement in generalization capability across several benchmark datasets and in accuracy and robustness under challenging real-world conditions.


翻译:以模型为基础的眼睛跟踪是眼视跟踪的主要方法,因为它能够推广到不同的主题,而不需要任何培训数据和眼视说明。但是,以模型为基础的眼睛跟踪容易出现眼睛特征检测错误,特别是野生眼睛跟踪。为了解决这个问题,我们提议建立贝叶斯框架,用于以模型为基础的眼睛跟踪。拟议的系统包括级联-拜耶色共进神经网络(c-BCNN),以捕捉眼貌及其标志性之间的概率关系,以及从眼界标志性的角度估计眼睛眼视的几何性眼睛模型。根据测试性眼象图像,贝伊西亚框架可以通过贝伊斯推断产生眼睛眼睛的分布,而没有明确的里程碑性检测和模型培训,根据这一框架,我们不仅估计最可能的眼睛视力,而且其不确定性。此外,由于贝伊斯推论而不是点性的推断,我们的模型不仅能够更好地概括不同的子点、头部和环境,而且能够准确地估计图像的噪音和标志性检测错误。最后,在估计的准确性方面,我们可以通过估计的准确性来逐步地评估基准性,从而推算出一种基于结构的精确性,从而推估测测测测测测测测的系统。

1
下载
关闭预览

相关内容

专知会员服务
19+阅读 · 2021年6月10日
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
专知会员服务
50+阅读 · 2021年4月15日
视觉目标跟踪十年研究进展
专知会员服务
89+阅读 · 2021年3月10日
专知会员服务
41+阅读 · 2021年3月3日
专知会员服务
53+阅读 · 2020年10月21日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Learning Discriminative Model Prediction for Tracking
Arxiv
3+阅读 · 2018年4月9日
Arxiv
6+阅读 · 2018年3月28日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
1+阅读 · 今天13:30
多智能体协作机制
专知会员服务
1+阅读 · 今天13:26
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
6+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
9+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
7+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
Top
微信扫码咨询专知VIP会员