This paper introduces neck-mounted view gaze estimation, a new task that estimates user gaze from the neck-mounted camera perspective. Prior work on egocentric gaze estimation, which predicts device wearer's gaze location within the camera's field of view, mainly focuses on head-mounted cameras while alternative viewpoints remain underexplored. To bridge this gap, we collect the first dataset for this task, consisting of approximately 4 hours of video collected from 8 participants during everyday activities. We evaluate a transformer-based gaze estimation model, GLC, on the new dataset and propose two extensions: an auxiliary gaze out-of-bound classification task and a multi-view co-learning approach that jointly trains head-view and neck-view models using a geometry-aware auxiliary loss. Experimental results show that incorporating gaze out-of-bound classification improves performance over standard fine-tuning, while the co-learning approach does not yield gains. We further analyze these results and discuss implications for neck-mounted gaze estimation.


翻译:本文提出颈戴视角视线估计这一新任务,旨在通过颈戴式摄像头的视角估计用户视线方向。现有自我中心视线估计研究主要聚焦于头戴式摄像头,其预测设备佩戴者在摄像头视野内的注视位置,而替代视角的研究仍显不足。为填补这一空白,我们收集了该任务的首个数据集,包含8名参与者在日常活动中录制的约4小时视频。我们在新数据集上评估了基于Transformer的视线估计模型GLC,并提出两种扩展方法:辅助的视线越界分类任务,以及通过几何感知辅助损失联合训练头戴视角与颈戴视角模型的多视图协同学习方法。实验结果表明,引入视线越界分类任务相比标准微调方法提升了性能,而协同学习方法未带来增益。我们进一步分析了这些结果,并探讨了其对颈戴式视线估计的启示。

0
下载
关闭预览

相关内容

自动驾驶中的3D目标检测研究进展
专知会员服务
12+阅读 · 2025年7月20日
迈向深度基础模型:基于视觉的深度估计最新趋势
专知会员服务
24+阅读 · 2025年7月16日
基于深度学习的物体姿态估计综述
专知会员服务
27+阅读 · 2024年5月15日
基于深度学习的视觉目标检测技术综述
专知会员服务
62+阅读 · 2022年6月22日
【CVPR2022】GaTector:凝视对象预测的统一框架
专知会员服务
10+阅读 · 2022年3月24日
【AAAI2022】基于特征纯化的视线估计算法
专知会员服务
10+阅读 · 2022年2月11日
视线估计(Gaze Estimation)简介(一):概述
CVer
10+阅读 · 2020年3月18日
深度学习人体姿态估计算法综述
AI前线
25+阅读 · 2019年5月19日
自注意力机制在计算机视觉中的应用
GAN生成式对抗网络
19+阅读 · 2018年12月20日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
9+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
8+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
5+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
10+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
12+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
6+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
12+阅读 · 9月21日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员