Gaze-based applications are increasingly advancing with the availability of large datasets but ensuring data quality presents a substantial challenge when collecting data at scale. It further requires different parties to collaborate, therefore, privacy concerns arise. We propose QualitEye--the first method for verifying image-based gaze data quality. QualitEye employs a new semantic representation of eye images that contains the information required for verification while excluding irrelevant information for better domain adaptation. QualitEye covers a public setting where parties can freely exchange data and a privacy-preserving setting where parties cannot reveal their raw data nor derive gaze features/labels of others with adapted private set intersection protocols. We evaluate QualitEye on the MPIIFaceGaze and GazeCapture datasets and achieve a high verification performance (with a small overhead in runtime for privacy-preserving versions). Hence, QualitEye paves the way for new gaze analysis methods at the intersection of machine learning, human-computer interaction, and cryptography.


翻译:基于注视的应用正随着大规模数据集的可用性而日益进步,但在数据收集过程中确保数据质量仍是一项重大挑战。这进一步要求不同参与方进行协作,因此引发了隐私问题。我们提出QualitEye——首个用于验证基于图像的注视数据质量的方法。QualitEye采用一种新的眼图语义表示方法,该表示包含验证所需信息,同时排除不相关信息以实现更好的领域自适应。QualitEye涵盖两种场景:公开场景中各方可自由交换数据,以及隐私保护场景中各方通过改进的私有集合交集协议既不能泄露原始数据,也不能推导他人的注视特征/标签。我们在MPIIFaceGaze和GazeCapture数据集上评估QualitEye,实现了高验证性能(隐私保护版本的运行时开销较小)。因此,QualitEye为机器学习、人机交互与密码学交叉领域的新型注视分析方法铺平了道路。

0
下载
关闭预览

相关内容

数据是组织最具价值的资产之一。企业的数据质量与业务绩效之间存在着直接联系,高质量的数据可以使公司保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量,企业在任何时候都可以信任满足所有需求的所有数据。
《视觉Transformers自监督学习机制综述》
专知会员服务
29+阅读 · 2024年9月2日
【MIT博士论文】隐私保护视频分析,116页pdf
专知会员服务
20+阅读 · 2023年8月10日
图数据上的隐私攻击与防御技术
专知会员服务
28+阅读 · 2022年4月28日
干货 | 视频显著性目标检测(文末附有完整源码)
计算机视觉战队
38+阅读 · 2019年9月3日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
1+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关VIP内容
《视觉Transformers自监督学习机制综述》
专知会员服务
29+阅读 · 2024年9月2日
【MIT博士论文】隐私保护视频分析,116页pdf
专知会员服务
20+阅读 · 2023年8月10日
图数据上的隐私攻击与防御技术
专知会员服务
28+阅读 · 2022年4月28日
相关资讯
干货 | 视频显著性目标检测(文末附有完整源码)
计算机视觉战队
38+阅读 · 2019年9月3日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员