The study of eye movements, particularly saccades and fixations, are fundamental to understanding the mechanisms of human cognition and perception. Accurate classification of these movements requires sensing technologies capable of capturing rapid dynamics without distortion. Event cameras, also known as Dynamic Vision Sensors (DVS), provide asynchronous recordings of changes in light intensity, thereby eliminating motion blur inherent in conventional frame-based cameras and offering superior temporal resolution and data efficiency. In this study, we introduce a synthetic dataset generated with Blender to simulate saccades and fixations under controlled conditions. Leveraging Spiking Neural Networks (SNNs), we evaluate its robustness by training two architectures and finetuning on real event data. The proposed models achieve up to 0.83 accuracy and maintain consistent performance across varying temporal resolutions, demonstrating stability in eye movement classification. Moreover, the use of SNNs with synthetic event streams yields substantial computational efficiency gains over artificial neural network (ANN) counterparts, underscoring the utility of synthetic data augmentation in advancing event-based vision. All code and datasets associated with this work is available at https: //github.com/Ikhadija-5/SynSacc-Dataset.


翻译:眼动研究,特别是扫视与注视,是理解人类认知与感知机制的基础。对这些运动的精确分类需要能够无失真捕捉快速动态的传感技术。事件相机,亦称动态视觉传感器(DVS),以异步方式记录光强变化,从而消除了传统帧式相机固有的运动模糊,并提供了卓越的时间分辨率与数据效率。本研究引入了一个利用Blender生成的合成数据集,用于模拟受控条件下的扫视与注视。我们利用脉冲神经网络(SNNs),通过训练两种架构并在真实事件数据上进行微调,评估了其鲁棒性。所提出的模型实现了高达0.83的准确率,并在不同时间分辨率下保持了一致的性能,证明了其在眼动分类中的稳定性。此外,与人工神经网络(ANN)相比,使用SNNs处理合成事件流带来了显著的计算效率提升,突显了合成数据增强在推进基于事件的视觉研究中的效用。本工作相关的所有代码与数据集可在 https://github.com/Ikhadija-5/SynSacc-Dataset 获取。

0
下载
关闭预览

相关内容

基于异构数据融合的SLAM 研究综述
专知会员服务
28+阅读 · 2024年9月18日
多模态数据的行为识别综述
专知会员服务
88+阅读 · 2022年11月30日
混合增强视觉认知架构及其关键技术进展
专知会员服务
46+阅读 · 2021年11月20日
专知会员服务
106+阅读 · 2020年11月27日
OpenVSLAM:日本新开源”全能“视觉SLAM框架
计算机视觉life
13+阅读 · 2019年6月12日
深度学习应用在图像匹配的效果如何?
中国图象图形学报
10+阅读 · 2019年6月11日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
干货|基于双流递归神经网络的人体骨架行为识别!
全球人工智能
13+阅读 · 2017年12月15日
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员