Due to their high temporal resolution and large dynamic range, event cameras are uniquely suited for the analysis of time-periodic signals in an image. In this work we present an efficient and fully asynchronous event camera algorithm for detecting the fundamental frequency at which image pixels flicker. The algorithm employs a second-order digital infinite impulse response (IIR) filter to perform an approximate per-pixel brightness reconstruction and is more robust to high-frequency noise than the baseline method we compare to. We further demonstrate that using the falling edge of the signal leads to more accurate period estimates than the rising edge, and that for certain signals interpolating the zero-level crossings can further increase accuracy. Our experiments find that the outstanding capabilities of the camera in detecting frequencies up to 64kHz for a single pixel do not carry over to full sensor imaging as readout bandwidth limitations become a serious obstacle. This suggests that a hardware implementation closer to the sensor will allow for greatly improved frequency imaging. We discuss the important design parameters for fullsensor frequency imaging and present Frequency Cam, an open-source implementation as a ROS node that can run on a single core of a laptop CPU at more than 50 million events per second. It produces results that are qualitatively very similar to those obtained from the closed source vibration analysis module in Prophesee's Metavision Toolkit. The code for Frequency Cam and a demonstration video can be found at https://github.com/ros-event-camera/frequency_cam


翻译:由于其高时间分辨率和大动态范围,事件相机特别适用于分析图像中的时间周期性信号。在本工作中,我们提出了一种高效且完全异步的事件相机算法,用于检测图像像素闪烁的基频。该算法采用二阶数字无限脉冲响应(IIR)滤波器执行近似的逐像素亮度重建,相较于我们对比的基线方法,对高频噪声具有更强的鲁棒性。我们进一步证明,使用信号的下降沿比上升沿能得到更准确的周期估计,并且对于某些信号,插值零电平交叉点可以进一步提高精度。我们的实验发现,相机在检测单个像素高达64kHz频率方面的卓越性能无法直接扩展到全传感器成像,因为读出带宽限制成为一个严重障碍。这表明更靠近传感器的硬件实现将能极大改进频率成像。我们讨论了全传感器频率成像的重要设计参数,并介绍了Frequency Cam——一个作为ROS节点的开源实现,可在笔记本电脑CPU的单核上以每秒超过5000万事件的速度运行。其产生的结果在质量上与Prophesee Metavision Toolkit中闭源振动分析模块获得的结果非常相似。Frequency Cam的代码及演示视频可在 https://github.com/ros-event-camera/frequency_cam 获取。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
13+阅读 · 2023年2月7日
Arxiv
30+阅读 · 2022年9月10日
Transformers in Remote Sensing: A Survey
Arxiv
25+阅读 · 2022年9月2日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
相关论文
Arxiv
13+阅读 · 2023年2月7日
Arxiv
30+阅读 · 2022年9月10日
Transformers in Remote Sensing: A Survey
Arxiv
25+阅读 · 2022年9月2日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员