Compared to conventional cameras, event cameras provide a high dynamic range and low latency, offering greater robustness to rapid motion and challenging lighting conditions. Although the potential of event cameras for visual place recognition (VPR) has been established, developing robust VPR frameworks under severe illumination changes remains an open research problem. In this paper, we introduce an ensemble-based approach to event camera place recognition that combines sequence-matched results from multiple event-to-frame reconstructions, VPR feature extractors, and temporal resolutions. Unlike previous event-based ensemble methods, which only utilise temporal resolution, our broader fusion strategy delivers significantly improved robustness under varied lighting conditions (e.g., afternoon, sunset, night), achieving a 57% relative improvement in Recall@1 across day-night transitions. We evaluate our approach on two long-term driving datasets (with 8 km per traverse) without metric subsampling, thereby preserving natural variations in speed and stop duration that influence event density. We also conduct a comprehensive analysis of key design choices, including binning strategies, polarity handling, reconstruction methods, and feature extractors, to identify the most critical components for robust performance. Additionally, we propose a modification to the standard sequence matching framework that enhances performance at longer sequence lengths. To facilitate future research, we will release our codebase and benchmarking framework.


翻译:与传统相机相比,事件相机具有高动态范围和低延迟特性,对快速运动和挑战性光照条件展现出更强的鲁棒性。尽管事件相机在视觉地点识别领域的潜力已得到证实,但在剧烈光照变化下开发鲁棒的VPR框架仍是待解决的研究难题。本文提出一种基于集成方法的事件相机地点识别方案,通过融合多事件-帧重建方法、VPR特征提取器和时间分辨率生成的序列匹配结果实现性能提升。与先前仅利用时间分辨率的事件集成方法不同,我们提出的广义融合策略在多样化光照条件下(如午后、日落、夜间)显著增强了系统鲁棒性,在昼夜转换场景中Recall@1指标实现57%的相对提升。我们在两个长期驾驶数据集(每次遍历8公里)上评估了该方法,且未进行度量子采样,从而保留了影响事件密度的速度与停留时长的自然变化。通过对关键设计选择(包括分箱策略、极性处理、重建方法和特征提取器)的全面分析,我们确定了实现鲁棒性能的核心组件。此外,我们提出对标准序列匹配框架的改进方案,以提升长序列场景下的性能。为促进后续研究,我们将公开代码库与基准测试框架。

0
下载
关闭预览

相关内容

面向低光照图像增强的扩散模型
专知会员服务
15+阅读 · 2025年10月11日
《遥感基础模型研究综述:从视觉到多模态的演进》
专知会员服务
18+阅读 · 2025年3月31日
《面向视觉语言地理基础模型》综述
专知会员服务
47+阅读 · 2024年6月15日
基于图神经网络的高光谱图像分类研究进展
专知会员服务
31+阅读 · 2023年10月8日
用于识别任务的视觉 Transformer 综述
专知会员服务
75+阅读 · 2023年2月25日
Transformer 驱动的图像分类研究进展综述
专知会员服务
55+阅读 · 2023年2月24日
鲁棒模式识别研究进展
专知会员服务
41+阅读 · 2020年8月9日
事件知识图谱构建研究进展与趋势
THU数据派
99+阅读 · 2019年12月11日
论文浅尝 | 采用多层注意力机制的事件检测
开放知识图谱
24+阅读 · 2019年8月24日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
镜头间的风格转换行人重识别
统计学习与视觉计算组
13+阅读 · 2018年8月16日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
独家 | 光流与行为识别的结合研究
AI科技评论
12+阅读 · 2017年12月29日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月16日
VIP会员
相关VIP内容
面向低光照图像增强的扩散模型
专知会员服务
15+阅读 · 2025年10月11日
《遥感基础模型研究综述:从视觉到多模态的演进》
专知会员服务
18+阅读 · 2025年3月31日
《面向视觉语言地理基础模型》综述
专知会员服务
47+阅读 · 2024年6月15日
基于图神经网络的高光谱图像分类研究进展
专知会员服务
31+阅读 · 2023年10月8日
用于识别任务的视觉 Transformer 综述
专知会员服务
75+阅读 · 2023年2月25日
Transformer 驱动的图像分类研究进展综述
专知会员服务
55+阅读 · 2023年2月24日
鲁棒模式识别研究进展
专知会员服务
41+阅读 · 2020年8月9日
相关资讯
事件知识图谱构建研究进展与趋势
THU数据派
99+阅读 · 2019年12月11日
论文浅尝 | 采用多层注意力机制的事件检测
开放知识图谱
24+阅读 · 2019年8月24日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
镜头间的风格转换行人重识别
统计学习与视觉计算组
13+阅读 · 2018年8月16日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
独家 | 光流与行为识别的结合研究
AI科技评论
12+阅读 · 2017年12月29日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员