Event-based cameras (EBCs) are poised to transform underwater robotics, yet the absence of labelled event-based datasets for underwater environments severely limits progress in tasks such as visual odometry and obstacle avoidance. Real-world event-based optical flow datasets are scarce, resource-intensive to collect, and lack diversity, while no prior benchmarks target underwater applications. To bridge this gap, we introduce eStonefish-Scenes, a synthetic event-based optical flow dataset generated using the Stonefish simulator, together with an open data generation pipeline for creating customizable underwater environments featuring realistic coral reefs and biologically inspired schools of fish with reactive navigation behaviours. We also present eWiz, a comprehensive library for event-based data processing, encompassing data loading, augmentation, visualization, encoding, training utilities, loss functions, and evaluation metrics. To validate sim-to-real transferability, we collected real-world data using a DAVIS346 hybrid event-and-frame camera mounted on a BlueROV2 in an indoor testing pool. Ground-truth optical flow was derived via homography-based frame-to-poster registration, and per-pixel uncertainty was estimated through Monte Carlo perturbation of keypoint correspondences. This uncertainty was incorporated into the evaluation metrics, enabling reliability-aware performance assessment. A ConvGRU-based optical flow network, trained exclusively on synthetic eStonefish-Scenes data, was evaluated on the real-world sequences without fine-tuning, achieving an uncertainty-weighted average endpoint error of 0.79 pixels. These results demonstrate that the proposed synthetic dataset effectively supports sim-to-real transfer for underwater event-based optical flow estimation, substantially reducing the need for costly real-world data collection.


翻译:事件相机(EBCs)有望变革水下机器人技术,然而,水下环境中带标签的事件数据集的缺失严重限制了视觉里程计和避障等任务的进展。真实世界的事件光流数据集稀少、收集资源密集且缺乏多样性,同时尚无针对水下应用的现有基准。为弥补这一差距,我们推出了eStonefish-Scenes,这是一个使用Stonefish仿真器生成的合成事件光流数据集,并附带一个开放数据生成流水线,用于创建可定制的、具有逼真珊瑚礁和具有反应式导航行为的仿生鱼群的水下环境。我们还提出了eWiz,一个用于事件数据处理的综合库,涵盖数据加载、增强、可视化、编码、训练工具、损失函数和评估指标。为了验证仿真到真实的迁移能力,我们在室内测试池中使用安装在BlueROV2上的DAVIS346混合事件-帧相机收集了真实世界数据。通过基于单应性的帧到后帧配准得到了真实光流,并通过关键点对应的蒙特卡洛扰动估计了逐像素不确定性。该不确定性被纳入评估指标,实现了可靠性感知的性能评估。一个基于ConvGRU的光流网络,仅使用合成的eStonefish-Scenes数据进行训练,在未微调的情况下在真实世界序列上进行评估,获得了0.79像素的不确定性加权平均端点误差。这些结果表明,所提出的合成数据集有效支持了水下事件光流估计的仿真到真实迁移,从而大幅减少了对昂贵的真实世界数据收集的需求。

0
下载
关闭预览

相关内容

《非视距水下光学无线通信》156页
专知会员服务
28+阅读 · 2025年1月9日
水下无人机的演变:未来战争的关键一环
专知会员服务
42+阅读 · 2024年4月24日
《改进水下恶劣条件下人机协作的机器视觉》252页
专知会员服务
29+阅读 · 2024年3月13日
《用于机器人的前视声纳仿真模型》65页
专知会员服务
37+阅读 · 2024年1月2日
基于深度学习的水下图像目标检测综述
专知会员服务
50+阅读 · 2023年4月29日
前沿:水下机器人及其导航系统
科学出版社
11+阅读 · 2019年6月22日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
【大数据】StreamSets:一个大数据采集工具
产业智能官
40+阅读 · 2018年12月5日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员