Heterogeneous air-ground robot teams combine complementary sensing modalities, mobility characteristics, and spatial viewpoints that can significantly enhance perception in complex outdoor environments. However, progress in multi-robot collaborative perception has been constrained by the lack of real-world datasets featuring overlapping multi-modal observations from platforms operating in unstructured terrain. We present GA3T (Ground-Aerial Team for Terrain Traversal), a real-world multi-robot collaborative perception dataset collected using a Clearpath Husky UGV and an Autel EVO~II UAV across diverse unstructured environments, including forest trails, rocky paths, muddy terrain, snow piles, and grass-covered fields. The ground platform provides 3D LiDAR, stereo camera, IMU, and GPS data, while the aerial platform contributes RGB imagery, thermal/infrared observations, and GPS from a complementary overhead viewpoint, allowing for rich cross-modal and cross-view perception. The dataset is collected in 4 unique environments, with over 13,000 synchronized frames across approximately 29 minutes of operation, and includes both SAM~3-based zero-shot segmentation and over 8,000 manually labeled images. A unique aspect of the dataset is its early-spring collection period, during which sparse tree canopies allow the aerial robot to partially observe the ground robot and terrain through the trees, allowing for occlusion-aware collaborative perception. Unlike prior multi-robot datasets that focus on SLAM or simulated cooperative driving, GA3T is specifically designed to support research on cross-view perception, air-ground viewpoint fusion, traversability estimation, and collaborative scene understanding in real off-road environments.


翻译:异构空地机器人团队结合了互补的感知模态、移动特性和空间视角,能够显著增强复杂室外环境中的感知能力。然而,多机器人协同感知的进展受到缺乏来自非结构化地形中运行平台的重叠多模态观测的真实世界数据集的制约。我们提出了GA3T(地面-空中团队地形穿越),这是一个使用Clearpath Husky UGV和Autel EVO~II UAV在多种非结构化环境中收集的真实世界多机器人协同感知数据集,包括森林小径、岩石路径、泥泞地形、雪堆和草地覆盖区域。地面平台提供3D LiDAR、立体相机、IMU和GPS数据,而空中平台从互补的俯视视角贡献RGB图像、热红外观测和GPS数据,实现了丰富的跨模态和跨视角感知。数据集在4个独特环境中收集,包含超过13,000个同步帧,运行约29分钟,并包括基于SAM~3的零样本分割和超过8,000张手动标注图像。该数据集的一个独特之处在于其早春采集期,在此期间稀疏的树冠使得空中机器人能够部分通过树木观测地面机器人和地形,从而支持遮挡感知的协同感知。与以往专注于SLAM或模拟协同驾驶的多机器人数据集不同,GA3T专门设计用于支持真实越野环境中跨视角感知、空地视角融合、可通行性估计和协同场景理解的研究。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
从规则驱动到群智涌现: 多机器人空地协同研究综述
专知会员服务
36+阅读 · 2024年11月17日
空地异构无人系统侦察任务规划方法
专知会员服务
86+阅读 · 2024年2月26日
国外有人/无人平台协同作战概述
无人机
123+阅读 · 2019年5月28日
进攻机动作战中的机器人集群
无人机
31+阅读 · 2017年12月4日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
10+阅读 · 6月15日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员