Collecting and labeling large real-world wild animal datasets is impractical, costly, error-prone, and labor-intensive. For animal monitoring tasks, as detection, tracking, and pose estimation, out-of-distribution viewpoints (e.g. aerial) are also typically needed but rarely found in publicly available datasets. To solve this, existing approaches synthesize data with simplistic techniques that then necessitate strategies to bridge the synthetic-to-real gap. Therefore, real images, style constraints, complex animal models, or pre-trained networks are often leveraged. In contrast, we generate a fully synthetic dataset using a 3D photorealistic simulator and demonstrate that it can eliminate such needs for detecting and estimating 2D poses of wild zebras. Moreover, existing top-down 2D pose estimation approaches using synthetic data assume reliable detection models. However, these often fail in out-of-distribution scenarios, e.g. those that include wildlife or aerial imagery. Our method overcomes this by enabling the training of both tasks using the same synthetic dataset. Through extensive benchmarks, we show that models trained from scratch exclusively on our synthetic data generalize well to real images. We perform these using multiple real-world and synthetic datasets, pre-trained and randomly initialized backbones, and different image resolutions. Code, results, models, and data can be found athttps://zebrapose.is.tue.mpg.de/.


翻译:收集和标注大规模真实野生动物数据集不仅不切实际、成本高昂,且易出错、劳动密集。对于动物监测任务(如检测、跟踪和姿态估计),通常需要分布外视角(例如航拍图像),但公开数据集中却鲜有此类数据。为解决这一问题,现有方法采用简化技术合成数据,随后需通过策略弥合合成与真实数据间的差异。因此,这些方法往往需要借助真实图像、风格约束、复杂动物模型或预训练网络。与此相反,我们通过三维逼真模拟器生成完全合成的数据集,并证明该数据集能够满足野生斑马的检测与二维姿态估计需求,且无需上述额外资源。此外,现有基于合成数据的自上而下二维姿态估计方法通常依赖可靠的检测模型,但这些模型在分布外场景(如涉及野生动物或航拍图像时)往往失效。我们的方法通过使用同一合成数据集训练两项任务,成功克服了这一局限。大量基准测试表明,仅使用我们的合成数据从头训练的模型能够良好泛化至真实图像。我们在多个真实与合成数据集上进行了验证,测试了预训练与随机初始化的骨干网络,并评估了不同图像分辨率下的性能。代码、结果、模型及数据可在 https://zebrapose.is.tue.mpg.de/ 获取。

0
下载
关闭预览

相关内容

基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
【知识图谱】基于知识图谱的用户画像技术
产业智能官
103+阅读 · 2019年1月9日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
基于深度学习的物体姿态估计综述
专知会员服务
26+阅读 · 2024年5月15日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员