Monocular RGB cameras mounted on drones are widely used for wildlife monitoring, yet most analytical pipelines remain confined to two-dimensional image space, leaving geometric information in video underexploited. We present WildLIFT, a computational framework that integrates three-dimensional scene geometry from monocular drone video with open-vocabulary 2D instance segmentation to enable species-agnostic 3D detection and tracking. Oriented 3D bounding box labels with semantic face information enable quantitative assessment of viewpoint coverage and inter-animal occlusion, producing structured metadata for downstream ecological analyses. We validate the framework on 2,581 manually curated frames comprising over 6,700 3D detections across four large mammal species. WildLIFT maintains high identity consistency in multi-animal scenes and substantially reduces manual 3D annotation effort through keyframe-based refinement. By transforming standard drone footage into structured 3D and viewpoint-aware representations, WildLIFT extends the analytical utility of aerial wildlife datasets for behavioural research and population monitoring.


翻译:搭载于无人机上的单目RGB相机被广泛用于野生动物监测,然而大多数分析流程仍局限于二维图像空间,视频中的几何信息未得到充分利用。我们提出WildLIFT计算框架,该框架将单目无人机视频中的三维场景几何信息与开放词汇2D实例分割相结合,实现物种无关的3D检测与跟踪。带有语义面信息的有向三维包围框标注,能够对视角覆盖范围和动物间遮挡进行定量评估,为下游生态学分析生成结构化元数据。我们在包含四种大型哺乳动物、超过6,700个三维检测实例的2,581帧人工标注数据上验证了该框架性能。在多动物场景中,WildLIFT保持了高身份一致性,并通过基于关键帧的优化显著减少了人工三维标注工作量。通过将标准无人机视频转化为结构化的三维及视角感知表征,WildLIFT拓展了航空野生动物数据集在行为研究与种群监测中的分析效用。

0
下载
关闭预览

相关内容

面向无人机视角的多源信息融合目标检测
专知会员服务
19+阅读 · 2025年2月2日
基于深度学习的无人机目标检测研究综述
专知会员服务
108+阅读 · 2023年6月22日
面向无人机的视觉目标跟踪算法:综述与展望
专知会员服务
81+阅读 · 2023年2月28日
无人机视角下的目标检测研究进展
专知会员服务
127+阅读 · 2023年1月22日
【未来黑科技】深度玩转行人重识别与跨境追踪
炼数成金订阅号
11+阅读 · 2019年4月18日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
AI如何帮助卫星遥感释放价值?
未来论坛
19+阅读 · 2018年8月8日
智能无人机集群技术概述
无人机
46+阅读 · 2018年2月28日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
2+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
3+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
3+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
面向无人机视角的多源信息融合目标检测
专知会员服务
19+阅读 · 2025年2月2日
基于深度学习的无人机目标检测研究综述
专知会员服务
108+阅读 · 2023年6月22日
面向无人机的视觉目标跟踪算法:综述与展望
专知会员服务
81+阅读 · 2023年2月28日
无人机视角下的目标检测研究进展
专知会员服务
127+阅读 · 2023年1月22日
相关资讯
【未来黑科技】深度玩转行人重识别与跨境追踪
炼数成金订阅号
11+阅读 · 2019年4月18日
新型相机DVS/Event-based camera的发展及应用
计算机视觉life
16+阅读 · 2019年3月12日
AI如何帮助卫星遥感释放价值?
未来论坛
19+阅读 · 2018年8月8日
智能无人机集群技术概述
无人机
46+阅读 · 2018年2月28日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员