Autonomous staff-free public transport requires reliable in-vehicle passenger monitoring. However, perception inside moving vehicles is challenged by confined spaces, variable illumination, motion-induced background variation, occlusion, and limited viewpoints. To mitigate these spatial constraints, ceiling-mounted fisheye cameras provide full-scene coverage from a single viewpoint. Yet existing public overhead fisheye datasets are recorded in static environments and do not capture the domain shift introduced by vehicle motion. To fill this gap, we introduce PMOF, Passenger Monitoring using Overhead Fisheye cameras, the first public dataset of top-view fisheye imagery captured inside a moving vehicle, comprising over 19k manually annotated frames. PMOF provides rotated bounding boxes, tracking identifiers, and action labels, supporting object detection, tracking, and action recognition. We benchmark PMOF using YOLO26m-obb models fine-tuned under multiple dataset configurations that combine PMOF with existing overhead fisheye datasets. Cross-domain fine-tuning with custom rotation-aware augmentation achieves 94.8% AP50 on PMOF and 96.5% AP50 on an unseen overhead fisheye dataset from a different domain. Our results highlight the domain gap between static and moving environments and show that incorporating PMOF improves detection performance and advances generalization beyond passenger monitoring to broader fisheye-based person detection tasks. The dataset and code are available at https://swermuth.github.io/pmof/.


翻译:全自主无人值守公共交通需要可靠的车辆内部乘客监测。然而,移动车辆内部的感知面临空间受限、光照变化、运动引起的背景波动、遮挡以及视角有限等挑战。为缓解这些空间限制,车顶安装的鱼眼摄像头可提供单一视角下的全景覆盖。然而现有的公开顶置鱼眼数据集均采集于静态环境,未捕捉车辆运动引入的域偏移。为填补这一空白,我们提出PMOF(Passenger Monitoring using Overhead Fisheye cameras),这是首个在移动车辆内部采集的顶视鱼眼图像公开数据集,包含超过1.9万帧人工标注数据。PMOF提供旋转边界框、跟踪标识及行为标签,支持目标检测、跟踪及行为识别任务。我们采用经多数据集配置(将PMOF与现有顶置鱼眼数据集结合)微调的YOLO26m-obb模型对PMOF进行基准测试。结合自定义旋转感知增强的跨域微调在PMOF上达到94.8%的AP50,并在来自不同领域的未见顶置鱼眼数据集上达到96.5%的AP50。实验结果揭示了静态与运动环境间的域差距,表明引入PMOF可提升检测性能,并将泛化能力从乘客监测任务拓展至更广泛的基于鱼眼图像的人物检测任务。数据集与代码开源于https://swermuth.github.io/pmof/。

0
下载
关闭预览

相关内容

数据集,又称为资料集、数据集合或资料集合,是一种由数据所组成的集合。
Data set(或dataset)是一个数据的集合,通常以表格形式出现。每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。它列出的价值观为每一个变量,如身高和体重的一个物体或价值的随机数。每个数值被称为数据资料。对应于行数,该数据集的数据可能包括一个或多个成员。
自动驾驶中的3D目标检测研究进展
专知会员服务
11+阅读 · 2025年7月20日
光学遥感图像目标检测数据集综述
专知会员服务
31+阅读 · 2024年3月29日
自动驾驶毫米波雷达物体检测技术-算法
CVer
14+阅读 · 2020年5月10日
代码解读 | VINS_Mono中的鱼眼相机模型
计算机视觉life
16+阅读 · 2019年9月10日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
无人驾驶仿真软件
智能交通技术
22+阅读 · 2019年5月9日
视频中的多目标跟踪【附PPT与视频资料】
人工智能前沿讲习班
30+阅读 · 2018年11月29日
车辆目标检测
数据挖掘入门与实战
30+阅读 · 2018年3月30日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 25分钟前
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 27分钟前
美以伊冲突:无人机与人工智能的运用
专知会员服务
2+阅读 · 39分钟前
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 59分钟前
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
自动驾驶中的3D目标检测研究进展
专知会员服务
11+阅读 · 2025年7月20日
光学遥感图像目标检测数据集综述
专知会员服务
31+阅读 · 2024年3月29日
相关资讯
自动驾驶毫米波雷达物体检测技术-算法
CVer
14+阅读 · 2020年5月10日
代码解读 | VINS_Mono中的鱼眼相机模型
计算机视觉life
16+阅读 · 2019年9月10日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
无人驾驶仿真软件
智能交通技术
22+阅读 · 2019年5月9日
视频中的多目标跟踪【附PPT与视频资料】
人工智能前沿讲习班
30+阅读 · 2018年11月29日
车辆目标检测
数据挖掘入门与实战
30+阅读 · 2018年3月30日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员