In this paper, we propose MOTRv2, a simple yet effective pipeline to bootstrap end-to-end multi-object tracking with a pretrained object detector. Existing end-to-end methods, MOTR and TrackFormer are inferior to their tracking-by-detection counterparts mainly due to their poor detection performance. We aim to improve MOTR by elegantly incorporating an extra object detector. We first adopt the anchor formulation of queries and then use an extra object detector to generate proposals as anchors, providing detection prior to MOTR. The simple modification greatly eases the conflict between joint learning detection and association tasks in MOTR. MOTRv2 keeps the query propogation feature and scales well on large-scale benchmarks. MOTRv2 ranks the 1st place (73.4% HOTA on DanceTrack) in the 1st Multiple People Tracking in Group Dance Challenge. Moreover, MOTRv2 reaches state-of-the-art performance on the BDD100K dataset. We hope this simple and effective pipeline can provide some new insights to the end-to-end MOT community. Code is available at \url{https://github.com/megvii-research/MOTRv2}.


翻译:本文提出MOTRv2,一种简洁高效的框架,通过引入预训练目标检测器来引导端到端多目标跟踪。现有端到端方法(如MOTR与TrackFormer)在性能上逊于基于检测-跟踪的范式,主要归因于其较弱的检测能力。我们旨在通过优雅地集成外部检测器来改进MOTR。首先采用查询锚点公式化,然后利用外部检测器生成的候选框作为锚点,为MOTR提供检测先验。这一简单改进显著缓解了MOTR中联合学习检测与关联任务之间的冲突。MOTRv2保留了查询传播特性,并在大规模基准测试中展现出良好的可扩展性。该模型在群体舞蹈挑战赛首届多人跟踪任务中排名第一(DanceTrack数据集HOTA指标73.4%),同时在BDD100K数据集上达到最优性能。希望这一简洁有效的框架能为端到端多目标跟踪领域带来新启示。代码开源地址:\url{https://github.com/megvii-research/MOTRv2}。

0
下载
关闭预览

相关内容

【AAAI2022】LGD:用于物体检测的标签引导自蒸馏
专知会员服务
17+阅读 · 2022年1月2日
浙大《深度学习低样本目标检测》综述论文
专知会员服务
76+阅读 · 2021年12月13日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
38+阅读 · 2021年4月9日
ECCV 2022 | ByteTrack: 简单高效的数据关联方法
PaperWeekly
1+阅读 · 2022年8月1日
多目标跟踪:SORT和Deep SORT
极市平台
47+阅读 · 2019年3月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
25+阅读 · 2020年3月11日
Arxiv
13+阅读 · 2019年4月9日
VIP会员
最新内容
《无人地面战车(UGV)的崛起》报告
专知会员服务
5+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
9+阅读 · 7月16日
相关VIP内容
【AAAI2022】LGD:用于物体检测的标签引导自蒸馏
专知会员服务
17+阅读 · 2022年1月2日
浙大《深度学习低样本目标检测》综述论文
专知会员服务
76+阅读 · 2021年12月13日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
38+阅读 · 2021年4月9日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员