Label assignment is a critical component in object detectors, particularly within DETR-style frameworks where the one-to-one matching strategy, despite its end-to-end elegance, suffers from slow convergence due to sparse supervision. While recent works have explored one-to-many assignments to enrich supervisory signals, they often introduce complex, architecture-specific modifications and typically focus on a single auxiliary strategy, lacking a unified and scalable design. In this paper, we first systematically investigate the effects of ``one-to-many'' supervision and reveal a surprising insight that performance gains are driven not by the sheer quantity of supervision, but by the diversity of the assignment strategies employed. This finding suggests that a more elegant, parameter-efficient approach is attainable. Building on this insight, we propose LoRA-DETR, a flexible and lightweight framework that seamlessly integrates diverse assignment strategies into any DETR-style detector. Our method augments the primary network with multiple Low-Rank Adaptation (LoRA) branches during training, each instantiating a different one-to-many assignment rule. These branches act as auxiliary modules that inject rich, varied supervisory gradients into the main model and are discarded during inference, thus incurring no additional computational cost. This design promotes robust joint optimization while maintaining the architectural simplicity of the original detector. Extensive experiments on different baselines validate the effectiveness of our approach. Our work presents a new paradigm for enhancing detectors, demonstrating that diverse ``one-to-many'' supervision can be integrated to achieve state-of-the-art results without compromising model elegance.


翻译:标签分配是目标检测器的关键组成部分,尤其在DETR风格框架中,尽管一对一匹配策略具有端到端的优雅性,但由于监督稀疏性导致收敛缓慢。虽然近期研究探索了一对多分配以丰富监督信号,但这些方法通常引入复杂且架构特定的修改,且往往仅关注单一辅助策略,缺乏统一且可扩展的设计。本文首先系统研究了一对多监督的效果,揭示了一个令人惊讶的发现:性能提升并非源于监督数量本身,而是源于所采用分配策略的多样性。这一发现表明,存在更优雅且参数高效的方法。基于此洞见,我们提出LoRA-DETR——一个灵活轻量的框架,可将多样化分配策略无缝集成到任何DETR风格检测器中。我们的方法在训练阶段通过多个低秩自适应(LoRA)分支增强主网络,每个分支实例化不同的“一对多”分配规则。这些分支作为辅助模块,向主模型注入丰富多样的监督梯度,并在推理阶段被丢弃,因此不会产生额外计算成本。该设计在保持原始检测器架构简洁性的同时,促进了鲁棒的联合优化。在不同基线模型上的大量实验验证了本方法的有效性。我们的研究提出了增强检测器的新范式,证明多样化的“一对多”监督能够在不损害模型优雅性的前提下集成实现最先进的结果。

0
下载
关闭预览

相关内容

多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
《异步通信下的分布式武器-目标分配》
专知会员服务
60+阅读 · 2024年6月21日
监督和半监督学习下的多标签分类综述
专知会员服务
46+阅读 · 2022年8月3日
注意力图神经网络的多标签文本分类
专知会员服务
112+阅读 · 2020年3月28日
多因素问题分析时,如何确立各因素权重?
人人都是产品经理
75+阅读 · 2020年3月4日
标签间相关性在多标签分类问题中的应用
人工智能前沿讲习班
23+阅读 · 2019年6月5日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
推荐算法:Match与Rank模型的交织配合
从0到1
15+阅读 · 2017年12月18日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员