Real-world fine-grained visual retrieval often requires discovering a rare concept from large unlabeled collections with minimal supervision. This is especially critical in biodiversity monitoring, ecological studies, and long-tailed visual domains, where the target may represent only a tiny fraction of the data, creating highly imbalanced binary problems. Interactive retrieval with relevance feedback offers a practical solution: starting from a small query, the system selects candidates for binary user annotation and iteratively refines a lightweight classifier. While Active Learning (AL) is commonly used to guide selection, conventional AL assumes symmetric class priors and large annotation budgets, limiting effectiveness in imbalanced, low-budget, low-latency settings. We introduce Positive-First Most Ambiguous (PF-MA), a simple yet effective AL criterion that explicitly addresses the class imbalance asymmetry: it prioritizes near-boundary samples while favoring likely positives, enabling rapid discovery of subtle visual categories while maintaining informativeness. Unlike standard methods that oversample negatives, PF-MA consistently returns small batches with a high proportion of relevant samples, improving early retrieval and user satisfaction. To capture retrieval diversity, we also propose a class coverage metric that measures how well selected positives span the visual variability of the target class. Experiments on long-tailed datasets, including fine-grained botanical data, demonstrate that PF-MA consistently outperforms strong baselines in both coverage and classifier performance, across varying class sizes and descriptors. Our results highlight that aligning AL with the asymmetric and user-centric objectives of interactive fine-grained retrieval enables simple yet powerful solutions for retrieving rare and visually subtle categories in realistic human-in-the-loop settings.


翻译:现实世界中的细粒度视觉检索通常需要从大量无标注数据中通过极少的监督发现稀有概念。这在生物多样性监测、生态学研究以及长尾视觉领域中尤为关键——目标类别可能仅占数据的极小比例,从而形成高度不平衡的二分类问题。基于相关性反馈的交互式检索提供了一种实用方案:从少量查询开始,系统选择候选样本供用户进行二分类标注,并通过迭代优化轻量级分类器。虽然主动学习常用于指导候选选择,但传统主动学习假设对称的类先验和充足的标注预算,在数据不平衡、低预算、低延迟场景中效果受限。本文提出正优先最模糊准则——一种简洁而有效的主动学习准则,明确解决类别不平衡不对称性:优先选择决策边界附近的样本,同时倾向于可能为正类的样本,在保持信息量的同时实现对细微视觉类别的快速发现。与传统方法过度采样负类不同,正优先最模糊始终返回小批量且正类比例高的样本集,从而提升早期检索效果和用户满意度。为衡量检索多样性,我们还提出类别覆盖度指标,评估所选正类样本对目标类别视觉变异性的覆盖程度。在包括细粒度植物数据在内的长尾数据集上的实验表明,正优先最模糊在不同类别规模和特征描述符下,在覆盖度和分类器性能上均持续优于强基线方法。我们的结果揭示,将主动学习与交互式细粒度检索中非对称且以用户为中心的目标对齐,能够在现实人机协同场景中为检索稀有且视觉细微的类别提供简洁而强大的解决方案。

0
下载
关闭预览

相关内容

【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
92+阅读 · 2020年7月4日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
半监督深度学习小结:类协同训练和一致性正则化
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
深度学习中的五大正则化方法和七大优化策略
全球人工智能
11+阅读 · 2017年12月25日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
AutoScientists:自组织智能体团队驱动长期科学实验
战略前沿人工智能的再思考(中文)
专知会员服务
3+阅读 · 今天14:53
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
3+阅读 · 今天14:51
“史诗怒火行动”中美军损失的作战飞机
专知会员服务
2+阅读 · 今天14:38
ICML 2026 | 理解上下文持续学习中的泛化与遗忘
专知会员服务
5+阅读 · 5月28日
Agent Harness综述:大模型智能体执行器工程全景
专知会员服务
13+阅读 · 5月28日
《基于理论的威慑效能评估》
专知会员服务
8+阅读 · 5月28日
相关VIP内容
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
92+阅读 · 2020年7月4日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员