Object counting in complex scenes is particularly challenging in the zero-shot (ZS) setting, where instances of unseen categories are counted using only a class name. Existing ZS counting methods that infer exemplars from text often rely on off-the-shelf open-vocabulary detectors (OVDs), which in dense scenes suffer from semantic noise, appearance variability, and multi-instance proposals. Alternatively, random image-patch sampling is employed, which fails to accurately delineate object instances. Since counting is sensitive to exemplar quality, such selection strategies often yield poorly representative exemplars, leading to inaccurate count estimation. To address these issues, we propose CountZES, an inference-only approach for object counting via ZS exemplar selection. CountZES discovers diverse exemplars through three synergistic stages: Detection-Anchored Exemplar (DAE), Density-Guided Exemplar (DGE), and Feature-Consensus Exemplar (FCE). DAE refines OVD detections to isolate precise single-instance exemplars. DGE introduces a density-driven, self-supervised paradigm to identify statistically consistent and semantically compact exemplars, while FCE reinforces visual coherence through feature-space clustering. Together, these stages yield a complementary exemplar set that balances textual grounding, count consistency, and feature representativeness. Experiments on diverse datasets demonstrate CountZES superior performance among ZOC methods while generalizing effectively across domains.


翻译:复杂场景中的目标计数在零样本设定下尤为具有挑战性,此时仅通过类别名称对未见类别的实例进行计数。现有通过文本推断范例的零样本计数方法通常依赖现成的开放词汇检测器(OVD),而在密集场景中,这些检测器会面临语义噪声、外观多样性以及多实例提案等问题。作为替代方案,随机图像块采样方法被采用,但无法准确界定目标实例。由于计数对范例质量敏感,此类选择策略往往生成代表性较差的范例,导致计数估计不准确。为解决这些问题,我们提出CountZES——一种仅通过零样本范例选择实现目标计数的纯推理方法。CountZES通过三个协同阶段发现多样化范例:检测锚定范例(DAE)、密度引导范例(DGE)和特征共识范例(FCE)。DAE优化OVD检测结果以提取精确的单实例范例;DGE引入密度驱动的自监督范式,识别统计一致且语义紧凑的范例;FCE则通过特征空间聚类强化视觉一致性。这三个阶段协同生成互补范例集合,在文本对齐、计数一致性和特征代表性之间取得平衡。在多个数据集上的实验表明,CountZES在零样本目标计数方法中展现出优越性能,且能有效跨领域泛化。

0
下载
关闭预览

相关内容

零样本量化:综述
专知会员服务
13+阅读 · 2025年5月15日
小样本目标检测研究综述
专知会员服务
57+阅读 · 2023年1月15日
【CVPR2022】基于鲁棒区域特征生成的零样本目标检测
专知会员服务
11+阅读 · 2022年3月22日
【NeurIPS2021】基于关联与识别的少样本目标检测
专知会员服务
24+阅读 · 2021年11月29日
重邮高新波等最新《少样本目标检测算法》综述论文
专知会员服务
35+阅读 · 2021年11月2日
专知会员服务
52+阅读 · 2021年5月15日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
小样本学习(Few-shot Learning)综述
云栖社区
22+阅读 · 2019年4月6日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
零样本量化:综述
专知会员服务
13+阅读 · 2025年5月15日
小样本目标检测研究综述
专知会员服务
57+阅读 · 2023年1月15日
【CVPR2022】基于鲁棒区域特征生成的零样本目标检测
专知会员服务
11+阅读 · 2022年3月22日
【NeurIPS2021】基于关联与识别的少样本目标检测
专知会员服务
24+阅读 · 2021年11月29日
重邮高新波等最新《少样本目标检测算法》综述论文
专知会员服务
35+阅读 · 2021年11月2日
专知会员服务
52+阅读 · 2021年5月15日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员