In the field of Image-Text Retrieval (ITR), recent advancements have leveraged large-scale Vision-Language Pretraining (VLP) for Fine-Grained (FG) instance-level retrieval, achieving high accuracy at the cost of increased computational complexity. For Coarse-Grained (CG) category-level retrieval, prominent approaches employ Cross-Modal Hashing (CMH) to prioritise efficiency, albeit at the cost of retrieval performance. Due to differences in methodologies, FG and CG models are rarely compared directly within evaluations in the literature, resulting in a lack of empirical data quantifying the retrieval performance-efficiency tradeoffs between the two. This paper addresses this gap by introducing the \texttt{FiCo-ITR} library, which standardises evaluation methodologies for both FG and CG models, facilitating direct comparisons. We conduct empirical evaluations of representative models from both subfields, analysing precision, recall, and computational complexity across varying data scales. Our findings offer new insights into the performance-efficiency trade-offs between recent representative FG and CG models, highlighting their respective strengths and limitations. These findings provide the foundation necessary to make more informed decisions regarding model selection for specific retrieval tasks and highlight avenues for future research into hybrid systems that leverage the strengths of both FG and CG approaches.


翻译:在图像-文本检索(ITR)领域,近期的进展利用大规模视觉-语言预训练(VLP)进行细粒度(FG)实例级检索,以增加计算复杂度为代价实现了高精度。对于粗粒度(CG)类别级检索,主流方法采用跨模态哈希(CMH)以优先保证效率,但这是以牺牲检索性能为代价的。由于方法论的差异,文献中的评估很少直接比较FG和CG模型,导致缺乏量化两者之间检索性能与效率权衡的经验数据。本文通过引入 \texttt{FiCo-ITR} 库来解决这一空白,该库标准化了FG和CG模型的评估方法,促进了直接比较。我们对这两个子领域的代表性模型进行了实证评估,分析了不同数据规模下的精确率、召回率和计算复杂度。我们的研究结果为近期代表性FG和CG模型之间的性能-效率权衡提供了新的见解,突出了它们各自的优势和局限性。这些发现为针对特定检索任务做出更明智的模型选择决策提供了必要的基础,并指明了未来研究的方向,即开发能够利用FG和CG方法各自优势的混合系统。

0
下载
关闭预览

相关内容

【ICML2025】FG-CLIP:细粒度视觉与文本对齐
专知会员服务
8+阅读 · 2025年5月18日
细粒度图像分类的深度学习方法
专知会员服务
43+阅读 · 2021年10月18日
【CVPR2021】深度学习细粒度视觉分析
专知会员服务
36+阅读 · 2021年6月23日
【旷视出品】细粒度图像分析综述
专知
15+阅读 · 2019年7月11日
推荐|caffe-orc主流ocr算法:CNN+BLSTM+CTC架构实现!
全球人工智能
19+阅读 · 2017年10月29日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员