Knowledge-based Visual Question Answering (KB-VQA) aims to answer questions by integrating images with external knowledge. Effective knowledge filtering is crucial for improving accuracy. Typical filtering methods use similarity metrics to locate relevant article sections from one article, leading to information selection errors at the article and intra-article levels. Although recent explorations of Multimodal Large Language Model (MLLM)-based filtering methods demonstrate superior semantic understanding and cross-article filtering capabilities, their high computational cost limits practical application. To address these issues, this paper proposes a question-focused filtering method. This approach can perform question-focused, cross-article filtering, efficiently obtaining high-quality filtered knowledge while keeping computational costs comparable to typical methods. Specifically, we design a trainable Question-Focused Filter (QFF) and a Chunk-based Dynamic Multi-Article Selection (CDA) module, which collectively alleviate information selection errors at both the article and intra-article levels. Experiments show that our method outperforms current state-of-the-art models by 4.9% on E-VQA and 3.8% on InfoSeek, validating its effectiveness. The code is publicly available at: https://github.com/leaffeall/QKVQA.


翻译:基于知识的视觉问答(KB-VQA)旨在通过结合图像与外部知识来回答问题。有效的知识过滤对于提升准确性至关重要。典型的过滤方法使用相似性度量从单一文章中定位相关段落,导致在文章层面和文章内部层面出现信息选择错误。尽管近期基于多模态大语言模型(MLLM)的过滤方法探索展现了卓越的语义理解和跨文章过滤能力,但其高昂的计算成本限制了实际应用。为解决这些问题,本文提出一种面向问题的过滤方法。该方法能够执行以问题为中心的跨文章过滤,在保持计算成本与典型方法相当的同时,高效地获取高质量的过滤后知识。具体而言,我们设计了一个可训练的面向问题过滤器(QFF)和一个基于文本块的动态多文章选择(CDA)模块,二者共同缓解了文章层面和文章内部层面的信息选择错误。实验表明,我们的方法在E-VQA数据集上优于当前最先进模型4.9%,在InfoSeek数据集上优于3.8%,验证了其有效性。代码已公开于:https://github.com/leaffeall/QKVQA。

0
下载
关闭预览

相关内容

【2022新书】视觉问答 (VQA):从理论到应用
专知会员服务
63+阅读 · 2022年5月24日
专知会员服务
73+阅读 · 2021年10月6日
知识驱动的视觉知识学习,以VQA视觉问答为例,31页ppt
专知会员服务
36+阅读 · 2020年9月25日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员