Museum audiovisual archives are important records of visual culture, yet in-gallery video remains difficult to search because it lacks catalogue-compatible metadata. We propose CaGMulA, catalogue-grounded multimodal attribution for museum video: a locally deployable pipeline that combines video-language models, structured catalogue retrieval, and abstention-aware decision policies. The system summarises visible artworks, generates catalogue-style descriptions, and attributes title and artist only when evidence is sufficient. We evaluate VideoLLaMA2 and Qwen2-VL across four model configurations and four attribution modes on 18 in-gallery videos. Open-ended generation fails under conservative conditions, producing 0\% coverage across models. By contrast, closed-set catalogue retrieval reaches 100\% coverage with 62\% accepted title--artist correctness, while a verifier-gated hybrid mode reduces coverage to 50\% but improves accepted correctness to 78\%. The results show that reliable museum-video attribution is driven less by unrestricted generation than by catalogue grounding, visual retrieval, and selective abstention for curatorial review.


翻译:暂无翻译

0
下载
关闭预览

相关内容

【伯克利博士论文】多模态长视频理解,126页pdf
专知会员服务
51+阅读 · 2023年9月3日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
103+阅读 · 2020年7月22日
文本+视觉,多篇 Visual/Video BERT 论文介绍
AI科技评论
22+阅读 · 2019年8月30日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《面向国防领域的大语言模型基准测试与适配》
专知会员服务
16+阅读 · 10月28日
世界模型入门:从序贯决策到通用智能体
专知会员服务
17+阅读 · 10月24日
相关VIP内容
【伯克利博士论文】多模态长视频理解,126页pdf
专知会员服务
51+阅读 · 2023年9月3日
【Google】多模态Transformer视频检索,Multi-modal Transformer
专知会员服务
103+阅读 · 2020年7月22日
相关资讯
文本+视觉,多篇 Visual/Video BERT 论文介绍
AI科技评论
22+阅读 · 2019年8月30日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
相关基金
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员