The digitization of musical scores plays a crucial role in their preservation and accessibility, yet information retrieval still depends mainly on metadata searches, such as by title or composer. Content based search in music score images remains underexplored compared to text documents, despite its potential value for musicians, musicologists, and educators. This work contributes to the field by first studying which characteristics of a score are most relevant for search and by defining a systematic method to build query datasets from any annotated corpus. We also consider diverse methods for content-based search on music score images, ranging from transcription-based approaches relying on Optical Music Recognition (OMR), to a transcription-free Transformer model trained to recognize queries directly from score images, and a text-prompted Large Language Model. Our experiments evaluate these models on four corpora exhibiting diverse characteristics in terms of dataset size, image quality, and typesetting mechanisms. Overall, each method excels under different conditions: OMR-based pipelines achieve higher in-domain retrieval, whereas transcription-free models handle domain variability more effectively.


翻译:数字化乐谱对音乐资料的保存与可及性至关重要,但信息检索仍主要依赖基于标题或作曲家的元数据搜索。相较于文本文档,针对乐谱图像的内容检索虽对音乐家、音乐学家及教育工作者具有潜在价值,却仍处于探索不足的状态。本研究首先探讨了乐谱中哪些特征对检索最具相关性,并定义了从任意标注语料库构建查询数据集的系统化方法。我们同时考虑了多种基于内容的乐谱图像检索方法,涵盖依赖光学音乐识别(OMR)的转录式方法、可跳过转录环节的Transformer模型(该模型可直接从乐谱图像识别查询),以及基于文本提示的大型语言模型。实验在四个具有不同规模、图像质量和排版机制的语料库上评估了上述模型。总体而言,各方法在特定条件下表现优异:基于OMR的流水线在领域内检索中更优,而免转录模型则更有效应对领域变异性。

0
下载
关闭预览

相关内容

「深度图像检索: 2012到2020」大综述论文,21页pdf
专知会员服务
43+阅读 · 2021年1月30日
专知会员服务
204+阅读 · 2020年10月14日
深度学习图像检索(CBIR): 十年之大综述
专知
66+阅读 · 2020年12月5日
领域知识图谱研究综述
专知
18+阅读 · 2020年8月2日
论文浅尝 | 知识图谱相关实体搜索
开放知识图谱
14+阅读 · 2018年12月18日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
「深度图像检索: 2012到2020」大综述论文,21页pdf
专知会员服务
43+阅读 · 2021年1月30日
专知会员服务
204+阅读 · 2020年10月14日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员