The digitization of musical scores plays a crucial role in their preservation and accessibility, yet information retrieval still depends mainly on metadata searches, such as by title or composer. Content based search in music score images remains underexplored compared to text documents, despite its potential value for musicians, musicologists, and educators. This work contributes to the field by first studying which characteristics of a score are most relevant for search and by defining a systematic method to build query datasets from any annotated corpus. We also consider diverse methods for content-based search on music score images, ranging from transcription-based approaches relying on Optical Music Recognition (OMR), to a transcription-free Transformer model trained to recognize queries directly from score images, and a text-prompted Large Language Model. Our experiments evaluate these models on four corpora exhibiting diverse characteristics in terms of dataset size, image quality, and typesetting mechanisms. Overall, each method excels under different conditions: OMR-based pipelines achieve higher in-domain retrieval, whereas transcription-free models handle domain variability more effectively.


翻译:乐谱数字化对其保存与可及性至关重要,然而信息检索仍主要依赖元数据搜索(如按标题或作曲家)。与文本文档相比,基于乐谱图像的内容搜索尚未得到充分探索,尽管其对音乐家、音乐学家和教育工作者具有潜在价值。本研究首先探究乐谱中哪些特征对搜索最为相关,并定义了一种从任意标注语料库构建查询数据集的系统性方法。我们还考虑了乐谱图像内容检索的多种方法,从依赖光学音乐识别(OMR)的基于转录方法,到无需转录的Transformer模型(该模型经过训练可直接从乐谱图像识别查询),以及基于文本提示的大语言模型。实验在四个具有不同数据集规模、图像质量和排版机制的语料库上评估了这些模型。总体而言,每种方法在不同条件下各有所长:基于OMR的流水线在领域内检索中表现更优,而无转录模型则更有效地处理领域变异性。

0
下载
关闭预览

相关内容

「深度图像检索: 2012到2020」大综述论文,21页pdf
专知会员服务
43+阅读 · 2021年1月30日
专知会员服务
204+阅读 · 2020年10月14日
深度学习图像检索(CBIR): 十年之大综述
专知
66+阅读 · 2020年12月5日
论文浅尝 | 知识图谱相关实体搜索
开放知识图谱
14+阅读 · 2018年12月18日
科普 | 知识图谱相关的名词解释
开放知识图谱
12+阅读 · 2017年12月4日
科普 | 典型的知识库/链接数据/知识图谱项目
开放知识图谱
15+阅读 · 2017年10月13日
基于图片内容的深度学习图片检索(一)
七月在线实验室
20+阅读 · 2017年10月1日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
5+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
「深度图像检索: 2012到2020」大综述论文,21页pdf
专知会员服务
43+阅读 · 2021年1月30日
专知会员服务
204+阅读 · 2020年10月14日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员