Piano fingering shapes how a passage can be played, yet it is difficult to label after a performance. An annotator must decide which finger produced each note while reconciling the score, timing, video, and hand motion. We present PiAnnotate, a web-based pipeline for adding expert fingering annotations to the FurElise performance dataset. The tool brings together a piano-roll view, performance video, and a 3D MANO hand mesh so that reviewers can inspect each assignment in musical and physical context. Rather than storing only the final answer, PiAnnotate keeps paired rule-based and human-edited fingering tracks. These paired tracks make the annotation history auditable by showing where a geometric rule was sufficient, where experts intervened, and how labels changed across review passes. As a final diagnostic, we train a small Transformer probe on the paired tracks. The probe improves on the rule baseline on held-out pieces while remaining conservative about changing labels that were already correct, suggesting that the edited labels contain learnable structure rather than only isolated fixes.


翻译:钢琴指法决定了乐段的可演奏方式,然而在演奏后标注指法却十分困难。标注者需在协调乐谱、时序、视频与手部运动的同时,判定每个音符由哪根手指弹奏。我们提出PiAnnotate——一个基于网络的流水线工具,用于为FurElise演奏数据集添加专家级指法标注。该工具整合了钢琴卷帘视图、演奏视频及3D MANO手部网格,使评审者能在音乐与物理情境中检查每项标注分配。PiAnnotate不仅存储最终结果,还保留配对的基于规则与人工编辑的指法轨道。这些配对轨道通过展示几何规则何时足以生效、专家在何处进行了干预以及标注在多次评审中如何变化,使标注历史可审计。作为最终诊断,我们在配对轨道上训练了一个小型Transformer探针。该探针在保留样本上优于规则基线,同时对于已正确的标注保持保守修改,表明编辑后的标注包含可学习结构而非孤立的修正。

0
下载
关闭预览

相关内容

如何用latext画神经网络?这个PlotNeuralNet能帮到你
专知会员服务
26+阅读 · 2022年1月15日
八个不容错过的 GitHub Copilot 功能!
CSDN
11+阅读 · 2022年9月22日
什么是语义角色标注?
人工智能头条
18+阅读 · 2019年4月28日
AmpliGraph:知识图谱表示学习工具包
专知
40+阅读 · 2019年4月6日
【pix4D篇】——Pix4D软件介绍
无人机
18+阅读 · 2018年8月1日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
0+阅读 · 3分钟前
21世纪的无人机战争
专知会员服务
1+阅读 · 58分钟前
《量子技术的军事任务技术适配与利用》
专知会员服务
1+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
如何用latext画神经网络?这个PlotNeuralNet能帮到你
专知会员服务
26+阅读 · 2022年1月15日
相关资讯
八个不容错过的 GitHub Copilot 功能!
CSDN
11+阅读 · 2022年9月22日
什么是语义角色标注?
人工智能头条
18+阅读 · 2019年4月28日
AmpliGraph:知识图谱表示学习工具包
专知
40+阅读 · 2019年4月6日
【pix4D篇】——Pix4D软件介绍
无人机
18+阅读 · 2018年8月1日
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员