We explore the potential of visualization to support musicians in instrument practice through real-time feedback and reflection on their playing. Musicians often struggle to observe the patterns in their playing and interpret them with respect to their goals. Our premise is that these patterns can be made visible with interactive visualization: we can make the unhearable visible. However, understanding the design of such visualizations is challenging: the diversity of needs, including different instruments, skills, musical attributes, and genres, means that any single use case is unlikely to illustrate the broad potential and opportunities. To address this challenge, we conducted a design exploration study where we created and iterated on 33 designs, each focusing on a subset of needs, for example, only one musical skill. Our designs are grounded in our own experience as musicians and the ideas and feedback of 18 musicians with various musical backgrounds and we evaluated them with 13 music learners and teachers. This paper presents the results of our exploration, focusing on a few example designs as instances of possible instrument practice visualizations. From our work, we draw design considerations that contribute to future research and products for visual instrument education.


翻译:本研究探索可视化技术通过实时反馈与演奏反思来辅助音乐家进行乐器练习的潜力。音乐家常难以察觉自身演奏中的模式,并难以结合其目标对这些模式进行解读。我们的前提是,这些模式可以通过交互式可视化变得可见:我们能够让不可闻之声可见。然而,理解此类可视化设计具有挑战性:需求的多样性——包括不同乐器、技能、音乐属性与流派——意味着任何单一用例都难以全面展示其广泛潜力与机遇。为应对这一挑战,我们开展了一项设计探索研究,创建并迭代了33个设计方案,每个方案聚焦于特定需求子集(例如仅针对一项音乐技能)。这些设计基于我们作为音乐家的自身经验,以及18位不同音乐背景音乐家的创意与反馈,并最终通过13位音乐学习者与教师进行评估。本文呈现了探索成果,重点通过若干示例设计来展示可能的乐器练习可视化方案。基于此项工作,我们总结出若干设计考量,以期为视觉化乐器教育的未来研究与产品开发提供参考。

0
下载
关闭预览

相关内容

音乐,广义而言,指精心组织声音,并将其排布在时间和空间上的艺术类型。
视觉识别中的可解释性综述
专知会员服务
23+阅读 · 2025年7月17日
【博士论文】学习视觉-语言表示以实现多模态理解
专知会员服务
28+阅读 · 2025年2月8日
机器学习的可解释性
专知会员服务
69+阅读 · 2020年12月18日
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
132+阅读 · 2020年5月14日
「强化学习可解释性」最新2022综述
专知
12+阅读 · 2022年1月16日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
8月最新-《可解释机器学习-Christoph Molnar》-新书分享
深度学习与NLP
10+阅读 · 2019年8月12日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员