Designed light is an established modality for live performance and music playback. Despite the growing availability of consumer smart lighting, the creation of designed light for music visualization remains limited to professional contexts due to time and skill constraints. To address this, we present an AI-assisted system for generating ambient light sequences for music videos. Informed by professional design heuristics, the system extracts salient features from source video and audio to generate an editable preliminary design of object based ambient light effect. We evaluated the system by comparing its autonomous output against hand-authored designs for three music videos. Findings from responses by 32 participants indicate that the initial output provides a viable baseline for further refinement by human authors. This work demonstrates the utility of AI-assisted workflows in supporting the creation and adoption of designed light beyond professional venues.


翻译:设计光照是现场表演和音乐播放的成熟表现形式。尽管消费级智能照明设备日益普及,但由于时间与技能限制,面向音乐可视化的设计光照创作仍局限于专业领域。为此,我们提出一种AI辅助系统,用于为音乐视频生成环境光序列。该系统基于专业设计启发式方法,从源视频与音频中提取显著特征,生成可编辑的基于物体的环境光效初步设计方案。我们通过将系统自主输出与三个音乐视频的人工设计进行对比来评估系统性能。32位参与者的反馈结果表明,初始输出为人工作者的进一步优化提供了可行的基准。本工作证明了AI辅助工作流程在支持设计光照创作及其向专业场所以外场景推广方面的实用价值。

0
下载
关闭预览

相关内容

音乐,广义而言,指精心组织声音,并将其排布在时间和空间上的艺术类型。
《AI生成视频评估综述》
专知会员服务
28+阅读 · 2024年10月30日
机器视觉专题报告: AI+机器视觉,应用场景持续拓展
专知会员服务
61+阅读 · 2023年6月20日
用GANs来自动生成音乐【代码+PPT】
专知
29+阅读 · 2019年11月7日
图像处理:从 bilateral filter 到 HDRnet
极市平台
30+阅读 · 2019年8月7日
干货 | Github项目推荐 : GANSynth: 用GANs创作音乐
AI科技评论
10+阅读 · 2019年3月2日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月4日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员