Audio Description (AD) provides essential access to visual media for blind and low vision (BLV) audiences. Yet current AD production tools remain largely inaccessible to BLV video creators, who possess valuable expertise but face barriers due to visually-driven interfaces. We present ADCanvas, a multimodal authoring system that supports non-visual control over audio description (AD) creation. ADCanvas combines conversational interaction with keyboard-based playback control and a plain-text, screen reader-accessible editor to support end-to-end AD authoring and visual question answering (VQA). Combining screen-reader-friendly controls with a multimodal LLM agent, ADCanvas supports live VQA, script generation, and AD modification. Through a user study with 12 BLV video creators, we find that users adopt the conversational agent as an informational aide and drafting assistant, while maintaining agency through verification and editing. For example, participants saw themselves as curators who received information from the model and filtered it down for their audience. Our findings offer design implications for accessible media tools, including precise editing controls, accessibility support for creative ideation, and configurable rules for human-AI collaboration.


翻译:音频描述(AD)为盲人与低视力(BLV)观众提供了获取视觉媒体的关键途径。然而,当前的音频描述制作工具对于BLV视频创作者而言仍存在严重的可访问性障碍——尽管他们拥有宝贵的专业知识,但视觉驱动的界面设计造成了诸多限制。本文提出ADCanvas,一个支持非视觉化控制音频描述创作的多模态创作系统。ADCanvas融合了对话式交互、基于键盘的播放控制以及纯文本屏幕阅读器可访问编辑器,以支持端到端的音频描述创作与视觉问答(VQA)。该系统将屏幕阅读器友好型控件与多模态大语言模型智能体相结合,实现了实时视觉问答、脚本生成和音频描述修改功能。通过对12位BLV视频创作者开展用户研究,我们发现用户将对话智能体视为信息助手与草稿生成助手,同时通过验证与编辑保持创作主导权。例如,参与者将自己视为信息策展人,从模型接收信息并为其受众进行筛选提炼。我们的研究结果为无障碍媒体工具提供了设计启示,包括精确编辑控制、支持创意构思的无障碍功能以及可配置的人机协作规则。

0
下载
关闭预览

相关内容

Deformable Kernels,用于图像/视频去噪,即将开源
极市平台
13+阅读 · 2019年8月29日
【泡泡图灵智库】Visual SLAM: 为什么要用BA(ICRA)
泡泡机器人SLAM
51+阅读 · 2019年7月11日
VizWiz数据集:用计算机视觉回答盲人的问题
视觉里程计:起源、优势、对比、应用
计算机视觉life
18+阅读 · 2017年7月17日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员